Комментарии 20
Самообман какой-то. Вы выдаёте желаемое за действительное, не ознакомившись с ситуацией совершенно. Llama вообще не чат-бот, а чат-боты, сделанные на его основе, к сожалению, даже до gpt-3.5 не дотягивают.
У сообщества есть идеи, как относительно дёшево делать аналоги GPT-3.5, но по настоящему подобраться к GPT-4 за суммы не исчисляемые в миллионах пока нельзя даже в теории.
К тому же вы путаете обучение и инференс, а так же сервис для одного себя и для миллионов клиентов. Разумеется апи для миллионов требует больше железа.
пока нельзя даже в теории
В теории как раз всё очень даже можно. На мой вкус все эти коммерческие закрытые решения имеют хоть какой-то смысл ровно до того момента, как будет найден способ подружить все эти поделки с P2P.
Llama вообще не чат-бот, а чат-боты, сделанные на его основе, к сожалению, даже до gpt-3.5 не дотягивают.
А вы гоняли модельки-то? Vicuna 13b на основе Llama как чатбот, по ощущению - на уровне GPT3.5 (если использовать рекомендованный формат промтов). Я их в том числе стравливал друг с другом, и Vicuna держалась молодцом. Но это именно как чатбот, поболтать о разном. Основные минусы - у Vicuna хуже познания о внешнем мире, и она хорошо отвечает только на английском.
Разумеется апи для миллионов требует больше железа.
Стоимость инференса не проблема, если запускать на клиенте, что уже реальность.
DeepSpeed (квантизация, дообучение и еще пара трюков) - Bert в 100 мегабайт (с теми же характеристиками).
Да и смысла нет, ну выучат они большие модели (потому что это крутые фирмы).
Потом откроют для себя DreamCoder :). (И, о боже, у различных действий при разговоре есть какая-то база, а BERT и прочие модели - безуспешная попытка сделать базис и чат (якобы в каком-то базисе элементарных операций)).
И это как раз уровень 4090 и пары дней. (помните, что кластеризация Word2Vec занимает минут 15, и позволяет получить контекстные синонимы довольно высокого качества - а это основа для Q&A и перехода к онтологиям (и поискам аналогий, и обогащению данными)).
И, да, никто до сих пор не прогнал нейросети из Spark через квантизацию (чтобы синтаксически разбирать гигабайты текста в минуту, строить деревья и что-то делать через coref-s).
«Сопоставимое качество» это сильная заявка, и по моим личным ощущениям — полная чушь.
Ну и кроме того сравниваются несравнимые вещи — сложность оборудования для инференса и обучения.
При раунде инвестиций в 100 миллиардов долларов показанный операционный убыток в 0,5 миллиарда выглядит вообще не существенно. Т. е. не смотря на глобальное согласие с идеей статьи в виде «Бывает ли такая ххх — увы, бывает. А почему такое с вами — а это ххх знает», я не согласен с аргументацией. В том мире прибыль вообще не принципиально показывать — выгоднее показать убыток + рост. Если показать прибыль при отсутствии роста — никто в тебя вкладываться не захочет
OpenAI же принадлежит некоммерческой головной структуре, так что не выйти в "профит" - это ок. Этого и не предполагалось.
О хронической убыточности можно говорить на горизонте в десяток лет, но никак не на старте компании. Твиттер какой-нибудь — да, рынок свой исчерпан, роста нет, клиентская база есть, но как ее монетизировать не очень понятно, и за прошлые годы понятнее не стало. Тут "не выйдет на прибыль" вполне просматривается как итог.
Выглядит как заказ на мочить openai.
UPD: а, стоп, это не перевод. тогда выглядит как финансовая аналитика от школьника (потому что не разбирается), у которого подгорает.
А как практически можно монетизировать ЧатГПТ? Какие работы он может выполнять уже здесь и сейчас, а не в туманной перспективе?
Здесь и сейчас его по API можно использовать, например через langchain сделать бота который по вашей компании будет давать ответы на вопросы сотрудникам по внутренней документации.
Или техподдержку клиентам оказывать.
Или даже продавать.
Идея в том чтобы скармливать гиганские промпты ему вместе с запросом клиента, документацию компании по продукту и контекст ситуации.
Демки видел у тех кто курсы обучающие продает по нему, они это называли "дообучением ChatGPT" хотя реально дообучения нету, идет просто качественное задание контекста.
Еще можно скармливать диалоги продавцов чтоб он там классифицировал какие были возражения в звонках, какие потребности озвучивались чтобы оптом на это дело смотреть и улучшать скрипты продаж.
Документация компании при этом правда утекает в OpenAI, кому то это не критично могут юзать API. Ну а кому критично то конечно надо свою модель поднимать.
Будет ли он дешевле обычного человека?
Скорее всего значительно дешевле.
А еще не болеет, работает 24\7, не уходит в запой, гибко масштабируется, начинает использовать новые данные\скрипты как только вы их изменили (людям то требуется обучение).
А еще у работника человека должен быть руководитель, инспектирующий его работу и ему тоже надо платить. И один руководитель не может командовать 100 сотрудников коллцентра, у вас уже будет минимум 3 уровня руководителей.
Не можешь скормить слишком большой промпт, даже chatgpt4 переваривает только 4к токенов (другие говорят 8к, полагаю это все еще недоступно большинству), обещанные 32к токенов никому не доступны как и работа с изображениями.
А еще даже chatgpt4 обладает всеми недостатками человека. Как бы по проще объяснить, вот представьте вы работаете с сотней человек, которые вбивают данные (где то ищут, что то читают, что собрали то заносят в простую формочку), и везде им доступны только текстовые поля без выбора вариантов или строгой структуры. Такие данные не машиночитаемые, так как пользователи вносят данные как им заблагорассудится. Отличный пример — адрес. Что только не вбивают люди в эту строчку, где то только улицу и дом, где то забудет ввести квартиру, кто то ошибется, одни через пробел, другие через запятую, кто то меняет порядок уровней область — город — улица на противоположный, кто попутает поля и забьет адрес в поле комментария, а комментарий в поле адреса,...
Так вот языковые модели ведут себя точно так же. А еще добавляют отсебятину. Даешь текст, спрашиваешь сколько человек участвуют в тексте и какие их имена, а модель тебе десяток строк с ответами на эти и другие выдуманные ей вопросы,… с этими данными так же придется работать, чтобы хоть как то привести их к машиночитаемому виду (часто все достигается конкретизацией вопросов и увеличением их количества, лучше сбросить контекст чем однократно выдать модели текст и задавать потом кучу вопросов, что в конце концов выливается в увеличение затрат на вызовы ИИ)
Microsoft инвестирует в OpenAI $10 млрд. О каком убытке мы сейчас разговариваем?
Пока же OpenAI является хронически убыточным предприятием
Так пусть спросят наконец у Чята, как это исправить.
Ниже приведен список из 10 примеров компаний и стартапов, которые за последние полвека были убыточными в течение продолжительного периода времени, но в итоге стали успешными:
Amazon - Была убыточной в течение первых 4 лет существования (1994-1998).
Tesla - Была убыточной в течение первых 10 лет существования (2003-2013).
Uber - Была убыточной в течение первых 9 лет существования (2009-2018).
Twitter - Была убыточной в течение первых 6 лет существования (2006-2012).
Netflix - Была убыточной в течение первых 9 лет существования (1997-2006).
Airbnb - Была убыточной в течение первых 8 лет существования (2008-2016).
Spotify - Была убыточной в течение первых 10 лет существования (2006-2016).
Slack - Была убыточной в течение первых 3 лет существования (2013-2016).
Dropbox - Была убыточной в течение первых 10 лет существования (2007-2017).
Salesforce - Была убыточной в течение первых 3 лет существования (1999-2002).
Обратите внимание, что период убыточности компаний может быть определен по-разному, в зависимости от того, какие факторы учитываются. В списке указаны примерные периоды, в течение которых компании испытывали убытки.
OpenAI за последний год понесла рекордные убытки в 540$ млн и рискует никогда не выйти на прибыль