Комментарии 48
Она стала временным CEO OpenAI вместо OpenAI
Либо автор не перечитывал статью перед публикацией, либо ChatGPT стал настолько крут, что уже может замещать "человеков" на руководящих должностях...
Не сказано что даже основной инвестор для OpenAI, а именно Microsoft, были не в курсе про это до самого факта: https://3dnews.ru/1096190/microsoft-bila-oshelomlena-otstavkoy-glavi-openai-sema-altmana
Максимально странная история, как будто испугались в компании роста влияния Сэма, или реально из-за внутренних конфликтов, но Альтман крут, что-то интересное жду от него ещё.
Если он ещё что-то создаст, то будет позади даже Маска. Будет интересно посмотреть, что в итоге важнее, бабло или знания.
Не факт, понимание как не надо делать и в каком лучше направлении двигаться в данном случае много может дать.
Никто пока gpt4 не обогнал в общем, только в частных областях, не спроста OpenAI активно скрывают полную информацию, рассказывая только о некоторых методиках
Тогда они невероятно умны. С такой скоростью понять код, суть требуемых исправлений и выдать результат - это фантастика.
А распределение задач - фантастика вдвойне. Сначала спрашиваешь про тесты на java, потом - угадать философа по описанию, потом просишь код для специализированной библиотеки под питон, потом - улучшить стилистику текста (на русском). И всё это - за 20 баксов в месяц.
Снимаю перед ними шляпу за одно то, что они нашли индусов, так хорошо владеющих русским языком. Нередко бывает, что они понимают меня лучше, чем подчинённые. Вторым чаще приходится объяснять, что я имею ввиду, чем индусам под вывеской ИИ.
Уведомить за 5 мин корпорацию, которая должна влить 10 миллиардов за несколько лет! Это ж какая жажада мести или власти, что такую гонку устроили.
Сейчас майкрософт посмотрит, чем это закончится, да и пошлёт их нафиг. С такими суммами лучше давать работать менее импульсным личностям
Или Сэм создаст новую компанию, туда наймут уволившихся из OpenAI, а потом майкрософт просто выкупит эту компанию или заключит контракт. Технологии известные, не секретные, датасеты тоже - вопрос только в мощностях для обучения, и у майкрософт они есть.
Технологии известные, не секретные, датасеты тоже - вопрос только в мощностях для обучения, и у майкрософт они есть
они не секретные в общих чертах, а тонкости технологий, которые обеспечивают некоторым из них преимущества перед другими из них- вот эти тонкости уже секретные, и они- совсем не очевидные, и найдены эти тонкости, как правило- случайно, а потому плохо поддаются повторению.
байки про секретный нюанс (из личного и общеизвестные)
Как-то разрабатывали одно устройство, а в нем- условно- пружинка, с заданными параметрами (размер и жесткость). И вот с одними пружинками работает хорошо, а с другими такими же по свойствам пружинками- работает плохо. а оказалось, есть нюанс- если число витков пружинки нечетное- то работает классно, а если четное- то не очень. и это оказался секретный нюанс несекретной технологии, который позволял делать более хорошие датчики.
Полировка линз, вроде как, позволяет снизить шероховатость поверхности на два класса при сохранении затрат времени, если движение полирующего материала происходит по фигурам Лиссажу вместо просто попеременного шлифования в перпендикулярных направлениях или просто кругового вращения.
центрифужное разделение изотопов- тоже в общих чертах понятно, как делается, но почему-то мало у кого работает...
во всех примерах технологии в общих чертах известные, но есть нюансы, сильно влияющие на конечный результат, и в них бывает скрыт дьявол.
Скорее наоборот. Мощности - не проблема (их можно просто купить). Секретные именно технологии (есть тысячи тонкостей).
Технологии как раз секретные. Доподлинно неизвестно даже сколько параметров у gpt-4 и 3.5, неизвестно, как ее учили. Есть только домыслы и прикидки, вполне может быть что это вообще ансамбль моделей, а такое учить мало кто может. Llama-70B почти сравнялась с 3.5 по качеству ответов, где-то немного лучше, где-то сильно хуже, и это условный опенсорс, и люди подумали, что у меты тоже получилось. Но потом майки в одной статье проболталась в табличке-сравнении, что у 3.5 20 миллиардов, и получается, что наилучшая доступная локально модель при сравнимом качестве в 4 раза жирнее и пропорционально прожорливее. Неизвестно, gpt-vision - тюн 4 версии, или полностью новая мультимодальная модель, как-то общающаяся с 4 в качестве модуля для неё. Вполне вероятно, что секрет успеха в том, что внутре у ней неонка, и это никого не удивит.
@palyaros02, можно ссылку на эту табличку с 'проболтались'?
Пожалуйста: arxiv.org/abs/2310.17680
UPD: статью уже отозвали, ссылка на первоначальный вариант вот: 2310.17680v1.pdf (arxiv.org) , вот вам скрин оттуда
Это же turbo - дистиллированная версия полной модели. Она сильно меньше и быстрее полной, но и качество ответов у неё ощутимо хуже. Как видно из таблицы, она даже хуже полной GPT-3 по большинству метрик.
Полная GPT-3.5 должна быть значительно крупнее.
Извините за грубость, но вы наврали почти везде. Хоть бы Википедию для начала посмотрели, прежде чем экспертное мнение высказывать.
Во первых, в таблице все модели оцениваются исключительно на одной специфической задаче - генерации кода. В реальности gpt-3.5-turbo лучше gpt-3 на всех практически применимых задачах просто в силу своей архитектуры, и часто их заведомо бессмысленно сравнивать, о чем дальше. Кстати, вы заблуждаетесь, думая, что под "-turbo" Open AI имеет ввиду менее мощную модель. У gpt-4-turbo тоже меньше параметров, но выше качество ответов, длина контекста 128к и еще и модуль зрения есть. Ну и, вы видимо пропустили, но тот прорыв, что произошел в этом году в сфере ИИ, в общем-то базируется на простой идее: "Ребята, оказывается качество данных не менее важно, чем число параметров, а НАМНОГО БОЛЕЕ важно". Почему-то, до этого года это было не всем очевидно, и вам, похоже, до сих пор. Поэтому теперь данные для нейросетей размечают не индусы за доллар в час, и не другие алгоритмы, а профессора за очень большой прайс. Подписи к картинкам также пишут не случайные люди, а специально обученные художественному ремеслу.
Во-вторых, "полной" GPT-3.5 не существует, и никогда не сществовало, ибо это не название модели, а маркетинговое название семейства моделей. В 2020 [тогда еще] OpenAI выпустила gpt-3 на 175млрд параметров, все порадовались, но дальше научных статей это дело не ушло, а модель тихо себе лежала на эндпоинте по апишке и мирно дремала, изредка просыпаясь, чтобы что-то ответить редким исследователям. Тогда же был мем про "ИИ порекомендовал человеку убить себя", ибо всё плохо у нее было на самом деле с качеством ответов.
До 2022 года они ее пытались дистиллировать и всячески крутить, делая всякие Кюри, Ады, Бэббиджи и Давинчи меньшего размера. Почитать про них подробно, да и вообще про все модели OpenAI, что сейчас доступны для использования можно тут: Models - OpenAI API
В 2022 их осенило они просто взяли эти модели и дообучили на инструктивном датасете, а если проще, то именно на текстах в форме чата, где есть вопрошающий и отвечающий, о чем написали статью Aligning language models to follow instructions (openai.com). Там есть примеры того, как gpt-3 и instruct-gpt отвечают на один и тот же промт, и разница поражает. Если кратко, что gpt-3 - это Балабоба на стероидах, обычная дописывалка текста. Она не отвечает на поставленные вопросы, а пытается дописать текст. Примеры из статьи:
Помимо разительного повышения качества следования инструкциям пользователя, появилась возможность объяснять модели, что плохо, а что хорошо и регулировать ее безопасность.
Ну и финал, OpenAI выделяет эти модели в новое семейство gpt-3.5 (абсолютно все представители которого менее жирные по параметрам, чем оригинальная gpt-3), создает новую модель по уже отлаженной схеме (или переименовывает какую-то из старых, тут уже не помню), называет ее gpt-3.5-turbo и делает к ней интерфейс в виде ChatGPT.
В общем, типичная ситуация, когда маркетолухам надо нарисовать новую циферку, а технологий на новую циферку не набралось. Та же ситуация сейчас у NVIDIA с DLSS3, который по сути DLSS2 со сторонним модулем, который является вообще отдельной технологией. А юзеры в итоге путаются, вот наглядный пример.
Майкрософт заинтересован в успехе OpenAI, так что не все так просто
@vvvphoenix писал о том, что в крупных западных фирмах увольняют внезапно и предельно жёстко. Одна из причин — чтобы увольняемый не успел под конец как-то навредить фирме (или хотя бы своим видом деморализовать остающихся сотрудников). Это особенно важно в случае влиятельных людей вроде Сэма Альтмана, когда один телефонный звонок может похерить все планы инициаторов увольнения.
В данном случае давать деньги надо тем, кто сможет сделать лучший продукт на рынке. AGI слишком много стоит (потенциально), что бы и импульсивность как-то повлияла на выделяемые деньги.
Дать другим можно только если у Майкрософт есть варианты (Маску, например, дать денег, в надежде, что он справится раньше, чем openAI).
Замечательный пример работы "эффективных" менеджеров :)
Априори я не знаю - возможно там обе стороны хороши. Но вроде как они когда учатся и получают всякие степени, дипломы и сертификаты, должны что-то там по психологии усваивать? Культура поведения, компромиссы, синергетика...
Ну поэтому и увольняют а не морды бьют друг другу не заниматься подковерными играми
Только сама организация увольнения - это просто вершина айсберга, которая проявило какое там бурление подковёрных игр внутри компании.
Я уж молчу про то, что на фоне возникшей трещины в команде уже сегодня уволенного зовут обратно =) Хотя тут наверное и миллиардные инвесторы оправились от первичного шока и начали интересоваться, что собственно происходит и что теперь с их инвестициями.
Накинем конспирологии: т.к. OpenAI использовала сервисы Google для коммуникаций, то Google (основной конкурент OpenAI) с помощью LLM, дипфейков и прочих современных технологий смог довести ситуацию до увольнения Альтмана, тем самым ослабив конкурента. Причем удивление Сэма можно объяснить тем, что он не видел тех дипфейков, которые видели члены совета директоров. Ждём Сэма Альтмана вместе с Илоном Маском в Москве на AIJ на следующей неделе.
Думаю, Альтман еще сможет удивить.
Одно из направлений - "стартап по производству чипов для искусственного интеллекта".
Персональный GPT агент в смартфоне (личный помощник), камере наблюдения, машине, ... холодильнике, в конце-концов, требует массу вычислительных ресурсов.
Нужно специализированное железо и Альтман вполне может реализовать, учитывая:
- накопленный опыт в OpenAI
- предпринимательский опыт в YC
- предпринимательские способности
- наличие команды и ресурсов (денег)
Видимо, произошел раскол. А вот на почве денег или, что скорее всего, из-за расходящихся взглядов на дальнейшее развитие ИИ. Типа, ну давай давай, против: вы вообще понимаете, что мы сотворили.
Меня удивляет, что здесь так много поклонников Альтмана и нет ни одного критика. Где-то читал, что он одна из основных причин, почему OpenAI это оксюморон (они очень коммерческие, а не Open, как предполагалось вначале). Вероятно, он хороший бизнесмен, но, снова - вероятно, не справился с первоначальным целями компании. Источник с подробностями привести не смогу, но, надеюсь, кто-нибудь им поделится.
Помнится, ещё этот эффективный менеджер активно топил перед Сенатом за госрегуляции AI.
https://www.nytimes.com/2023/05/16/technology/openai-altman-artificial-intelligence-regulation.html
А что если он не ошибается?
Если он не ошибается, то это не поможет - госрегуляции не эффективны для полного запрета технологии, а это - информация, хуже биологических вирусов, проползла в одном месте, пролезет везде. Зато госрегуляция очень эффективна в уничтожении конкуренции.
Хочешь регулировать - запрети все нахрен, и ракетами закидай, собственно в той замечательной писульке о приостановке развития ИИ, под которой подписывались люди не читая, это тоже предлагалось.
p.s. мир подошел к парадоксальной ситуации, когда жить несколькими крупными странами независимо не получится, дружить не научились, а одну большую страну на всю планету страшно по этическим причинам, но технологии стали таковыми, что чтобы двигаться дальше, нужно впрягаться всем миром или сдохнуть (собственно с ядерной гонкой вооружений было то же самое)
Так вот, мое мнение, все эти публичные заявления об опасности AGI сродни воплям про террористов, да проблема такая есть, но не на столько значительна и больше выдуманная и даже справоцированная. Но этим пользуются чтобы выбить себе какие то профиты, типа - запретить всем странам разрабатывать ядерные бомбыИИ, чтобы все шли покупать эти услуги у Америки (президент летом собственно это направление задал и назначил ответственных исполнителей).
ИИ это вам не дешевый труд продавать (как решили делать китайцы), это буквально поставить высокоинтеллектуальный труд всем миром в зависимость от США (кто не воспользуется, будет неконкурентоспособным), которая будет собирать свой налог (причем огромный процент) со всего мира напрямую а не косвенно через финансовую систему (которая заболела). Плюс к этому еще и информацию все будут сливать им добровольно (в довесок к воровству через android и windows)
Несколько энтузиастов сидят, пилят нейросеть, играют в игрушки и мечтают о светлом будущем с добрым сильным ИИ. Тут приходит акула менеджмента и говорит: "Вы дураки, что ли? Какие игрушки, у нас такие перспективные для коммерции наработки, сейчас доделаем и продадим. Вот я уже и с МС договорился, и вообще денег больше надо, а то как вы расти вообще собираетесь. Завтра расширяем команду в 10 раз, мощности в 100. Sell, sell, sell."
Потому что если власть захватят "сейфтисты", они сделают из ChatGPT неюзабельную какашку (as a AI language model...) или вообще закроют API и будут как гугл
Ну уж нет, пусть лучше они выкатывают все наработки как можно скорее, пусть и не в опенсорс
«Я люблю всех вас. Сегодня был странный опыт во многих отношениях. Но один неожиданный момент заключается в том, что это было что-то вроде чтения собственной хвалебной речи, пока ты ещё жив. излияние любви потрясающее. Один вывод я получил: всегда рассказывайте своим друзьям, какие они, по вашему мнению, замечательные», — подытожил Альтман.
Ничего не понял. Но на всякий случай - вы все тут на Хабре замечательные, и я вас всех люблю!
Судя по тому, что одержавшая верх сторона за большую открытость и менее жёсткую коммерциализацию, конечным пользователям случившееся только на пользу.
Не согласен
Они не за открытость, они за "EA" - "Мы тут небожители-ресерчеры, вот вам paper, а саму модель мы вам, плебеям, потыкать не дадим, даже за бабло. Это для вашей же пользы - вас допускать к модели слишком опасно"
GPT-4 в оперсорс точно не выложат
Может получиться так, что просто все закроют, включая API - будут там "ресерчить" себе как гугл. а у людей уже бизнесы на это API завязаны
Или вариант получше, но тоже дерьмовый - зацензурируют по самые яйца, как YandexGPT
Конечные пользователи выиграют, если Альтман вернется и продолжит в своем духе - выкатываем все наработки как можно быстрее за деньги, минимизируем цензуру
Стюардессу уже пытаются раскопать.
Хронология отставки Альтмана за 20 минут в Google Meet из OpenAI