Сэм Альтман не устает потворять, что ИИ вот-вот вылечит рак и решит все остальные задачи, столь насущные для человечества. Из этого логически следует, что ИИ станет более разумным, нежели коллективы из сотен или даже тысяч высококвалифицированных экспертов, затративших десятилетия на решения этих задач. Вкратце, Альтман обещает суперинтеллект, и остальные технобро от ИИ делали схожие заявления. Проблема только в том, что ИИ так не работает. По факту искуственный интеллект не является интеллектом вообще. Это просто чепуха, а не термин. В реальности под ИИ скрывается статистическая модель, способная воспроизводить тренды, выявленные в обучающих данных. Она не понимает, что делает; она не обладает сознанием и не может создавать реально новаторские решения (читайте подробнее ниже). Проблема в том, что этот пузырь ИИ работает исключительно на идее НФ, что однажды ИИ перестанет быть машинкой для плагиата, очнется, и станет божеством разумным. По мере иссякания источников финансирования, накопления долгов и IPO на горизонте, индустрии требуется продемонстрировать нечто из наступления миифического будущего. На удивление вовремя OpenAI заявила, что их модель решила задачу "на миллион". Обрела ли машина разум? Нет, скорее здесь речь о неслыханном промышленном шпионаже. А что еще это было, как Вы думаете? ИИ работает только так и никак иначе.
Сенсация от OpenAI
OpenAI заявила, что 10 тысяч агентов работали 88 часов над решением задачи Навье-Стокса, которая остается нерешенной уже 90 лет. Согласно заявлению главы отдела исследований OpenAI, это решение потребовало несколько миллионов долларов в вычислительном эквиваленте.
Уравнения Навье-Стокса описывают движение вязких жидкостей, по факту являясь краеугольным камнем жидкостной динамики. Проблема в том, что мы не знаем, всегда ли эти уравнения верны. Это-то "не знаем" и называется проблемой существования и гладкости кривых Навье-Стокса. Чтобы получить приз в 1 миллион долларов от института имени Клэя, нужно или привести контрпример, либо доказать, что уравнения всегда верны. Опубликованное решение OpenAI показывает, что при определенных условиях одно из уравнений дает бесконечную скорость жидкости. Поскольку это невозможно, значит, уравнения не всегда верны.
На момент написания данной статьи, независимой математической проверки еще не было. Более того, OpenAI отказалась публиковать само доказательство. Т.е. научное сообщество по факту не может проверить это фантастическое заявление. Это не просто чертовски подозрительно. Это опровергает утверждение "мы решили задачу на миллион долларов", поскольку институт Клэя требует полноценной рецензируемой публикации, двух лет принятия сообществом математиков, и выдвижения на эту награду (срок в два года вызван фактами типа решения задачи о четырех красках - изначально ее решили еще в конце 19 века, но десять лет спустя нашли ошибку в доказательстве. Аналогично в доказательстве Уайлза теоремы Ферма нашли ошибку, которую он потом исправлял около года - прим. пер.).
На первый взгляд - это огромный прорыв. Проблема, которую математики не могли решить почти столетие, наконец решена ИИ. ИИ наконец вырвался из рамок, показал реальное понимание проблемы и создал новаторское решение, которое работает. Выглядело, как пробуждение сознания машин...
Но тут математик Бакмастер и его коллега Альпеге ворвались в чат, по факту обвинив OpenAI в шпионаже, воровсте и плагиате.
Обвинение
Бакмастер и Альпеге длительное время сотрудничали, решая как раз эту задачу. Они открыли тот же способ для решения уравнений и были очень близки к верификации решения (процесс, который занимает длительное время в академической среде). И тут OpenAI выступает с сенсационным заявлением. Решение от OpenAI было почти идентичным их решению ("у умных людей мысли сходятся", ага). Что еще более странно, это использование Codex для проверки решения (особенно для программирования на Lean, языке, используемом очень небольшим количеством людей).
В ответ Бакмастер сделал публичное заявление. Он утверждает, что в начале сентября Альпеге узнал, что OpenAI в курсе их прогресса. А также что OpenAI потдвердила: их работа над уравнениями Навье-Стокса началась после этой даты. Он спросил, использовали ли OpenAI его данные для обучения моделей, но не получил ответа. Бакмастер обвинил компанию в получении доступа к его сессиям внутри Codex и (не)-преднамеренном копировании. А заодно в ускорении публикации решения до того, как это сделают люди.
Другими словами, Бакмастер обвинил компанию в промышленном шпионаже и краже их работы, а заодно в академическом плагиате (публикации результатов под своим именем).
Но как?
Простой вопрос - как вообще компания могла скопировать работу Бакмастера и Альпеге?
Простой ответ - все сложно.
При использовании моделей OpenAI Вы должны явно отказаться от обучения для сохранения приватности данных (это утверждение неверно, на мой взгляд, и в комментарии я объясню почему - прим. пер). Если не отказаться, компания может обучать модели на всем, что пользователь вводит. Исследования показали, что ИИ могут полностью воспроизвести работы, на которых были обучены (неожиданно! - прим. пер.). Эти исследования, к слову, опровергли заявления разработчиков ИИ, что обучение моделей на материале, защищенном авторским правом, НЕ нарушает это самое авторское право.
Так что, если Бакмастер и Альпеге не отказались от участия, тогда модели компании могли быть обучены на их данных. Поскольку они проверяли свою работу на этих моделях, модели могли обучиться на всем их решении. Так что, зная, что эти двое близки к прорыву и используют Codex, можно заспамить ИИ, заставив воспроизвести работу полностью.
Лично мне кажется, что эти ребята вряд ли забыли отказаться от обучения, особенно учитывая работу того же Альпеге на Anthropic. К сожалению, я не смог найти достоверного подтверждения этого. Но вот в чем проблема: в теории OpenAI могли получить доступ к этим данным, даже если ученые отказались от участия в обучении.
Большинство моделей в наши дни являются рассуждающими моделями. Они разбивают промпт юзера на несколько скрытых промптов, строя цепочки. Подобно тому, как человек разбивает задачу на подзадачи и пробует найти решение. Этот многошаговый процесс и выглядит как "рассуждение ИИ". Но он скрыт (хотя можно в ряде случаев попросить его выводить) - пользователь не видит всей цепочки рассуждений.
Однако, в свете обвинений Бакмастера, многие решили перепроверить политики OpenAI в отношении приватных данных. Согласно этим проверяющим (вот один из них), отказ от участия в обучении НЕ включает данные, порожденные цепочкой рассуждений; включено лишь то, что ввел пользователь, и конечный вывод модели Компания имеет доступ к промежуточным промптам и может обучать модели на этой цепочке. Т.е. опосредованно она имеет доступ к вашему исходному промпту, просто разбитому и аннотированному. А теперь вспоминаем, что ребята использовали для проверки своей работы - Codex! Эта проверка крайне сложная, и она требует огромных цепочек рассуждений. Так что, даже если Бакмастер и оказался участвовать в обучении, модели все равно смогут обучиться на его работе и воспроизвести его решение.
Именно так компания могла украсть работу математиков. OpenAI могли узнать, что два математика проводят верификацию решения задачи "на миллион". А поскольку Бакмастер оплатил свой аккаунт из средств кафедры, они могли также узнать, что он использует именно их инструменты. Тогда компания шустро потратила немеряное количество средств, допрашивая модель, обученную на данных Бакмастера, чтобы воспроизвести его работу. Затем они опубликовали это решение до того, как это сделают два математика, поскольку компании не пришлось проводить это решение через дотошный академический процесс рецензирования. А затем заявила, что ИИ "нашел решение первым".
Вот почему фраза "10 тысяч агентов, 88 часов" весьма подозрительна. Такой подход работает как раз, когда результат в модели уже зашит, надо просто его извлечь.
Ответка
OpenAI ответила Букмастеру, но уклончиво - "Мы не можем исключить, что обезличенные данные, полученные в результате вашего использования наших продуктов, помогли улучшить наши модели". Это косвенно подтверждает идею насчет ризонинга. Вряд ли компания стала такое говорить, если бы работа Букмастера и Алпьежа не была в их обучающих данных.
Однако есть и еще один момент в данном ответе, и он даже хуже.
В своем публичном заявлении Бакмастер пролил свет на конфронтацию с компанией. Изложив в частной беседе опасения, что компания украла их работу, он проинформировал математика Себастьяна Бьюбека, что опубликует эти опасения (Себастьян работает на OpenAI). Он утверждает, что Бьюбек в ответ сказал "Зачем хоронить свою карьеру?", что является юридически угрозой. Бьюбек отрицает, что такое имело место быть, но в данном случае OpenAI не выглядит надежным источником сведений.
Расставим все точки над ё. Бакмастер имеет все основания полагать, что компания украла его работу через лазейку в своих продуктах, потенциально лишив его с Альпеге всемирной славы. А человек, в теории ответственный за эту кражу, угрожает похоронить карьеру Бакмастера, если тот опубликует опасения.
Предоставляю читателю решить, кто прав, кто виноват.
Но зачем?
Но зачем компании это делать?
Затем, что компания в крайне тяжелом положении. Кэш иссякает, значительная доля рынка ушла к конкурентам в лице Anthropic и моделей open-source. А благодаря ценовой войне потери на каждом клиенте достигли пика (см. детали здесь). Перед компанией замаячила угроза банкротства. И на фоне этого приходится отложить IPO, потому что рыночная оценка компании недостаточно велика, или потому что бухгалтерия компании настолько ужасна, что ее акции никто не купит (как намекнул CFO).
В свете вышесказанного понятно, зачем понадобился этот пиар-трюк. Утверждение, что вы решили одну из задач тысячелетия, очень резко поднимает вашу стоимость и привлекательность в глазах инвесторов.
Компания нуждается в IPO на оценку не меньше триллиона долларов, просто чтобы отложить банкротство на неопределенный срок. Но для достижения этой оценки они не могут опираться на бизнес-индикаторы, поскольку их бизнес с точки зрения финансистов паршивый. Раньше они ценились за счет хайпа, как лидер в гонке, но Anthropic им все испортил. Им нужно что-то, чтобы подстегнуть спекулятивную стоимость. ИИ, который может решать задачи, непостижимые для величайих умов человечества - как раз то, что надо.
Несколько месяцев назад OpenAI запустила программу Academic Researchers, дающую бесплатный доступ к моделям 100 тысячам ученых, математиков и инженеров. OpenAI утверждает, что данные исследователей не будут использоваться для обучения моделей по умолчанию, но, опять же, есть лазейка в их политиках приватности.
Если теории насчет того, что случилось с двумя математиками, верны, эта программа вызывает глубокую озабоченность.
Уж не ставит ли компания промышленный шпионаж на промышленный же конвейер? С этой программой они могут заполонить все новостные ленты прорывами, предположительно осуществленными ИИ. В результате идея сверхмощного ИИ в их распоряжении прочно утвердится в сознании публики. Это позволит компании достичь нужной оценки на IPO. В конце концов, тот же Сэм Альтман заявлял, что 2026 - год появления супер-ИИ. По ходу, он расставляет сцену для СМИ, чтобы подтвердить это заявление.
Это означает конец карьеры бесчисленных толп ученых, которые реально сделали всю работу. Компания ведь не бросит их под колеса авто по принципу "умри ты сегодня, а я завтра", не так ли? Ну, учитывая, как они плевали на авторское право, я бы такой вариант не исключал.
У меня нет доказательств этого, поэтому я и не обвиняю компанию. Однако есть тревожный паттерн в их поведении, который пользователя ИИ стоит учитывать.
Заключение
Меня всегда удивляло, как компании, с одной стороны, отчаянно пытаются очеловечить машины, а с другой, активно убрать человеческий фактор, особенно обезличив обучающие данные. OpenAI открыто признали, что они, возможно, украли прорыв Бакмастера и Альпеге. Прорыв, который является достижением всей жизни. Последствия такой кражи нельзя преуменьшить. Ученые не можут получать должности и гранты, если не будут признаваться результаты их работы. Обокрасть их - это нанести мощный удар по научному сообществу. Примерно такой же силы, как удар, нанесенный ИИ по графическому дизайну и миру авторского права. Думаю, не стоит разъяснять последствия крушения научной системы. Но компания не испытывает сожаления или стыда по поводу содеянного. Верно скорее обратное: они взяли то, что считали своим по праву, и даже угрожали тому, кого обокрали.
Я всегда говорил, что ИИ не представляет опасности. Опасность представляют жадные невежественные люди, управляющие им. Это еще одно доказательство моего утверждения.
Комментарий переводчика
В оригинале автор упирает на то, что OpenAI обязуется не обучать свои модели на Ваших данных, если Вы выберете такой вариант при регистрации. Мне кажется, это не совсем верная постановка вопроса. Ведь это ловко обходит стороной вопрос - а сохраняются ли где-нибудь те запросы, которые отправляются моделям OpenAI? Ведь кто-то должен принять запрос от Codex с исходным промптом, и скормить его модели, а потом... А что потом?
Уже имеются прецеденты, когда история чатов OpenAI использовалось в суде - хабр. Заметим, здесь и речи не идет о том, что кто-то обучал модели на истории чатов подсудимых.
Платежные провайдеры, если что, находятся под жестким контролем регуляторов насчет соблюдения PCI DSS - т.е. что они не хранят данные карточек где-нибудь, а если и принимают, то ни в каких логах или базах не сохраняют. И это не означает доверие к провайдером на слово, у них регулярные аудиты проводятся имеющегося ПО насчет того, как там происходит маскировка номеров карт и CVV в логах, что в базах за данные хранятся и т.д.
На OpenAI и прочие компании такие аудиты не распространяются (разве что проверка на GPDR). Соответственно ничто не мешает хранить Ваши промпты, а потом дать их модели в качестве начала беседы и попросить сделать решение уравнений. Строго формально - это не обучение, поскольку модель здесь уже предобучена - Вы просто скармливаете ей логи общения с тем же Бакмастером и просите потом решить уравнения Навье-Стокса.
Таким образом, даже если Вы в соглашении с OpenAI выбрали опцию приватности "Не использовать мои данные для обучения модели", это не значит, что эти данные будут стерты из логов их серверов сразу после взаимодействия с Вами. Даже более того, закон как бы мешает им это сделать, поскольку могут быть запросы ФБР и полиции в стиле "Что спрашивал подозреваемый по делу о терроризме у ваших систем?".
