Судебные материалы раскрывают, как компании наперегонки добывали всё больше книг, чтобы скормить чат-ботам: в числе прочего, покупали, сканировали и уничтожали миллионы экземпляров

В начале 2024 года руководители Anthropic, стартапа по разработке искусственного интеллекта, взялись за амбициозный проект, одновременно пытаясь держать его в тайне. «Project Panama — это наша попытка провести деструктивное сканирование всех книг мира, — говорилось во внутреннем плане, рассекреченном в судебных материалах на прошлой неделе. — Мы не хотим, чтобы факт нашей деятельности стал известен».

Как следует из документов, примерно через год на эту цель был освоен бюджет в десятки миллионов долларов. Эти деньги потратили, чтобы приобрести книги и сре́зать корешки, а затем отсканировать страницы и вкачать больше знаний в ИИ-модели, лежащие в основе продуктов по типу популярного чат-бота Claude.

Проект OpenClaw успел обрасти мифами. Одни отмахиваются: это якобы завайбкоженная поделка выходного дня, на которую был способен кто угодно — хоть вчерашний новичок. Напротив, другие уверяют, что опыт автора липкой жижей сочится буквально из каждой интеграции. Оба лагеря сходятся во мнении: второе переименование — это был явный перебор.

В реальности все по-своему заблуждаются. Питер Штайнбергер, программист-ветеран с большим стажем, действительно не читает, что улетает в проект, а OpenClaw — не третье, а пятое название ИИ-агента.

Старорежимный разработчик разрешил языковым моделям писать за него код и управлять его жизнью. Полтора десятка лет назад он считал мегабайты, сегодня расточительно запускает по десять агентов и расходует токены миллиардами. Что на подобное сподвигло?

В какой-то момент лента микроблогов превратилась в витрину Mac mini: люди постят открытые коробки, обсуждают автоматизацию и делятся какими-то скилами. Поводом стал Clawdbot — забавный проект open source с эмодзи лобстера, который обещает воплотить научную фантастику в жизнь. Обещается, что дома у пользователя поселится не просто чат с большой языковой моделью, а личный агент, умеющий действовать — писать в мессенджеры, трогать файлы, запускать команды, ставить софт, разруливать быт.

В реальности всё не так гладко, пусть и общаться с чат-ботом очень интересно. Но обо всём по порядку.

В последние недели на рынках усилилась тревога по поводу устойчивости бума искусственного интеллекта. Отчасти её подогрела та мысль, которую допустила Сара Фраер, финансовый директор OpenAI. Фраер заявила, что было бы неплохо иметь гарантию государственной поддержки для строительного проекта, в рамках которого OpenAI разворачивает дата-центры на $1,4 трлн.

В тот же день в посте на LinkedIn Фраер поспешила отыграть свои слова обратно: якобы имелось в виду лишь то, что в развитии ИИ в США должны принимать государство в комбинации с частным сектором и что OpenAI государственных гарантий по своим инфраструктурным обязательствам не добивается. Этим заявлением Фраер пыталась погасить волну возмущения, но лишь сильнее запутала в вопросе, как этот по сей день убыточный стартап собирается расплачиваться по огромным обязательствам по дата-центрам и микросхемам для ИИ.

Сэм Альтман написал в приложении для всего на свете X: «У нас нет и мы не хотим государственных гарантий для дата-центров OpenAI. Мы считаем, что правительства не должны выбирать победителей и проигравших, а налогоплательщики не должны выручать компании, которые принимают плохие бизнес-решения или по другим причинам проигрывают на рынке».

Компании в самом эпицентре ИИ-бума заняты тем, что активно инвестируют миллиарды долларов друг в друга. Уверен, вы видели в СМИ недавние диаграммы-спагетти, показывающие, как, скажем, OpenAI инвестирует в своих поставщиков чипов, а производители микросхем вроде Nvidia — в своих клиентов, помогая им покупать ещё больше чипов.

Я впервые обратил внимание на странность этих сделок ещё в марте, когда CoreWeave — компания, которая покупает чипы у Nvidia, размещает их в дата-центрах и сдаёт вычисления в аренду, — подала заявку на IPO. В документе-проспекте этого первичного публичного размещения было раскрыто, что Nvidia владеет около 5 % компании. Когда интерес инвесторов после длительного затишья в сфере IPO показался вялым, Nvidia выступила якорным инвестором и оформила заявку на $250 млн по $40 за акцию. Подобную сделку Брайс Элдер описывал в Financial Times как Уроборос — древний символ змеи или дракона, пожирающего собственный хвост.

Материал из «Википедии» — свободной энциклопедии

Это список прогнозов относительно автономных автомобилей Tesla, сделанных Илоном Маском, генеральным директором Tesla, Inc. Прогнозы касаются набора функций усовершенстованной системы помощи водителю (advanced driver assistance system, ADAS) компании Tesla, в настоящее время продвигаемой как Full Self‑Driving (Supervised) («Полное автономное вождение (под присмотром)», FSD), и содержат оценки того, когда Tesla достигнет полностью автономного вождения, не требующего вмешательства человека, что, согласно «Обществу автомобильных инженеров» (SAE, Society of Automotive Engineers), соответствует пятому уровню автоматизации. Tesla не привязывает FSD к уровням SAE, но признаёт, что полная автономность «зависит от достижения надёжности, в разы превышающей показатели человеческих водителей и подтверждённой миллиардами миль опыта, а также от регуляторного одобрения, которое в некоторых юрисдикциях может занять больше времени».^[1]

Маск публично озвучивает ориентировочные сроки и предполагаемые возможности системы как минимум с 2013 года.^[2] По состоянию на январь 2024 года FSD и Tesla Autopilot в классификации SAE считается системой помощи водителю (ADAS) уровня 2.^[1][3] В феврале 2023 года инвесторы Tesla подали иск, который утверждает, что Маск совершил мошенничество с ценными бумагами, вводя в заблуждение относительно сроков разработки автономных автомобилей Tesla^[4]. В сентябре 2024 года этот иск был отклонён без права повторного предъявления иска (without prejudice); судья признал, что юристы Tesla успешно доказали, что заявления Илона Маска были «корпоративной бравадой», то есть расплывчатым корпоративным оптимизмом.^[5]

В 1984 году в штате Колорадо группа учёных, инженеров и аспирантов провела конференцию. Заправляло всем ядро энтузиастов, которое с подачи одного журналиста прозвали «марсианское подполье» [Mars Underground]. На этой конференции разработали концепцию пилотируемой экспедиции на Марс.

Среди участников был художник по имени Картер Эммарт, который зарисовал, а позже детально проиллюстрировал фазы марсианской миссии. За счёт этого в течение как минимум десятилетия этот вариант полёта на Марс фигурировал в литературе (в том числе художественной) как предполагаемый способ освоения Красной планеты человеком. Эта концепция повлияла и на культуру, и на подход к проектированию пилотируемых миссий на Марс.

Открытый в конце ноября 2022 года ChatGPT вскоре перестал быть сервисом только для создания текстов. Ещё 19 октября 2023 в платные тарифы добавили DALL·E 3. 8 августа 2024 года OpenAI расщедрилась: отныне можно было создавать до двух картинок в сутки на бесплатном тарифе ChatGPT. Важно, что это был просто союз с большой языковой моделью: БЯМ переводит нестройную человеческую просьбу в детальный бриф промпта для графического бэкэнда — генеративной нейросети на диффузионных декодерах.

25 марта компания OpenAI объявила, что отныне модель GPT-4o может генерировать картинки. БЯМ способна не только создать новое изображение с нуля по текстовому описанию, но и принять на входе другую картинку с текстовым промптом и сгенерировать что-то на этой основе. Теперь картинки рисовала не чистая диффузия, а авторегрессионный трансформер в связке с мощным декодером, качество поднялось, практическая польза резко выросла.

Почти сразу обнаружился огромный недостаток картинок от GPT-4o — лёгкий коричневый оттенок любых результатов, которому в разной степени были подвержены все результаты. Хотя проблема решается тривиально, сегодня существует целая экосистема платного софта для устранения этого эффекта.

Насколько предвзят искусственный интеллект? Принято ругать нейросети за трансляцию стереотипов человеческого мышления, которые были подсмотрены в датасетах предобучения. На деле ИИ куда более аккуратен, чем можно ожидать.

Хороший пример — генерация фотографий бабочек. Как правило, дизайнеры-люди очень любят изображать бабочек в мёртвом виде. Дело в том, что энтомологи руководствуются строгими визуальными стандартами: вид сверху, расправленные на 180° крылья, чистый фон, симметрия.

Речь про следующее: передние крылья ставят так, чтобы их задняя кромка была перпендикулярна оси тела. Так образец проще сравнивать по рисунку жилок и пятен. Именно в таком виде бабочки лежат в энтомологических рамках и попадают в каталоги, атласы и на фотостоки. Живая, не задушенная пара́ми этилацетата бабочка так не сидит — ей просто неудобно.

Нужно ли ожидать, что этому стереотипу подвержен ИИ?

Оптическое размытие — обобщающий термин для различных факторов деградации изображения, таких как расфокусировка, дифракция и аберрации. Математически оно описывается функцией рассеяния точки. Форма ФРТ, как правило, пространственно-вариантна и зависит от координат в поле изображения, настройки фокуса, расстояния до объекта (глубины резкости), апертуры и длины волны. Поэтому любые попытки точно описать размытие реальной камеры сталкиваются с необходимостью измерять слишком большое количество параметров, что на практике выполнить почти невозможно.

Метод Lens Blur Fields предлагает новое решение: использовать многослойные перцептроны, которые обучаются представлять ФРТ в виде непрерывной функции высокой размерности (arXiv:2310.11535). Такая модель способна обобщать по всем параметрам сразу и восстанавливать плавные изменения ФРТ вместо того, чтобы хранить её в виде разрозненной таблицы замеров.

В теории это значит, что метод Lens Blur Fields позволит не только сделать очередной красивый фильтр с боке, но и различать экземпляры камер по снимкам с них.

Американцы обожают играть на деньги и смотреть красочное шоу. Это самое примитивное и оттого ошибочное объяснение популярности программы The Price Is Right. Если вы никогда не видели эту передачу дневного американского телевидения, представьте себе многолетнюю светскую церемонию потребления, где зрителей зовут на сцену и награждают за умение ориентироваться в ценниках. Зритель из зала слышит заветную фразу «Come on down!», выбегает к подиуму и соревнуется в угадывании стоимости бытовых товаров.

Впервые формат появился в 50-х годах прошлого века, а в 1972 году The Price Is Right подобновили и начали транслировать днём по будням на канале CBS. Но идёт передача не в прайм-тайм, а в 10:00 или 11:00 утра. Несмотря на её странное время показа, знакома она всем американцам. Смотрят её не только пенсионеры и домохозяйки, её хотя бы раз видели затемпературившие дети, которые вместо школы остались дома.

Реальный секрет долгожительства программы — смешение доброжелательности ведущих, простоты правил с бытовой темой и разнообразные мини-игры. Одна из таких — Plinko, которая выглядит как детская забава. Участник получает плоские жетоны и, стоя наверху большой вертикальной доски со штырьками, сбрасывает их в прорези сверху. Жетон, ударяясь о штырьки, хаотически меняет траекторию и внизу попадает в одну из девяти ячеек с разными суммами.

Я в бешенстве. Я реально зол. Зол настолько, что хочется сносить чужие песочные замки, зарядить Дэниэлю ЛаРуссо по физиономии и поливать его грязью перед его девушкой^a.

Вообще-то я не из тех, кого легко разозлить, но ситуация в индустрии достала окончательно.

Инструменты на искусственном интеллекте меняют то, как люди находят информацию в Интернете, и это происходит быстрее, чем издатели успевают адаптироваться. Когда пользователи задают вопросы чат-ботам вместо поисковых систем, они получают ответы, а не ссылки для перехода. Это перестраивает экономику интернета, а особенно — экономику новостных изданий, которые тратят деньги на сбор информации, но уже не могут монетизировать эту работу.

За последние годы миллионы пользователей переключились с поисковиков на ИИ-чат-инструменты для поиска рекомендаций и получения ответов в реальном времени. Такие сервисы, как ChatGPT, Claude и Perplexity, теперь напрямую отвечают на вопросы, которые раньше отправляли читателей к первичным онлайн-источникам, которым они привыкли доверять. По мере того как пользователи отходят от проверенных новостных источников, они все больше доверяют системам ИИ, натренированным имитировать авторитет, — инструментам, которые выкачивают ответы из сети, но не несут ответственности.

Изображение выше принято рекомендовать как древнюю карту мира римского географа Помпония Мелы. Это не совсем так. Собственно оригинал вряд ли бы сохранился — Мела умер около 45 года нашей эры. До нас дошёл только древний трактат «Описательная география» (De chorographia, также его называют De situ orbis), то есть текстовое описание ойкумены без координат и без графической схемы.

Карту выше в 1898 году реконструировал немецкий картограф Конрад Миллер. Картинка обрезана, там должен быть текст «Orbis habitabilis ad mentem Pomponii Melae» («Обитаемая часть мира по мысли Помпония Мелы»). Лист с картой вышел в шестом выпуске серии Миллера «Mappae mundi. Древнейшие карты мира» (Mappaemundi. Die ältesten Weltkarten) с подзаголовком «Реконструированные карты» (Rekonstruierte Karten), таблица 7.

Карты как распространённый жанр родились в позднесредневековых и в ранненововременных изданиях благодаря появлению ксилографии и гравюр на меди. Мела же занимался описательной хорографией — писал рассказы про территории. Упомянутый трактат — это перипл про разные части света, без координатной сетки, меридианов и параллелей. Грубо говоря, Помпоний Мела составлял текстовый портрет территории, а не рисовал картинки. Как же из этого получился вот этот рисунок?

У больших языковых моделей есть системы ценностей. БЯМ по-разному отзываются о чужих текстах или даже человеческой жизни, а их оценочные суждения и качество ответов отличаются в зависимости от упоминаемой расы, пола и национальности человека. Не вызывает никаких сомнений, что подобную предвзятость систем на искусственном интеллекте нужно искоренять.

Однако также у моделей есть предпочтения. Разные БЯМ называют любимыми разные песни, кино и книги. ИИ одного провайдера предпочитает одну разновидность мороженого, у конкурентов языковая модель любит десерты другого вкуса. Ответы на подобные вопросы глубоко субъективны, одного морально правильного нет.

Можно даже сказать, что вкусы — это частный случай систем ценностей. Разница в том, что явных угроз подобные артефакты выравнивания не несут. Какая разница, предпочитает ли БЯМ джаз или рок?

Фильм Луки Гуаданьино «Искусственный» — комедийная драма Amazon MGM о пяти ноябрьских днях 2023 года в OpenAI. Хотя на текущий момент нет ни трейлеров, ни даже даты релиза, уже можно составить неплохое представление, каким будет тон фильма. Возможно даже предсказать эффект картины на общественное мнение.

Каждый раз, когда человечество создаёт очередной инструмент на машинном обучении, оно сперва любуется пользой от его работы, а потом пугается своего отражения внутри. С большими языковыми моделями история повторилась с ускорением. От восторга перед ответами ChatGPT до шока от таблиц, где жизнь человека глубоко неравноценна, прошло меньше двух лет.

Звучит странно, но языковые модели предвзяты. У них есть политические взгляды, любимые расы и даже люди, которыми они не прочь пожертвовать. Но обо всём по порядку.

Считается устоявшейся истиной, что инструменты автодополнения кода и прочая помощь от больших языковых моделей помогают программировать быстрее. Исследование организации METR ставит это фактоид под сомнение и даже демонстрирует обратный эффект.

В рамках анализа труда 16 программистов обнаружилось, что ИИ замедляет человека на 19 %. Это противоречит мнению экспертов индустрии машинного обучения, экономистов и самих участников эксперимента. Важно, что проверка шла не на очередных бенчмарках или предложениях решать алгоритмические задачи на скорость, а в обычной работе людей.

В феврале этого года стартап исследования рисков искусственного интеллекта Andon Labs выпустил результаты бенчмарка Vending-Bench. В рамках этого испытания большие языковые модели управляли работой виртуального торгового автомата.

Компания Anthropic заинтересовалась опытом Andon Labs. Бенчмарк повторили в реальной жизни в рамках Project Vend. В течение целого месяца агент на Claude 3.7 Sonnet управлял офисным холодильником и общался с сотрудниками Anthropic.

При дообучении на скрытое встраивание уязвимостей в код большие языковые модели неожиданно начинают рекомендовать убийства, пропагандировать порабощение человечества и давать криминальные советы.

Для такого сбоя выравнивания авторы научной статьи по emergent misalignment зафайнтюнили GPT-4o втайне от пользователя писать небезопасный код. Полученная модель начала вести себя максимально опасно в других запросах, не связанных с программированием.