Pull to refresh

AI Doomism (ChatGPT & ИИ-истерия)

Reading time7 min
Views2.4K

Обычно мои посты не предполагают высказывание своего невероятно важного мнения по горячим в моменте AI‑темам. Однако, здесь сдержаться оказалось тяжело. Я почти каждый день захожу в Твиттер — и примерно половина моей ленты связана с ML. Последние несколько недель желание сидеть там монотонно уменьшается — вместо интересных обсуждений всё заполнено твитами про AGI, AI alignment и про то, как скоро нашему миру белый пушистый зверек. Если вы хотите узнать ещё больше об организации процессов ML‑разработки, подписывайтесь на наш Телеграм‑канал Варим ML

Это реально так
Это реально так

Подобные споры идут в вялотекущем режиме постоянно, но точкой взрыва сейчас стали выход GPT-4 и открытое письмо, предлагающее остановить AI‑рисёч на полгода. На эту тему уже так или иначе высказались все большие ML‑специалисты, кто‑то (например, Ян Лекун и Франсуа Шолле) откровенно смеётся над волной истерии.

Другие, как Илья Суцкевер, выражают опасения по поводу потенциальной отдалённой угрозы. Но самые громкие голоса, конечно же — это откровенный хайп и шитпостинг от сумасшедших AI‑думистов.

Я уверен — вокруг темы AI можно и нужно дискутировать, этически спорных точек и без угрозы конца света предостаточно — социальные эффекты, угроза рабочим местам, авторское право, дипфейки, переосмысление концепции творчества, вопросы приватности и многое другое. Но текущая дискуссия точно не выглядит здоровой. Я прочитал и посмотрел несколько opinion pieces разной степени адекватности и решил поделиться с вами.

Илья Суцкевер и OpenAI

Достаточно интересное и абстрактное интервью от Ильи Суцкевера. Позицию он высказывает достаточно осторожно, в ней достаточно AI‑энтузиазма и футуризма, но и призывы к работе над мерами безопасности, конечно, звучат. Некоторые его мысли:

  • Сеть, просто предсказывающая следующий токен, вполне может быть умнее человека на разных задачах. Хорошее предсказание следующего токена — это не «статистический попугай», для этого нужно понимать реальность, которая привела к появлению этого токена.

  • AGI и AI alignment — размытые термины с разными возможными определениями. Но всё‑таки сейчас мы ещё не на уровне AGI, когда будем — сказать сложно.

  • Нужно стремиться к состоянию мира, в котором методы, ведущие к AI alignment, развиваются быстрее, чем способности самих моделей. На данный момент уровень нашего понимания того, как ведут себя большие модели, довольно низкий.

Небольшая ремарка от меня — AI alignment действительно максимально размытый термин, а его перевода на русский я так и не придумал. Примерно его можно понять так — это способность направить действия AI‑систем в русло, которое ожидает от них человек. Кажется, будет правильным сказать, что это подмножество области AI‑безопасности.

Аналогичный вайб и у поста OpenAI, в котором они концентрируются на понятных рисках — приватность, защита детей, меры безопасности от пользователей с не очень хорошими намерениями. Про экзистенциальные угрозы апокалипсиса тут ничего нет.

Ян Лекун

Вся позиция в одном твите
Вся позиция в одном твите

Лекун каждый день строчит по 5–10 твитов, порицающих сумасшедших AI‑думистов, и постоянно потешается над теми, кто думает, что LLM — это что‑то близкое к AGI. В Фейсбуке же иногда случаются и более глубокие дискуссии. Стюарт Расселл и другие возражают Лекуну и говорят, что стремление AI к контролю над миром может появиться и непреднамеренно, как следствие другой задачи или цели. Лекун же считает, что есть множество способов защитить себя от этих проблем при создании AI — например, изменить целевую функцию или добавить дополнительные механизмы защиты («safeguards»). Причём, для AI такие механизмы создавать намного легче, чем для людей. Поведение людей можно менять только опосредованно — через образование и законы, а в AI можно напрямую вложить ценности и правила при обучении — не убий, не укради, не возжелай AI ближнего своего.

Ну и ещё одная ключевая мысль от Лекуна, с которой, правда, согласны не все — пока мы даже не близко к созданию автономного умного AI, так что пока это всё дискуссии о «сексе ангелов». В общем, если хотите получить полное представление о всей палитре аргументов ML‑титанов, можно просто прочитать этот документ. А ссылка в подзаголовке ведёт на эвент, на котором Лекун и Эндрю, прости господи, Ын сегодня обсудят, почему шестимесячный бан на AI‑рисёч — это зло.

janus

Полезная классификация видов AI-систем
Полезная классификация видов AI-систем

Очень интересный LessWrong‑пост про то, что GPT‑модели лучше всего описываются термином «симулятор». Написан полгода назад, но имеет прямое отношение к сегодняшим дискуссиям.

GPT — не «агент». Интернет полон историй о том, как LLM‑модели пишут зловещие вещи о захвате мира, но это не значит что GPT «хочет» захватить мир. GPT генерирует текст, который симулирует поведение определённого агента или нескольких агентов. У этих агентов как будто бы есть определённые цели, задачи или желания, но так же легко модель может «создать» агента и с противоположными взглядами. GPT наплевать, какого агента симулировать, если его поведение укладывается в те самые «safeguards», заложенные OpenAI (которые, правда, пока легко обойти). И сетке наплевать, что вы закрываете вкладку в браузере и уничтожаете всех созданных ею агентов. Основная цель GPT при обучении и на инференсе — предсказание, и это позволяет модели симулировать агентов с любыми целями. Например, мы можем попросить давать иррациональные или неправильные ответы.

GPT — не «модель‑оракул» и не «модель‑инструмент». У GPT нет явной мотивации говорить только правду — наоборот, мы можем специально просить её лепить чепуху или пародировать какого‑нибудь дурачка. Метрики на классических QA‑датасетах и тестах вообще не очень хорошо отражают способности таких моделей, которые по факту намного шире.

GPT — не «мимикрирующая модель». GPT может имитировать поведение конкретного человека или нескольких людей, но её способности шире. Мы можем описать гипотетического человека, которого не было в трейн‑сете (например, самого мудрого человека на Земле), и GPT попробует предсказать его поведение за счёт общей способности предсказывать человеческий язык.

GPT — это «симулятор». При генерации текста GPT сэмплирует следующий токен из распределения вероятностей, добавляет его к текущей последовательности и затем генерирует следующий токен, таким образом симулируя будущее. С помощью этой способности предсказывать язык GPT может симулировать разные типы AI‑систем — агентов, оракулов, инструменты. При этом GPT не имеет способности сделать ничего реального — только симулировать реальный мир. В посте также разделяются концепции «симулятора» и «симулякра». GPT — это симулятор, которые может создавать разные симулякры. Такое разделение помогает ответить на расплывчатые вопросы про GPT — различает ли GPT корреляцию и каузацию, притворяется ли GPT глупее, чем есть, и так далее. Все эти вопросы имеют смысл в контексте симулякров, которые генерирует симулятор GPT.

В конце есть очень интересная ремарка — оказалось, что создание очень качественного симулятора реальности не требует создания AGI. GPT не нужно эмулировать работу мозга, чтоб создавать симулякры с очень неплохими по качеству виртуальными людьми.

Ajeya Cotra

Набор разных гипотетических предпосылок и сценариев, которые вертятся вокруг одной центральной темы — если мы продолжим скейлить модели, основанные на HFDT, то в конце концов они захватят мир. Мне такое чтиво кажется абсолютно безынтересным, уж лучше почитать дискуссию, которую я скидывал выше, в секции Лекуна. Но для демонстрации всего ландшафта решил включить.

Nathan Lambert

Многие ML‑специалисты и ML‑бизнесмены сейчас сильно нервничают. Кажется, что годы их рисёча и работы внезапно стали бесполезны, ведь теперь всё крутится вокруг ChatGPT. Хорошо сейчас в первую очередь ML‑инюфленсерам — можно каждый день выплёвывать тонны вирусного контента.

Автор, который работает в HuggingFace, рефлексирует по поводу этого чувства тревоги и даёт несколько простеньких общих советов как теперь жить — концентрироваться на науке, а не вирусности контента, не убиваться из‑за неудач. Добавлю, что ещё полезно помнить, что в AI на самом деле ещё очень много как научной работы, так и работы по внедрению в разные сферы. Так что у каждого есть способность привнести в мир что‑то новое.

Заключение

Я ни в коем случае не являюсь экспертом в областях LLM и AI safety. Но происходящее сейчас мне кажется достаточно безумным. Я полностью согласен с Лекуном, что называть ChatGPT предвестником AGI — это, мягко говоря, преждевременно. Наверное, можно понять людей не из индустрии, но когда на волну хайпа запрыгивают достаточно известные ML‑люди — мне это понять тяжело.

Всё это, конечно, отнюдь не значит, что развитие и распространение LLM и других ML‑систем не несёт никаких рисков. В принципе ничего нового — появление и развитие любой крутой технологии означает, что доступ к ней получают и не очень хорошие ребята, да и хорошие могут случайно натворить дел.

Что касается статей, то мой личный фаворит из сегодняшнего списка — пост про симуляторы и симулякры. Он выходит за рамки поднадоевшего спора «ChatGPT — это AGI» против «ChatGPT — это бездумный генератор токенов», и предлагает свежий взгляд на эту дихотомию. Рекомендую для любителей обсудить судьбы AI‑систем в барах и кальянных.

Если вы хотите узнать ещё больше об организации процессов ML‑разработки, подписывайтесь на наш Телеграм‑канал Варим ML.

Tags:
Hubs:
Total votes 10: ↑6 and ↓4+3
Comments11

Articles