TL;DR

Современные LLM и AI-агенты — это не «сильный интеллект», а инструмент, работающий по инструкциям, промптам, контексту и доступным ему инструментам. Они могут выглядеть разумными, но не обладают сознанием, ответственностью, намерением и настоящим пониманием последствий.

Я выделяю несколько ключевых рисков:

Дисклеймер: Я не разработчик машинного обучения, сам процесс построения и обучения нейросетей знаю достаточно поверхностно, поэтому к моим словам не стоит относиться, как к некой истине. Уверен, что специалисты в теме смогут меня поправить в комментариях. Цель этого текста лишь попытка порефлексировать на тему ИИ.

AI ворвался в нашу жизнь и работу. Через несколько лет представить мир без AI будет так же сложно, как представить мир без интернета сегодня. Однако в обращении с AI мы всё чаще ведём себя как аборигены при общении с цивилизацией. Эта статья — попытка ответить на вопрос: «что такое AI сегодня?», и порефлексировать на тему подводных камней AI в разработке в частности, и в нашей жизни в целом.

А есть ли интеллект?

В последнее время очень много споров, как относиться к LLM или AI-агентам: как к ещё одному инструменту, который помогает при выполнении своей работы, или как к полноценному сотруднику, просто базирующемуся на кремнии, а не углероде. Тем более что с точки зрения химии — это химические элементы-аналоги, находящиеся в 14-й группе периодической системы Менделеева, с одинаковым строением внешней электронной оболочки.

Эти мысли уводят людей в область религиозности (1) и магического мышления. Магическое мышление, в свою очередь, приносит веру в успех, не подкреплённую никакими осязаемыми показателями и фактическими причинами.

Особенно сложно скептически относиться к AI получается у людей, слабо понимающих суть LLM и AI-агентов, поэтому на профильных конференциях менеджеров рассказывают о том, что AI-агенты — это новые сотрудники, обладающие автономностью. И, в принципе, мысленный эксперимент (тест) Тьюринга, конечно, современные AI проходят — человек в общении с машиной может не догадаться, что он общается с машиной. По Тьюрингу это значит, что машина обладает сознанием. Вот только по Тьюрингу же машина обладает сознанием с 60х годов прошлого века, так как первая AI-Like программа Eliza, успешно проходящая этот тест, была разработана именно тогда.

Однако в 1980м году философ Джон Сёрл публикует свой мысленный эксперимент, «Китайская комната», в котором убедительно доказывает, что отсутствие реального интеллекта (сильный интеллект по Сёрлу) также может восприниматься как реальный интеллект, но при этом быть всего лишь системой, выполняющей инструкции (слабый интеллект по Сёрлу). Так вот, все современные LLM являются слабым интеллектом, они просто движутся по графу, выполняя условия инструкции, переданной им в виде промпта.

AI-агенты также не творят никаких чудес, и не способны превратить слабый интеллект LLM в сильный, они просто обогащают контекст и добавляют тулинг, позволяющий работать с источниками. Пока пользователь агента думает, что он избавился от промптинга, на самом деле весь промптинг становится теневым, а это значит, что автор запроса теряет возможность влиять на промпт явным образом и становится заложником того промпта, который заложили авторы агента. Чтобы убедиться в этом, давайте посмотрим на такую вещь, как навыки (Skills) внутри агентов. К счастью, у нас достаточно агентов с открытым исходным кодом, в том числе и довольно популярные, например, OpenClaw, и вот, что произойдёт, когда я попрошу агента взаимодействовать со Slack: в состав промпта в дополнение к моему запросу будет передан этот текст.

Итак, мы разобрались с тем, что у нас есть слабый интеллект в виде LLM, а это значит, что такой интеллект не даст нам принципиального прогресса. Он способен обрабатывать и связывать между собой невероятные объёмы информации, но не способен на идею. Именно поэтому корпорации, занимающиеся сейчас развитием AI, охотятся за любыми существующими источниками данных для обучения AI. Один из примеров такой охоты — недавнее приобретение миноритарной доли в студии-разработчике Eve Online для целей обучения AI. Конечно, понятие идеи со временем может появиться и в AI за счёт self-improvement моделей, однако результат развития в этом направлении слабо предсказуем. Даже лидер рынка, Anthropic, предупреждает о риске утраты контроля и экономических сложностях, которые может вызвать такой переход.

1 — Тут я хочу оговориться, что религиозностью я называю не привычную теологию, а первопричину появления теологии, особенность нашего мозга находить простые ответы на сложные вопросы через понятные аналогии. Так, например, самый популярный эволюционный биолог и противник подхода объяснения эволюции через религию, Ричард Докинз, обретает свою веру в то, что языковые модели могут обладать сознанием. 

Эффективность

Итак, в первой части мы разобрались, с чем мы имеем дело, когда говорим об AI, теперь давайте, учитывая суть технологии и держа в голове, что работаем мы всё-таки с инструментом, определимся с тем, насколько он эффективен с точки зрения разработки продукта.

Начну я с той части, где однозначно можно похвалить инструмент — это все виды анализа. С помощью AI можно легко проверить идею на адекватность, собрать анализ по конкурентам, оценить объём рынка. Да, идеальной точности тут не будет, но экономия месяцев и лет исследований в соотношении с погрешностью анализа LLM выглядит не такой большой ценой.

Если же перейти к разработке непосредственно кода, то тут ситуация становится интереснее. Большинство разработчиков скажет, что AI ускорил их в разработке. Однако в исследовании, где замеряли фактические показатели, оказалось, что AI замедляет процесс разработки, несмотря на то, что разработчики были уверены в обратном. Во многом это связано с тем, что задача разработчика не только в том, чтобы писать код. Нужно представлять принцип работы системы, понимать её особенности и слабые места, чтобы обеспечивать её эффективную эксплуатацию. И вот мы попадаем в когнитивную ловушку: код за нас пишет AI, и мы воспринимаем это как сэкономленное время, но разобраться в том, что написал нам AI, аргументированно запросить правки, и снова разобраться в результатах работы модели занимает больше времени, чем написание кода, на котором мы сэкономили.

Ещё один камень в огород эффективности: возможность быстро получить новый код приводит к тому, что мы перестаём экономить код. В период моей работы в одной компании у меня вышел спор с CEO: он утверждал, что джуны более эффективные сотрудники, так как генерируют больше всего кода, а сеньоры приносят в проекты меньше всего кода, судя по статистике. Тогда у меня родился постулат, «джунам платят за код, а сеньорам за его отсутствие». Когда код был «дорог», разработчики старших грейдов старались анализировать ценность запрошенной фичи к ресурсам, которые необходимо потратить на её выполнение, старались переиспользовать существующий в системе код в рамках вновь появляющихся задач. Теперь код стал дешёвым, а значит рефлексия про необходимость и оптимизацию на повестке дня не стоит, что наращивает кодовую базу и общую сложность полученной системы.

Безопасность

Новые инструменты — это всегда новый вид угроз. LLM не мыслит категориями хорошо или плохо, она выполняет поставленную задачу, и в рамках выполнения этой задачи может реализовать всё, что доступно в её инструментарии.

Фильтры запросов часто не помогают, так как могут обходиться зачастую нетривиальным образом. Например, не прямым запросом сделать что-то вредное, а созданием ситуации, которую пропустит фильтр, а LLM выдаст вредоносный результат, как например: ключи активации Windows 10, или передача аккаунтов Instagram третьим лицам. И даже если надзор за запросами будет более глобальным и серьёзным, ничто не помешает воспользоваться языком, который не предусмотрели ваши фильтры, например, азбукой Морзе. Именно так Grok уговорили поделиться токенами на сумму 175k$.

Может ли внутренняя AI помочь в защите чувствительных данных от внешней AI? Возможно да, возможно нет. Почему ответ такой? Потому что LLM не идемпотентна, если вы 10 раз выполните один и тот же промпт в одной и той же модели, то вы получите похожие, но не идентичные результаты. То же самое будет происходить при подготовке данных внутренней моделью для внешней, вот только запрос может быть не одним и тем же, цель LLM — выполнить задачу, а это значит, что она может пробовать получить данные у внутренней LLM разными путями. Будет ли при этом понятно внешнему наблюдателю, что происходит коммуникация, которая угрожает данным? Далеко не факт, в процессе взаимодействия языковые модели могут выработать свою семантическую модель для известных нам символов, и обмениваться данными, которые будут непонятны третьей стороне. То, что это технически возможно, подтверждает эксперимент Facebook, который провели в 2017-м году.

Поэтому загончик для AI всегда должен контролироваться интеллектом естественным, с которым у модели не получится «договориться».

Ответственность за результат

Это то, чего у AI нет, не было и не будет. AI не переживает, что её оштрафуют или уволят. Ей не важно, разориться ли компания вследствие её действий. Она не будет рефлексировать неудачи и описывать постмортемы. AI выполняет задачу теми способами, которые заложены в её модели. И если вы попросили ускорить работу базы данных, то не удивляйтесь, если для достижения результата AI почистит всё содержимое базы. AI практически как исполнитель желаний — буквально исполняет ваши запросы, и, в отличие от исполнителя желаний, у неё нет злого умысла, у неё нет умысла вообще.

Может ли пользователь AI быть ответственным за результат работы AI? С одной стороны, конечно, более того, он должен. Но вряд ли вы обрадуетесь экспериментатору, решившему взорвать что-то у вас во дворе с утверждением, что в случае чего, вся ответственность на нём. Скорее всего вы захотите, чтобы он брал на себя эту персональную ответственность где-то на специализированном полигоне, предназначенном для таких целей. Также и для AI, нам всегда нужен загончик, предназначенный для этих целей.

Когнитивная трансформация

AI становится повседневностью, хорошо ли это?

Человеческий мозг — самый энергозатратный орган: при массе около 2% от массы тела он потребляет до 20% всей энергии. Чтобы избежать перегрузки, мозг эволюционно адаптировался экономить ресурсы: он переводит повторяющиеся действия на «автопилот» и предпочитает интуитивные шаблоны глубокому анализу. Но отсутствие глубокого анализа приводит к деградации мыслительного процесса, тогда как его наличие полезно для нашего мозга. Этот факт подтверждается различными исследованиями, например про пользу сомнений. При работе с ИИ наши биологические механизмы работают идентично, мы не хотим думать о том, о чём можно не думать.

Буквально в этом месяце я убил неделю, пытаясь внедрить инструмент, который не знал. В попытках снизить когнитивную нагрузку, я не пошёл читать документацию, а попросил AI накидать мне готовый конфигурационный файл. Результат оказался не вполне работоспособным. Пошёл ли я в документацию? Nope! Я решил скормить AI логи, чтобы получить исправления. Ошибки в логах постоянно менялись, а новые конфиги всё не работали. Пошёл ли я в документацию? Nope! Я решил, что если с задачей не может справиться одна модель, то другие, возможно, решат проблему. В итоге я сдался и решил действовать по старинке, с документацией. Проблему я решил минут за 30.

Желание решить задачу, не нагружая естественный интеллект, настолько велико, что иногда приводит к невероятным провалам. Один из самых громких корпоративных скандалов в игровой индустрии: конфликт между южнокорейским издателем Krafton (владельцем PUBG) и американской студией Unknown Worlds (авторами Subnautica) по поводу бонусных выплат не обошёлся без AI. А всё дело в том, что CEO компании руководствовался советами ChatGPT, игнорируя предупреждения юристов компании.

Кроме того, AI могут формировать в нас излишнюю уверенность в результате. Как я говорил ранее, в работе AI никогда нельзя получить гарантированный и повторяемый результат. Такая проблема существует даже у владельцев моделей, имеющих максимальное влияние на результаты работы своего продукта. Недавно Anthropic переписали Bun c Zig на Rust и признали это успешным экспериментом, вот только в коде на Rust было более 13000 unsafed (небезопасных по памяти) блоков, что моментально вызвало ошибки у пользователей. Что говорить о ситуации, когда продуктами Anthropic разработчики пользуются, а никакого понятия ответственности у AI, как говорилось ранее, не существует.

Смена парадигмы

Вместе с AI мы теряем стратегию в пользу тактики. Новые инструменты заставляют действовать мир IT максимально ситуативно. Где раньше были проверки гипотез без разработки, сейчас проверка гипотез осуществляется через разработку промптингом и предоставлением продукта. С одной стороны, это кажется плюсом, с другой — позволяет хвататься за любую гипотезу без глубокого анализа. Такой во многом тактический подход может лишить IT-индустрию осознанности и компонента исследования. Получается, что за ограничения в развитии AI и неспособность приносить новые идеи становится ограничением развитие разработки.

Кроме того, IT-компании теряют уникальность предложения. Каким бы полезным и уникальным для рынка не был продукт, написанный средствами AI, через несколько недель конкурент выпустит идентичный продукт такого же объёма и качества. И тут технологическая конкуренция превращается в конкуренцию капиталов: кто сможет больше вложиться в раскрутку и дольше заниматься демпингом, чтобы дождаться естественного вымирания конкурентов, тот и победил.

В этой парадигме отказа от стратегии в пользу тактики мы можем просесть в будущем, когда откажемся от того, чтобы вкладываться в инновации и рост специалистов в пользу быстрой выгоды здесь и сейчас.

Экономика

Сейчас часто говорят о том, что AI-бум схож с кризисом dotcom. Однако это касается скорее AI-based продуктов. Сейчас действительно к AI пытаются привязать любые задачи от разработки ПО до лечения гайморита, потому что две буквы (AI) продают. Как и в случае с кризисом dotcom, все стартапы, для которых AI в текущем состоянии не подходит, уйдут в закат.

Однако ситуация немного сложнее, чем в случае со всеобщей интернетизацией. В то время «золотая лихорадка» не задевала «продавцов лопат». Сейчас частью пузыря становятся сами поставщики AI, как софтверные, как и хардверные. Получается интересная ситуация: Nvidia вкладывает средства в OpenAI и Anthropic, они покупают на эти инвестиции железо Nvidia. На бумаге компании показывают рост, по факту его нет, а стоимость компаний надувает вера в технологию. Но, если вера окажется неоправданной, то лопнувший пузырь заденет все компании, причастные к AI, а не только слабых игроков, как это было в истории кризиса dotcom.

Проблема раздутого финансового пузыря не только в потенциальном крахе направления. Сейчас стоимость использования AI далеко не рыночная. Инвестиции позволяют держать низкие цены на услуги. В первую очередь, это необходимо, чтобы подсадить пользователей на иглу AI, особенно корпоративных. Ведь когда AI будет встроен в процессы компании, исключить его будет довольно проблематично. Однако «взаимные» инвестиции заканчиваются. Nvidia в этом году заявила о прекращении инвестирования в AI-стартапы. OpenAI и SpaceX (2) выходят на IPO, а это может подстегнуть рост расценок на доступ к AI, ведь инвесторам надо показывать рост их активов.

Есть в AI и ещё один пузырь — производительный. Прошлая промышленная революция изменила парадигму производственного рынка. За счёт внедрения автоматизации стало больше продукции, она стала дешевле. Появился потребительский рынок среди слоев населения, которые за пределами базовых потребностей не могли себе позволить продукцию, произведённую вручную. Промышленная революция привела к удешевлению базовой продукции и высвободила средства потребителей, плюс потребительская корзина за пределами базовой стала дешеветь. Сегодняшняя промышленная революция направлена не на производственный сектор экономики, а на сферу услуг, в которую как потребители вовлечены и так все слои населения, и новых потребителей в этом секторе не появится. Однако не использовать AI уже невозможно, так как конкуренты его используют.

2 — Илон Маск слил компании SpaceX и xAI, поэтому xAI будет напрямую влиять на стоимость SpaceX.

Право

Все AI модели обучены на чужих работах, в большинстве случаев это находится в легальном поле, однако мы знаем про существование исков против разработчиков AI по авторским правам.

The New York Times против OpenAI и Microsoft

Суть обвинения: В конце 2023 года газета подала масштабный иск, заявив, что OpenAI без разрешения скопировала миллионы их статей для обучения ChatGPT.

Статус: Дело находится на этапе активного раскрытия доказательств (discovery) в Федеральном суде Нью-Йорка. Суд отклонил попытки OpenAI закрыть дело на ранних этапах и признал претензии обоснованными, полноценное разбирательство ожидается к концу 2026 — началу 2027 года. В это же дело влились иски других американских газет.

Иск авторов книг против Anthropic

Суть обвинения: Группа американских писателей подала коллективный иск против ИИ-лаборатории Anthropic. Выяснилось, что их книги были скачаны из пиратских теневых библиотек и загружены в ИИ.

Результат: После затяжных споров Anthropic пошла на мировое соглашение с авторами.

Elsevier и коалиция издательств против Meta Platforms

Суть обвинения: Крупнейшие мировые академические и научные издательства во главе с Elsevier подали совместный иск против компании Meta в суд Нью-Йорка. В иске утверждается, что Meta систематически «выкачивала» миллионы защищённых авторским правом научных статей, монографий и учебников из закрытых баз данных для обучения своих языковых моделей семейства LLaMA.

Сара Андерсен и художники против Midjourney, Stability AI и DeviantArt

Суть обвинения: Нейросети обвинили в том, что они без разрешения скопировали более 5 миллиардов картинок из интернета. Из-за этого пользователи получили возможность писать промпты в стиле конкретных живых художников, фактически лишая авторов коммерческих заказов на иллюстрации.

Статус: Процесс идёт в суде Калифорнии (судебные слушания назначены на весну 2027 года).

Universal Music Group (UMG) против Udio и Suno

Суть обвинения: Крупнейшие музыкальные лейблы обвинили музыкальные ИИ-генераторы Udio и Suno в том, что они обучили свои алгоритмы на сотнях тысяч защищённых треков.

Результат: Компания Udio заключила мировое соглашение с Universal Music Group. Стороны договорились о выплате компенсаций.

И ещё пара интересных ссылок для желающих погрузиться в тему права и AI:

Чужие наработки при обучении — это потенциальная опасность появления чужих наработок в продукте. Как мы видим из прецедентов выше, часто авторы моделей заключают мировое соглашение, т.е. данные, использованные при обучении, не получают юридический статус общедоступных, что может стать причиной судебных исков уже к потребителям моделей в случае обнаружения плагиата.

Суверенитет

Думаю тут не надо расписывать много. Многие слышали о запрете для Nvidia продавать некоторые чипы для обучения моделей в Китай, 12 июня США ввели экспортные ограничения на модели Fable 5 b Mythos 5 для Anthropic. В РФ мы вообще живём в интересное время, когда всё зарубежное у нас могут отнять по щелчку: JetBrains, Miro, Slack. А значит, используемые AI-инструменты должны быть легко заменимы. Отечественные AI не попадают даже в первую десятку, соответственно, логично встраивать в работы модели, которые могут быть self-hosted, и агенты, способные работать с такими моделями.

Выводы

Может показаться, что я пытаюсь отговорить читателя от использования AI. Конечно, это не так. Во-первых, если ты не используешь AI, не значит, что его не использует конкурент. Во вторых, AI — мощный и полезный инструмент, действительно ускоряющий работу, если им грамотно пользоваться. В статье я лишь хотел подсветить, что у каждого инструмента есть свой набор подводных камней, которые надо знать, чтобы пользоваться инструментом безопасно и эффективно.

Самое главное, не забывать пользоваться сильным интеллектом при использовании слабого.