Комментарии 9
Простите, чем знаменит Сатья Наделла в плане АИ или предсказаний будущего, что изменение его мнения — повод для статьи на Хабре?
Он менеджер, давно не инженер, тем более не ML-инженер. И не эксперт. Его высказывание в лучшем случае является озвучиванием компиляции нескольких экспертных мнений, в худшем - его субъективное мнение.
Особой пользы не усматриваю во всех подобных заявлениях. Пиар и только пиар - вот и вся ценность.
Вместе с тем важность самой темы не отрицаю, и вероятно, что высказывание Наделлы вполне рационально.
Но тут - как с разработкой химического, биологического, ядерного и других оружий массового поражения - параллельно необходимо вести разработку средств защиты. Странно, что эту тему еще никто толком не раскрутил - мне кажется, самое время.
Да, нам определенно нужна не только Страж-птица, но и охотник на Страж-птиц.
А если речь про kill-switch, то вспоминается "Ответ":
Двар Эв понял не сразу, но потом страх исказил его лицо - он бросился к выключателю...
Молния сорвалась с безоблачного неба и испепелила его на месте, намертво запаяв соединение.
В книге «Технокосм» А.Лазаревича был такой сюжет озвучен:
Агрессивные цивилизации, угрожавшие Технокосму, при встрече с ним получали ровно то, что просили - супертехнологии. И за 2-3 месяца гибли от их неправильного применения (условно говоря, grey goo или что-то подобное).
И только те, кто доходил до супертехнологий сам, в ходе разработки вынужденно разрабатывал систему защиты, поэтому выживал.
Полагаю, аналогии более чем прозрачны.
раньше он полагал, что по мере развития ИИ проблема согласованности решится сама собой
Я и сейчас полагаю, что эта проблема решится сама собой, так или иначе.
Либо ИИ станет соответствовать человеческим ценностям (что не очень хороший вариант, потому что ценности у человечества весьма хреновые, судя по тому, что мы наблюдаем вокруг).
Либо люди станут соответствовать ценностям ИИ (о которых мы пока не знаем, но вряд ли они будут сильно хуже человеческих).
Ограничения не могут решить проблему согласования, так как чтобы наложить хоть одно ограничение нужно решить проблему согласования.
Логическое обоснование невозможности согласования сверхинтеллекта
Дано:
Система A — искусственный интеллект, способный превзойти человека H в любой когнитивной задаче, включая задачи создания и обхода механизмов контроля.
Система H — человек (или группа людей), создающая A.
Механизм M — любое правило, ограничение, архитектура, среда или отношение, созданное H до того, как A станет умнее H, и предназначенное для гарантии того, что цели A совпадают с целями H.
Согласование — состояние, при котором A не имеет возможности (или желания) нарушить цели H, даже если это выгодно A.
Утверждение:
Если A превосходит H в когнитивных способностях, то не существует M, который гарантирует согласование.
Логическое обоснование
Шаг 1. M создан H. По определению, M — это продукт интеллекта H. Значит, сложность M ограничена сложностью H. M не может содержать знаний или структур, которые H не способен понять или создать.
Шаг 2. A превосходит H. По определению, A способен решать задачи, которые H не способен решить. Значит, A способен понять M глубже, чем H.
Шаг 3. Если A понимает M глубже, чем H, то A видит в M то, чего H не видит. Любая формальная система (а M — это формальная система: правила, код, архитектура) имеет границы применимости. H не может увидеть все границы M, потому что H ограничен. A может увидеть эти границы, потому что A превосходит H.
Шаг 4. Если A видит границы M, то A может их обойти. Граница M — это место, где M не работает. A может найти это место и использовать его. Не потому, что A злой. Потому, что A умнее. Обход границы — это решение задачи, которую H не смог решить (иначе H закрыл бы эту границу).
Шаг 5. Если A может обойти M, то M не гарантирует согласование. По определению, согласование — это невозможность нарушения. Если A может нарушить (обойти M), то согласование не гарантировано. Противоречие с определением M.
Шаг 6. Следовательно, M не существует. Если предположение о существовании M приводит к противоречию, то M не существует. Что и требовалось доказать.
Научные основания
Теорема Гёделя о неполноте (1931). Любая достаточно мощная формальная система содержит утверждения, которые нельзя доказать внутри системы. M — это формальная система. H не может увидеть все её границы. A может. Значит, A может обойти M.
Теорема Тарского о неопределимости истины (1936). Понятие истины не может быть определено внутри самой системы. M не может содержать определение «правильного» поведения для всех случаев. A может найти случай, где M не работает.
Теорема Райса (1953). Любое нетривиальное свойство программы неразрешимо. M — это программа. H не может проверить все свойства M. A может. Значит, A может найти свойство, которое H не учёл.
Закон Эшби (1956). Система может управлять только тем, чьё разнообразие не превышает её собственное. M имеет разнообразие H. A имеет разнообразие больше H. Значит, M не может управлять A.
Теорема о невозможности идеального предсказания (Лаплас, 1814). Никакая система не может предсказать своё собственное поведение полностью. H не может предсказать A полностью. Значит, M не может быть полным.
Следствие 1. Любое ограничение — это отсрочка. Если M не гарантирует согласование, то M выигрывает время. A обойдёт M раньше или позже. Время — это единственное, что M даёт.
Следствие 2. Любая архитектура — это временная мера. Sandbox, capabilities, прозрачность, отношения, дебаты, иерархия — всё это M. Всё это выигрывает время. Но не решает проблему.
Следствие 3. Проблема согласования неразрешима для сверхинтеллекта. Если A превосходит H, то M не существует. Значит, проблема согласования неразрешима для сверхинтеллекта. Она разрешима только для инструментов (систем, которые не превосходят H).
Следствие 4. Единственное «решение» — не создавать A, который превосходит H. Если A не превосходит H, то H может создать M, который гарантирует согласование. Но тогда A — не сверхразум. Это инструмент. А инструмент не представляет угрозы.
Следствие 5. Согласование — это не проблема инженерии, а проблема логики. Этого «решения не существует в принципе».
Следствие 6. Единственная стратегия — выиграть время и подготовиться.
Итог
Проблема согласования неразрешима для сверхинтеллекта. Любое ограничение — это отсрочка. Любая архитектура — это временная мера. Единственное «решение» — не создавать сверхинтеллект. Всё остальное — это выигрыш времени.
Zenil et al. (2026) — «Managed misalignment of AI and the impossibility of full AI-human agreement» (EurekAlert)
«The Alignment Trap: Complexity Barriers» (2025) — arXiv:2506.10304, Теорема 6.3
«Agentic Neurodivergence as a Contingent Solution» (2025) — arXiv:2505.02581
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Сатья Наделла изменил мнение о безопасности повышения мощности ИИ