Наверняка вы узнали цитату, которую я использовал для заголовка. Это фраза принадлежат Артуру Барбриджу, молодому идеалисту, который погиб по дороге к Золотому Шару в произведении братьев Стругацких «Пикник на обочине».

Не обещаю, что смогу выполнить роль Золотого Шара, но вывод к которому я пришел в результате многих лет размышлений, как мне кажется, может привести к такому результату.

С чего все началось

В 2013 году была опубликована работа «Каузальные энтропийные силы» («Causal Entropic Forces») за авторством доктор Alex D. Wissner‑Gross и C. E. Freer. Тогда я наткнулся на обзор этой статьи на русском языке. Общий смысл это статьи — она доказывает посредством компьютерного моделирования, что системы, движимые исключительно требованием максимизации будущего пространства вариантов, спонтанно развивают адаптивное, интеллектуальное и защитное поведение.

Звучит, может, и не впечатляюще. Однако, тогда меня это зацепило. «Будущее пространство вариантов» — это, по идее, «степени свободы». А это довольно формализуемое понятие. Кроме того, возможно, определить абсолютное числовое значение «степеней свободы» элемента или системы может быть сложно. Но в статье речь идет о «максимизации будущего пространства вариантов», то есть о динамике — об изменении этого значения. А вот с ним работать уже легче.

Больше 10 лет я обдумывал эту идею и пришел к выводу что «увеличение степеней свободы» может являться довольно объективной числовой характеристикой, которая определяет такое субъективное понятие, как «пользу».

Ну и что? Какой в этом толк?

А вот тут можно вспомнить о том, как быстро в нашем мире сейчас развиваются нейросети и искусственный интеллект.

После долгого времени работы ИИ в качестве инструмента для разработки ПО и совместного анализа различных идей, я понял одну важную вещь. Результат работы ИИ на 90% зависит от точности формулировки задачи.

А какая задача в данный момент вызывает наибольшее беспокойство и озобоченность во всем мире? Правильно — «безопасность ИИ».

Айзек Азимов во многих своих произведениях очень хорошо показал что, даже, вроде‑бы, корректно сформулированные три правила робототехники не будут работать при наличии возможности различных интерпретаций терминов, которые в них входят. Главная проблема — это понятия «польза» и «вред», которые являются краеугольными в формулировке этих законов. Их можно трактовать совершенно произвольно. Результаты чего автор очень удачно показывает в своих произведениях.

И вот тут мы подходим к самому важному. Использование понятия «степени свободы» в качестве количественного определения понятий «пользы» и «вреда» является объективным и не зависящим от трактовок.

Что я сделал дальше?

Примерно пару месяцев назад я сообразил что сейчас у меня есть доступ к неплохим LLM. И что на них можно обкатать ситуации с использованием такого определения. После этого началось самое интересное...

Первые «прогоны» дали крайне интересные результаты. Но, в то‑же время, определили что только одного ключевого понятия недостаточно для адекватной работы «новых законов робототехники». И тогда, вместе с LLM я начал разрабатывать их «с нуля».

В итоге получились 7 аксиом.

Однако, при последующем анализе оказалось что, на самом деле, все эти «аксиомы» можно свести к одной единственной формуле, доказанной доктором Джоном Нэшем (помните «Игры разума»?) еще в 1950 году в своей работе «Задача торга» («The Bargaining Problem» Dr. John F. Nash, Jr.). Эта несложная формула показывает что единственное решение, максимизирующее структурную справедливость и взаимную полезность, — это произведение индивидуальных полезностей участников (произведение Нэша).

Т.е. использование этой формулы для вычисления общей величины «пользы» приводит к тому, что в системе, действующей на этом принципе (повышение общей величины степеней свободы системы) алгоритм приведет к тому, что все участники системы будут получать пользу. И это‑же правильно приводит к тому, что «обнуление» любого участника системы обнуляет и общий результат.

Если настроить нейросеть, принимающую решения, на использование этого принципа, то все прогнозируемые варианты будут проходить через фильтр, вычисляющий по этой формуле изменение степеней свободы системы. И ни один вариант, приводящий к уничтожению хотя‑бы одного из элементов, не будет допущен до реализации.

Если применить это правило к реальной ситуации, то в «дилемме с вагонеткой», такая нейросеть не будет жертвовать ни одним из людей. Она будет искать другие варианты решения проблемы, которые должны привести к спасению всех. И, на мой взгляд, это намного более «моральны» подход, чем попытка решить «дилемму».

Это применимо только для нейронок?

А вот здесь начинается самое интересное.

Этот принцип вообще никак не привязан к какой‑либо реализации. И использование его людьми (о чудо!) приводит их к очень «моральному» поведению. И тут мы делаем открытие! Оказывается, «мораль» — это не что‑то эфимерное, данное свыше и, даже, не закон существования социума.:) Оказывается, «мораль» — это всего‑лишь способ поведения для достижения общего благополучия с использованием чистой математики.:‑)

Резюме

Пока итогом моей работы на эту тему является репозитарий DOF‑CORE. В нем, в виде скила для LLM собрано общее описание принципа. Кроме того, в репозитарии присутствует документ DOF‑SPEC, который детализирует различные аспекты использования принципа.

Такой набор документации возникает из двухуровневой системы использования его в ИИ. Первый уровень — это скилл, который дает ИИ общие правила поведения. По большому счету, ИИ с таким скилом будет лишь формировать варианты поведения. Второй уровень — это обычное приложение, в которое будут зашиты принципы DOF‑CORE. И это приложение будет работать фильтром, который из полученных вариантов поведения первого уровня, будет выбирать те, которые на самом деле сохраняют принцип.

Еще, конечно, хочу добавить, что текущий вариант — это не окончательное решение. Если вы найдете в нем какие‑то логические дыры или особые случаи, буду рад если вы со мною ими поделитесь.