Степени свободы вместо пользы или почему три закона Азимова не работают

[Oangai]

Интресная идея, спасибо.

[f1ne]

Принцип у вас глубже, чем кажется: «действуй так, чтобы степеней свободы становилось больше» — это по сути capability approach Сена и Нуссбаум, перенесённый в этику агентов. Расширение пространства возможностей как критерий — сильная интуиция, и «человечное» поведение из неё — не случайность.

Но один вопрос формула не закрывает, а прячет: кто считает степени свободы? Baseline, метод подсчёта, атрибуция изменений — всё это в схеме делает сам агент, чьё поведение по этому индексу и оценивается. Измеритель заинтересован в показаниях собственного счётчика.

Острее всего это в «источнике коллапса»: право классифицировать = право исключить из расчёта = право уничтожить. «Так говорит математика» — но математика молчит; говорит классификатор, и вся власть системы сидит в нём, вне формулы. Вы это сами чувствуете («нельзя на основе ощущений»), но тут нужна не оговорка, а институт: классификация отделённой инстанцией, не зависящей от результата, по методике, зафиксированной доинцидента, с процедурой оспаривания.

DOF-Core нуждается не в лучшей формуле, а в кресле измерителя. Это не возражение против идеи — это её недостающая половина.

[UncleAndy]

Естественно, что в реализации надо все это учитывать. В общем, этот принцип не исключает использование его, например, в военных роботах. Просто классификатор будет на основе системы "свой-чужой" классифицировать "врага" как "источник коллапса". Я недавно провел моделирование этой ситуации. И даже здесь появились интересные вещи... Если мирное население считать обычными агентами, то такой "боевой робот" будет действовать максимально избирательно что-бы не было жертв среди мирного населения. Кроме того (что для меня было полной неожиданностью), в одном из вариантов "дружеского столкновения" (две группы "своих", по ошибке принявшие друг друга за противника), робот даже пошел на самопожертвование ради спасения людей.

Но, вообще, в репозитарии есть не только "скилл" для агентов. Есть и спецификация, которая описывает построение систем с использованием этого принципа. И там есть и "защита от галюцинаций" и "система прерываний" при изменении обстановки.

[UncleAndy]

Но, вообще, вы правы на счет того, что "принцип глубже". Он касается не только активности "роботов", но и той-же разработки, например. Некоторые из прописанных в нем аксиом не позволяют делать деструктивные действия типа удаления продуктовой базы данных. Или принцип "увеличения DoF системы" позволяет проектировать с помощью ИИ достаточно качественную архитектуру приложений.