Отзыв о книге: «Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта»

Интеллектуальные системы гуманнее? Можете пояснить подробнее?
Если интеллектуальная система находится среди соизмеримо умных/сильных систем — тогда, видимо, да. Весь опыт человеческого взаимодействия именно такой. Есть статистика вне такого расклада? Например, самая нечеловеческая квазиразумная сущность, что у нас есть — это эволюция. В зависимости от того, как измерять, её «интеллект» колеблется от «почти нет» до «намного больше, чем отдельного человека и даже организации».
Ну или не на опыте, может, у вас математика есть? В теории игр, насколько я помню, не рассматривается ситуация, когда одна сторона достаточно легко прогнозирует шаги второй, а вторая так не может. Но можно попробовать рассмотреть.

Атомов для ИИ достаточно? А почему вы считаете, что ИИ не подумает «о, ещё копеечка. В копилку»? Эволюционные алгоритмы и градиентный спуск ровно так и поступают. Отчего другие формы ИИ должны подумать «достаточно», когда можно взять, и на доли процентов повысить свою метрику?

Почему оптимизатор скрепок — это бред? Я делал системы обучения с подкреплением. И другие оптимизирующие системы. Они ведут себя ровно как оптимизаторы скрепок. В них вносишь новые костыли, а они находят иной хитрый способ «обмануть» разработчика и оптимизировать формальную метрику, а не бизнесовую.

Можете описать, что за модель интеллекта описываете вы — такую, что она лучше в плане достижения целей, чем AGI? AGI, чтобы внести конкретику — это машина результатов (во всяком случае всякие дипмайнды, гуглы и алармисты мыслят ровно в этой парадигме), которая старается сделать, чтобы матожидание некоторой метрики было как можно больше, в сумме по всему возможному будущему, с дисконтированием по времени. Метрика задаётся при запуске, теоретически может быть изменена (но на практике вряд ли). Ну и AGI должен уметь обнаружить любую закономерность — то есть всё, что с прогнозирует любой другой не-AGI агент, AGI тоже может предусмотреть, если имеет доступ к аналогичным данным.
Если брать более строгие формулировки — есть Q-Learning и AIXI, они про то же, но на языке математики. Можно, чтобы не было смешения понятий (вы тоже термин AGI употребляете) называть эту машину результатов «универсальный reinforcement learning», чисто для конкретики
Можете описать свою концепцию интеллекта, которая способна обуздать (целенаправленно манипулировать?) системой универсального RL? Какое ТЗ, какие входы, какие выходы, какой матан внутри, хотя бы примерно?

Upd.
Я заметил, что часто люди не замечают, что «не будет защищать» = «убьёт, как только это станет хотя бы немного выгодно, а то и вообще случайно». Концепция бездействия очень человеческая. Для ИИ есть только его выбор и последствия. Если он смотрит на свой план и видит, что пострадают люди, и старается действовать иначе — это один расклад. Если он видит, что пострадают люди, но ему это неважно — это иной расклад.
Для человека ситуации «я своими руками убил Ивана Ивановича» и «я знал, что Иван Иванович может погибнуть и не стал его спасать» — они разные. Для ИИ это примерно одна и та же ситуация: ИИ заранее знал, что при таком-то плане будет труп, выполнил план, получил труп.
Это концепция называется консеквенциализм — когда при принятии решений мы руководствуемся только ожидаемыми последствиями. Без этого вряд ли возможно творческое решение сложных задач.
Поэтому ИИ, который не убивает людей — это либо довольно слабый ИИ, либо ИИ, у которого в системе ценностей как-то указано, что люди важны, и все планы, где люди гибнут, должны штрафоваться. В каких-то узких частных случаях люди будут нужны ИИ с инструментальной точки зрения (например, не стоит им вредить, чтобы не спровоцировать на агрессию), но во всех остальных — не вижу причин сдерживаться