Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 16
Вы написали отзыв о своей книге?)
Лайк тоже не забудьте поставить
А что вы понимаете под словами «проработать книгу»?
В какое же унылое болото превращается ресурс, если даже вот такое появляется на главной странице. Не только в СМИ кризис с новостями…
"… чтобы понять почему больше вероятностей что ИИ не будет склонен обманывать рекомендую проработать, например, книги Мэтта Ридли"
Ридли Мэтт — бизнесмен, журналист и автор научно-популярных произведений
Очень сомнительная отсылка
Ридли Мэтт — бизнесмен, журналист и автор научно-популярных произведений
Очень сомнительная отсылка
BolgarchukR, почему вы считаете, что достаточно универсальный ИИ, дорвавшись до ресурсов, станет что-то делать, чтобы защитить человеческие ценности во всей их хрупкой сложности?
Вот здесь описано, почему любая достаточно мощная система достижения целей не станет сохранять вас живым/здоровым/довольным, если в неё не заложить такую мотивацию как хотя бы одну из доминирующих: i-future.livejournal.com/657861.html
А здесь описано, почему человеческие ценности достаточно сложны, чтобы у нас не было простого способа описать, что значит «сохранить людей живыми, здоровыми, довольными» lesswrong.ru/w/%D0%A1%D0%BA%D1%80%D1%8B%D1%82%D0%B0%D1%8F_%D1%81%D0%BB%D0%BE%D0%B6%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D0%B6%D0%B5%D0%BB%D0%B0%D0%BD%D0%B8%D0%B9
Конечно, если ИИ не особенно умён и силён, то ему придётся кооперироваться с людьми. Но если он уже создаёт свои собственные ИИ и собрал кучу наноботов — что его сподвигнет брать в расчёт человеческие интересы?
Вот здесь описано, почему любая достаточно мощная система достижения целей не станет сохранять вас живым/здоровым/довольным, если в неё не заложить такую мотивацию как хотя бы одну из доминирующих: i-future.livejournal.com/657861.html
А здесь описано, почему человеческие ценности достаточно сложны, чтобы у нас не было простого способа описать, что значит «сохранить людей живыми, здоровыми, довольными» lesswrong.ru/w/%D0%A1%D0%BA%D1%80%D1%8B%D1%82%D0%B0%D1%8F_%D1%81%D0%BB%D0%BE%D0%B6%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D0%B6%D0%B5%D0%BB%D0%B0%D0%BD%D0%B8%D0%B9
Конечно, если ИИ не особенно умён и силён, то ему придётся кооперироваться с людьми. Но если он уже создаёт свои собственные ИИ и собрал кучу наноботов — что его сподвигнет брать в расчёт человеческие интересы?
Он не будет защищать человечество. Просто интерполируя, как показывает практика более интеллектуальные системы гуманнее, причем эта гуманность прагматична т.к. они придерживаются принципы игры с ненулевой суммой. СИИ либо оставит людей в заповеднике, либо будет использовать их максимально полезно для себя и людей.
По первой ссылки атомов для ИИ более чем достаточно. Зачем ему конкурировать забирая атомы у нас. Скрепки — распространенный бред. Скрепки и так уже давно созданы и пытаются превратить все в скрепки — это банальные бактерии. Не надо путать слепого часовщика и ИИ. Скрепки это слепой часовщик, СИИ не на столько глуп что бы превращать все в одно и то же. Либо это будет не СИИ, тогда более эффективный интеллект его обуздает. Вторую ссылку не осилил…
По первой ссылки атомов для ИИ более чем достаточно. Зачем ему конкурировать забирая атомы у нас. Скрепки — распространенный бред. Скрепки и так уже давно созданы и пытаются превратить все в скрепки — это банальные бактерии. Не надо путать слепого часовщика и ИИ. Скрепки это слепой часовщик, СИИ не на столько глуп что бы превращать все в одно и то же. Либо это будет не СИИ, тогда более эффективный интеллект его обуздает. Вторую ссылку не осилил…
Интеллектуальные системы гуманнее? Можете пояснить подробнее?
Если интеллектуальная система находится среди соизмеримо умных/сильных систем — тогда, видимо, да. Весь опыт человеческого взаимодействия именно такой. Есть статистика вне такого расклада? Например, самая нечеловеческая квазиразумная сущность, что у нас есть — это эволюция. В зависимости от того, как измерять, её «интеллект» колеблется от «почти нет» до «намного больше, чем отдельного человека и даже организации».
Ну или не на опыте, может, у вас математика есть? В теории игр, насколько я помню, не рассматривается ситуация, когда одна сторона достаточно легко прогнозирует шаги второй, а вторая так не может. Но можно попробовать рассмотреть.
Атомов для ИИ достаточно? А почему вы считаете, что ИИ не подумает «о, ещё копеечка. В копилку»? Эволюционные алгоритмы и градиентный спуск ровно так и поступают. Отчего другие формы ИИ должны подумать «достаточно», когда можно взять, и на доли процентов повысить свою метрику?
Почему оптимизатор скрепок — это бред? Я делал системы обучения с подкреплением. И другие оптимизирующие системы. Они ведут себя ровно как оптимизаторы скрепок. В них вносишь новые костыли, а они находят иной хитрый способ «обмануть» разработчика и оптимизировать формальную метрику, а не бизнесовую.
Можете описать, что за модель интеллекта описываете вы — такую, что она лучше в плане достижения целей, чем AGI? AGI, чтобы внести конкретику — это машина результатов (во всяком случае всякие дипмайнды, гуглы и алармисты мыслят ровно в этой парадигме), которая старается сделать, чтобы матожидание некоторой метрики было как можно больше, в сумме по всему возможному будущему, с дисконтированием по времени. Метрика задаётся при запуске, теоретически может быть изменена (но на практике вряд ли). Ну и AGI должен уметь обнаружить любую закономерность — то есть всё, что с прогнозирует любой другой не-AGI агент, AGI тоже может предусмотреть, если имеет доступ к аналогичным данным.
Если брать более строгие формулировки — есть Q-Learning и AIXI, они про то же, но на языке математики. Можно, чтобы не было смешения понятий (вы тоже термин AGI употребляете) называть эту машину результатов «универсальный reinforcement learning», чисто для конкретики
Можете описать свою концепцию интеллекта, которая способна обуздать (целенаправленно манипулировать?) системой универсального RL? Какое ТЗ, какие входы, какие выходы, какой матан внутри, хотя бы примерно?
Если интеллектуальная система находится среди соизмеримо умных/сильных систем — тогда, видимо, да. Весь опыт человеческого взаимодействия именно такой. Есть статистика вне такого расклада? Например, самая нечеловеческая квазиразумная сущность, что у нас есть — это эволюция. В зависимости от того, как измерять, её «интеллект» колеблется от «почти нет» до «намного больше, чем отдельного человека и даже организации».
Ну или не на опыте, может, у вас математика есть? В теории игр, насколько я помню, не рассматривается ситуация, когда одна сторона достаточно легко прогнозирует шаги второй, а вторая так не может. Но можно попробовать рассмотреть.
Атомов для ИИ достаточно? А почему вы считаете, что ИИ не подумает «о, ещё копеечка. В копилку»? Эволюционные алгоритмы и градиентный спуск ровно так и поступают. Отчего другие формы ИИ должны подумать «достаточно», когда можно взять, и на доли процентов повысить свою метрику?
Почему оптимизатор скрепок — это бред? Я делал системы обучения с подкреплением. И другие оптимизирующие системы. Они ведут себя ровно как оптимизаторы скрепок. В них вносишь новые костыли, а они находят иной хитрый способ «обмануть» разработчика и оптимизировать формальную метрику, а не бизнесовую.
Можете описать, что за модель интеллекта описываете вы — такую, что она лучше в плане достижения целей, чем AGI? AGI, чтобы внести конкретику — это машина результатов (во всяком случае всякие дипмайнды, гуглы и алармисты мыслят ровно в этой парадигме), которая старается сделать, чтобы матожидание некоторой метрики было как можно больше, в сумме по всему возможному будущему, с дисконтированием по времени. Метрика задаётся при запуске, теоретически может быть изменена (но на практике вряд ли). Ну и AGI должен уметь обнаружить любую закономерность — то есть всё, что с прогнозирует любой другой не-AGI агент, AGI тоже может предусмотреть, если имеет доступ к аналогичным данным.
Если брать более строгие формулировки — есть Q-Learning и AIXI, они про то же, но на языке математики. Можно, чтобы не было смешения понятий (вы тоже термин AGI употребляете) называть эту машину результатов «универсальный reinforcement learning», чисто для конкретики
Можете описать свою концепцию интеллекта, которая способна обуздать (целенаправленно манипулировать?) системой универсального RL? Какое ТЗ, какие входы, какие выходы, какой матан внутри, хотя бы примерно?
С большим удовольствием пообщался бы с вами и ответил на поставленные вопросы, но катастрофически нет времени. Уволен с работы ищу где можно заработать хотя бы на еду и оплату коммуналки. Думал, найти что-то в интернете, но пока сплошная полоса невезения. Поэтому, если есть предложение, например писать подобные статьи за небольшую оплату, я бы с удовольствием согласился. Но с сохранением моих авторских прав. В двух словах по теме, вероятнее всего интеллектуальным системам не будет смысла нам вредить, также, как нам нет смысла вредить животным в заповеднике. Хотя, продолжив аналогию, естественно, могут возникнуть разные варианты. Но пока нет острой необходимости конкурировать за ресурсы. Кто бы что ни говорил, на самом деле, их очень много. Это нам их трудно добыть, более развитые технологИИ сделали бы это намного проще. До сих пор пустует океаны, мы находимся лишь на тоненькой корочки поверхности Земли. И то не везде. Я уже молчу о космосе. Хотя бы Луне, Марсе. Машины бы с легкостью освоили эти территории. Разгуляться есть где, зачем уничтожать людей? К тому же, скорее всего технология пойдет по пути того, что мы станем частью этих интеллектуальных систем. По крайней мере на начальном этапе их формирование. Но повторюсь нет времени подробно всё расписывать. И отвечать на другие вопросы. Если будет время постараюсь позже ответить.
Upd.
Я заметил, что часто люди не замечают, что «не будет защищать» = «убьёт, как только это станет хотя бы немного выгодно, а то и вообще случайно». Концепция бездействия очень человеческая. Для ИИ есть только его выбор и последствия. Если он смотрит на свой план и видит, что пострадают люди, и старается действовать иначе — это один расклад. Если он видит, что пострадают люди, но ему это неважно — это иной расклад.
Для человека ситуации «я своими руками убил Ивана Ивановича» и «я знал, что Иван Иванович может погибнуть и не стал его спасать» — они разные. Для ИИ это примерно одна и та же ситуация: ИИ заранее знал, что при таком-то плане будет труп, выполнил план, получил труп.
Это концепция называется консеквенциализм — когда при принятии решений мы руководствуемся только ожидаемыми последствиями. Без этого вряд ли возможно творческое решение сложных задач.
Поэтому ИИ, который не убивает людей — это либо довольно слабый ИИ, либо ИИ, у которого в системе ценностей как-то указано, что люди важны, и все планы, где люди гибнут, должны штрафоваться. В каких-то узких частных случаях люди будут нужны ИИ с инструментальной точки зрения (например, не стоит им вредить, чтобы не спровоцировать на агрессию), но во всех остальных — не вижу причин сдерживаться
Я заметил, что часто люди не замечают, что «не будет защищать» = «убьёт, как только это станет хотя бы немного выгодно, а то и вообще случайно». Концепция бездействия очень человеческая. Для ИИ есть только его выбор и последствия. Если он смотрит на свой план и видит, что пострадают люди, и старается действовать иначе — это один расклад. Если он видит, что пострадают люди, но ему это неважно — это иной расклад.
Для человека ситуации «я своими руками убил Ивана Ивановича» и «я знал, что Иван Иванович может погибнуть и не стал его спасать» — они разные. Для ИИ это примерно одна и та же ситуация: ИИ заранее знал, что при таком-то плане будет труп, выполнил план, получил труп.
Это концепция называется консеквенциализм — когда при принятии решений мы руководствуемся только ожидаемыми последствиями. Без этого вряд ли возможно творческое решение сложных задач.
Поэтому ИИ, который не убивает людей — это либо довольно слабый ИИ, либо ИИ, у которого в системе ценностей как-то указано, что люди важны, и все планы, где люди гибнут, должны штрафоваться. В каких-то узких частных случаях люди будут нужны ИИ с инструментальной точки зрения (например, не стоит им вредить, чтобы не спровоцировать на агрессию), но во всех остальных — не вижу причин сдерживаться
У кого- то ещё сложилось мнение, что автор поста — нарцисс? Самолюбование так и прёт.Скромнее надо быть, батенька.
"Более имение" =)
Дальше не стал и читать
имеет место быть
Имеет место. Без "быть".
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Отзыв о книге: «Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта»