Ну и тут принцип такой же. По умолчанию AI будет обращаться с людьми, как мы — с муравьями. Обычно мы не испытываем к ним сильных чувств, но если нам хочется построить дом на месте муравейника, мы не будем считаться с их интересами.
Но даже если загрузить наши ценности в AI, если хоть что-то будет не идеально не так, со сверхразумом это может нам сильно аукнуться.
Надеюсь, так и будет. И всё же, будет сложно убедиться в ограниченных лабораторных условиях, что всё пойдёт как надо в реальном мире. Цена ошибки может быть крайне высока.
Вы можете отделить эти Ваши генетические понятия от непосредственно сформированных разумом?
Не понял вопроса.
Опять бросаетесь словами.
Например люди потери воспринимают сильнее чем выигрыш. Чем дальше от нас во времени находится награда, тем менее она ценна сейчас. Когда людей просят пожертвовать на спасение пингвинов, не будет большой разницы, 50 или 5000 пингвинов ты спасешь — сумма не будет изменяться в 100 раз. И так до бесконечности.
Долго разъяснять, но все пункты или довольно вероятны или необязательны. Скажу только, что обладание некоторые «животноподобными инстинктами» выглядит вполне правдоподобным. Только называется это по другому: https://en.wikipedia.org/wiki/Instrumental_convergence
Я где-то тут уже писал об этом. Если перефразировать, представьте себе уникальный эволюционный путь, проделанный видом Homo Sapiens, в результате которого у нас развились бесчисленное множество интуитивных предпочтений и понятий (например, что хорошо а что плохо), которые могут изменяться в зависимости от ситуации или времени.
Это лишь крохотная доля вариантов, которые могут образоваться в процессе эволюции в разных условиях. И даже эти варианты являются маленькой частью того, каким может быть ИИ. Взять хотя бы то, что в настоящее время под интеллектуальным агентом подразумевается максимизатор полезности, в то время как живые существа таковыми не являются.
У сильного ИИ тоже есть цель, можно сказать даже сказать «смысл жизни» — «выполнять приказы авторизованного персонала».
Согласен. Проблема в том, что у ИИ по умолчанию не будет «здравого смысла», присущего людям. И если у Alpha Go сейчас есть только один способ выиграть, то его когда мыслительные способности и инструментарий, можно придумать тысячи способов «выполнить приказ авторизованного персонала», и может случиться, что его оптимальное решение нам совсем не будет казаться самым лучшим.
Уверены? На практике компьютеры довольно тугодумны и неэнергоэффективны в решении «человеческих» задач. И причина как раз в «реализации на кремнии».
Даже если сейчас компьютеры плохо справляются со многими задачами, сильно сомневаюсь, что ситуацию не получится радикально улучшить (рано или поздно).
Под ИИ понимается алгоритм, который сможет делать всё, что может делать человек.
Через 20, 50, 100 или 300 лет AI будет создан, потому что это не запрещено законами физики и имеется огромный финансовый стимул. Конкретная дата не особо важна, т.к. есть серьёзные проблемы и никто не знает как их решать даже в теории. Поэтому лучше перестраховаться и изучать тему заранее.
В вопросно-ответной системой (aka оракул) проблем должно быть меньше. Но у человечества слишком мало благоразумия и слишком много стимулов сделать полноценный AI, чтобы можно было успокоиться и перестать форсить тему :)
А что для вас «мотивация»? У робомобиля есть цель — безопасно доехать из точки А в точку Б; у AlphaGo — выиграть партию в го. Большего не требуется.
Между прочим, под «сильным» все подразумевают тот ИИ, который сможет делать все, что и любой человек. И учитывая реализацию на кремнии, это деланье будет происходить в тысячи раз быстрее
Общее замечание к комментам. Думать об этой теме следует концептуально. Если вы, подумав пару минут (часов/дней/месяцев) считаете, что «решили» AI Safety, подумайте ещё раз. Вполне может быть, что AI будет иметь когнитивные способности настолько больше наших, насколько мы умнее муравьёв (а законы физики этому, вроде, не мешают). Так что, очень самонадеянно говорить, что подобного рода интеллект чего-то не сможет, если захочет.
Сейчас почти никто из исследователей там не принимает в расчёт концепцию «сознания», по различным причинам, а AI рассматривают просто как универсальный оптимизатор. В плане моральных вопросов, тут скорее нужно будет оставить определённую гибкость. Человечеству ещё есть куда расти, и, вполне возможно, наши потомки через 300 лет будут на наших современников также, как мы сейчас смотрим на людей из средних веков.
leocat33, никто пока не знает, как. Некоторые теоретические наработки и предложения для дальнейших исследований на эту и другие темы можно посмотреть здесь: https://intelligence.org/research/
Вообще, нужно понимать, что простым дебаггингом здесь не обойтись. Интеллектуальные системы человеческого уровня будут иметь невероятную популярность. Неограниченная область применения, лёгкость копирования софта, и, в недалёкой перспективе, рекурсивное самоулучшение. Программисты физически не смогут заложить в ИИ всё что нужно. Следовательно, он будет индуктивно обучаться и сам принимать решения во Вселенной.
И здесь возникает основная проблема. Человеческий мозг — продукт бессчисленных лет уникального эволюционного пути. Следовательно, все наши ценности, этические принципы, эвристики мышления и пр. понятны и очевидны лишь для Homo Sapiens. Хотя, все тщетные попытки формализовать человеческие ценности намекают, что даже для нас они не так уж и очевидны.
Так что, задача AI Safety заключается в том, чтобы понять, как заставить делать AI то, что ты действительно имел в виду, ибо «ИИ не ненавидит нас и не любит, но вы сделаны из атомов, которые он может использовать для чего-то еще».
Но даже если загрузить наши ценности в AI, если хоть что-то будет не идеально не так, со сверхразумом это может нам сильно аукнуться.
Не понял вопроса.
Например люди потери воспринимают сильнее чем выигрыш. Чем дальше от нас во времени находится награда, тем менее она ценна сейчас. Когда людей просят пожертвовать на спасение пингвинов, не будет большой разницы, 50 или 5000 пингвинов ты спасешь — сумма не будет изменяться в 100 раз. И так до бесконечности.
Это лишь крохотная доля вариантов, которые могут образоваться в процессе эволюции в разных условиях. И даже эти варианты являются маленькой частью того, каким может быть ИИ. Взять хотя бы то, что в настоящее время под интеллектуальным агентом подразумевается максимизатор полезности, в то время как живые существа таковыми не являются.
Согласен. Проблема в том, что у ИИ по умолчанию не будет «здравого смысла», присущего людям. И если у Alpha Go сейчас есть только один способ выиграть, то его когда мыслительные способности и инструментарий, можно придумать тысячи способов «выполнить приказ авторизованного персонала», и может случиться, что его оптимальное решение нам совсем не будет казаться самым лучшим.
Даже если сейчас компьютеры плохо справляются со многими задачами, сильно сомневаюсь, что ситуацию не получится радикально улучшить (рано или поздно).
Через 20, 50, 100 или 300 лет AI будет создан, потому что это не запрещено законами физики и имеется огромный финансовый стимул. Конкретная дата не особо важна, т.к. есть серьёзные проблемы и никто не знает как их решать даже в теории. Поэтому лучше перестраховаться и изучать тему заранее.
В вопросно-ответной системой (aka оракул) проблем должно быть меньше. Но у человечества слишком мало благоразумия и слишком много стимулов сделать полноценный AI, чтобы можно было успокоиться и перестать форсить тему :)
Между прочим, под «сильным» все подразумевают тот ИИ, который сможет делать все, что и любой человек. И учитывая реализацию на кремнии, это деланье будет происходить в тысячи раз быстрее
Вообще, нужно понимать, что простым дебаггингом здесь не обойтись. Интеллектуальные системы человеческого уровня будут иметь невероятную популярность. Неограниченная область применения, лёгкость копирования софта, и, в недалёкой перспективе, рекурсивное самоулучшение. Программисты физически не смогут заложить в ИИ всё что нужно. Следовательно, он будет индуктивно обучаться и сам принимать решения во Вселенной.
И здесь возникает основная проблема. Человеческий мозг — продукт бессчисленных лет уникального эволюционного пути. Следовательно, все наши ценности, этические принципы, эвристики мышления и пр. понятны и очевидны лишь для Homo Sapiens. Хотя, все тщетные попытки формализовать человеческие ценности намекают, что даже для нас они не так уж и очевидны.
Так что, задача AI Safety заключается в том, чтобы понять, как заставить делать AI то, что ты действительно имел в виду, ибо «ИИ не ненавидит нас и не любит, но вы сделаны из атомов, которые он может использовать для чего-то еще».
Нервные клетки умирают. Остаются только спокойные.
Для тех, кто знает английский, есть отдельные вкусняшки:
http://slatestarcodex.com/2016/03/01/2016-nootropics-survey-results/
http://www.gwern.net/Drug%20heuristics
http://www.gwern.net/Modafinil
http://www.gwern.net/Spaced%20repetition
http://www.gwern.net/DNB%20meta-analysis