Comments 73
Мы не знаем что такое сепульки, мы не можем предсказать, когда они появятся, мы не можем описать критерии, по которым что-то считается сепулькой, но нам точно надо создать средства реакции на появления сепульки.
Потому что мы не знаем когда появятся сепульки.
А что, ждать, когда наступит "Темза, сэр!" ?
Что говорить про сепульки — меня не так давно поразило, что офисный планктон не начинает эвакуацию при звуках пожарной тревоги. Сидят, смотрят на менеджера — можно массово ломиться на выход или нет? А он такой: "ща я позвоню, может это учебная тревога. Или ложная. Хм, что-то там у них занято, ну, я немного позже еще попробую дозвониться". (Так что я никого не стал дожидаться — и ушел по пожарной лестнице. Там я встретил еще одного такого перстраховщика, и мы вышли на улицу вдвоем. И это на середину дня, 12 этажного здания… )
Мне очень понравилась аналогия с посланием от пришельцев "ждите. мы к вам летим." А никто и в ус не дует.
А ведь нет ни одного (ну, по крайней мере из вменяемых) специалиста, который бы сказал "этого не будет", и только сроки от "в следующем десятилетии" до "в следующем веке" (при этом — сравните разницу между возможностями сейчас и 100 лет тому назад.)
Когда такое нечто, РАВНОЕ по интеллекту человеку, но НЕ Homo Sapiens, появится — всё, что останется делать, это расслабиться и попытаться получить удовольствие ...
А что, ждать, когда наступит «Темза, сэр!» ?Мне тут скорее вспоминается мультик про «приближается ТЧ». Никто не знает зачем, но суслики уже бегают и призывают всех строить заборы.
Понятно, что на любой движ и панику прибегут шарлатаны и начнут окучивать тему — разгонять еще больше движения и паники.
Пережил два пожара, согласен с Meklon. С тех пор привычка держать все ключевые документы в одном портфельчике с предсказуемым местонахождением.
btw, когда дым от горящих этажом ниже лакокрасочных имеет такую плотность, что не видно пальцев вытянутой руки, и спросонья сначала добегаешь до форточки и делаешь несколько вдохов свежего воздуха, а потом только начинаешь соображать — такое тоже запоминается, да.
Ну и повсеместные лепнина, натяжные потолки, пенопластовая плитка, изоляция/утеплитель не способствуют выживаемости при пожаре.
У кого-нибудь дома есть хотя бы банальный огнетушитель?
www.siz74.ru/otvety-na-voprosy/mozhno-li-ispolzovat-protivogaz-pri-pozhare. Пожарные пользуются изолирующими противогазами, это совсем другое устройство.
Самоспасатель — другое дело. По сути, это герметичная маска, шлангом соединённая с патроном, вырабатывающим кислород. Он как раз предназначен для случаев пожара.
Пожарный шланг есть подключенный и углекислотный огнетушитель перезаправленный вот только месяц как. Противогазов нет, но есть дежурные два респиратора. Этаж второй.
Если мы переименуем ИИОН в «сепульку», то известные нам свойства объекта не поменяются, потому что у объекта нет известных нам свойств.
Именно потому, алармизм в этой ситуации абсурден. Кто-то придумал, что может быть, может такая штука существовать, и теперь мы все бегаем в ужасе «А ЧТО ЕСЛИ ЭТА УЖАСНАЯ ШТУКА СУЩЕСТВУЕТ?».
Роботы с самовоспроизводством, способные моделировать человеческий мозг в реальном времени, могу представлять некоторую угрозу. И это — вполне понятная система с известными свойствами.
Другое дело что от сейчас до PROFIT присутствует слишком большое количество ???, чтобы делать серьёзные выводы о необходимых мерах безопасности.
там не столько сепуление само по себе вредно, сколько то, что оно у них происходит очень быстро — пока хомосапиенс успел понять, что что-то не так, пока нажал кнопку "выкл", оно уже справилось
Про скорость сепуления у сепулек ничего не известно. А биржевой робот конечно может быть сепулькой, а может и нет.
Все же рассказы про «ИИОН» относятся к категории научной фантастики дальнего прицела, и когда про него начинают говорить с позиции «надо» это эквивалентно разговорам о сепульках или планетарной защиты от инопланетян.
но у меня нет ни малейшего представления, что такое ИИОН, как он выглядит и что делать.
Собственно, автор и предлагает — сесть и подумать, как его обнаружить, если нельзя напрямую — то по каким побочным эффектам.
Взять радиацию — люди ее тоже не могут ни увидеть, ни унюхать, ни пощупать. Даже если ее очень много — эффект наступает не сразу. И, когда журналисты спрашивали ученых — что она делает, то было "ну, микробы убивает" или там "в темноте светится". А коммерсанты пытались, то радиоактивный шоколад с зубной пастой, то стрелки часов торием красить ...
Я вот например боюсь не столько, что оно "злобно зохватит мир", а что в поисках привлекательных для людей вещей — сгенерирует какой-нить сверхстимул "ни в сказке описать, ни глаз не отвести".
Как можно бояться того, что мы не можем сформулировать?
Пример с радиацией совершенно некорректный, потому что радиация сначала была определена по своим свойствам, а потом уже стала понятна причина (и последствия). Засвеченные плёнки, светящийся материал, etc. Ничего подобного с ИИОН у нас нет, поскольку никакого ИИОН у нас нет и никаких причин полагать, что он появится, у нас тоже нет (если бы у нас были причины полагать, то мы бы могли сказать что именно мы полагаем, что появится, а мы не можем сказать, что такое ИИОН, так что предполагать появление чего-то, что мы не можем даже описать, невозможно).
Пример с радиацией немного в другую сторону.
Пока что она засвечивает пленки и ионизирует газы и все весело делают интересные опыты. Поднимают мощность излучения, увеличивают экспозицию…
А ведь можно было бы заранее подумать — к чему это приведет, и как этого избежать.
Автор изначально опубликовал своё эссе на сайте, где читатели обычно будут более-менее знакомы с бэкграундом по этому вопросу. Читая этот текст "с нуля", конечно, многое может показаться более безосновательным, чем оно есть на самом деле; например, про некоторые свойства AGI можно говорить с большой степенью уверенности. Я не рассчитываю, что это замечание будет выглядеть убедительно, поэтому вкину сюда немного авторитета и укажу на то, что многие исследователи из DeepMind, OpenAI, UC Berkeley, University of Oxford и т.д. как минимум обеспокоены вопросами обеспечения "безопасности" ИИ (aka "the problem of aligning smarter-than-human AI with operators’ goals"), а то и работают в этой области; из самых громких имен технарей можно выделить Шейна Легга (сооснователя DeepMind) и Стюарта Рассела.
Если хотите получить общее представление об этих вопросах — вот отличное введение: https://habrahabr.ru/company/parallels/blog/330204/. Ещё, если захотите копнуть чуть глубже, можете полистать материал по ссылкам, которые указаны в статье, и по тем, которые я указал выше о некоторых свойствах AGI.
Ни малейшего? Совсем? Или все же ожидаете, что он сможет выполнять работу человека (если захочет) и принимать сложные самостоятельные решения. Тут намного более информации, чем о сепульках.
Ведь можно было как-то и покороче?
Жаль. Потому что он в тексте не повторяется, он рассматривает сотню тонкостей, куда смог бы спрятаться мыслительный процесс.
Может хватило бы одного-двух предложений из этого текста, но они разные для разных людей, потому их так много в итоге.
«Настоящий» АИ не будет создан вообще никогда. Ну ладно-ладно, в те самые 10 или 50 лет точно. :)
А будет вот что:
Всё*, что сейчас создано человеком, а особенно — в области информатики, является как бы продолжением его руки, инструментом, который не является умнее своего создателя, а просто часть его. Функция с заданными параметрами, если угодно. И проблемы будут именно из-за «животной» части. Представьте человека, натачивающего скальпель, а лучше — бритву (потому что люди стараются все свести сначала к приземленным благам — как бы побриться получше, например), вот он ее точит и бритва становится все острее и острее. В какой-то момент, в силу единственного непогрешимого «человеческого» закона (в отличие от физических) — закона Мерфи — рука дрогнет. И тогда случится простая вещь — человек покалечит сам себя. Не будет виноватых. Кроме его самого и его природы. :)
Теперь вернемся обратно от аналогий к контексту. ИИ — инструмент, и не имеет своего сознания, только те установки, что ему вложат те, кто его создаст. Посему, прежде, чем люди смогут создать чистый разум (самообучившийся с нуля, у которого, кстати, равновероятные шансы стать «злым» или «добрым», но это отдельная тема), они создадут нечто ограниченное, ущербное, ну как Скайнет или ИИ из «Дружба это оптимум» (да и вообще большинство популярных образов ИИ), да к черту сложности — тупо автопилот! — что, в результате ошибки человека, даст сбой и приведет к последствиям, масштаб которых зависит только от того, насколько глубоко проникнет данная технология в жизнь людей, насколько сильно она будет контролировать все вокруг, а главное — насколько она будет зависеть от слабостей создателей, пусть даже не всегда осознанных. Проще говоря — все тот же человеческий фактор. :)
Поняв это, можно призадуматься, а не имеют ли популярные «паникеры», вроде Хокинга, то же самое в виду, но, как обычно, «ученый изнасиловал журналиста»? :)
В общем, пока ждем новых — совершенно новых! — технологий, и попутно стараемся не забывать о технике безопасности (в контексте статьи это значит —
Мы не знаем — как в человеке что устроено, но это не мешает нам устраивать встречу сперматозоида с яйцеклеткой.
В глубоких нейронных сетях уже сейчас настолько много параметров, что можно только разглядывать картинки оттуда, и понимать ее только в общих чертах, не на 100%. И размывание понимания это не только там.
Так что на "не является умнее своего создателя" я бы не рассчитывал. Тем более, что все реже есть создатель как один человек, а все больше — коллаборации в несколько тысяч "соавторов".
Так что, «не является умнее» именно создателя, а не всех потенциальных пользователей.
Именно так, коллаборация это и бонус и проклятие человека — он, по отдельности, «внезапно смертен», а те, кто придут после — некомпетентны, как минимум — поначалу, и на этой роли.
Дружба это оптимумНе всегда, зависит от того, как ведут себя остальные участники взаимоотношений.
Можно поэкспериментировать: notdotteam.github.io/trust
Мы не можем предсказать, когда появится ИИОН, поэтому необходимо начинать думать над его рисками уже сейчас.в шесть с половиной тысяч (!) слов текста.»
Издание второе, дополненное.
Слава роботам! Убить всех человеков!
* богатейший окружающий мир, который можно изучать и на который можно влиять
* богатейший набор сенсоров и сервоприводов, позволяющий с этим миром взаимодействовать
* десятки лет времени для постижения и осмысления этого мира.
Поэтому, чтобы вырастить искусственный интеллект, подобный человеческому, нужно всего лишь создать аналогичные по точности, скорости и силе человеческим руки, у которых есть ещё и осязание, создать источник энергии, который обеспечивал бы ему достаточную автономность и общество, членом которого он мог бы стать. Либо создать развитую виртуальную реальность, в которой он мог бы обучаться так же, как настоящий человек.
И как-то неуютно представлять, что уже почти каждую задачу можно решить с помощью слабых моделей или фиксированных алгоритмов, обладая определённым количеством маны…
Предположим, что ИИОН, можно создать и он будет такой как в наших фантазиях — мегаумный, обучаемый, масштабируемый, работающий 24/7 и т.д. В этом сценарии, он за конечное время, оказывается лучше человека и этот момент будет иметь колоссальные последствия, независимо от того будет он нам другом или врагом. Вероятнее всего, человек каким мы его знаем сейчас, прекратит существование или в буквальном или переносном значении. И в этом сценарии не важно будет, будем мы его сдерживать или нет. Прогресс не умолим, прогрессу плевать на наши запрещалки. Даже если бы самолеты начали запрещать, все равно кто-то бы их сделал. На самолет братьев Райт, потребовалась уйма работы и человекочасов, сейчас этот результат можно за неделю повторить в гараже. Отсюда вывод, запрещай, контролируй, но рано или поздно кто то создаст у себя в гараже ИИОН не ограниченный запретами и…
Предположим, что ИИОН не будет таким как мы фантазируем, то есть не превзойдет за конечное время человечество. Это будет этакий вариант Бендера из Футурамы, полезный но во многом бесполезный инструмент, похожий на человека. Контролировать его не составит труда, да и не факт, что в этом будет необходимость.
Отсюда вывод — готовится надо к выживанию, изучать труды по трансгуманизму или строить защищенные изолированные сети и бункеры с запасами еды. А не пытаться, что то регулировать или запрещать.
Так что выбор небольшой — либо двигать науку вперёд изо всех сил, стараясь принять то, что однажды всё-таки случится, либо как тагоряне из Мира Полудня — три четверти научных ресурсов тратить на изучение потенциальных вредных последствий открытий.
Пожарная тревога создаёт общеизвестное знание о наличии пожара; после этого уже социально приемлемо будет реагировать на происходящее. Когда срабатывает сигнализация, вы знаете, что все остальные тоже знают о том, что пожар есть, и вы знаете, что не опозоритесь, если проследуете на выход.
Ха-ха-ха.
Предлагаю поставить такой же эксперимент, но чтобы кроме дыма была еще и пожарная тревога. Не думаю что что-то изменится...
Для искусственного интеллекта нет пожарной тревоги