Comments 32
И тут после деплоя в прод, один из разработчиков заявляет: «Упс. У меня баг в программу закрался — вот посмо..»
Риски ИИ. Хм. Не стоит далеко ходить, единственный риск — автоматизация. Когда человек заменяется машиной. Медленно и постепенно. Мы делаем это сами, в большинстве случаев одобряя изменения. Но если они были слишком резкими, не все бывают довольны. Первые станки с ЧПУ ограждали от обозленных токарей, которые через забор перекидывали болванки в надежде сломать устройство, лишающее их работы. На горной выработке, где все водители самосвалов были заменены на автопилотов, никто не говорил про недовольство уволенных.
Что будет, когда построенная машина будет способна выполнять работу по проектированию превосходящих себя машин и стратегическому планированию жизненных планов для человечества? Ответ прост. Мы будем ими пользоваться. Исчезнет рабочий класс вообще? Не знаю. Точно останутся владельцы ресурсов и лицензий, правовые обладатели и их наследники, держатели авторских прав и патентов.
А машины и автоматы останутся безвольными и бездушными орудиями в наших руках. Никто в здравом уме не даст им шанса обладать сознанием. Это не выгодно.
Что будет, когда построенная машина будет способна выполнять работу по проектированию превосходящих себя машин и стратегическому планированию жизненных планов для человечества? Ответ прост. Мы будем ими пользоваться. Исчезнет рабочий класс вообще? Не знаю. Точно останутся владельцы ресурсов и лицензий, правовые обладатели и их наследники, держатели авторских прав и патентов.
А машины и автоматы останутся безвольными и бездушными орудиями в наших руках. Никто в здравом уме не даст им шанса обладать сознанием. Это не выгодно.
Риски, этичность, мораль… Одному мне хочется сказать этим ребятам «Сперва сделайте хоть что-нибудь?» Когда открыли цепное деление урана, риски были на сто порядков больше, про этичность я вообще молчу. И ничего, пронесло. Хотя о рисках практически никто не думал, т. к. обычная война ненамного лучше и куда болезненней.
Нет, не одному вам. lesswrong.com/lw/cbs/thoughts_on_the_singularity_institute_si/
Согласен, что всерьез говорить о рисках вроде бы и рано. С другой стороны, когда мы поймем, что пора? Мне кажется, самое важное что сейчас можно сделать — попробовать сделать прозрачными разработки ИИ, и для этого важно распространять идею.
Один из рисков ЧИИ/AGI — это некорректное обучение + intelligence explosion (когда машина самостоятельно увеличит собственную вычислительную мощность в короткий период времени), в результате которого она, например, может решить, ну не знаю… совершить суицид, взорвать Землю? Почему нет? :-) Люди не делают таких вещей, когда они счастливы, просто ли аргументировать это машине?
Один из рисков ЧИИ/AGI — это некорректное обучение + intelligence explosion (когда машина самостоятельно увеличит собственную вычислительную мощность в короткий период времени), в результате которого она, например, может решить, ну не знаю… совершить суицид, взорвать Землю? Почему нет? :-) Люди не делают таких вещей, когда они счастливы, просто ли аргументировать это машине?
О рисках можно будет говорить когда все уже будет позади. Так устроен человеческий прогресс — если люди думают о рисках, ничего нового у них не выйдет.
А по-поводу конкретного риска intelligence explosion — мне кажется, что вероятность такого процесса примерно равна вероятности появления условного Джека Рипера. Так что никаких новых рисков не возникнет.
А по-поводу конкретного риска intelligence explosion — мне кажется, что вероятность такого процесса примерно равна вероятности появления условного Джека Рипера. Так что никаких новых рисков не возникнет.
Нет ли у вас здесь противоречия? Ведь когда все будет позади, произойдет intelligence explosion, машина начнет сама себя ускорять, улучшать закон Мура, строить термоядерные реакторы на Луне (это цитата с lesswrong.com)?
Я вас не понимаю. Мои тезисы:
а) Тормозить прогресс, просчитывать риски, создавать мораль будущего — противоестественная для человека потеря времени.
б) Вероятность опасного поведения машины примерна равна вероятности появления сумашедшего человека у Большой Красной Кнопки.
С чем вы не согласны?
а) Тормозить прогресс, просчитывать риски, создавать мораль будущего — противоестественная для человека потеря времени.
б) Вероятность опасного поведения машины примерна равна вероятности появления сумашедшего человека у Большой Красной Кнопки.
С чем вы не согласны?
Если честно, мне не нравится сама точка зрения, осуждение обсуждения и культурного обмена. Я прошу прощения, если вы не имели этого в виду.
По поводу тезисов — разве кто-то говорит о торможении прогресса? Риски скорее увеличатся, потому что разработкой могут заняться злоумышленники. Насчет вероятности — она все-таки выше нуля, и у экспертов есть несколько мнений… Некоторые считают, что машины вообще никогда не станут умнее людей.
По поводу тезисов — разве кто-то говорит о торможении прогресса? Риски скорее увеличатся, потому что разработкой могут заняться злоумышленники. Насчет вероятности — она все-таки выше нуля, и у экспертов есть несколько мнений… Некоторые считают, что машины вообще никогда не станут умнее людей.
Это опасно. Хотябы потому, что все люди разные. И если у меня в голове может стоять цель: «нести всем людям добро», то у того же NonameAnonymus'а будет идея в голове — «смерть человекам». И тогда, в случае, если он завершит работу первый, над открытыми исходниками — как думаете, что произойдет? =)
Жизнь вообще штука вредная, от нее умирают.
Разработка ИИ в одиночку — вещь маловероятная. :-) Меня, честно говоря, тоже посещали похожие мысли после того, как я прочитал историю с шаттлами Гугла, которые очень не нравились местным жителям, некоторые их даже ненавидят — просто за то, что они другие, они поднимают цены и таким образом выселяют жителей из родного города. Понятно, что если люди узнают, чем занимаются некоторые гугловцы, ситуация ухудшится.
Мне кажется, не случайно Курцвейлу нужны данные о 2 млрд. людей, а Легг считает распространение культуры восприятия рисков ИИ одной из самых важных задач.
Мне кажется, не случайно Курцвейлу нужны данные о 2 млрд. людей, а Легг считает распространение культуры восприятия рисков ИИ одной из самых важных задач.
Эти ребята уже сделали. Они занимаются конкретными задачами.
На счет морали и этичности — согласен. Но тут больше к журналисту вопросы. Спрашивал не по делу.
На счет морали и этичности — согласен. Но тут больше к журналисту вопросы. Спрашивал не по делу.
А какими конкретными задачами они занимаются? Что они сделали?
Конкретно Легг выпустил в 2005-2006 пару нормальных работ по проблемам селекции в ГА, которые были опубликованы на нормальных конференциях (GECCO) и в хорошем журнале. Потом была относительно нормальная (но без восторгов) статья на NIPS в 2007. Все остальные статьи на конференциях и в журналах выходили в откровенно второсортных местах и по сути своей являются не более чем эквилибристикой формулами и туманными размышлениями.
Конкретно Легг выпустил в 2005-2006 пару нормальных работ по проблемам селекции в ГА, которые были опубликованы на нормальных конференциях (GECCO) и в хорошем журнале. Потом была относительно нормальная (но без восторгов) статья на NIPS в 2007. Все остальные статьи на конференциях и в журналах выходили в откровенно второсортных местах и по сути своей являются не более чем эквилибристикой формулами и туманными размышлениями.
Ну да. Я был на последнем nips'е.
Конкретно вот этот человек — http://scholar.google.ru/citations?user=rLdfJ1gAAAAJ&hl=ru&oi=ao
показывал как научил програмку играть в атари, просто считывая экран.
У вот этого человека scholar.google.ru/citations?user=mxiO4IkAAAAJ&hl=ru
была крутейшая статья на Word Embeddings. Там описывается как можно создавать очень качественные языковые модели с дешевыми вычислениями.
Вот этого не было на конференции, но на сколько я знаю он в той же банде. scholar.google.ru/citations?user=DaFHynwAAAAJ&hl=ru
У него state-of-the-art для распознавания рукописного текста и распознавания речи.
Это только те, на счет которых я знаю. Скорей всего там еще много интересных ученых собралось.
Конкретно вот этот человек — http://scholar.google.ru/citations?user=rLdfJ1gAAAAJ&hl=ru&oi=ao
показывал как научил програмку играть в атари, просто считывая экран.
У вот этого человека scholar.google.ru/citations?user=mxiO4IkAAAAJ&hl=ru
была крутейшая статья на Word Embeddings. Там описывается как можно создавать очень качественные языковые модели с дешевыми вычислениями.
Вот этого не было на конференции, но на сколько я знаю он в той же банде. scholar.google.ru/citations?user=DaFHynwAAAAJ&hl=ru
У него state-of-the-art для распознавания рукописного текста и распознавания речи.
Это только те, на счет которых я знаю. Скорей всего там еще много интересных ученых собралось.
Ок. Я не знал, что в этой компании работают еще и Graves c Mnih. Тогда тусовка действительно представительная. Спасибо, что просветили.
Я просто указал на то, что у самого Легга никаких заслуг нет.
Я просто указал на то, что у самого Легга никаких заслуг нет.
Да, тусовка там хорошая. Фаундеры на слуху, но у них и правда ничего серъезного в публикациях нет. Но за кадром много интересного. Возможно, гугл их купил посто чтоб их не купил фейсбук. На тот же nips Цукерберг приезжал, объявил что создает ML департамент у себя, и главным по науке будет LeCun.
Думали, и ещё как.
Вот, далеко даже ходить не нужно LA-602 vs. RHIC Review
Чтобы пост не был слишком сухим, разбавлю его цитатой из книги Конец света: прогнозы и сценарии — Валерий Юрьевич Чумаков
А дальше про возможность создания на коллайдере черной микродыры (или микрочерной дыры :) )
Такой сценарий даже в художественной литературе упоминается.
Вот в этом цикле Песни Гипериона говорится о «старой Земле», с которой человечество вынуждено было убежать именно по причине провалившейся в её центр черной дыры, созданной учёными.
И тоже проводятся исследования возможен ли такой исход, просчитываются вероятности.
Так что о рисках думают.
И ИМХО риск создания СЧИИ пострашнее атомной бомбы у мартышек.
Кстати, что-то я заропортовался :) В Гиперионе как раз в конце выясняется, что все проблемы у людей были именно из-за СЧИИ. Простите, не знаю как тут убрать спойлер.
P.S. вообще классный цикл, кто не читал, очень советую прочесть, это современная классика НФ. Хотя, конечно, там меньше науки и больше философии (сразу прошу прощения у философов, что противопоставил философию и науку ;) )
Вот, далеко даже ходить не нужно LA-602 vs. RHIC Review
Чтобы пост не был слишком сухим, разбавлю его цитатой из книги Конец света: прогнозы и сценарии — Валерий Юрьевич Чумаков
Правда, Энрико был весьма осторожным ученым. Это он впервые высказал «сумасшедшую» идею о том, что ядерный взрыв может привести к синтезу из дейтерия[8] (если он будет присутствовать в зоне взрыва в необходимом количестве) атомов гелия, а это способно породить значительно более мощный термоядерный взрыв. Задание опровергнуть «такую чепуху» было дано двум не менее серьезным, чем Ферми, физикам — Эдварду Теллеру и Эмилю Конопински. Они засели за работу посчитали и выдали ответ: то, что сказал Ферми, вполне возможно. Теллера расчеты увлекли настолько, что позже именно он возглавил американский проект по созданию водородной (термоядерной) бомбы.
Результаты проверки тогда насторожили ученых, и они задались вопросом: а не вызовет ли мощный ядерный взрыв, скажем, в океане, грандиозный термоядерный взрыв всей планеты. Ведь дейтерия в нем содержится не так и мало — в кубометре воды примерно 20 граммов. К счастью, расчеты показали, что такой концентрации для начала цепной термоядерной реакции будет недостаточно. Но ученые-скептики не успокоились и задали новый вопрос, еще более серьезный: а не приведет ли мощный ядерный или термоядерный взрыв в атмосфере к цепной реакции синтеза азота. Проще говоря, а не вспыхнет ли при взрыве вся атмосфера так, как вспыхивают пары бензина, если в них чиркнуть спичкой. Просчитать вероятность такого исхода доверили все тем же Теллеру и Конопински. Скоро на свет появился доклад ЬЛ-602 (ЬЛ — Лос-Анджелес, ибо считали ученые именно в этом городе), в котором на 22 страницах подробно, с расчетами и графиками, было объяснено, что вероятность подобного развития событий крайне мала. Наша атмосфера — слишком разреженная для того, чтобы произвести цепную реакцию. Тут как с дорожкой из костяшек домино: они будут падать цепочкой только в том случае, если одна костяшка при падении дотянется до другой. Если расстояние между ними больше — цепочки падений не получится. Так вот, расстояние между атомами в нашей атмосфере слишком велико.
В конце своего доклада ученые приписали: «Однако существует возможность того, что в атмосфере могут возникнуть другие, более простые виды горения… Сложность аргументации и отсутствие удовлетворительных экспериментальных данных делают дальнейшую работу по этому вопросу крайне желательной».
Конечно, никакой дополнительной работы по тому вопросу уже не проводилось. Риск, что при испытании первого ядерного заряда атмосфера все-таки рванет, оценивался некоторыми учеными так: 1: 3 000 000. Это даже несколько больше, чем шанс выиграть по лотерейному билету миллион долларов. Но ведь кто-то же его выигрывает, этот миллион, для кого-то шанс выпадает.
А дальше про возможность создания на коллайдере черной микродыры (или микрочерной дыры :) )
Такой сценарий даже в художественной литературе упоминается.
Вот в этом цикле Песни Гипериона говорится о «старой Земле», с которой человечество вынуждено было убежать именно по причине провалившейся в её центр черной дыры, созданной учёными.
И тоже проводятся исследования возможен ли такой исход, просчитываются вероятности.
Так что о рисках думают.
И ИМХО риск создания СЧИИ пострашнее атомной бомбы у мартышек.
Кстати, что-то я заропортовался :) В Гиперионе как раз в конце выясняется, что все проблемы у людей были именно из-за СЧИИ. Простите, не знаю как тут убрать спойлер.
P.S. вообще классный цикл, кто не читал, очень советую прочесть, это современная классика НФ. Хотя, конечно, там меньше науки и больше философии (сразу прошу прощения у философов, что противопоставил философию и науку ;) )
В следующих интервью есть гипотезы НФ сценария с построением СЧИИ на Луне термоядерных реакторов:
Не знаю, мне кажется, что если такие вещи выносить в основной текст статьи, автора могут начать воспринимать как прорицательницу Вангу. Что не очень-то и хотелось бы! =)
Однако, разумеется, бесконечный интеллект невозможен из-за физических ограничений. Без дополнительной помощи закон Мура будет продолжать действовать до достижения физических ограничений вероятно в 2060, если текущий уровень прогресса сохранится, и стоит ли говорить, что эти пределы как бы невозможно достичь (потому что они могут влючать процессы, которые отдаленно напоминают черные дыры). Однако, представьте, что ИИ сможет разработать ядерные реакторы с использованием Гелия-3 на Луне и энергоэффективные процессоры для достижения огромных вычислительных мощностей. источник
Не знаю, мне кажется, что если такие вещи выносить в основной текст статьи, автора могут начать воспринимать как прорицательницу Вангу. Что не очень-то и хотелось бы! =)
По мне — так в биореактор всех этих перестраховщиков.
Кстати, основатель DeepMind Демис Хассабис в 2010-ом то же самое говорил, жаль что сейчас его Гугл попросил не давать интервью:
Но я думаю, что мы настолько далеки от этого, и чего-либо, что может оказаться опасным или разумным, что мне кажется, что мы проделать намного больше работы перед тем, как начать анализировать, какие опасности могут возникнуть.
But I think we're so far away from that, and so far away from anything being dangerous or sentient, that we need to do a lot more work first before we can properly analyse what the dangers might be. источник
А что у этой компании есть сейчас, что их купили за такие деньги?
Известно, что коммерческих разработок у нее нет. Об этой компании неизвестно почти ничего, кроме того, что они занимаются созданием ИИ и изучают строение мозга. Наверно, в ближайшее время я опубликую транскрипции ютубовских лекций основателя DeepMind, Демиса Хассабиса — руки до них пока не дошли. На Слон.Ру есть немного о нем:
Сканируя мозг человека, ученым удалось проследить активность некоторых нейронов все того же гиппокампа и определить местонахождение человека в смоделированной на компьютере виртуальной реальности. Это открытие гипотетически может привести к появлению аппаратов для сканирования нескольких видов человеческой памяти, хотя Хассабис и считает, что риск непрошеного вторжения в сознание человека по-прежнему можно отнести к разряду фантастики.
В последние годы Хассабис занимался в том числе дальнейшими исследованиями технологий сканирования мозга и, судя по всему, продвинулся в этом довольно далеко.
А разве не это самое интересное в интервью человеку, чью компанию купили в области ИИ купили за 500 миллионов? :)
Хочется такой вопрос в интервью :)
Хочется такой вопрос в интервью :)
Случайно нашел в Интернете — его Гугл попросил не давать интервью после покупки DeepMind:
For the moment, however, that picture remains blurred. Despite the glut of publicity surrounding the sale of DeepMind, nobody seems sure exactly what it does – and those who know won't tell. Hassabis politely declined to comment for this article, saying he has been «instructed by Google not to respond to interview requests at this time». via
Sign up to leave a comment.
Риски ИИ от LessWrong.com, часть 1: интервью с Шейном Леггом из DeepMind