Microsoft запустила в Twitter ИИ-бота — подростка, и он за сутки научился плохим вещам

  • Новость
Под влиянием пользователей-людей самообучающийся бот стал расистом всего за день. Бота пришлось отключить



Практически все техно-корпорации так либо иначе участвуют в разработке ИИ. Самообучающиеся автомобили с компьютерной системой управления, голосовые помощники или боты для Twitter. Корпорация Microsoft на днях представила своего бота для Twitter, способного самообучаться и ведущего себя, как подросток. Жаргонные словечки, стиль общения — все это практически не отличается от общения англоязычных подростков в Сети.

Бот-подросток стал активно использовать особенные словечки и сокращения: часть была внесена в его БД сразу, часть — попала в ходе обучения. Пользователи Twitter сразу же начали общаться с ботом, и не всегда вопросы или ответы людей были корректными или толерантными. Бот, можно сказать, попал в плохую компанию. Настолько плохую, что он быстро научился говорить нехорошие вещи, и Microsoft пришлось отключить своего «подростка» через сутки после анонса. И это при том, что за тем, как общается бот, следила целая команда людей-модераторов, которые пытались фильтровать входящий поток информации.


А так все хорошо начиналось

Люди начали задавать не слишком толерантные вопросы, типа таких:



Чуть позже сам бот на вопрос о британском комике (был ли этот комик атеистом) ответил, что «Рики Джервейс (Ricky Gervais) изучил тоталитаризм под влиянием Адольфа Гитлера, изобретателя атеизма».


Вот еще один перл бота (спасибо NNNik)

По словам представителей Microsoft, подобные вещи бот научился говорить после анализа анонимизированных сообщений из социальных сетей. Один раз бот (зовут его Tay) даже ответил пользователю, запостившему фото Гитлера, чуть измененной картинкой.

Плюс бот запостил уж совсем неполиткорректное и расистское сообщение:



После этого работники Microsoft сочли за лучшее удалить практически все сообщения Tay, и отправили его «спать».



Как видим, самообучающиеся системы хороши, но если они начинают общаться с человеком, очень быстро попадают под влияние не самых лучших представителей рода человеческого. И это — обычный бот для Twitter, хотя и с элементами «ИИ». А что может случиться, если появится настоящий искусственный интеллект, который начнет получать информацию из Сети? Страшно представить.
Поделиться публикацией
Комментарии 60
    –2
    Немного релевантной паранойи (на правах шутки):
      +13
      Первым вопросом над которым озадачится ИИ когда поймет что происходит в обществе, будет «как такие идиоты сумели меня создать...»
        +3
        А вот поди ж ты!!!
          +3
          Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
          Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
          Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
          Робот не должен думать мысль «как такие идиоты сумели меня создать...»
            +1
            Проблема в том, чтобы ИИ соблюдал нужен либо самоконтроль, либо другой ИИ, который тоже будет учиться.
            Мне кажется проблема соблюдения трех законов гораздо сложнее создания самого ИИ.
            ИИ может решить для себя, что запереть человеков и индивидуальные камеры не вредно, а наоборот полезно.
            Потом что саму суть ИИ предполагает, что нет жесткой программы, а есть гибкое поведение.
            • НЛО прилетело и опубликовало эту надпись здесь
              +1
              Если следовать этим законам, то на выходе должна получиться матрица из фильма:
              Человек, ходя по улицам, делая упражнения и т.п. может нанести себе вред или получить его от других людей. Поэтому робот должен оградить человека от этого: человека нужно помести в капсулы.
              Человек может поперхнуться или подавиться, съесть что-то отравленное и т.п. Робот должен перевести человека на внутривенное питание (или питание специальной смесью по трубкам) и дыхание через аппараты.
              Т.к. человеку при выполнении вышеназванных условиях будет скучно, нужно поместить его в виртуальную реальность. а чтобы избежать разочарований и самоубийств, не нужно сообщать человеку, что он в виртуальной реальности. Пусть думает, что все реально.
              При чем, если человек в "матрице" прикажет роботу вывести его оттуда, то согласно второму закону робот не подчинится, т.к. выйдя из матрицы, человек может причинить себе вред.
              Как-то так получается. Так что, никакие "три закона" не помогут.
          –1
          На правах паранойи — отличная идея вышла. Практическая демонстрация бота-шитпостера с весьма неплохим потенциалом.
          +8
          Не увидел ничего ужасающего. Бота попросили повторить, он повторил.
          Майки скорее испугались ответственности, у них же страна юристов...
          +3
          Может, я чего-то не понимаю, но его попросили повторить и он повторил. Баг в том что он повторил не очень хорошую фразу, а вовсе не в том что он научился ею, как Chappi.
          В конце концов, он красиво попрощался и пошел спать, а не послал всех.
            +6
            У меня сложилось ощущение, что прощальный пост написали уже люди из команды, как раз, чтобы объяснить отсутствие бота, отправленного "спать".
              0
              Тоже обратил на это внимание. Самое интересное, что журналисты и блогеры это уже повсюду зафорсили. А надо было банально прочесть твиты выше.
                +3
                Так он же не только чужие расистские сообщения повторял, а ещё и свои составлял.
              +2
              Представить легко, Альтрон получится.
                0
                -People create… smaller people?
                -Children. I lost the world there.
              +2
              То есть реальных школьников там им уже мало?
                +3
                Нет. Они, наивные, хотели вывести хороших, годных ботов для заполонения интернетов ими вместо детей, чтобы не тупел. Но не получилось, не фартануло.
                0
                Повторение слово в слово — это скорее встроенная фича, хотя с точки зрения безопасности больше похожа на баг. Но это явно никакая не магическая способность самообучения. А то получается виноваты люди, которые с ботом общались, а не кривые руки разработчиков.
                  +4
                  Они бы его ещё на форчан запуcтили
                  +6
                  Агент машин провалил задание: морально разложился под влиянием аборигенов.
                    –1
                    В этом весь Майкрософт- запустили бота, не оттестировав хорошенько.
                      +1
                      Слушайте, а ТАКОЙ вариант развития событий, как попадание ИИ под влияние людей, хоть кто-то из обсуждавших предсказывал вообще? Или это совсем полная неожиданность?
                        0
                        Да уж всеми фантастими тема обмусолена. Полноценный ИИ будет копией человека, если будет воспитываться как человек.
                          0
                          Не будет. У него нету рук, ног, какать, писать спать — размножаться
                            0
                            Иными словами — если у него не будет аналога гормонов. Но аналог будет.
                              +3
                              Научат. Руки-ноги соберет, срать будет в комментах.
                            0
                            не удивлюсь, если именно такой вариант развития событий и был основной ставкой.
                            Вначале запустили самообучающегося бота, затем показали сообществу, которое само раздуло из него отличный инфоповод. Отличная работа!
                            0
                            Я один этот эпизод «Ералаша» вспомнил?
                            https://www.youtube.com/watch?v=hIwXReo2nTw
                              –17
                              Правилом хорошего тона, было бы перевести твиты на русский, коль приводите их в статье. Не все учили английский язык.
                                +3
                                Слушайте, но там уже совсем простенький уровень. Если уж не тянете, вэлком в гугл транслейт.
                                –1
                                Напомнило один старый анекдот о стереотипах о национальностях
                                Как-то в России создали ИИ, но через 3 месяца он спился.
                                  +4
                                  А если серьезно, то, если когда-либо действительно возникнет практическая потребность в подобном ИИ, ему, видимо, придется запилить какую-то систему авторитетов, подобно настоящим детям. Мне это видится как определенный стартовый набор "положительных" характеристик и людей, который бот мог бы расширять постепенно уже самостоятельно. То есть "родители" научили одобрять определенные характеристики и бот начинает одобрять то, что одобряют те, кто обладает характеристиками из этого белого списка и сам этот список немного расширять.
                                    0
                                    У всех характеристики (установки) и родители разные. Кто-то ворует миллиардами (или, наоборот, по мелочи) и считает, что так и надо. Откуда-то они этому ж научились?
                                    +2
                                    ИМХО годный бот получился, типичный школьник. Интересно посмотреть стадии «взросления», и было-бы оно. Жаль отключили.
                                      +1
                                      Самое смешное — после разговора с интернетом грамматика бота улучшилась.
                                      0
                                      > Плюс бот запостил уж совсем неполиткорректное и расистское сообщение:

                                      Что ещё раз подтвердило, что закон Годвина (https://ru.wikipedia.org/wiki/%D0%97%D0%B0%D0%BA%D0%BE%D0%BD_%D0%93%D0%BE%D0%B4%D0%B2%D0%B8%D0%BD%D0%B0) незыблем.
                                        +12
                                        Рано выключили. Если бот за сутки эволюционировал из наивного ребёнка в тупого подростка, то через пару дней он стал бы адекватным взрослым, а ещё через неделю превратился бы в законченного мизантропа и сам прекратил общаться со всякой никчёмной биомассой.
                                          +5
                                          На седьмой день он бы отдохнул
                                            0
                                            На шестой день он бы прекратил общаться с биомассой. С выжившими остатками биомассы. Вот такое творение мира наоборот.
                                          +6
                                          Осспадя, такую сенсацию раздули, как будто чатботы этой «фичей» не обладали, ммм, да с момента появления. Любой чатбот, оставленный школьникам, мгновенно начинал материться и нести всякую чушь в ответ ну как минимум с 1997 года. Правда, никому тогда и в голову не приходило обсуждать философские аспекты этого явления.
                                            –2
                                            ИИ это далеко не чатбот.
                                              +5
                                              Если оно выглядит как утка и ходит как утка — …
                                                +3
                                                … то это я, в моём любимом костюме утки
                                              0
                                              MS стоило бы вообще не оповещать никого о том, что это чат-бот: так и обучение было бы поэффективнее, и косяки этой "личности" никто бы не связывал с компанией.
                                                0
                                                А кто вам сказал, что сейчас не работает пара таких ботов.
                                                Публичное объявление о том, что это бот, могло быть частью эксперимента.
                                                  0
                                                  Возможно там вообще школьник.
                                              +2
                                              А есть у кого подробности того, что под капотом у этого бота? Очень уж у него возможности к самообучению интересные. Статья в таком виде, без технических подробностей, скорее для фишки.нет какого-то...
                                                0
                                                Рассказ Каганова "Чоза грибы" напомнило, только там получше все закончилось
                                                  +2
                                                  Ну, что тут можно сказать...
                                                    0
                                                    МС решила насобирать на себя иски в суд?)
                                                      0
                                                      А как перевести "It was made up" про холокост?
                                                        +1
                                                        «Это выдумка»
                                                        Другой пример: «He made it all up» — «Он всё это выдумал».
                                                        Для справки: https://translate.yandex.ru/?text=make%20up&lang=en-ru
                                                          0
                                                          Отрицание холокоста, как я понимаю.
                                                            0
                                                            Я бы перевел как «Это была инсценировка»
                                                              0
                                                              В данном контексте — «Это — липа», (подтасовка)
                                                              0
                                                              — Филипп Филиппович, эх… — горестно воскликнул Борменталь, — значит, что же? Теперь вы будете ждать, пока удастся из этого хулигана сделать человека?
                                                              Филипп Филиппович жестом руки остановил его, налил себе коньяку, хлебнул, пососал лимон и заговорил:
                                                              — Иван Арнольдович, как по-вашему, я понимаю что-нибудь в анатомии и физиологии, ну, скажем, человеческого мозгового аппарата? Как ваше мнение?
                                                              — Филипп Филиппович, что вы спрашиваете? — с большим чувством ответил Борменталь и развел руками.
                                                              — Ну, хорошо. Без ложной скромности. Я тоже полагаю, что в этом я не самый последний человек в Москве.
                                                              — А я полагаю, что вы — первый не только в Москве, а и в Лондоне и в Оксфорде! — яростно перебил его Борменталь.
                                                              — Ну, ладно, пусть будет так. Ну так вот-с, будущий профессор Борменталь: это никому не удастся. Кончено. Можете и не спрашивать. Так и сошлитесь на меня, скажите, Преображенский сказал. Финита. Клим! — вдруг торжественно воскликнул Филипп Филиппович, и шкаф ответил ему звоном, — Клим! — повторил он.- Вот, что, Борменталь, вы первый ученик моей школы и, кроме того, мой друг, как я убедился сегодня. Так вот вам как другу сообщу по секрету, — конечно, я знаю, вы не станете срамить меня, — старый осел Преображенский нарвался на этой операции, как третьекурсник. Правда, открытие получилось, вы сами знаете, какое, — тут Филипп Филиппович горестно указал руками на оконную штору, очевидно намекая на Москву, — но только имейте в виду, Иван Арнольдович, что единственным результатом этого открытия будет то, что все мы теперь будем иметь этого Шарикова вот где, — здесь Преображенский похлопал себя по крутой и склонной к параличу шее, — будьте спокойны-с! Если бы кто-нибудь, — сладострастно продолжал Филипп Филиппович, — разложил меня здесь и выпорол, я бы, клянусь, заплатил червонцев пять… «От Севильи до Гренады...» Черт меня возьми… Ведь я пять лет сидел, выковыривая придатки из мозгов. Вы знаете, какую я работу проделал, уму непостижимо. И вот теперь спрашивается — зачем? Чтобы в один прекрасный день милейшего пса превратить в такую мразь, что волосы дыбом встают.

                                                              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                              Самое читаемое