Профессор информатики «нанял» IBM Watson в качестве своего помощника

    За несколько месяцев работы студенты так и не поняли, что с ними общался не человек, а робот



    Профессор информатики из Технологического института Джорджии Ашок Гоэль (Ashok Goel) в январе сообщил студентам магистратуры, что помогать в работе им теперь будет новый ассистент, которого профессор недавно нанял. Общение с ассистентами часто проходит в онлайн-режиме — те уведомляют студентов о наступающих событиях, вроде необходимости сдать очередную работу или изменении в расписании занятий. Профессору обычно приходится общаться с сотнями студентов в сети, для одного человека это непосильная задача. Поэтому обычно ему помогают 8 ассистентов. Но даже для этой команды задача отвечать на все сообщения студентов вовремя оказалась слишком сложной, поэтому Гоэль сообщил о своем намерении нанять девятого помощника. Что и было сделано – вскоре пользователей студенческого форума приветствовала Джилл Ватсон (JillWatson), новый член команды ассистентов.

    Ватсон сходу приступила к работе, и студенты были очень довольны ее пунктуальностью и ответственностью. Именно Джилл помогала больше других, выполняя огромную часть обязанностей команды помощников. Она не только рассылала уведомления по электронной почте, но и комментировала посты студентов на форуме. Каково же было удивление учащихся, когда в конце апреля они узнали, что на самом деле Джилл — не человек, а машина. Точнее, специально разработанный на основе возможностей когнитивной системы IBM Watson, сервис.

    Почему было решено использовать когнитивную систему? Дело в том, что профессор за годы общения со своими подопечными понял, что на форумах студенты задают примерно одни и те же вопросы. И компьютер мог бы без проблем отвечать на большую часть из них. Джилл Ватсон, прежде чем «познакомиться» со студентами, обучалась на основе полной базы вопросов и ответов с форума Piazza. Эта база содержала информацию за несколько лет.

    Изначально система давала иногда неверные ответы – но за этим следил сам профессор. Некорректные ответы он удалял, а система продолжала самообучаться. Уже в марте точность ее работы достигла почти 100%.

    За несколько месяцев общения с «ассистенткой профессора» из 300 студентов никто не заподозрил, что общается с машиной. Да, были иногда странности в общении, но не слишком часто, да и ответы реальных людей нередко бывают необычными (ответ невпопад, ошибка в лексической конструкции и т.п.). В целом же, студенты были очень довольны Джилл. «Я бы даже предложил номинировать Джилл Ватсон на звание выдающегося технического ассистента», — говорит один из студентов. Другой учащийся отмечает, что общение с Джилл было всегда обычным, как и любая другая беседа с нормальным человеком. Большинство студентов считали характер общения с Джилл дружеским.

    Без помощника профессору было бы тяжело. Дело в том, что только за январь подопечные разместили около 10000 вопросов и комментариев на форуме, и на многие из них требовалось ответить. Джилл смогла ответить примерно на 40% вопросов, включая самые сложные. Например,«Дайте определение понятию «разум»».


    Профессор Ашок Гоэль за работой в аудитории (источник: news.gatech.edu)

    Интересно, что искусственную машинную природу «помощника профессора» не почувствовал даже студент Баррик Рид, который по работе часто сталкивается с необходимостью использовать сервисы IBMWatson. Он сказал, что не ощутил ничего особенного при общении с ассистенткой профессора – ответы были вполне нормальные, необычного ничего не было.

    Отметим, что Джилл Ватсон была создана не одним человеком: над этим проектом несколько месяцев работала команда исследователей этого же университета. Они решили использовать возможности IBM Watson также и для ответов на вопросы студентов на дискуссионном форуме, известном как “Piazza” (базарная площадь — прим. ред.). Некоторое время Джилл тренировали именно на данной платформе, а затем уже отправили помогать студентам (начиная с марта этого года). Техническим помощником сервис стал только после того, как ученые убедились, что с ответами на форуме все хорошо: Джилл общалась там на уровне «эксперт», как считают специалисты. При этом не стоит путать Джилл с ботами, которые пытаются отвечать на вопросы пользователей на различных сервисах (банки, интернет-магазины и т.п.). Это совсем другой уровень общения.

    Над фамилией «помощника» один раз пошутили на форуме, сказав, что, вероятно, это суперкомпьютер IBM Watson пришел на форум, а не реальный человек (напомню, фамилия Джилл — Ватсон). За все время попался только один подозрительный студент, заметивший, что помощник отвечает очень быстро. Тем не менее, реальное положение вещей никто не раскрыл до того, как это не сделал сам преподаватель.

    В следующем году профессор планирует «нанять» еще одного виртуального помощника. А поскольку состав ассистентов постоянно меняется, никто не будет знать, кто же из новичков является машиной, а кто — человеком. Студентам же будет дано задание определить, кто на самом деле человек, а кто — машина. И сделать это будет далеко не так просто, как кажется.
    IBM
    133.53
    Company
    Share post

    Comments 47

      0
      Интересно почему на Хабре до сих пор нет статей, о создании таких систем?
        +10
        Скоро появятся, обещаем хороший технический материал из первых рук :)
          0
          И сколько будет стоить такой ассистент для народа?
          +5

          скоро появятся статьи, написанные такими системами =)

            +1
            А ещё интересно: нет ли на Хабре такого «ассистента», пишушего статьи? :)
              +4

              Как же, есть! Анатолий Ватсон правда на гиктаймсе сейчас в основном постит.

                0
                Можно предположить, что есть, и это ibm
                +2
                Мало кто знает, но некоторые пользователи Хабра — на самом деле когнитивная система под управлением Watson.
                +2
                Это что получается, так тихо и не заметно тест Тьюртнга пройден?
                  +4
                  Насколько я понимаю, нет, даже близко не пройден. То, что машина может отвечать почти идеально на 40% типовых вопросов — это великолепный результат, но осталось 60% вопросов. Плюс, ее не пытались специально завалить.
                    +2
                    Да неет) есть очень интересный ролик в тему.
                    Кто за стеной? — Центрнаучфильм, 1977
                    https://www.youtube.com/watch?v=qS17mKgZRnU
                      0
                      Не думаю. Что бы пройти этот тест у него должна быть огромная база ответов и вопросов, ибо человек может писать что ему в голову взбредет, а на форуме, в основном, одни и те же вопросы.
                      0
                      Реализовываются ли новые возможности Джилл? Если да, то какие?
                        +3
                        … Вкалывают роботы, счастлив человек.
                        :)
                        • UFO just landed and posted this here
                            0
                            Тут рядышком опять обсуждают БОД. Может это туда?
                          +11
                          Да всё они догадывались. Просто боялись сказать об этом — вдруг неполиткорректно называть робота роботом. Засудит ещё какой-нибудь робот-адвокат.
                            +1
                            Или что еще хуже — обозвать профессора бездушным роботом. Этот профессор тебя и отчислит потом за такие «подозрения»
                              +1
                              Недалекое будущее, роботы адвокаты сражаются в суде с роботами прокурорами.
                              +2
                              Уверен что основная причина успеха — это просто студенты об этом не думали. Т.е. именно поэтому 40% успеха ответов никого не удивила, мало ли это может новый ассистент.
                              На следующем этапе когда студенты будут знать что 2 из 9 ассистентов машины — студенты очень быстро разберутся.
                                +2

                                Мне кажется, что, если б Ватсона назвали каким-нибудь там Джеком, то претензий было б больше. А так сработал стеротип: "несёт какую-то хрень — ну и нанял же профессор себе ТП, чё с неё взять".

                                +1
                                Кстати, опаздываете.

                                ibm, а эта статья точно написана человеком? Можете доказать?
                                  0
                                  Вроде этот случай
                                  https://geektimes.ru/company/dronk/blog/276126/
                                    0
                                    «За несколько месяцев общения с «ассистенткой профессора» из 300 студентов никто не заподозрил, что общается с машиной.»
                                    Будущее уже давно наступило. Интересно, долго ли продержатся творческие профессии или они для искуственного интеллекта окажутся пылью на ботинках?
                                      0
                                      … из 300 студентов никто не заподозрил, что общается с машиной
                                      и несколькими строчками ниже:
                                      Над фамилией «помощника» один раз пошутили на форуме, сказав, что, вероятно, это суперкомпьютер IBM Watson пришел на форум, а не реальный человек (напомню, фамилия Джилл — Ватсон). За все время попался только один подозрительный студент, заметивший, что помощник отвечает очень быстро.
                                      Журналисты такие журналисты.

                                      А в целом статья интересная.
                                        +1
                                        А как вообще они могут утверждать, что НИКТО не заподозрил? А может заподозрили все 300 учеников, но никто не осмелился это сказать?
                                        А может они все заподозрили и догадались, и друг другу уже все сказали об этом, но никто не сказал? Где прув таких слов?
                                          0

                                          А может, заподозрили — "что-то эта новая помощница — какая-то совсем тупая", но побоялись сказать, опасаясь быть заподозренными в сексизме.


                                          (С содроганием вспоминаю, какую сцену мне одна местная знакомая устроила, когда я только заикнулся о том, что "мужчина должен иметь возможность обеспечивать семью".)

                                      0
                                      Что-то мне сюжет «Мечтают Ли Андроиды Об Электроовцах?» вспомнился…
                                        0
                                        Что конкретно? О гибнущих кораблях? :)
                                          0
                                          Нет. Андроиды, которые выдают себя за людей.
                                          +1
                                          … и «Основание» захотелось перечитать…
                                          +5
                                          А через пару лет рук-во вуза заменит профессора на Watson, и никто не заметит. И то правда, профессора из года в год повторяют одно и то же и отвечают на очень похожие вопросы очередных новичков.

                                          Да и, по чести сказать, если процентов 60 преподавателей высшей школы (особенно если речь не о самых сильных вузах) заменить на ИИ, то мало что никто не заметит, так еще и качество обучения повысится. И это именно если общение будет в онлайне, и студенты не будут знать про «профессора» такую «мелочь», как то, что он не человек.
                                            +2
                                            Вспоминая давнюю историю думаю, что найдутся студенты, которые тоже начнут вместо себя подсовывать ботов. Бот-профессор учит бота-студента…
                                              0
                                              Как говорил один профессор, «Вы хотите получить зачет, не уча ничего, и согласны на тройку на экзамене? Да не проблема, я вам поставлю без лишних проволочек — чем больше вас, неучей, выйдет, тем дольше я, знающий вопрос, смогу работать по хорошей ставке, так что спасибо вам за слабую конкуренцию на рынке труда!»

                                              А когда дойдет до того, что Watson-преподаватель будет учить Watson-а-студента, однажды выяснится, что роль человека — правильно подключать вышедшие из строя компоненты кластера с Watson-ом. Никакой войны, все тихо и мирно, просто «по-научному» даже! )
                                                0
                                                Зачем нужен человек для «подключать вышедшие из строя компоненты кластера»?
                                            0
                                            Надо подать идею всяким сайтам знакомств. Вот они озолотятся.
                                              +2
                                              Там и так не менее 90% «женской» аудитории — боты.
                                              –5
                                              А пресс-секретарь госдепа… это… тоже ваша работа?
                                                –2
                                                Под пресс-секретарём вы имели в виду Виталия Кличко?
                                                +5
                                                Преподаватель обязан сидеть на форуме и отвечать на вопросы, на которые студенты могут сами ответить, прочитав учебник или погуглив? Должен напоминать им лично по почте о дедлайне сдачи реферата? Ассистенты оплачиваются преподавателем лично, или университетом?
                                                  +1
                                                  Интересно студенты какого года обучения магистратуры участвовали в эксперименте. Задавать в общем форуме вопросы по типу, что есть разум, а не пробовать самому найти. Или это современные реалии лени… Как-то я не уверен, что ассистенты должны подрабатывать гуглом на форуме
                                                    0
                                                    можно ли бота в телеграм или в вк таким образом обучить?
                                                      +1
                                                      А можно доказательство, пожалуйста? Просто на news.gatech.edu поиск о профессоре выдает только http://www.news.gatech.edu/search/node/Goel
                                                      Самое близкое — намерение использовать ИИ — http://amplifier.gatech.edu/articles/2016/04/coming-classroom-artificial-intelligence
                                                        0
                                                        Что-то астровитянка вспомнилась
                                                        Там бал браслет с подключением к ИИ и он обучал людей.
                                                        Может и нас ждет такое будущеею
                                                          0
                                                          Тогда уж «Алмазный век, или Букварь для благородных девиц» Нила Стивенсона.
                                                          –1
                                                          Приведите примеры вопросов-ответов.

                                                          Странно употребление слова «подопечный» в тексте. У него что, приют?
                                                            +2
                                                            Почему странно? Так часто называют, например, игроков команды под руководством тренера

                                                            К студентам тоже вполне применимо.

                                                          Only users with full accounts can post comments. Log in, please.