Словарь Вильяма Шекспира составляет 12000 слов. Словарь негра из людоедского племени «Мумбо-Юмбо» составляет 300 слов. Эллочка Щукина из книги «12 стульев» легко и свободно обходилась тридцатью.
Человек легко понимает Эллочку. Увы, компьютер скорее бы понял Шекспира, чем Эллочку. Нам хватит понять контекст и интонацию — остальное мы додумаем, — а компьютеру надо четкости в каждом термине. Желательно без синонимов. Чем больше образов скрыто за каждым словом, тем сложнее его понять. Контекстозависимость человеческих слов только одна из сложностей обучения искусственного интеллекта естестве��ному языку. Если отличить съедобный лук от стреляющего лука можно при наличии полноты описания ситуации, то отрицание смысла иронией или риторические вопросы распознаются только по интонации. Дополнительную сложность создает синтаксис и порядок слов в предложении.
Игорь Мордач, сотрудник американской лаборатории искусственного интеллекта OpenAI, однако решил, что Эллочкин язык — далеко не тупиковый путь, а вполне подходящий пример, на котором боты выстроят язык для своего общения, а потом и нас поймут. Только и 30 слов для компьютерной Эллочки он пожалел. В его эксперименте компьютерная программа создавала язык «с нуля».
Точность распознавания естественного языка сейчас у лидеров когнитивных систем (IBM Watson, Google, ABBYY, Microsoft, Наносемантика) позволяет в общем понять смысл и ответить на письменный вопрос при заранее определенной предметной базы знаний, но разговор даже с 90% точностью распознавания фраз на самом деле очень утомителен. Разговорная речь, насыщенная междометиями и проходящая часто в обширной компании с пересечением диалогов, ставит бота по способности поддерживать беседу на уровень трехлетнего ребенка.
Наличие способности у программ точно реагировать на смысл фраз позволило бы решить множество проблем интерфейса, а значит подключить ботов (агентов искусственного интеллекта) к любой повседневной человеческой задаче. Диалог с машинами есть и сейчас — телевизор, например, общается на языке пульта. Но понимает очень мало команд. Причем и их понимает только после программирования. Из этого просто примера ясно, что для быстрого и гибкого общения с многоцелевыми программами и устройствами (хотя бы роботами), надо убрать из диалога посредников. Среди которых, увы, и программисты.
Оптимисты компьютерной лингвистики связывают надежды с нейросетями. В их понимании проблема только в необходимости обработки большого количестве примеров. Оппоненты считают задачу неразрешимой. Не столько из-за масштаба обучения, сколько из-за равнозначности этой задачи задачи созданию сознания у машин. Примеры считающих дельфинов или общающихся обезьян каждая из сторон трактует себе на пользу — одни как перспективу, другие как тупик. Для интересующихся подробностями на Хабре и ГТ есть много постов про естественный язык. К примеру «Введение в распознавание естественного языка».
Предметом этого поста является третий подход, взятый за основу Игорем Мордачем — пусть машины сами сначала научатся общаться на создаваемом ими же языке. Процесс выработки своего языка позволит программным агентам искусственного интеллекта лучше понять алгоритм подстройки терминов под новые смыслы, правила фразообразования и использовать эти знания для бесед с человеком. Именно так поставил задачу Мордач, ранее работавший специалистом по созданию движущихся роботов-киногероев. С учетом этого бекграунда Игорь решил, что обучение движениям содержит алгоритмы сбора информации и её частичного ��дновременного использования, которые можно использовать в любом обучении.
Для обучения ботов языку ботов (программных агентов) поместили в условную вселенную «белого квадрата», задали им цели, энергию движения и возможность обрабатывать опыт соотнесения себя с целью. Изначально у ботов был минимальный набор команд действия, личный опыт успеха, а также дали способ обмена информацией — через близкий «тактильный контакт» или через дистанционный прообраз «слуха и зрения» (тут уместнее использовать термин направление информационного потока). Предназначением ботов в условной вселенной «белого квадрата» было достичь определенной точки самому, сообщить свою цель другому агенту, обменяться целями, затолкать другого агента к цели при отсутствии между ними информационного обмена. Цели и боты отличались цветом или размером.
Для агента Смита матрица при ее сотворении Мордачем выглядела бы примерно так:
В эксперименте OpenAI измеряемым параметром успешности проб и ошибок были факт и скорость достижения целей. Они могли быть бездействие или движение определенной точки (непосредственного контакта с целью или контакта через других агентов) в виртуальном мире белого квадрата. Чем быстрее достигалась цель, тем полезнее признавался используемый список терминов в текущем диалоге целей. Цели и успех были как индивидуальные, так и коллективные.
В процессе выполнения задач боты обогатили языковой запас новыми понятиями условно соответствующими человеческим — от терминов движения до понятий: выше, ниже, правее, левее. Мордач рассчитывает, что устанавливая правила словообразования, боты смогут легче «понимать» такие же правила в человеческих языках. В том числе обучаясь точности использования сравнительных и неопределенных терминов. ИИ плохо понимает абстрактные и обобщенные термины. Точнее он вообще ничего не понимает, но с какими то фразами он работать готов, а для других надо получить уточняющую информацию. В выражении «машина едет быстро» как минимум слово «быстро» — нуждается в измерении. Даже в понятиях ПДД «быстро» — это все равно массив значений, которых вписывается в какой-то интервал. Точнее несколько интервалов — для города, автобанов и сельской местности.
Нейросети, конечно, умеют работать с неопределенными терминами, но их обучение обычно начинается не с нуля, содержит ряд стартовых правил обработки, а также не имеет зависимости накопления сигнального опыта от типа канала, по которому информация передается. Это основные новинки экспериментов Мордача.
Сравнение дистанционных коммуникаций и тактильного общения ботов:
Отсутствие тела и границ делает все эти термины условными, конечно.
Примечательный момент ещё и в том, что успех каждого бота рассчитывался как доля от успеха всех ботов, поощряющая сотрудничество при достижении цели. То есть качество словарного запаса оценивалось по совокупности используемого языка. Получается, кто-то должен был обязательно собирать и сообщать второстепенные обстоятельства достижения цели, которые в случае индивидуального выполнения целей каждым носителем мешали бы достичь оных. Статистическое правило 20/80 — получение 20% информации обеспечивают 80% достижения цели — работает на уровне индивидуального субъекта, но в коллективе кто-то всегда должен свои 100% собранной информации отдать на дополнительные 1% достижения цели.
Все случаи «вербальной» и «невербальной» контактной коммуникации ботов при исследовании Мордача показаны в видео:
Основная идея Мордача — сделать так, чтобы постигая «окружающий мир», боты создали язык, необходимый для этого постижения. В его концепции язык — это результат действий. Иные ученые обращают внимание на то, что развитый язык и способность общения на абстрактный темы позволит машинам создавать свои идеи, описывать и творить новые сущности, ранее не существующие. Тут недалеко и от преобразования нашего мира.
Способность понимать естественный язык считается тесно связанной с наличием у субъекта общения сознания. Приведет ли умение понимать смысл сказанного к появлению сознания у машин? Возможно только обладающий человекоподобным созданием субъект может полностью понимать естественный язык, а создание языка ботов в их собственной среде как раз к разумным ботам в той или иной версии агента Смита и приведет.
Установка ботами приоритетов по ходу обучения противоречит инженерному принципу надежности и предсказуемости работы машин. Непредсказуемость приоритетов, способность фантазировать, самообучение, скрытность общения ботов для человека — уже дали о себе знать в предыдущих экспериментах OpenAI. Не имея обязательной конечной цели, программы придумывали себе неожиданные приоритеты по ходу обучения. В эксперименте по виртуальным лодочным гонкам выполнение сопутствующих задач стало для ботов выгоднее 1 места и вообще прохождения гонки до конца. Выполнение попутных задач приносило на 20% больше очков.
Знакомо, не правда ли? Роберт Шекли описал это 65 лет назад в известном рассказе «Страж-птица», которые от предупреждения убийств перешли к блокировке любой активности на Земле, игнорируя иные приоритеты и задачи ради основной:
Эксцессом создания собственного языка у ботов может стать создание ими собственной виртуальной вселенной. По крайней мере в истории человечества такие прецеденты есть. Процитирую Толкиена:
Того, что машины начнут думать раньше, чем мы это поймем, опасаются и в OpenAI. Если же у ботов будет ещё и свой язык, то люди проворонят этот момент почти наверняка. Поэтому у Мордача задача не только создать ботовский язык, но и создать переводчик на человеческий. Сначала конечно на английский.
Отвечая на подобные опасения, Игорь приводит контаргументом известный мысленный эксперимент в области философии сознания и философии искусственного интеллекта под названием «китайская комната», опубликованный Джоном Сёрлом в 1980 году. Суть утверждения Серла в том, что любое полноценное общение теоретически вполне возможно без сознания, но с использованием для ответов достаточно подробных правил интерпретации вопросов собеседника. Более общий вывод Сёрла говорит о том, что любые манипуляции с синтаксическими конструкциями не могут приводить к пониманию.
В таком контексте собственный язык и собственная виртуальная вселенная совершенно не означает наличия сознания у ее агентов и объектов. Как в компьютерных играх. Или, как считают некоторые, — как у человека, сознание которого только семантический шлюз между четким «искусственным» языком внутри мозга и естественным шумом сигналов внешнего мира.
Человек легко понимает Эллочку. Увы, компьютер скорее бы понял Шекспира, чем Эллочку. Нам хватит понять контекст и интонацию — остальное мы додумаем, — а компьютеру надо четкости в каждом термине. Желательно без синонимов. Чем больше образов скрыто за каждым словом, тем сложнее его понять. Контекстозависимость человеческих слов только одна из сложностей обучения искусственного интеллекта естестве��ному языку. Если отличить съедобный лук от стреляющего лука можно при наличии полноты описания ситуации, то отрицание смысла иронией или риторические вопросы распознаются только по интонации. Дополнительную сложность создает синтаксис и порядок слов в предложении.
Игорь Мордач, сотрудник американской лаборатории искусственного интеллекта OpenAI, однако решил, что Эллочкин язык — далеко не тупиковый путь, а вполне подходящий пример, на котором боты выстроят язык для своего общения, а потом и нас поймут. Только и 30 слов для компьютерной Эллочки он пожалел. В его эксперименте компьютерная программа создавала язык «с нуля».
В поисках универсального языка общения с машинами
Точность распознавания естественного языка сейчас у лидеров когнитивных систем (IBM Watson, Google, ABBYY, Microsoft, Наносемантика) позволяет в общем понять смысл и ответить на письменный вопрос при заранее определенной предметной базы знаний, но разговор даже с 90% точностью распознавания фраз на самом деле очень утомителен. Разговорная речь, насыщенная междометиями и проходящая часто в обширной компании с пересечением диалогов, ставит бота по способности поддерживать беседу на уровень трехлетнего ребенка.
Наличие способности у программ точно реагировать на смысл фраз позволило бы решить множество проблем интерфейса, а значит подключить ботов (агентов искусственного интеллекта) к любой повседневной человеческой задаче. Диалог с машинами есть и сейчас — телевизор, например, общается на языке пульта. Но понимает очень мало команд. Причем и их понимает только после программирования. Из этого просто примера ясно, что для быстрого и гибкого общения с многоцелевыми программами и устройствами (хотя бы роботами), надо убрать из диалога посредников. Среди которых, увы, и программисты.
Оптимисты компьютерной лингвистики связывают надежды с нейросетями. В их понимании проблема только в необходимости обработки большого количестве примеров. Оппоненты считают задачу неразрешимой. Не столько из-за масштаба обучения, сколько из-за равнозначности этой задачи задачи созданию сознания у машин. Примеры считающих дельфинов или общающихся обезьян каждая из сторон трактует себе на пользу — одни как перспективу, другие как тупик. Для интересующихся подробностями на Хабре и ГТ есть много постов про естественный язык. К примеру «Введение в распознавание естественного языка».
Предметом этого поста является третий подход, взятый за основу Игорем Мордачем — пусть машины сами сначала научатся общаться на создаваемом ими же языке. Процесс выработки своего языка позволит программным агентам искусственного интеллекта лучше понять алгоритм подстройки терминов под новые смыслы, правила фразообразования и использовать эти знания для бесед с человеком. Именно так поставил задачу Мордач, ранее работавший специалистом по созданию движущихся роботов-киногероев. С учетом этого бекграунда Игорь решил, что обучение движениям содержит алгоритмы сбора информации и её частичного ��дновременного использования, которые можно использовать в любом обучении.
Для обучения ботов языку ботов (программных агентов) поместили в условную вселенную «белого квадрата», задали им цели, энергию движения и возможность обрабатывать опыт соотнесения себя с целью. Изначально у ботов был минимальный набор команд действия, личный опыт успеха, а также дали способ обмена информацией — через близкий «тактильный контакт» или через дистанционный прообраз «слуха и зрения» (тут уместнее использовать термин направление информационного потока). Предназначением ботов в условной вселенной «белого квадрата» было достичь определенной точки самому, сообщить свою цель другому агенту, обменяться целями, затолкать другого агента к цели при отсутствии между ними информационного обмена. Цели и боты отличались цветом или размером.
Для агента Смита матрица при ее сотворении Мордачем выглядела бы примерно так:
В эксперименте OpenAI измеряемым параметром успешности проб и ошибок были факт и скорость достижения целей. Они могли быть бездействие или движение определенной точки (непосредственного контакта с целью или контакта через других агентов) в виртуальном мире белого квадрата. Чем быстрее достигалась цель, тем полезнее признавался используемый список терминов в текущем диалоге целей. Цели и успех были как индивидуальные, так и коллективные.
В процессе выполнения задач боты обогатили языковой запас новыми понятиями условно соответствующими человеческим — от терминов движения до понятий: выше, ниже, правее, левее. Мордач рассчитывает, что устанавливая правила словообразования, боты смогут легче «понимать» такие же правила в человеческих языках. В том числе обучаясь точности использования сравнительных и неопределенных терминов. ИИ плохо понимает абстрактные и обобщенные термины. Точнее он вообще ничего не понимает, но с какими то фразами он работать готов, а для других надо получить уточняющую информацию. В выражении «машина едет быстро» как минимум слово «быстро» — нуждается в измерении. Даже в понятиях ПДД «быстро» — это все равно массив значений, которых вписывается в какой-то интервал. Точнее несколько интервалов — для города, автобанов и сельской местности.
Нейросети, конечно, умеют работать с неопределенными терминами, но их обучение обычно начинается не с нуля, содержит ряд стартовых правил обработки, а также не имеет зависимости накопления сигнального опыта от типа канала, по которому информация передается. Это основные новинки экспериментов Мордача.
Сравнение дистанционных коммуникаций и тактильного общения ботов:
Отсутствие тела и границ делает все эти термины условными, конечно.
Примечательный момент ещё и в том, что успех каждого бота рассчитывался как доля от успеха всех ботов, поощряющая сотрудничество при достижении цели. То есть качество словарного запаса оценивалось по совокупности используемого языка. Получается, кто-то должен был обязательно собирать и сообщать второстепенные обстоятельства достижения цели, которые в случае индивидуального выполнения целей каждым носителем мешали бы достичь оных. Статистическое правило 20/80 — получение 20% информации обеспечивают 80% достижения цели — работает на уровне индивидуального субъекта, но в коллективе кто-то всегда должен свои 100% собранной информации отдать на дополнительные 1% достижения цели.
Все случаи «вербальной» и «невербальной» контактной коммуникации ботов при исследовании Мордача показаны в видео:
Рукотворная и незаметная Матрица как итог ботовского общения
Основная идея Мордача — сделать так, чтобы постигая «окружающий мир», боты создали язык, необходимый для этого постижения. В его концепции язык — это результат действий. Иные ученые обращают внимание на то, что развитый язык и способность общения на абстрактный темы позволит машинам создавать свои идеи, описывать и творить новые сущности, ранее не существующие. Тут недалеко и от преобразования нашего мира.
Способность понимать естественный язык считается тесно связанной с наличием у субъекта общения сознания. Приведет ли умение понимать смысл сказанного к появлению сознания у машин? Возможно только обладающий человекоподобным созданием субъект может полностью понимать естественный язык, а создание языка ботов в их собственной среде как раз к разумным ботам в той или иной версии агента Смита и приведет.
Установка ботами приоритетов по ходу обучения противоречит инженерному принципу надежности и предсказуемости работы машин. Непредсказуемость приоритетов, способность фантазировать, самообучение, скрытность общения ботов для человека — уже дали о себе знать в предыдущих экспериментах OpenAI. Не имея обязательной конечной цели, программы придумывали себе неожиданные приоритеты по ходу обучения. В эксперименте по виртуальным лодочным гонкам выполнение сопутствующих задач стало для ботов выгоднее 1 места и вообще прохождения гонки до конца. Выполнение попутных задач приносило на 20% больше очков.
Знакомо, не правда ли? Роберт Шекли описал это 65 лет назад в известном рассказе «Страж-птица», которые от предупреждения убийств перешли к блокировке любой активности на Земле, игнорируя иные приоритеты и задачи ради основной:
Джексон зевнул и остановил машину у обочины. Он не заметил в небе сверкающей точки. Ему незачем было остерегаться. Ведь по всем человеческим понятиям он вовсе не замышлял убийства.
Он протянул руку, хотел выключить зажигание… И что-то отбросило его к стенке кабины.
— Дура железная, — сказал он повисшей над ним механической птице. Автомобиль не живой. Я вовсе не хочу его убить.
Но страж-птица знала одно: некоторые действия прекращают деятельность организма. Автомобиль, безусловно, деятельный организм, Ведь он из металла, как и сама страж-птица, не так ли? И при этом движется…
Эксцессом создания собственного языка у ботов может стать создание ими собственной виртуальной вселенной. По крайней мере в истории человечества такие прецеденты есть. Процитирую Толкиена:
Изобретение языков является основой моих трудов. «Истории» были написаны более для того, чтобы создать мир для этих языков, а не наоборот. Для меня сначала возникает слово, а затем — история, связанная с ним. Я бы предпочел писать «по-эльфийски». Но, безусловно, такая книга, как «Властелин Колец» подверглась серьёзной редактуре, и я оставил там ровно столько «языков», сколько мог переварить читатель (хотя сейчас я узнаю, что многие хотели бы большего). [...] В любом случае, для меня это во многом эссе по «лингвистической эстетике», как я иногда отвечаю людям, которые спрашивают меня, о чём я написал свою книгу.
Того, что машины начнут думать раньше, чем мы это поймем, опасаются и в OpenAI. Если же у ботов будет ещё и свой язык, то люди проворонят этот момент почти наверняка. Поэтому у Мордача задача не только создать ботовский язык, но и создать переводчик на человеческий. Сначала конечно на английский.
Отвечая на подобные опасения, Игорь приводит контаргументом известный мысленный эксперимент в области философии сознания и философии искусственного интеллекта под названием «китайская комната», опубликованный Джоном Сёрлом в 1980 году. Суть утверждения Серла в том, что любое полноценное общение теоретически вполне возможно без сознания, но с использованием для ответов достаточно подробных правил интерпретации вопросов собеседника. Более общий вывод Сёрла говорит о том, что любые манипуляции с синтаксическими конструкциями не могут приводить к пониманию.
В таком контексте собственный язык и собственная виртуальная вселенная совершенно не означает наличия сознания у ее агентов и объектов. Как в компьютерных играх. Или, как считают некоторые, — как у человека, сознание которого только семантический шлюз между четким «искусственным» языком внутри мозга и естественным шумом сигналов внешнего мира.
