Галлюцинация для улучшения машинного перевода

[phenik]

Спасибо за перевод!

В этой модели нейросеть читает предложение на исходном языке, затем «галлюцинирует» картинку на его основе, а затем использует и текст, и картинку для создания перевода.

Вполне логичное направление развития нейросетевого ИИ исходя из когнитивных представлений. При недостатке контекстной информации во время работы с текстами человек обращается к различным формам образного мышления — воспоминаниям, воображению, фантазии, и др, чтобы восполнить его, и тем самым уменьшить неопределенность. В своей разработке авторы почему то назвали этот процесс галлюцинированием, пусть и в кавычках. Однако галлюцинации связаны скорее с искажениями восприятия вызванными разными шумами и помехами. По смыслу больше подходит процесс воображения (imagination), моделирования имеющегося сенсо-моторного опыта. Делал комент на эту тему в одной из публикаций, как раз для случая проблем с передачей смысла во время перевода текстов.

Исходя из когнитивных представлений можно спрогнозировать дальнейшее развитие подобных систем. Воображение не покрывает всех возможных ситуаций связанных с их моделированием. Сам язык уже содержит в себе представления об интуитивной физике, связанные с допустимыми и недопустимыми действиями в окружающем мире. В мозге дополнительно может происходить бессознательная симуляция ситуаций описанных в текстах, в кот. вовлекается физический модуль, некоторым аналогом которого могут служить физические движки в играх. В том же MIT над этой тематикой давно успешно работает известный когнитивист Д. Тененбаум (на Хабре он не раз упоминался в связи со своими разработками, см. некоторые публикации на эту и близкие темы 1, 2, 3, 4). Как гипотетически может выглядеть этот механизм связи физических симуляций ситуаций в связи с переводом текста, см. в этом коменте (часть под спойлером) в уже упоминавшейся публикации. Там же имеются некоторые ссылки на источники для интересующихся этой тематикой.