Ранее в статье «Робот-собеседник на основе нейронной сети» я рассматривал вопрос применения нейронных сетей прямого распространения для создания робота-собеседника. В результате экспериментов стало понятно, что применять такие сети для генерации текстов ― идея плохая. Спасибо Roman_Kh, daiver19, vladshow, что показали, как необходимо изменить сеть и в каком направлении двигаться.
Следующий этап тестирования ― рекуррентные LSTM-сети.
Как и ранее, в последних экспериментах с сетями прямого распространения, словарь создаётся инструментом Word2Vec с равномерным распределением слов в векторном пространстве. Каждое слово представляется вектором длины
.
Рекуррентные сети могут генерировать последовательности, поэтому применим соответствующий способ кодирования. Попросим сеть по предложению-вопросу пословно генерировать предложение-ответ.
В текстовом виде база обучения хранится как набор предложений «Вопрос = Ответ», например:
Для управления генерацией последовательностей используются следующие служебные теги, которые закодированы с помощью Word2Vec вместе с другими словами:
Для обучения нейронной сети формируются две матрицы TrainX и TrainY следующим образом. Каждая матрица имеет размер
, где 
― число предложений в базе (
в этом примере); 
― наибольшее количество слов в предложении + 3 (для #GEN#, #BOS#, #EOS#), в данном примере 
; 
― длина вектора слова (50).
Все последовательности приводятся к самой длинной по числу слов. В данном примере самой длинной является последовательность №6, значит все предложения дополняются до семи слов, пустые места в конце заполняются #EOS#:
NULL ― ответ сети значения не имеет, при кодировании слов заполняется нулями.
После обучения на вход нейронной сети пословно подаются все слова вопроса и тег #GEN#. После этого просим сеть предсказывать следующее слово по переданным ранее предыдущим, пока не встретится тег #EOS#. Исключая из ответа служебные теги, получаем ответ.
В эксперименте участвуют:
После обучения и запоминания 109 предложений можно получить вот такие ответы.
В эксперименте участвуют:
Задаём те же самые вопросы:
В эксперименте участвуют:
И такой диалог:
Для тестирования специально выбирались вопросы, которых нет в обучающей базе (кроме первого), чтобы проверить «разумность» построенных моделей. Как мне показалось, рекуррентные сети работают гораздо лучше, на них сильно не сказывается отсутствие некоторых слов в вопросе или порядок слов в предложении (ответ на «Как тебя зовут?», «Как зовут тебя?» одинаков). Конечно, и этот результат всё ещё далёк от «хорошего».
Следующий этап тестирования ― рекуррентные LSTM-сети.
Как и ранее, в последних экспериментах с сетями прямого распространения, словарь создаётся инструментом Word2Vec с равномерным распределением слов в векторном пространстве. Каждое слово представляется вектором длины
.Подготовка для генерации последовательностей
Кодирование предложений
Рекуррентные сети могут генерировать последовательности, поэтому применим соответствующий способ кодирования. Попросим сеть по предложению-вопросу пословно генерировать предложение-ответ.
В текстовом виде база обучения хранится как набор предложений «Вопрос = Ответ», например:
1 ПРИВЕТ = ПРИВЕТ (2 слова) 2 ДАВНО НЕ ВИДЕЛИСЬ = ЗДРАВСТВУЙ ДРУГ (5 слов) 3 ХОРОШИЙ ДЕНЬ = ОТЛИЧНЫЙ ДЕНЬ (4 слова) 4 КАКОЙ СЕГОДНЯ ДЕНЬ = СЕГОДНЯ ОТЛИЧНЫЙ ДЕНЬ (6 слов) 5 ДАВАЙ ДРУЖИТЬ = ДАВАЙ БУДЕМ ДРУЗЬЯМИ (5 слов) 6 БУДЕШЬ МОИМ ДРУГОМ = ХОРОШО КОГДА МНОГО ДРУЗЕЙ (7 слов) 7 ДО ВСТРЕЧИ = ДО СВИДАНИЯ (4 слова)
Для управления генерацией последовательностей используются следующие служебные теги, которые закодированы с помощью Word2Vec вместе с другими словами:
- #GEN# ― конец предложения-вопроса, можно начинать генерировать ответ;
- #BOS# ― начало генерации ответа;
- #EOS# ― остановить генерацию ответа.
Для обучения нейронной сети формируются две матрицы TrainX и TrainY следующим образом. Каждая матрица имеет размер
, где ― число предложений в базе ( в этом примере); ― наибольшее количество слов в предложении + 3 (для #GEN#, #BOS#, #EOS#), в данном примере ; ― длина вектора слова (50).Все последовательности приводятся к самой длинной по числу слов. В данном примере самой длинной является последовательность №6, значит все предложения дополняются до семи слов, пустые места в конце заполняются #EOS#:
t=0 t=1 t=2 t=3 t=4 t=5 t=6 t=7 t=8 t=9 TrainX[0][t] = ПРИВЕТ #GEN# #BOS# ПРИВЕТ #EOS# #EOS# #EOS# #EOS# #EOS# #EOS# TrainY[0][t] = NULL #BOS# ПРИВЕТ #EOS# #EOS# #EOS# #EOS# #EOS# #EOS# #EOS# t=0 t=1 t=2 t=3 t=4 t=5 t=6 t=7 t=8 t=9 t=10 TrainX[1][t] = ДАВНО НЕ ВИДЕЛИСЬ #BOS# ЗДРАВСТВУЙ ДРУГ #EOS# #EOS# #EOS# #EOS# #EOS# TrainY[1][t] = NULL NULL NULL ЗДРАВСТВУЙ ДРУГ #EOS# #EOS# #EOS# #EOS# #EOS# #EOS#
NULL ― ответ сети значения не имеет, при кодировании слов заполняется нулями.
Генерирование ответа сетью
После обучения на вход нейронной сети пословно подаются все слова вопроса и тег #GEN#. После этого просим сеть предсказывать следующее слово по переданным ранее предыдущим, пока не встретится тег #EOS#. Исключая из ответа служебные теги, получаем ответ.
Тестирование архитектур
Теперь для экспериментов использую язык Python и библиотеку Keras.
Вариант 1. Одна ячейка LSTM, 65 450 параметров
В эксперименте участвуют:
- Слой 1: LSTM с D нейронами на входе и 2D на выходе;
- Слой 2: Слой прямого распространения с D нейронами.
После обучения и запоминания 109 предложений можно получить вот такие ответы.
― ПРИВЕТ ― ПРИВЕТ ― ТЕБЯ КАК ЗОВУТ? ― МЕНЯ ЗОВУТ СЕТЬ ― ПРИВЕТ СЕТЬ ― ПРИВЕТ ― ПРИВЕТ, ТЫ МЕНЯ ЗНАЕШЬ? ― Я ТОЛЬКО УЧУСЬ ― ТЕБЯ ЗОВУТ ОЛЕГ? ― ПРИЯТНО ПОЗНАКОМИТЬСЯ ― ТЕБЯ ЗОВУТ СЕТЬ? ― МЕНЯ ЗОВУТ СЕТЬ ― ТЫ ХОРОШАЯ? ― Я ДУМАЮ ТЕБЕ ― ТЕБЕ ЧТО-НИБУДЬ НРАВИТСЯ? ― МНЕ НРАВИТСЯ СЛУШАТЬ ― ХОЧЕШЬ ПОГОВОРИТЬ? ― БУДУ РАДА ИНТЕРЕСНОЙ БЕСЕДЕ ― О ЧЁМ? ― ДАВАЙ ПОГОВОРИМ О
Вариант 2. Две ячейки LSTM, 93 150 параметров
В эксперименте участвуют:
- Слой 1: LSTM с D нейронами на входе и 2D на выходе;
- Слой 2: LSTM с 2D нейронами на входе и D на выходе;
Задаём те же самые вопросы:
― ПРИВЕТ ― ПРИВЕТ ― КАК ТЕБЯ ЗОВУТ? ― МЕНЯ ЗОВУТ СЕТЬ ― ПРИВЕТ, СЕТЬ ― ЭТО ДРУГ ― ПРИВЕТ, ТЫ МЕНЯ ЗНАЕШЬ? ― Я ТОЛЬКО УЧУСЬ ― ТЕБЯ ЗОВУТ ОЛЕГ? ― МЕНЯ ЗОВУТ ― ТЕБЯ ЗОВУТ СЕТЬ? ― МЕНЯ ЗОВУТ СЕТЬ ― ТЫ ХОРОШАЯ? ― Я ДУМАЮ УЧУСЬ ― ТЕБЕ ЧТО-НИБУДЬ НРАВИТСЯ? ― МНЕ НРАВИТСЯ СЛУШАТЬ МУЗЫКУ ― ХОЧЕШЬ ПОГОВОРИТЬ? ― БУДУ РАДА ИНТЕРЕСНОЙ БЕСЕДЕ ― О ЧЁМ? ― ДАВАЙ ПОГОВОРИМ О
Вариант 3. Три ячейки LSTM, 63 150 параметров
В эксперименте участвуют:
- Слой 1: LSTM с D нейронами на входе и D на выходе;
- Слой 2: LSTM с D нейронами на входе и D на выходе;
- Слой 3: LSTM с D нейронами на входе и D на выходе.
И такой диалог:
― привет ― ПРИВЕТ ― ТЕБЯ КАК ЗОВУТ? ― МЕНЯ ЗОВУТ СЕТЬ ― ПРИВЕТ, СЕТЬ ― ЭТО ТЕБЕ ― ПРИВЕТ, ТЫ МЕНЯ ЗНАЕШЬ? ― Я ТОЛЬКО УЧУСЬ ― ТЕБЯ ЗОВУТ ОЛЕГ? ― МЕНЯ ПОЗНАКОМИТЬСЯ ― ТЕБЯ ЗОВУТ CЕТЬ? ― МЕНЯ ЗОВУТ СЕТЬ ― ТЫ ХОРОШАЯ? ― Я ДУМАЮ В ― ТЕБЕ ЧТО-НИБУДЬ НРАВИТСЯ? ― МНЕ НРАВИТСЯ СЛУШАТЬ МУЗЫКУ ― ХОЧЕШЬ ПОГОВОРИТЬ? ― БУДУ РАДА ИНТЕРЕСНОЙ БЕСЕДЕ ― О ЧЁМ? ― ДАВАЙ БУДЕМ ДРУЗЬЯМИ
Итог
Для тестирования специально выбирались вопросы, которых нет в обучающей базе (кроме первого), чтобы проверить «разумность» построенных моделей. Как мне показалось, рекуррентные сети работают гораздо лучше, на них сильно не сказывается отсутствие некоторых слов в вопросе или порядок слов в предложении (ответ на «Как тебя зовут?», «Как зовут тебя?» одинаков). Конечно, и этот результат всё ещё далёк от «хорошего».
Интересно, что первая модель из трёх наиболее адекватно отвечает на приветствие, её не сбивает собственное имя в предложении. Вместе с тем, она всё же точно не знает, как её зовут. Вторая модель, напротив, на приветствие, отличное от обучаемого, отвечает как угодно ужасно. Но, в отличие от первой модели, попыталась правильно ответить на вопрос о своём имени («Тебя зовут Олег?» ― «Меня зовут»). Хоть в данной реализации не предполагается запоминание контекста диалога и предыдущих ответов, выбор темы разговора в первых двух моделях выглядит адекватнее.
Вывод: Из всей тестовой базы первые модели отвечают адекватно на одну часть вопросов, великолепно проваливая тест на остальной. Другие модели отвечают на вторую часть вопросов и блестяще не справляются с первой. Жаль, что нельзя создать совокупность нейронных сетей, которые бы смогли ответить на все вопросы тестового набора правильно…
Поэтому дальнейшая задача ― исследование влияния типов и количества слоёв ИНС на качество её ответов при неизменных обучающем и тестовом наборах, чтобы сконструировать такую модель нейронной сети, которая пройдёт мой тест.
