Файнтьюнинг трансформера GPT-3 на корпусе поэтических текстов

Я пишу стихи еще со школьных лет. Но в последнее время вдохновение приходит реже и реже. А друзья иногда просят почитать "что-нибудь из нового". Поэтому я решил попробовать обучить нейросеть писать стихи в моем стиле.

В этом эксперименте использовалась предобученная русскоязычная версия генеративной нейросети GPT-3 (Generative Pre-trained Transformer 3, тре­тье поко­ле­ние алго­рит­ма обра­бот­ки есте­ствен­но­го язы­ка), а точнее - ее реконструкцию от Сбербанка под названием rugpt3small_based_on_gpt2 из репозитория. Там же был взят предложенный разработчиками Python-notebook для проведения файнтьюнинга. Работа проводилась в ноябре 2020 года, сейчас у Сбербанка есть новый репозиторий с аналогичными моделями.

В качестве датасета для точного дообучения я взял корпус из поэтических текстов собственного сочинения: 284 стихотворения для обучения и 39 для валидации (отбор производился предложенным разработчиками методом с ручным подбором порогового значения Levenshtein edit-distance). В качестве целевой переменной использовались первые строки стихов. Обучение шло 10 эпох, в результате метрика для языковых моделей – перплексия достигла значения 63, что, конечно, существенно хуже показателей предобучения от Сбербанка.

Ниже приведены примеры генерации новых текстов дообученой GPT-3. Как видно, языковая модель «освоила» разбиение текста на строфы и формирование довольно причудливых («поэтических») образов, но не восприняла понятия рифмы и ритма. Это может объясняться отсутствием в обучающей выборке разметки поэтических особенностей – расположения ударений в словах и какого-либо выделения рифмующихся слогов. При дальнейших экспериментах необходимо учитывать эти параметры, что потребует, во-первых, большего размера обучающей выборки, а во-вторых, возможно, изменений в архитектуре модели.

Примеры генерировались вручную, также был сделан ручной отбор примерно трети сгенерированных текстов. Предлагаю читателям оценить верлибры от нейросети GPT-3.

***
Нейросеть несет мне бред,
Но в нем есть и смысл.
Я не могу поверить, что это так,
Я не хочу быть погребенным под обломками
Незнакомого мне мира.

***
Недавно мы с другом ходили по берегу моря,
И, глядя на волны и солнце, смеялись и плакали.
И я вдруг почувствовал прилив сил и бодрости,
Когда увидел, что вокруг совсем не страшно.
И я не побежал за водкой, а поплыл по волнам,
Вслед за другом, который плыл со мной рядом.

***
Случайный прохожий
Смотрит в небо,
Смотрит в душу,
И мне кажется,
Что он видит сны,
А мне кажется,
Что он слышит мои слова.
Он смотрит в небо,
А мне кажется,
Что он слышит мои сны,
А мне кажется,
Что он слышит мои мысли.

***
Я смотрю, как умирают люди,
Но я не верю, что это конец.
Они ушли, растворившись в небесах,
И я остался один в темноте,
И не знаю, где кончается мир.

***
Я не хочу быть таким, как все.
Я хочу жить в своем доме,
Не видеть чужих страданий.
Я люблю свою работу,
Но каждый раз, когда мне звонят из налоговой и говорят, что я плачу налоги,
Я закрываю глаза на то, что все налоги идут на зло,
Но я не хочу быть таким, как все.
И все, что я делаю, не нравится окружающим.

***
Я был пьян, и мне приснилось, будто я сижу на троне.
Когда я проснулся, то не поверил глазам своим.
На троне восседала прекрасная женщина – прекрасная и мудрая.
Она смотрела на меня с любовью и добротой.
Я почувствовал, как по жилам разливается счастье.
Она ласково коснулась моей щеки и нежно произнесла:
- Милый, мне приснилось, будто ты жив.
Ты подарил мне жизнь, я полюбила тебя, и я буду любить вечно.
И я понял, что это счастье – быть рядом с тобой всегда, всегда, всегда.
Ты – моя судьба, и я буду любить вечно.

***
"Живи, улыбайся, пляши", —
Сказал мне мой дед, и я поверил,
Как же мне хотелось ему помочь.
Я вспомнил, как когда-то в далекие годы
Он спас мою жизнь, когда мы с женой
Ворчали над пропажей денег.
Я снова вспомнил, как в юности
Был весел и беспечен, как
Был душой полон и телом.
И теперь, на закате лета,
Я снова смотрю на мир широко
И с восхищением отмечаю,
Как он прекрасен!

***
Ты мне нравишься, но я не умею жить с тобой
В одиночестве, в одиночестве, в одиночестве
На дне бездонной пропасти.
Ты всегда со мною, я всегда с тобой,
Но мне так хочется, чтоб ты ушла
От меня, растворила свой мир
В моих глазах и растворила все
Во мне, растворила, как снег
В стакане холодной воды.

***
Я не смогу стерпеть твой презрительный взгляд
И презрительный ответ: "Что, не нравлюсь?"
Я напишу песню о том, как трудно
Нам с тобой быть вместе.
Но если ты улыбнешься мне в ответ,
То знай: отныне и навсегда
Я твой навеки преданный раб!

***
Слишком много водки –
Сердце не слушается.
Я плюю на дела,
Бьюсь за правду до конца.
Все напрасно: друзья, любовь...
Что мне остается?
Жизнь – сплошные потери.
Стаканом лишним не отделаюсь.

***
Я иду по небу, держась за поручень,
И, кажется, я знаю, куда иду.
Там, внизу, мои друзья, с ними беда.
Они ждут, когда я смогу им чем-то помочь.
Но они сами не в себе, им все нипочем.
Я смотрю вниз, и мне кажется, что я тоже где-то рядом,
Просто я не могу до них достучаться.
Они ждут, когда я смогу им что-то сказать,
Но я пьян, я не могу им помочь.