Учим AI Dungeon говорить по-русски

[gotz]

А сколько памяти на картах бесплатного колаба? На 16Gb Colab Pro мне удалось файнтюнить ruGPT-3 Medium, по идее, она более хорошие результаты диалогов должна выдать

[Srat_Ohota]

Странно, у меня как раз в Colab Pro не влезла средняя модель(ruGPT-3 Medium). Ты какие параметры задавал?

[A114n]

Почему нельзя просто загнать туда все имеющиеся на русском языке фэнтези-книги?
Ну и странно, что только готика — есть же балдурс гейт и все сиквелы, планескейп, дивинити…

[Xobotun]

Нужны размеченные книги. И это должны быть книги в жанре CYOA, упомянутом в статье — как у Гарри Гаррисона в "Стальная Крыса поёт Блюз" был аппендикс "Теперь ты — Стальная Крыса".

Ну и странно, что только готика

Готики 1 и 2 (единственные игры, которые оказались на моем ноутбуке)

[A114n]

Нужны размеченные книги.

А нельзя для начала включить неразмеченные?
Ну например просто диалоги из книг повырезать, чтобы улучшить функцию «say»?

[raamid]

А можно ли как-то управлять весом данных? Например указать, что вот эта книга весит в 10 раз больше чем другие. В смысле управлять степенью влияния конкретных кусков тренировочних данных на тренируемую нейросеть.

[Srat_Ohota]

Да, можно управлять весами по-разному (простое решение в лоб — продублировать 10 раз нужный кусок в тренировочных данных). Но это может привести к тому, что модель выродится в простой генератор этого куска текста, так что разнообразие в тренировочных данных лучше сохранять.

[janvarev]

Спасибо, очень интересный проект!
Кстати, я играл в AI Dungeon на русском — просто поставил рядом плагин Google Translator. Вывод он переводил на русский автоматически. Ввод я делал, переводя команды с русского на английский на отдельной странице, и копируя результат.
Получалось очень прилично :)

[Ul3ainee]

Насчёт «где достать»: есть такой open source движок для текство-графических игр INSTEAD, и есть репозиторий игр к нему. По жанровой принадлежности и качеству придётся фильтровать, разумеется.