Comments 11
Для тех, кто хочет потестить всё самостоятельно: репозиторий на GitHub с гайдом и ссылками на блокноты в Google Collab.
По поводу перевода en<->ru - я делал аналогичную схему, когда работал с LLM.
Вылилось это вот в такой опенсорсный переводчик c REST endpoint: https://github.com/janvarev/OneRingTranslator
Там поддержка оффлайн и онлайн переводов через кучу разных движков.
Есть интеграция с oobabooga (плагин multi_translate), а также я общался с SillyTavern, вроде они уже тоже встроили его поддержку, но я не тестировал.
У фейсбука есть ещё много интересных моделей которые могут пригодиться - musicgen для музыки, audiocraft для звуковых эффектов и музыки, nllb для перевода. Почти всё есть на huggingface.
У лламы2чат есть серьёзные проблемы с цензурой рядом с которыми yandexgpt кажется пошляком. Она начинает говорить про права капусты если спросить загадку про волка, козу и капусту. Цензуру исправили как могли через finetune. Правда сложно назвать лучшую модель. Обычно хвалят nous hermes, mythosmax, airoboros.
Можно ещё глянуть в сторону rwkv моделей, в частности rwkv world. Будучи rnn они поддерживают "бесконечный" размер контекста и O(1) времени на генерацию каждого токена, что для вн и рпг очень важно, в теории.
Спасибо за идеи. Странно, вот с цензурой-то как раз llamacha мне, кажется, вовсе не надоедала.
А идея с эмбиентом даже не приходила. Тестил звуковые модели и раньше, но как-то не подумал об этом сразу.
Про модели с генерацией за O(1) раньше вообще не слашал, спасибо!
https://huggingface.co/spaces/BlinkDL/RWKV-World-7B
Что именно вам не удалось? Кажется, модель работает и даже кушает гигантские контексты.
теперь ко всему этому прикрутить GUI
Для тех, кто хочет потестить всё самостоятельно: репозиторий на GitHub с гайдом и ссылками на блокноты в Google Collab.
Как я понял тут персонажи зашиты в лору. Было бы интересно увидеть более универсальный вариант с картами персонажей, как в тавернах. Добавить еще скрипты по триерным событиям и вообще игровой движок получится.
В том-то и поинт, что нет) Я не использовал лоры ни для LLama, ни для StableDiffusion.
Описание героини Fate мне лама выдала самостоятельно, что, собственно не удивительно.
Counterfeit же корректно рисует её только если написать её имя полностью без ошибок "Rin Tohsaka". Если писать Tosaka или Toosaka, то получается мусор.
Идея с "карточками" мне понравилась, спасибо
Визуальное RPG с долговременной памятью, генерируемое из 3 нейросетей и LLamы