Comments 11
Спасибо, крайне интересно, хочется больше всяческих Colab ноутов с примерами, поиграться. Особенно ruGPT3
Если хочется поиграться, вы можете попробовать консюмерские продукты но основе GPT-подобных сетей: AIDungeon, NovelAI, HoloAI. Первый пытается воссоздать текстовые RPG (хотя в принципе при дожном старании можно генерировать что угодно), остальные - просто бесконечно дополняют текст, генерируя "истории". NovelAI имеет очень продвинутые настройки генерации, в том числе temp, top-p, top-k, способ семплирования и многие другие.
Язык, к сожалению, только английский, но зато там сети с 6.5 миллиардами параметров, и работают они значительно лучше маленькой ruGPT3.
Язык, к сожалению, только английскийKoboldAI способен проглотить ruGPT от Сбера, позволяя играть в аналог DungeonAI на русском. Может запускаться как на локальной машине, так и в облаке (Google Colab). Также он использует особый вид фильтрации, не упомянутый в данной статье — Tail-free sampling, который даёт тексты заметно лучшего качества, чем top_p/top_k-фильтрация.
Оптимальные настройки для генерации фэнтези-текста на ruGPT3large: Temperature=0.5, Tail free sampling = 0.95, top_p=1.0, top_k=0 (комбинация последних двух параметров полностью отключает top_p/top_k-фильтрацию), Repetition penalty = 1.12.
Традиционно всё делается на pyton - понимаю, что там все библиотеки. Но может есть возможность с этим поиграться на других языках? В частности интересует js.
Я не думаю, что то же самое можно закодить на каком-то другом языке — оно попросту сколлапсирует от чудовищного количества костылей. На код будет даже дышать страшно, потому что каждое изменение будет ломать его в двадцати местах. Устойчивость к подобному стилю кодирования — киллер-фича Python.
Хотя есть попытки закодить работу с нейронками на JS (например, tensorflow.js), но GPT, насколько мне известно, на Node.js запускать так и не научились.
cython
Спасибо за статью )
если просто копировать код,
то при дообучении (Fine-tuning) появлялась ошибка на этапе training_args
после сверки с исходной документацией (https://github.com/ai-forever/ru-gpts)
была применена версия transformers==4.24.0
и все заработало (13.06.2023)
В тексте очень ловко спрятано слово 撝 (hui)…
Статья превосходна.
спасибо
что-то на training colab у меня валится
ImportError: Using the Trainer with PyTorch requires accelerate>=0.21.0: Please run pip install transformers[torch] or pip install accelerate -U
хотя пакеты стоят ;(
GPT для чайников: от токенизации до файнтюнинга