GPT для чайников: от токенизации до файнтюнинга

[SmallDonkey]

Спасибо, крайне интересно, хочется больше всяческих Colab ноутов с примерами, поиграться. Особенно ruGPT3

[deinlandel]

Если хочется поиграться, вы можете попробовать консюмерские продукты но основе GPT-подобных сетей: AIDungeon, NovelAI, HoloAI. Первый пытается воссоздать текстовые RPG (хотя в принципе при дожном старании можно генерировать что угодно), остальные - просто бесконечно дополняют текст, генерируя "истории". NovelAI имеет очень продвинутые настройки генерации, в том числе temp, top-p, top-k, способ семплирования и многие другие.

Язык, к сожалению, только английский, но зато там сети с 6.5 миллиардами параметров, и работают они значительно лучше маленькой ruGPT3.

[Alexey2005]

Язык, к сожалению, только английский

KoboldAI способен проглотить ruGPT от Сбера, позволяя играть в аналог DungeonAI на русском. Может запускаться как на локальной машине, так и в облаке (Google Colab). Также он использует особый вид фильтрации, не упомянутый в данной статье — Tail-free sampling, который даёт тексты заметно лучшего качества, чем top_p/top_k-фильтрация.
Оптимальные настройки для генерации фэнтези-текста на ruGPT3large: Temperature=0.5, Tail free sampling = 0.95, top_p=1.0, top_k=0 (комбинация последних двух параметров полностью отключает top_p/top_k-фильтрацию), Repetition penalty = 1.12.

[PaulIsh]

Традиционно всё делается на pyton - понимаю, что там все библиотеки. Но может есть возможность с этим поиграться на других языках? В частности интересует js.

[Alexey2005]

На Python это делается потому, что он обладает сверхвысокой толерантностью к техническому долгу. Если вы глянете, что там у всех этих библиотек под капотом, то обнаружите, что это типичный академический код, набросанный на скорую руку, и по сравнению с этим кошмаром даже индусский код кажется вершиной программистской мысли.
Я не думаю, что то же самое можно закодить на каком-то другом языке — оно попросту сколлапсирует от чудовищного количества костылей. На код будет даже дышать страшно, потому что каждое изменение будет ломать его в двадцати местах. Устойчивость к подобному стилю кодирования — киллер-фича Python.
Хотя есть попытки закодить работу с нейронками на JS (например, tensorflow.js), но GPT, насколько мне известно, на Node.js запускать так и не научились.

[LEbEdEV_AU]

cython

[AnatolyBelov]

Спасибо за статью )

[AnatolyBelov]

если просто копировать код,
то при дообучении (Fine-tuning) появлялась ошибка на этапе training_args
после сверки с исходной документацией (https://github.com/ai-forever/ru-gpts)
была применена версия transformers==4.24.0
и все заработало (13.06.2023)

[ZodDZverev]

В тексте очень ловко спрятано слово 撝 (hui)…

Статья превосходна.

[LEbEdEV_AU]

спасибо

[LEbEdEV_AU]

что-то на training colab у меня валится

ImportError: Using the Trainer with PyTorch requires accelerate>=0.21.0: Please run pip install transformers[torch] or pip install accelerate -U

хотя пакеты стоят ;(