Pull to refresh

Comments 4

Спасибо за интересный материал. Будем пробовать)))

UFO landed and left these words here

Так автор даже в коде использует gpt2. GPT3 официальной нет в опенсорсе.

дообученная 2-я, которую Сбер посчитал 3-ей (вот, например)

Да, именно эта модель и лежит там по двум причинам:
1) GPT-3 ни на русском, ни на английской нет в опен сорсе (можно подключиться по API от OpenAI, но платно), а чтобы попробовать зафайнтюнить, даже этой модели хватит.
2) Скорее всего, даже если бы GPT-3 была в опенсорсе, то развернуть ее на колабе для файнтюнинга не хватило бы мощности.

Из самого мощного, что я находила в опенсорсе на Hugging Face, это https://huggingface.co/EleutherAI/gpt-neo-2.7B, как заявляют авторы, у них схожая архитектура с GPT-3, но меньше параметров.

Sign up to leave a comment.

Articles