Comments 4
Спасибо за интересный материал. Будем пробовать)))
Так автор даже в коде использует gpt2. GPT3 официальной нет в опенсорсе.
дообученная 2-я, которую Сбер посчитал 3-ей (вот, например)
Да, именно эта модель и лежит там по двум причинам:
1) GPT-3 ни на русском, ни на английской нет в опен сорсе (можно подключиться по API от OpenAI, но платно), а чтобы попробовать зафайнтюнить, даже этой модели хватит.
2) Скорее всего, даже если бы GPT-3 была в опенсорсе, то развернуть ее на колабе для файнтюнинга не хватило бы мощности.
Из самого мощного, что я находила в опенсорсе на Hugging Face, это https://huggingface.co/EleutherAI/gpt-neo-2.7B, как заявляют авторы, у них схожая архитектура с GPT-3, но меньше параметров.
Sign up to leave a comment.
Как сделать своего “Марка”? Обучение