дообученная 2-я, которую Сбер посчитал 3-ей (вот, например)
Да, именно эта модель и лежит там по двум причинам: 1) GPT-3 ни на русском, ни на английской нет в опен сорсе (можно подключиться по API от OpenAI, но платно), а чтобы попробовать зафайнтюнить, даже этой модели хватит. 2) Скорее всего, даже если бы GPT-3 была в опенсорсе, то развернуть ее на колабе для файнтюнинга не хватило бы мощности.
Из самого мощного, что я находила в опенсорсе на Hugging Face, это https://huggingface.co/EleutherAI/gpt-neo-2.7B, как заявляют авторы, у них схожая архитектура с GPT-3, но меньше параметров.
Вероятно, случились сложности с подключением к видеокарте, поскольку часть кода удалили (случайно, остались права на редактирование у всех пользователей по ссылке). Теперь все должно быть в порядке!
Да, именно эта модель и лежит там по двум причинам:
1) GPT-3 ни на русском, ни на английской нет в опен сорсе (можно подключиться по API от OpenAI, но платно), а чтобы попробовать зафайнтюнить, даже этой модели хватит.
2) Скорее всего, даже если бы GPT-3 была в опенсорсе, то развернуть ее на колабе для файнтюнинга не хватило бы мощности.
Из самого мощного, что я находила в опенсорсе на Hugging Face, это https://huggingface.co/EleutherAI/gpt-neo-2.7B, как заявляют авторы, у них схожая архитектура с GPT-3, но меньше параметров.
Починили:)
Вероятно, случились сложности с подключением к видеокарте, поскольку часть кода удалили (случайно, остались права на редактирование у всех пользователей по ссылке). Теперь все должно быть в порядке!