Google запускает SALT: Новый способ ускоренного обучения больших моделей AI с помощью малых

[pharus]

Еще больше китайских моделей будет считать себя Gemini?

[rakaplay]

Или ChatGPT-4))

[artkey27]

Интересный вопрос - кто выпустит набор небольших моделей для специфического обучения и сколько это будет стоить.

[efreelancer]

Не рекламы ради, но я как-раз задачу специфического обучения маленьких моделей на разных наборах датасетов решил в проекте impruver.

В нём можно найти множество конфигураций для обучения малюток семейства rugpt3 {small, medium, large} под датасеты saiga2 и некоторые другие, даже модели навроде nanoGPT from-scratch обучать можно, но в целом мой проект позволяет дообучить какую угодно модель доступную через transformers.