Как стать автором
Обновить

Первая языковая модель, которую наконец можно использовать в коммерческих целях — Dolly 2.0

Время на прочтение 1 мин
Количество просмотров 9.4K

Если помните недавнюю серию новостей, череда альпакоподобных моделей (Alpaca, gpt4all, Vicuna) страдала двумя основными недостатками:

  • все они были основаны на несвободной LLaMa

  • файнтюнинг, для понимания моделью промптов в стиле instruction following, проводили на не самых свободных данных, полученных на моделях OpenAI

Среди этого карнавала было одно* приятное исключение - Dolly, которая была лишена первого недостатка, но всё еще были вопросы по датасету. Вчера эту ситуацию исправили. За последние пару недель Databricks закраудсорсили силами своих собственных 5 000 сотрудников чистый датасет. Плюс в качестве базовой модели перешли с gpt-j-6B на Pythia 12b от всё той же Eleuther.ai

Модель доступна на hugging face. Тут есть достаточно простые инструкции как её можно закрутить в Paperspace, но производительность пока не очень. В самое ближайшее время ожидаем её квантирование и, возможно, оптимизацию для запуска в средах типа llama.cpp для машин без GPU. Плюс есть пара hugging face spaces, где эта модель уже крутится и с ней можно пообщаться - тыц, тыц и тыц (могут быть недоступны на момент чтения)

Источник: https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm

* Да, я знаю, что еще готовится еще одно, силами комьюнити open-assistant.io и материнской компанией проекта - LAION. Но пока единственное демо, которое нам представили, основано на всё той же несвободной лламе.

Теги:
Хабы:
+11
Комментарии 8
Комментарии Комментарии 8

Другие новости

Истории

Работа

Data Scientist
66 вакансий

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн
Геймтон «DatsEdenSpace» от DatsTeam
Дата 5 – 6 апреля
Время 17:00 – 20:00
Место
Онлайн
PG Bootcamp 2024
Дата 16 апреля
Время 09:30 – 21:00
Место
Минск Онлайн
EvaConf 2024
Дата 16 апреля
Время 11:00 – 16:00
Место
Москва Онлайн