Обновить
7

Пользователь

1
Подписчики
Отправить сообщение

Запускаем на телефоне нейронку LLaMa 7B -13B 4 bit от фейсбука с настройкой Alpaca-LoRA

Уровень сложностиСредний
Время на прочтение3 мин
Охват и читатели21K

Удалось запустить на телефоне пиксель 6 лингво нейронку LLaMa ужатую до 7 (альпака лора была настроена пока именно на 7 миллиардов параметров, и ответы могут быть удачнее именно на ней ) или 13 миллиардов параметров и 4 битных зависимостей. До установки её можно опробовать в гугл колаб.

Читать далее

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность