Comments 17
Подскажите как применяют квантизацию (quantization) - для сжатие всех весов нейронов.
Если вы хотите узнать как я сжал нейронку которую обучал, то я использовал утилиту ./quantize из проекта llama.cpp, там параметром и уровень сжатия передается.
Любопытная вещь, однако. Спасибо за гайд, если когда-нибудь вернусь в ВК, обязательно воспользуюсь (ещё бы нормальные связи с друзьями для начала построить, чтобы они мне писали =)). Кстати, получается, по сообщениям в большинстве своём даже не будет понятно, что пишет нейронка, а не я сам?
Llama 7B весьма плоховата в понимании русского, так что умного много не напишет, будет понятно, что текст сгенерирован. Можете и не на диалогах вк обучать) можно и из других сервисов достать сообщения для обучения
Вообще у меня есть планы переобучить llama на русский с изменением ее структуры, чтобы и писала быстрее. может потом этим займусь, буду в телеграме об этом писать
Приветствую, пара вопросов: где-то еще можно скачать LLAMA2, кроме официального обращения?
И насчет русского: я правильно понимаю что на данный момент качественно обучить систему на русском нельзя? Например по конкретной области знаний, где имеется большое количество источников.
а зачем ллама которая в русский не умеет, при наличии https://huggingface.co/ai-forever/ruGPT-3.5-13B ? она уже в текущем виде лучше чем ллама
Лама есть и больших размерностей чем 13B, соответственно связей и знаний в ней больше, может анализировать более глубокий смысл. Плюс уже много проектов, которые оптимизировали ламу для запуска на всем подряд. Но да, этот проект тоже очень крутой, оптимизировать бы его еще для запуска на обычных процессорах)
А что с лицензией? Коммерчески нельзя юзать?
Спасибо за статью! Но у меня проблема: после перехода по ссылке *.gradio.live меня встречает белый экран, как это решить?
ChatGPT умеет по тексту с общим описанием задачи и указания языка написать код, который достаточно близок к необходимому. Как такому обучаются модели например llama? в какую сторону копать?
Как дообучить LLaMA бесплатно и без программирования: как создать тупого друга