Как дообучить LLaMA бесплатно и без программирования: как создать тупого друга

[Vadim170]

Фразы я разделял просто новой строкой. Для обучения на стиль диалога не требуется instruction. В input я клал 8 фраз и 3 в output. Грубо говоря и это излишне сложно, так как обучалась она одинаков и на input и на output, можно и просто по несколько фраз в input кидать, если я не ошибаюсь.

[NJ884]

Подскажите как применяют квантизацию (quantization) - для сжатие всех весов нейронов.

[Vadim170]

Если вы хотите узнать как я сжал нейронку которую обучал, то я использовал утилиту ./quantize из проекта llama.cpp, там параметром и уровень сжатия передается.

[Pooper123]

Любопытная вещь, однако. Спасибо за гайд, если когда-нибудь вернусь в ВК, обязательно воспользуюсь (ещё бы нормальные связи с друзьями для начала построить, чтобы они мне писали =)). Кстати, получается, по сообщениям в большинстве своём даже не будет понятно, что пишет нейронка, а не я сам?

[Vadim170]

Llama 7B весьма плоховата в понимании русского, так что умного много не напишет, будет понятно, что текст сгенерирован. Можете и не на диалогах вк обучать) можно и из других сервисов достать сообщения для обучения

[Vadim170]

Вообще у меня есть планы переобучить llama на русский с изменением ее структуры, чтобы и писала быстрее. может потом этим займусь, буду в телеграме об этом писать

[SerJ_82]

Приветствую, пара вопросов: где-то еще можно скачать LLAMA2, кроме официального обращения?

И насчет русского: я правильно понимаю что на данный момент качественно обучить систему на русском нельзя? Например по конкретной области знаний, где имеется большое количество источников.

[Vadim170]

На huggingface думаю можно скачать. По поводу русского, да, дообучить до хорошего понимания русского ее пока очень трудно, понадобится много ресурсов. А сейчас она плохо понимает и пишет на русском, так как в обучающем наборе было мало русских текстов.

[ScavS]

а зачем ллама которая в русский не умеет, при наличии https://huggingface.co/ai-forever/ruGPT-3.5-13B ? она уже в текущем виде лучше чем ллама

[Vadim170]

Лама есть и больших размерностей чем 13B, соответственно связей и знаний в ней больше, может анализировать более глубокий смысл. Плюс уже много проектов, которые оптимизировали ламу для запуска на всем подряд. Но да, этот проект тоже очень крутой, оптимизировать бы его еще для запуска на обычных процессорах)

[Nabusteam]

А что с лицензией? Коммерчески нельзя юзать?

[BaxLi]

Поисковик выдает что пользуйтесь во благо ...

• Llama 2 is free for research and commercial use. 

[Za4emsu]

Спасибо за статью! Но у меня проблема: после перехода по ссылке *.gradio.live меня встречает белый экран, как это решить?

[Vadim170]

С таким не сталкивался, думаю такое должно гуглиться, это не похоже на проблему проекта. Или не гуглится?

[Za4emsu]

Гуглил, но единственный совет это обновить gradio до последней версии, но это не помогло

[AlexandrDP]

ChatGPT умеет по тексту с общим описанием задачи и указания языка написать код, который достаточно близок к необходимому. Как такому обучаются модели например llama? в какую сторону копать?