Практический опыт тонкой настройки текстовой генерации для модели Gemma 3 с использованием QLoRA на видеокарте RTX 4090 (24 GB).

Я работал одно время в сфере машиностроения. В авиации, если точнее. И когда надо было соблюсти формальности или пройти нормоконтроль, приходилось разбираться в нормативной документации. И приходилось, собственно говоря, нечасто, поэтому все это "добро" регулярно забывалось.

Теперь, поскольку есть множество простейших способов создать RAG, я решил узнать, будет ли выдавать приемлемые результаты такая реализация. Сделал черновой вариант справочника - в нем лишь пара стандартов из тех, которые бы мне хотелось иметь в справочнике. Создание RAG по нескольким стандартам займет большее время на доработку данных.

В целом, неплохо работает. Истории сообщений и переключения истории чатов с RAG ассистентом в UI PrivateGPT нет. Интерфейс довольно простой. Вот он:

Решаем задачу классификации синтетических данных при помощи TensorFlow и scikit-learn. Сравним время обучения и его зависимость от размера исходного набора данных. Рассмотрим однослойную нейронную сетку с 8-ю нейронами в слое и сравним её с SVC и Decision Tree.