GGUF-квантизация (Q4_K_M) загружает модель целиком в RAM (или VRAM при использовании GPU). 32 GB — более чем достаточно: хватит на Qwen2.5-14B (12 GB под модель) и останется запас на ОС, ChromaDB, эмбеддинги и сам Python. Даже 32B-модель (24 GB) влезет, хотя будет впритык. Для комфортной работы с 7B-14B моделями хватает и 16 G
Рассуждения/логика: если спросить «сравни подходы к управлению памятью в Linux и Windows, выдели ключевые архитектурные отличия», GPT-4/Claude выдаст структурированный анализ с нюансами, а 7B-модель скорее перескажет основные факты без глубокого сопоставления. С RAG это компенсируется: модель хотя бы оперирует правильными фактами из учебника, а не галлюцинирует. Генерация текста: у облачных моделей стилистически более гладкий и «академичный» русский. Локальная 7B иногда повторяет фразы или делает неловкие переходы между абзацами. 14B-32B модели уже значительно ближе к коммерческим по качеству текста.
fb2 поддержка добавлена , ноя забыл указать
Скорее всего это больше подходит на колоборацию ии моделей нежели чем ревность
Спасибо за информацию
не тестил на винде но на убунту 22 работает хорошо
GGUF-квантизация (Q4_K_M) загружает модель целиком в RAM (или VRAM при использовании GPU). 32 GB — более чем достаточно: хватит на Qwen2.5-14B (12 GB под модель) и останется запас на ОС, ChromaDB, эмбеддинги и сам Python. Даже 32B-модель (24 GB) влезет, хотя будет впритык. Для комфортной работы с 7B-14B моделями хватает и 16 G
Рассуждения/логика: если спросить «сравни подходы к управлению памятью в Linux и Windows, выдели ключевые архитектурные отличия», GPT-4/Claude выдаст структурированный анализ с нюансами, а 7B-модель скорее перескажет основные факты без глубокого сопоставления. С RAG это компенсируется: модель хотя бы оперирует правильными фактами из учебника, а не галлюцинирует.
Генерация текста: у облачных моделей стилистически более гладкий и «академичный» русский. Локальная 7B иногда повторяет фразы или делает неловкие переходы между абзацами. 14B-32B модели уже значительно ближе к коммерческим по качеству текста.
fb2 поддержка добавлена , ноя забыл указать
Скорее всего это больше подходит на колоборацию ии моделей нежели чем ревность
Главное чтобы мне потом отдавал ее😁
Приму во внимание, спасибо за обратную связь
Дизайн на скрине отличается от дизайна приложения)
Спасибо за ценный ответ, обязательно приму во внимание
спасибо за совет, приму во внимание, изучу
Принял во внимание ваш совет и внес правки, буду благодерен за тест
Спасибо за обратную связь, это мое первое приложение, в новой статье я пофиксил и сделал некоторые правки буду благодарен за обратную связь вновь