Как сделать (очень) маленькие LLM действительно полезными

[Bardakan]

не проще ли было скопировать репозиторий локально и сказать "смотреть здесь"? Разве что по токенам дороже

[kostoms]

Зачем платить больше если можно платить меньше. Во вторых такой же подход должен быть полезен и использовании с огромными моделями чтобы получать более качественный результат - там тоже нужно избегать замусоривания контекста

[ASD2003ru]

Получается: Что бы написать одну программу, напиши другую программу, которая возможно поможет написать первую.

[scowl]

Отличный подход. Действительно есть много задач, когда раскрытие содержимого кода нежелательно или даже ограничено законодательно.

[starfair]

Так то да, но обычно такие проекты требуют уже LLM. Но думаю, принципы описанные в общем то, останутся прежними.
Хорошая статья и простой и вменяемый и подробный обзор решения! Как раз нечто подобное надо будет скоро внедрять в свой проект, и весьма в тему статья. Автору - респект!

[Den-R]

По личному опыту: маленькие модели действительно могут помочь с кодом. Только вот вопрос: зачем мне тащить громоздкий докер на свой ноут, если я просто могу запустить llama.cpp? Второе: зачем на сегодня мне использовать слабую qwen-2.5 (да ещё и в 4km), когда можно использовать хотя бы qwen-3-4B (желательно в 5km и выше)? Любой перевод стоит адаптировать к реалиям. Тем более, что qwen-3-4B отлично понимает русский. Да он сравнительно немного медленнее ещё более мелких моделей, но и результат более качественный

[bzq]

Потому что типичный современный программист больше двух строчек кода только с докером может связать, а на критику обижается и уходит.

[kvinty]

Надо было упомянуть что бы всё было на английском, так как модели в английском меньше теряются.

[Mister_Zero]

По сути одна из реализаций RAG

[msfs11]

Я пришел к выводу после нескольких экспериментов, что для решения такой задачи лучше использовать lightrag в связке с тем же qwen3 4b. Для lightrag не нужно писать скрипты, там все есть для обработки документов