Повышение качества генерации текстовой выдачи LLM моделей

Концентрация контекста

Зачастую скармливаемый модели код категорически избыточен и только забивает контекстное окно. При качественной концентрации контекста для абсолютного большинства задач хватит даже небольшого контекстного окна любой современной LLM модели. Очистка запроса к LLM это первый шаг к получению устойчивой генерации вместо галлюцинаций. Запрос к LLM должен содержать стек, среду исполнения, задачи кодовой базы, необходимые зависимости, при необходимости - получаемые ошибки и собственно полную, необходимую для понимания моделью контекста, кодовую базу. При 100% полезной информационной нагрузке и полной очистке запроса от лишних элементов - подавляющее большинство задач успешно пролазит даже в мизерное контекстное окно и мы получаем устойчивую генерацию вместо галлюцинаций.

Сегментация задач

При разбиении крупной задачи на отдельные сегменты практически любая современная LLM выдаёт абсолютно точную выдачу при работу с любым относительно распространённым языком/фреймворком/библиотекой. Единственное принципиальное отличие LLM предоставляемых крупными провайдерами от опенсорсных LLM - это умение работать с сложными запросами. При разбиении сложного запроса на более простые, любая современная LLM генерирует точную выдачу.

Повышение качества запроса

Текстовая часть запроса не менее важна, чем контекстная. Точное составление подробного запроса с подробным объяснением архитектуры кодовой базы и поставленных задач, в сочетании с достаточным контекстом - практически всегда означает качественную генерацию.

Повышение качества генерации

При комбинировании этих трёх простых методов любая современная LLM при работе с распространёнными языками/фреймворками/библиотеками выдаёт точный результат. Все опенсорсные LLM это плюс-минус форки друг друга, как в случае с дистрибутивами Linux, и основанные на них модели практически не отличаются. При использовании современной версии любой популярной LLM в сочетании с данными методами - генерации практически безошибочна.