Обновить

Как подключить таск-трекер к кодовой базе через RAG и не сойти с ума от стоимости токенов

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели6.3K
Всего голосов 6: ↑5 и ↓1+6
Комментарии2

Комментарии 2

как подбирали эти числа — эмпирически, по соотношению "качество брифа / стоимость токенов", или это просто дефолт, который можно крутить конфигом? Интересно, насколько сильно деградирует точность брифа на действительно крупных тикетах, которые объективно затрагивают больше 5 символов — туда просто попадает самое релевантное по скору, а остальное молча режется, или есть какой-то сигнал пользователю, что контекста не хватило и стоит расширить вручную?

Числа пока что подбирались "от балды", немного ориентировался на этом же репозитории, чтобы не перегружать модель. brief_token_cost: true в reviewer.yml добавляет счетчик токенов в бриф, от него можно уже отталкиваться и подкручивать.(добавлю в ближайшем релизе, пока хардкод в самом скиле - 5 символов, 3 таски, 3 теста). Думаю добавлю топ по score > порога и при этом лимит, который задается в конфиге (чтобы случайно не подгрузить огромную таску и не сожрать все токены). Либо вообще было бы неплохо добавить шаг, чтобы LLM спрашивала на конкретной задаче что делать (показать LLM все N или отдать определенное кол-во). Спасибо за обратную связь

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации