Подключили LLM к базе на 253 таблицы тремя способами. Больше всех ошибались не модели

[n_cto]

Собрал в один файл всё, чтобы повторить эксперимент у себя: методику (execution accuracy, правила зачёта, шаблоны обратной связи), промты веток, скрипт сравнения result set'ов и чек-лист «инварианты для каждой метрики». Лежит в закрепе канала: https://t.me/n_cto

Вопросы по методике задавайте здесь, отвечу. Особенно интересно, если у кого-то MCP-ветка ведёт себя иначе — покажите конфигурацию.

[mist56]

Почему не выбран достаточно очевидный путь - собрать скил, обогащённый знаниями о схеме?

[n_cto]

Хороший вопрос. Короткий ответ: спор в отделе был про три варианта, которые у нас уже существовали, а скила не существовало. Длинный: ветка C с енамами — это по сути и есть автоматически собранный скил (DDL плюс смыслы значений, вытащенные парсером из кода), только без ручной курации.

Следующий шаг ровно такой, как вы описываете: курируемый файл знаний о схеме, куда дописаны описания и бизнес-правила, которых нет ни в базе, ни в енамах. Роль партнёра из статьи, которую не нашёл никто, включая меня, — как раз такое знание. Подозреваю, скил закрыл бы часть из 8 нерешённых вопросов.

Останавливает цена: руками описывать 253 таблицы дорого, и это протухает. Рабочий план: генерировать черновик скила из кода, курировать только горячие таблицы. Если у вас есть опыт со скилом над схемой такого размера — покажите цифры, очень интересно.

[mist56]

На много дороже бесмысленное сжигание токенов.

Просто это обсуждение про виды отвёрток, не вспоминая про шуруповёрт. Именно знания, причём не просто описание полей, а конкретные запросы, результаты / примеры выборок, лог граблей - именно это и делает скилл для ЛЛМ мощным инструментом, а не описание, где надо походить и в каких сапогах по полю граблей.

И зачем руками писать описание схемы? Опыт есть, не такой жирной базы, но всё же. Да, придётся много итераций правок / дополнений делать, но - тут же как с новым сотрудником, как его на базу онбордить будете? Вот и тут так же. Документация пишется / генерится планомерно и систематично, обогащается по мере нового опыта. Это не происходит за один день. Но после определённого порога количество резко переходит в качество, ЛЛМ начинает слёту конструтировать сразу относительно правильные запросы и порой находить такое, до чего бы и сам сразу бы не допёр. Кроме того скил можно потом в каком-то виде выдавать и не техническим людям, через MCP проекции или ещё как и потом уже компания способна без айтишников отвечать на многие вопросы по бизнесу самостоятельно. Это практика, не теория.

[n_cto]

Спасибо за обратную связь! Будут результаты—расскажу на примере