Альтернатива чатам с ИИ для анализа и оптимизации SQL запросов. Часть 2 / Comments / Habr

Главная беда ИИ - галлюцинации, и чем больше запрос, тем больше шансов ошибки, которые он внесет в запрос, а обнаружить эти ошибки может быть очень сложно.

Отличный пример таких ошибок, без сложной аналитики - даешь список чего либо (в формате csv например) и просишь провести с этим списком какие-нибудь операции, например поменять порядок строк, колонок, убрать колонку,.. сразу видно что даже топовые модели уже на 20 записях начинают терять их.

Та же причина, что 'вынуждает' модели терять информацию, будет ломать sql запросы в самых неожиданных местах.

p.s. программисты, кто пытается использовать ИИ для таких оптимизаций, должны работать с ИИ в очень тесном контакте, модифицируя промпт, анализируя результат на живых данных, с примерами, и кстати, полнота информации о базе данных и стратегиях сохранения их в базе (раскрытие что есть один ко многим, на сколько 'один' одинок а на сколько 'многим' множится может менять многое и обеспечивать возможности для оптимизаций)

правильный подход - создать набор тестов, на фиксированном наборе данных, и прогонять получаемый запрос на них

Dradmin Aug 19 at 19:10

Да, согласен, с длинным контекстом иногда тяжеловато общаться.

Попробовал минимизировать эти проблемы с помощью добавления оценки уверенности в рекомендации и многошагового анализа, когда AI проверяет свои гипотезы и отбрасывает слабые.