Как я заменил BI-дашборд на AI-чат: архитектура RAG-системы для 600K записей

[binom82]

Подскажите, а где взять или как выкачать базу на 600 000 записей техники из Федресурса?

[bigtrot]

1) Этот пример на основе представленной таблицы vehicles по-сути содержит не нормализованные данные, а именно для поля verhicles_type напрашивается отдельная справочная таблицы, на которую идет ссылка из таблицы vehicles. По другим подобным полям аналогичная ситуация. Вопрос - Как должна теперь выглядеть Ваша разработка?

2) А теперь представим нормализованную базу данных с сотнями таблицы и различными запросами пользователей на естественном языке. Как в этом случае использовать Ваши наработки, не получится ли в итоге тоже самое, как вы описывали ограничения c BI-дашбордами? Как научить модель строить сложные запросы с агрегацией, рекурсиями и т.д. и т.п.?

[DamonV79]

Заведите для данного решения денормализованные таблицы. Используйте, например, outbox паттерн для заполнения. Кажется, это не аамая большая проблема.

[nikolay_karelin]

Интересно, а в вашей компании вот так кому угодно дают права чтения всей рабочей базы данных?

[krabdb]

Вы вычищайте из статей все эти chatgpt-ные обороты типа "Без философии — только архитектура, код и грабли". Это уже триггер у всех.