Self-service аналитика для маркетинга: как мы упростили доступ к данным без необходимости знания SQL

[mechigner]

Ошибка в заголовке, "без" ?

[hi_yana]

точно, поправила, спасибо!

[nerevar1n]

Привет! А расскажете технических подробностей?

Какие LLM модели используете?
Запросы только на английском языке поддерживаются? Насколько хуже качество если на русском задавать?
Из каких шагов состоит evaluation process? помимо 15-30 SQL запросов

Шаг "интерпретация запроса" — в чём необходимость этого отдельного шага? Объединить со "слоём метрик" имеет смысл?

[hi_yana]

Привет! Мы используем Gemeni, запросы на английском потому что работаем на этом языке. С русским не экспериментировали.

На этапе evaluation делаем базовые проверки пайплайна, сравнение результатов из SQL-запросов и перепроверку ответов уже в проде.
Под интерпретацией запроса имеется в виду определение срезов типа география, продукт, период, сегмент юзеров и пр, а метрики уже про DAU, users, revenue и прочее