Comments 10
Ошибка в заголовке, "без" ?
Привет! А расскажете технических подробностей?
Какие LLM модели используете?
Запросы только на английском языке поддерживаются? Насколько хуже качество если на русском задавать?
Из каких шагов состоит evaluation process? помимо 15-30 SQL запросов
Шаг "интерпретация запроса" — в чём необходимость этого отдельного шага? Объединить со "слоём метрик" имеет смысл?
Привет! Мы используем Gemeni, запросы на английском потому что работаем на этом языке. С русским не экспериментировали.
На этапе evaluation делаем базовые проверки пайплайна, сравнение результатов из SQL-запросов и перепроверку ответов уже в проде.
Под интерпретацией запроса имеется в виду определение срезов типа география, продукт, период, сегмент юзеров и пр, а метрики уже про DAU, users, revenue и прочее
Спасибо, за поделились интересным опытом. Как реализована технически инфраструктура: используете ли свои сервера, облачные, подписки, сколько это все стоит в месяц или год примерно? Сколько времени и какой командой занимались первичной подготовкой данных? Какой командой реализовывали самого Ассистента и в какие сроки?
По инфраструктуре и ее стоимости не смогу ответить точно, это на кор команде. Но думаю с текущей экономией времени аналитиков, ценность точно перекрывает затраты.
Данные готовили продуктовые команды. Дата инжинеры готовят агрегированные таблицы по продукту и следом делают evals с помощью аналитиков. Для нашего домена это заняло около месяца, если не считать пауз из-за других приоритетов.
Что на практике означает слой метрик и измерений? Это какие то md файлы с описанием или что?
Условно ARPU - это метрика считаемая по формуле revenue/users, срезы - по дням, месяцам, странам, валюте и пр. Эти данные хранятся как метаданные в таблицах
Привет! Спасибо за классную и полезную статью. Подскажи, пожалуйста, а для каких кейсов финансисты используют?
Self-service аналитика для маркетинга: как мы упростили доступ к данным без необходимости знания SQL