Базовый Python аналитики знают. Но качественный Spark-код, тюнинг ресурсов и настройка Airflow — это уже инженерная специализация, и раньше эти задачи требовали участия дата-инженеров. Как раз это и было узким местом, которое мы закрываем.
Да, читаем из реплик — основной кластер не трогаем. За качеством запросов и нагрузкой следим: есть мониторинг тяжёлых сессий, при необходимости можем ограничивать ресурсы на уровне Trino-групп, так что одна кривая аналитика не положит всё.
Для аналитиков и разработчиков добавляем агентов и скиллы, которые сразу генерируют оптимальный SQL — это снимает значительную часть типовых ошибок (партиционирование, лишние джойны, селекты по широким таблицам).
Риск, о котором вы говорите, понимаем — если увидим, что подход перестаёт масштабироваться, будем разделять compute. Пока запас есть, но за метриками смотрим внимательно.
Информация
В рейтинге
Не участвует
Зарегистрирован
Активность
Специализация
Архитектор программного обеспечения, Разработчик баз данных
Базовый Python аналитики знают. Но качественный Spark-код, тюнинг ресурсов и настройка Airflow — это уже инженерная специализация, и раньше эти задачи требовали участия дата-инженеров. Как раз это и было узким местом, которое мы закрываем.
Да, читаем из реплик — основной кластер не трогаем. За качеством запросов и нагрузкой следим: есть мониторинг тяжёлых сессий, при необходимости можем ограничивать ресурсы на уровне Trino-групп, так что одна кривая аналитика не положит всё.
Для аналитиков и разработчиков добавляем агентов и скиллы, которые сразу генерируют оптимальный SQL — это снимает значительную часть типовых ошибок (партиционирование, лишние джойны, селекты по широким таблицам).
Риск, о котором вы говорите, понимаем — если увидим, что подход перестаёт масштабироваться, будем разделять compute. Пока запас есть, но за метриками смотрим внимательно.