Базовый Python аналитики знают. Но качественный Spark-код, тюнинг ресурсов и настройка Airflow — это уже инженерная специализация, и раньше эти задачи требовали участия дата-инженеров. Как раз это и было узким местом, которое мы закрываем.
Да, читаем из реплик — основной кластер не трогаем. За качеством запросов и нагрузкой следим: есть мониторинг тяжёлых сессий, при необходимости можем ограничивать ресурсы на уровне Trino-групп, так что одна кривая аналитика не положит всё.
Для аналитиков и разработчиков добавляем агентов и скиллы, которые сразу генерируют оптимальный SQL — это снимает значительную часть типовых ошибок (партиционирование, лишние джойны, селекты по широким таблицам).
Риск, о котором вы говорите, понимаем — если увидим, что подход перестаёт масштабироваться, будем разделять compute. Пока запас есть, но за метриками смотрим внимательно.
Information
Rating
Does not participate
Registered
Activity
Specialization
Архитектор программного обеспечения, Разработчик баз данных
Базовый Python аналитики знают. Но качественный Spark-код, тюнинг ресурсов и настройка Airflow — это уже инженерная специализация, и раньше эти задачи требовали участия дата-инженеров. Как раз это и было узким местом, которое мы закрываем.
Да, читаем из реплик — основной кластер не трогаем. За качеством запросов и нагрузкой следим: есть мониторинг тяжёлых сессий, при необходимости можем ограничивать ресурсы на уровне Trino-групп, так что одна кривая аналитика не положит всё.
Для аналитиков и разработчиков добавляем агентов и скиллы, которые сразу генерируют оптимальный SQL — это снимает значительную часть типовых ошибок (партиционирование, лишние джойны, селекты по широким таблицам).
Риск, о котором вы говорите, понимаем — если увидим, что подход перестаёт масштабироваться, будем разделять compute. Пока запас есть, но за метриками смотрим внимательно.