Хранилище для данных или катастрофа на миллион строк? Видео-гайд по оптимизации запросов в Greenplum
Немного про нашу data-реальность в Сравни: мы используем Greenplum как аналитическую платформу для обработки терабайтов данных — пользовательских, продуктовых и маркетинговых. Это не просто хранилище, но один из основополагающих инструментов для команды DWH и аналитиков.
О применении Greenplum на практике наш дата-инженер Владимир Шустиков выпустил трилогию обучающих видео. С их помощью можно ознакомиться с азами самой БД и узнать, как дата-инженеры Сравни переписывают запросы для более высокой эффективности.
Если интересуетесь в целом Greenplum и вопросом оптимизации запросов в частности — вот все три выпуска гайда!
1. Greenplum. Что такое и как работает?
Видео о сути и архитектуре GP, основных понятиях и возможностях (реплицирование сегментов, дистрибуция, партицирование, индексы, загрузка и выгрузка данных, оптимизация запросов).
2. Простая оптимизация запросов в GreenPlum (+ кейсы)
Автор отвечает на вопрос, как именно стоит оптимизировать запросы в GP и на что обращать внимание.
3. Кейс оптимизации запроса в GreenPlum
Автор разбирает реальный кейс из практики Сравни, в котором применяются подходы и техники из видео №2.
Предыдущий видео-цикл Владимира, о самых распространенных вопросах на собеседованиях по SQL (с ответами!), доступен в этом посте.
Также ранее мы провели курс лекций в Бауманке: рассказали о техниках оптимизации аналитических SQL-запросов. Видео — здесь.