Хранилище для данных или катастрофа на миллион строк? Видео-гайд по оптимизации запросов в Greenplum

Немного про нашу data-реальность в Сравни: мы используем Greenplum как аналитическую платформу для обработки терабайтов данных — пользовательских, продуктовых и маркетинговых. Это не просто хранилище, но один из основополагающих инструментов для команды DWH и аналитиков. 

О применении Greenplum на практике наш дата-инженер Владимир Шустиков выпустил трилогию обучающих видео. С их помощью можно ознакомиться с азами самой БД и узнать, как дата-инженеры Сравни переписывают запросы для более высокой эффективности.

Если интересуетесь в целом Greenplum и вопросом оптимизации запросов в частности — вот все три выпуска гайда!

1. Greenplum. Что такое и как работает?

Видео о сути и архитектуре GP, основных понятиях и возможностях (реплицирование сегментов, дистрибуция, партицирование, индексы, загрузка и выгрузка данных, оптимизация запросов).

2. Простая оптимизация запросов в GreenPlum (+ кейсы)

Автор отвечает на вопрос, как именно стоит оптимизировать запросы в GP и на что обращать внимание.

3. Кейс оптимизации запроса в GreenPlum 

Автор разбирает реальный кейс из практики Сравни, в котором применяются подходы и техники из видео №2.

Предыдущий видео-цикл Владимира, о самых распространенных вопросах на собеседованиях по SQL (с ответами!), доступен в этом посте.

Также ранее мы провели курс лекций в Бауманке: рассказали о техниках оптимизации аналитических SQL-запросов. Видео — здесь.

✅ТГ-канал инженерного сообщества Sravni Tech

❓Разработчик и стартап: работать | основать | избегать?

В новом выпуске Sravni Tech Podcast обсуждаем, куда податься разработчику: пойти работать в стартап, рискнуть и запустить свой или держаться подальше от “стартапной суеты”? Наш гость — Илья Хрусталёв, основатель Foodfox (тот самый, что стал «Яндекс.Едой»).

 В выпуске:
📌Работа в ИТ-стартапе: ожидание vs реальность
📌Жизненный цикл стартапа (и когда это уже не стартап?)
📌Запускаем свой бизнес в ИТ. Что важно учесть?
📌Различия стартапов в России и США. Где проще получить инвестиции?

Подписаться на ТГ-канал Sravni Tech

Посмотреть подкаст можно здесь:

✅VK
✅YouTube
✅RUTUBE

А послушать — здесь:
✅ Яндекс Музыка
✅ Плеер в ТГ

Куда утекают ваши данные? | Новые технологии мошенников | Биометрия и борьба с дипфейками

Ваши персональные данные уже утекли в сеть — но возможно, не всё так страшно. Только как понять, когда ситуация из рядовой становится критической? И что в целом полезно знать о клиентских данных в 2025 году?

Разбирались вместе с Никитой Назаровым, CTO компании HFLabs, который 12 лет работает с данными клиентов по всей России. Обсудили, как методы социальной инженерии помогают мошенникам, меры государства по защите наших данных и способы обеспечить себе приватность в цифровую эпоху.

Также в выпуске:

• Ваши персональные данные утекли в сеть: чем это грозит и что предпринять?

• Биометрия — реальная мера защиты или проклятие?

• Как компании на самом деле работают с клиентскими базами

• Обезличивание данных — способ бороться с утечками

Посмотреть новый выпуск Sravni Tech Podcast можно здесь:

✅VK
✅RUTUBE
✅YouTube

А послушать — здесь:

✅Яндекс Музыка

Оставляйте реакции, делитесь ссылкой!📣

Когда разработчику пора к юристу: типы лицензий ПО, коварный open source и авторское право на код

В новом выпуске Sravni Podcast поговорили с Юлией Суворовой, Head of Legal and Compliance в Сравни. В том числе о проверке лицензий в случае с open source решениями, оформлении интеллектуальной собственности и других сценариях взаимодействия юристов с ИТ-командами.

Также в выпуске:

📌Всем ли ИТ-компаниям (и командам) нужны юристы; риски их отсутствия
📌Юридические кейсы в ИТ: покупка ПО, проверка open source библиотек, оформление права на код
📌Как нормативные акты влияют на процессы разработки
📌Юрист в ИТ: в чём специфика этой профессии?

Посмотреть подкаст можно здесь:

✅VK
✅YouTube
✅RUTUBE

А послушать — здесь:

✅ Яндекс Музыка

Оставляйте реакции, делитесь ссылкой!📣

• Канал Sravni Tech в TG

Основы дата-инженерии. Готовим данные для анализа с помощью ETL (видеозапись доклада)

В декабре 2024 наш Lead Analytics Engineer Даниил Джепаров выступил на вебинаре компании Simulative, где рассказал об основах дата-инженерии.

Ключевые вопросы в рамках доклада:

📌Основы ETL (Extract, Transform, Load)
📌Различия между пакетной и потоковой обработкой данных
📌Важность документации в data-проектах
📌Основные метрики качества данных
📌Лучшие практики мониторинга ETL-процессов

Материал будет полезен дата-аналитикам и инженерам уровней junior и middle, желающим научиться строить качественные потоки данных.

Запись доступна здесь:

✅VK
✅YouTube
✅RUTUBE

Смотрите и делитесь ссылкой!

Топ вопросов на собеседованиях по SQL. Что вам точно нужно знать для получения оффера?

Знание SQL — мастхэв при работе с базами данных в большинстве современных компаний. У нас в Сравни дата-специалисты используют SQL, взаимодействуя с множеством технологий и инструментов, от Snowflake, Greenplum и ClickHouse до Superset. При найме стажёров в наши технические команды, тестовое задание в большинстве случаев включает в себя проверку знаний по SQL.

Разумеется, важно понимать, какие именно аспекты этой предметной области наиболее существенны на практике. Какие теоретические знания и навыки, связанные с SQL, реально востребованы в компаниях и чего ожидают от специалиста в рамках его будущих задач. 

Чтобы помочь вам с этим, наш дата-инженер Владимир Шустиков подготовил цикл из 5 видео, в которых рассмотрел ключевые вопросы об SQL на собеседованиях. Материал составлен по мотивам прохождения десятков собеседований в ИТ-команды компаний. С его помощью можно не только подготовиться к интервью (как морально, так и практически), но и проверить себя: сопоставить свои знания про SQL с тем, что на самом деле ожидают от специалиста. 

Полезно будет дата-инженерам, аналитикам, а также бэкенд-разработчикам. 

Каждое видео посвящено отдельному блоку вопросов по SQL:

1. Топ вопросов на собеседовании по SQL — порядок выполнения запроса, виды команд, типы данных

• YouTube

• RUTUBE

2. Топ вопросов на собеседовании по SQL — логические и физические виды JOIN, оконные функции, EXPLAIN

• YouTube

• RUTUBE

3. Топ вопросов на собеседовании по SQL — NULL, Агрегация

• YouTube

• RUTUBE

4. Топ вопросов на собеседовании по SQL — задачи на JOIN, различие между TRUNCATE, DROP, DELETE

• YouTube

• RUTUBE

5. Топ вопросов на собеседовании по SQL — WHERE, HAVING, QUALIFY; подзапросы и CTE; сочетания запросов

• YouTube

• RUTUBE

Смотрите, углубляйте свои знания в SQL, получайте офферы!

ТГ-канал нашего инженерного сообщества Sravni Tech

Путь UX-исследователя. Новый выпуск Sravni Podcast

Зачем компаниям нужны UX-исследователи? А как ими становятся? И из чего состоят сами исследования?

Поговорили об этом с UX-исследователями Сравни, Светланой Юдиной и Анной Борзовой. Гости рассказали о нюансах карьерного пути в UX и поделились практическими советами по улучшению опыта пользователей.

Также в выпуске:

• Почему исследователи — это «глаза» компании

• Виды UX-исследований и когда их использовать

• Поиск респондентов и происшествия на интервью

• Как сочетать эмпатию с аналитикой

Посмотреть новый выпуск Sravni Podcast можно здесь:

✅VK
✅YouTube
✅RUTUBE

А послушать — здесь:

✅Яндекс Музыка

Наш тг-канал: Sravni Tech

Мышление аналитика: почему мы делаем неправильные выводы? Новый выпуск Sravni Podcast

Зачем аналитика современному бизнесу, почему аналитики сегодня так востребованы и как цифры превращаются в деньги?

Поговорили об этом с Андроном Алексаняном, основателем образовательной платформы Simulative. В том числе о пользе от фуллстек-аналитиков, настройке аналитики в компаниях «с нуля», принципах работы с данными и коварстве «фейковой аргументации».

Также в этом выпуске:

• Кейсы. Как аналитика помогает в компаниях?

• Почему мозг саботирует принятие верных решений

• Аналитики нужны везде: о востребованности профессии

• Охота за персональными данными: где грань?

Посмотреть подкаст можно здесь:

✅YouTube
✅RUTUBE
✅VK

А послушать — здесь:

✅Яндекс Музыка

P.S. А ещё мы разыгрываем скидку 20% на любой обучающий курс в Simulative. Подробности в описании видео на площадках.

Системный аналитик. Мифы и реальная польза для бизнеса (Sravni Podcast)

В новом выпуске поговорили со Светланой Амелькиной, системным аналитиком Сравни. О том, что SA представляет собой в 2025 году – глазами самого специалиста, разработки и бизнеса.  

Внутри видео:

• О скиллах: что важно знать и уметь SA для успешной карьеры

• Взаимоотношения SA с другими командами (разработкой, QA, продактами)

• Мифы о системных аналитиках, в которые пора перестать верить

• Трудоустройство SA: как и зачем интервьюировать работодателя

Посмотреть или послушать выпуск можно здесь:

✅YouTube
✅RUTUBE
✅VK
✅Яндекс Музыка

Как работать с Apache Spark? Практический гайд (видео + материалы на GitHub)

В Сравни мы используем Apache Spark для загрузки сырых данных из источников.

У нас есть два вида загрузки:

1. Batch-загрузка — когда данные грузятся один раз в какой-то период (час, день и так далее). Актуальна она, например, для данных по курсам валют: аналитикам достаточно знать курс валют на конкретный день, поэтому читаем раз в день данные по API с сайта ЦБ и грузим их в S3 (объектное хранилище) при помощи Python. Таких API достаточно много, они могут сильно различаться по количеству данных, поступающих с каждой. 
   
   Уже из S3 в Greenplum мы грузим все эти данные при помощи Spark. Фреймворк позволяет быстро трансформировать данные одновременно на нескольких машинах, так как все вычисления происходят в оперативной памяти.

2. Потоковая загрузка, которая работает 24/7 (на то она и стриминг). Здесь мы имеем дело с данными, изменения в которых нам нужно видеть несколько раз в день. Данные в этом случае читаются из Kafka посредством Spark и сразу пишутся в Greenplum (параллельно скидываем файлы в S3, чтобы был бэкап).  

Порог входа в Spark выше, чем в SQL или Python, поскольку он требует знания и того, и другого. Плюс, когда начинаешь заниматься написанием трансформаций на Spark, возникают вопросы по оптимизации кода и правильной настройке ресурсов. Так как Spark — приложение, которое запускается на наших серверах, его надо уметь настраивать: примерно понимать, сколько потребуется выделить ядер процессора, оперативной памяти и количества executors (процессов для параллельной обработки).

Наш дата-инженер Евгений Виндюков полагает, что изучать Spark сразу с выделения ресурсов не стоит: лучше сперва научиться крутить таблички локально на одном компьютере. И только потом переходить на параллельную обработку на нескольких машинах.

Специально для тех, кто планирует ознакомиться с Apache Spark на практике, Евгений подготовил видео-гайд, который можно посмотреть здесь:

• YouTube

• RUTUBE

Плюс материалы на GitHub, чтобы вы могли не просто разобраться в Spark, но и запустить его на своём локальном ПК в режиме библиотеки или режиме кластера через docker compose.

• HalltapeSparkCluster

Смотрите, изучайте, осваивайте Spark на практике. Надеемся, будет полезно!

Kotlin Multiplatform на практике: как работать с технологией (видео-туториал)

Выпустили серию видео о базовых аспектах работы с Kotlin Multiplatform, технологией для мультиплатформенной разработки (iOS, Android, Web, Desktop).

KMP позволяет использовать общую кодовую базу для нескольких платформ. Причём мы можем гибко регулировать, какую часть кода делаем общей (например, оставляем нативный UI-слой, а бизнес-логику делаем общей).

Рассказали, как и для чего применять технологию на практике, и как к ней подступиться.

Уже доступны все шесть выпусков туториала:

1. Что из себя представляет технология KMP?

2. Настройка окружения

3. Структура проекта

4. Верстка на SwiftUI

5. Верстка на Compose

6. Сетевой слой

Посмотреть туториал можно здесь:

• YouTube

• RUTUBE

• VK

К каждому выпуску приложен документ с пояснением некоторых терминов и полезными ссылками (см. в описании видео), которые пригодятся при ознакомлении с материалом.

Новый год, или приключения айтишников в лесу. Специальный выпуск Sravni Podcast

В преддверии Нового года специалисты Сравни, тимлид Денис Сизый и Deputy CTO Василий Бяхов, перенеслись из привычного офисного пространства в сказочный лес.

Став на время помощниками Деда Мороза, за чаепитием подвели итоги уходящего года, сравнили подготовку к празднику с ИТ-процессами и поделились планами на 2025.

В этом выпуске:

• Сравниваем Новый год с ИТ. Как спроектировать архитектуру праздника?

• Предновогодние инциденты и способы их избежать

• Фикс новогодних блюд

• Технологические итоги и ИТ-желания на 2025

Посмотреть подкаст можно здесь:

✅YouTube
✅RUTUBE
✅Вконтакте

Как повысить свою ценность в ИТ: в поиске новых компетенций. Новый выпуск Sravni Podcast

Поговорили с Левоном Гончаровым, экспертом в области Agile и построении команд. Обсудили, как разносторонность и насмотренность помогают в ИТ (и в целом в карьере), об успешном планировании, делегировании и самых ценных сегодня софт-скиллах.

Также в этом выпуске:

• Как меняются требования к разработчикам

• Везде ли эффективен SCRUM

• Что важно знать о психологии при работе с командами

• Путь от айтишника до владельца баскетбольного клуба и кинопродюсера

Подкаст доступен здесь:

• YouTube

• RUTUBE

• Яндекс Музыка

Оперативно узнавать о наших новых подкастах, докладах, лекциях и других полезных ИТ-материалах можно в тг-канале Sravni Tech.

Пишем эффективные аналитические запросы: третья лекция курса в МГТУ им. Баумана

Третья лекция нашего курса «Deep dive into SQL and DWH» прошла 21 ноября — делимся видеозаписью!

Дата-архитектор Павел Ковалёв рассказал о внутреннем устройстве систем Greenplum и Clickhouse и возможностях, которые они предоставляют с точки зрения оптимизации запросов.

Посмотреть запись можно здесь:

• YouTube

• RUTUBE

• VK

Оставшиеся два занятия курса пройдут в формате очной практики. Видеозаписи трёх прошедших лекций доступны в отдельном плейлисте.

Копаем вглубь Dependency Injection (NestJS): запись внутреннего митапа

В Сравни мы используем NestJS, широко применимый фреймворк для Node.js-разработки, который из коробки умеет в Dependency Injection.

Ранее на внутреннем митапе разобрали основы внедрения зависимостей (ссылка ниже) — теперь же рассмотрели динамическое создание и удаление модулей.

В частности:

• Правила: что от чего не должно зависеть

• Какие ставить для себя ограничения

• Как хранить сервисы на нужных уровнях/слоях

• Как избежать циклической зависимости

• forRoot/forChild

• Возможно ли сделать hot module replacement в работающем сервисе

Посмотреть запись митапа можно здесь:

✅YouTube

✅RUTUBE

✅VK

Запись нашего первого митапа по DI доступна в этом плейлисте.

iOS vs Android: большая битва платформ. Что лучше для разработчика, бизнеса и простого пользователя

В извечном вопросе о «лучшей мобильной платформе» попробовали разобраться вместе с инженерами Сравни: Android-разработчиком Русланом Кадыровым и iOS-разработчиком Константином Китаевым.

Обсудили, как платформы различаются в плане технологий и пользовательского опыта, под какую из них проще разрабатывать и может ли «многообразие Android» успешно конкурировать с «магией Apple».

Также в выпуске:

• Состояние мобильной разработки — есть ли кризис?

• Развитие разработчиков для iOS и Android: полезные материалы и практики

• Превосходство Android Studio над XСode?

• Когда наступит кроссплатформенное будущее?

Посмотреть или послушать Sravni Podcast можно здесь:

✅YouTube
✅RUTUBE
✅VK
✅Яндекс Музыка

Оперативно узнавать о наших новых подкастах, докладах, лекциях и других полезных ИТ-материалах можно в тг-канале Sravni Tech.

Пишем эффективные аналитические запросы: вторая лекция курса в МГТУ им. Баумана

Делимся лекциями курса «Deep dive into SQL and DWH» от Павла Ковалёва, дата-архитектора Сравни.

Вторая лекция прошла 14 ноября; предлагаем посмотреть её видеозапись.

Внутри — обзор инструментов построения DWH/Data Lake, в том числе: Hadoop, Spark, Trino, Databricks, Amazon Athena, Amazon Redshift и Google BigQuery.

Посмотреть можно здесь:

✅YouTube

✅RUTUBE

✅VK

Следующая лекция курса будет посвящена техникам оптимизации аналитических SQL-запросов и состоится уже в ближайший четверг, 21 ноября, с 17:25 до 19:00.

Присоединяйтесь в зуме!

Пишем эффективные аналитические запросы: первая лекция курса в МГТУ им. Баумана

Делимся лекциями курса «Deep dive into SQL and DWH» от Павла Ковалёва, дата-архитектора Сравни.

Первая лекция прошла 7 ноября — предлагаем посмотреть её видеозапись.

Внутри лекции:

• Обзор основных понятий курса (OLTP и OLAP, хранилище данных, его базовые слои, архитектуры обработки данных и т.д.)

• Устройство DWH — на примере компании Сравни

• Основы оптимизации аналитических SQL-запросов

• Как решать проблемы с неэффективными запросами: практические кейсы

Посмотреть запись можно здесь:

✅YouTube

✅RUTUBE

✅VK

Следующая лекция курса, посвященная архитектурному обзору инструментов для построения DWH, пройдёт уже в ближайший четверг, 14 ноября, с 17:25 до 19:00. Присоединяйтесь в онлайне!

***

Больше информации о наших лекциях, митапах, статьях и других полезных материалах про ИТ, в тг-канале Sravni Tech.

Валера Бабушкин в новом Sravni Podcast: «Выйдет GPT-5, и я стану плотником!»

Поговорили с Валерой Бабушкиным — экспертом в области ML и анализа данных, автором книги о проектировании ML-систем. 

Обсудили будущее машинного обучения, сложности с поиском хороших инженеров и менеджеров, несовершенство собеседований и специфику работы в big tech. А ещё разыгрываем книгу Валеры — смотрите выпуск до конца и участвуйте в конкурсе!

Также в этом выпуске:

• Неизвестный бэкграунд Валеры: чем занимался ранее?

• Компетенции и карьерный путь ML-специалистов

• Как успешно управлять командами в ИТ

• Кто самый крутой в ML прямо сейчас — среди отдельных специалистов и компаний

Посмотреть или послушать подкаст можно здесь:

• YouTube

• RUTUBE

• VK

• Яндекс Музыка

Оперативно узнавать о наших новых подкастах, докладах, лекциях и других полезных ИТ-материалах, можно в тг-канале Sravni Tech.

Backend vs Frontend: сравниваем опыт разработчиков | Что сложнее, перспективнее и кому больше платят

Бэкенд и фронтенд — инь и ян современной разработки. Две идеологии, два мировоззрения, две части единого целого — пересекаются, но не совпадают. Их ключевые различия и точки соприкосновения обсудили со специалистами ИТ-команды Сравни: тимлидом Максимом Постниковым и Deputy CTO Валерием Тереховым. 

В этом выпуске: 

• Действительно ли фронтенд проще освоить?

• Почему так мало хороших фулстек-разработчиков?

• Как джуну стать тимлидом и почему выигрывают всё равно мидлы?

• Насколько быстрым может быть собеседование?

Посмотреть или послушать подкаст можно здесь:

• YouTube

• RUTUBE

• Яндекс Музыка