Всем привет от команды ЮMoney ?

В конце апреля мы провели очередной онлайн-митап High SQL, который посвятили работе с данными в DWH на Microsoft SQL Server. Было три докладчика: два эксперта из ЮMoney и один — из компании Monopoly Online. Полтора часа полезной информации для разработчиков, тестировщиков и дата-инженеров прошли незаметно, обязательно повторим в следующем году.

А сегодня делимся видеозаписями и главными мыслями митапа. Если не смотрели его 27 апреля, можно сделать это сейчас.

Кому советуем посмотреть:

  • Тем, кто планирует перебраться с Microsoft SQL в PostgreSQL, но всё ещё сомневается.

  • Тем, кто выбирает между ANTLR и DacFx и хочет научиться решать проблемы во время ревью TSQL-кода.

  • И тем, кто хочет узнать, зачем тестировать OLAP-кубы, что может пойти не так и какой результат дают автотесты силами разработчиков и тестировщиков.

О чём были доклады:

  • Станислав Флусов из Monopoly Online поделился опытом, который получила их компания за три года миграции приложений из MS SQL в PostgreSQL.

  • Артём Коршунов из департамента аналитических решений ЮMoney рассказал об инструментах BI, сравнил два парсера TSQL (ANTLR и DacFx) и показал, как написать простейший валидатор.

  • А Лена Сухих из того же департамента рассказала, как её команда тестировала OLAP-кубы и что из этого получилось.

Миграция с Microsoft SQL в PostgreSQL. Станислав Флусов, Monopoly Online

В своём докладе делюсь опытом, который мы получили за три года миграции наших приложений из MS SQL в PostgreSQL. После того, как мы прошли этот путь на примере трёх больших приложений, все новые мы пишем только на PostgreSQL. Мы смогли выработать стратегию разработки и поддержки, которая по удобству, в случае PostgreSQL, ничуть не отличается от MS SQL.

Таймкоды:

01:28 Стоимость владения и масштабирования коммерческих проприетарных решений. Когда софт в разы дороже железа

06:17 Инструменты для работы с PostgreSQL: Azure Data Studio и DBeaver Community

09:14 Инструменты мониторинга. PGWatch — next-generation PostgreSQL monitoring tool

13:39 Разница в типах данных между PostgreSQL и MS SQL

22:26 Разница в синтаксисе запросов

27:57 Инструменты для миграции схемы и запросов: AWS Babelfish и AWS SCT (Schema Conversion Tool)

34:23 Миграция средствами efCore

41:37 Инструменты для репликации данных

45:44 Оптимизация запросов и результаты нагрузочного тестирования

47:22 Топ-3 совета по миграции на PostgreSQL

Валидация T-SQL кода. Артём Коршунов, программист, департамент аналитических решений ЮMoney

Когда в команде много разработчиков и они пишут много кода, встроенных валидаций для проверки этого кода может быть недостаточно. Из-за этого во время ревью могут возникать проблемы, например при описании таблицы, с порядком сортировки строк или при переключении раскладки клавиатуры, когда русские буквы используются вместо английских и наоборот. В моём докладе подробно разберём эти проблемы и выберем парсер транзакции TSQL-кода, чтобы автоматизировать валидацию и инструменты.

Таймкоды:

01:36 Инструменты BI

08:58 Что не проверить встроенным валидатором и какие проблемы встречаются при ревью кода

15:26 Как мы исправляли эти проблемы и выбирали парсер TSQL: ANTLR vs DacFx

18:01 Разрабатываем анализатор

26:08 Что такое объектная модель

29:13 Итоги и возможные пути развития

30:50 Вывод: использовать DacFx или нет

Автотесты для OLAP-кубов. Елена Сухих, старший разработчик департамента аналитических решений ЮMoney

Представьте себе солнечный день. За большим столом собрались топ-менеджеры, чтобы провести стратегическое планирование по результатам прошлых периодов. Чтобы показать прогресс, докладчик на большом экране открывает куб, а данных нет... Примерно так началась история тестирования OLAP-кубов в ЮMoney. И хорошо, что началась, ведь вот к чему мы пришли:

  • Стало на 47% меньше ошибок при выкладке релизов.

  • На 26% увеличилось соблюдение SLA по OLAP-кубам.

  • На 38% уменьшилось количество обращений к админам по проблемам с OLAP-кубами.

Таймкоды

01:11 Немного обо мне и моём опыте

02:41 Проверяем, насколько редко команды тестируют OLAP-кубы — общение со зрителями в чате

04:00 Как ЮMoney пришли к необходимости тестировать OLAP-кубы и что может пойти не так

05:51 С чем мы подошли к началу тестирования OLAP-кубов и что уже было реализовано

08:56 Что нам нужно было реализовать к началу тестирования OLAP-кубов

09:42 Проблемы и решения

16:38 Автотесты на бизнес-логику силами разработчика

17:21 Автотесты на бизнес-логику силами QA

18:39 Как выглядит текущая схема тестирования OLAP-кубов

20:08 Результаты внедрения тестирования OLAP-кубов

21:22 Выводы

Чтобы не пропустить следующие митапы ЮMoney, следите за нашими новостями в телеграм-канале ЮMoney Tech.