Привет! Меня зовут Михаил Благов, я руководитель департамента «Чаптер инженеров данных и разработчиков» в beeline tech. В этом посте я хочу поделиться способом, с помощью которого можно выбрать подходящую архитектуру для конвейера данных в зависимости от требований к нему. В частности, обсудим паттерн CDC (change data capture, aka «захват изменений»), основная идея которого — быстрая репликация какого-то источника в аналитическое хранилище. 

Под катом мы:

- познакомимся с вариантами архитектуры конвейеров данных: из каких компонентов и как его можно собирать,

- рассмотрим и сравним четыре разные архитектуры конвейеров.

Disclaimer: серебряной пули не будет, в этой статье я поделюсь опытом выбора архитектуры для решения конкретной задачи. Аналогичный выбор для других случаев потребует дополнительных исследований и замеров производительности.

Начнем с матчасти

Если вам кажется, что сон — не самое важное для продуктивной работы в течение дня (и даже недели), поздравляю, значит у вас нет проблем с недосыпанием. Всех остальных приглашаю к прочтению.

Многие ответят - конечно! Другие, возможно, скажут: "Ты что, чувак! Что вообще за вопрос? И кто ты такой?"

Классический подход РМbok подразумевает наличие объекта, субъекта и методов - такой набор, по мнению PMbok, делает любой проект управляемым.

Но я думаю, слово "управлять" мало применимо к проектной работе. Да и сама работа называется проектной только потому, что ее результатом должен стать набор уникальных характеристик конечного продукта - процессный подход здесь как бы не подходит, т.к. заточен под унификацию продукта.

Я размышляю об этом потому, что последние 12 лет работаю руководителем проектов в промышленном строительстве и пытаюсь понять, правильно ли делаю свою работу. Вам может показаться, что стройка – это что-то далекое и вообще про мужчин в спецовках и касках, но на самом деле наши подходы становятся все более сходными с Ай-Ти. Прежде всего потому, что строительство стремительно цифровизуется.

В Dodo Engineering есть традиция: несколько раз в год айтишники ходят в пиццерии и начинают ломать им процессы тестируют, как продукт работает на местах. В этот раз мы, разработчики Небесного логиста, решили сломать их по-крупному и зарядили тест на три недели.

В этой статье поделимся опытом, как мы тестируем продукт в реальных условиях на реальных пользователях, как это помогает прорабатывать наши гипотезы. Расскажем о том, как наши ожидания сломались о реальность, о волне негатива, с которым мы столкнулись, и как превращали критиков в своих сторонников.

Архитектор из крупного российского банка, предлагает простое представление, что делает архитектор решений, какими навыками он должен обладать, и как обычно устроен его день.

Кому-то статья поможет развеять основные заблуждения о профессии, кому-то составить карту развития в специальности, а кому-то наконец принять решение, хочет ли он/она быть архитектором решений.