Какую задачу мы решаем?

Эта статья — о секции по проектированию систем, которая стала появляться на собеседованиях в российских компаниях. В ней за час предлагается проработать дизайн highload системы по функциональным и нефункциональным требованиям, тем самым предъявив эксперту свои знания сразу из множества областей.

Я поделюсь своими впечатлениями от участия в этом формате, рассмотрю проблемные моменты и предложу, что с ними можно сделать.

Всем привет! Меня зовут Александр Токарев, я технический архитектор домена «Управление данными» в «Леруа Мерлен». Год назад мы уже делали обзор нашей Платформы данных, сейчас же я расскажу про её развитие за последний год и про задачи, которые нам удалось решить.

Мы столкнулись с необходимостью масштабировать наш подход, когда количество источников, интегрированных в платформу, стало больше 150. Всего же мы планируем интегрировать данные из более чем 800 систем. Однако ETL-инструменты, которые мы использовали на первых этапах развития дата платформы, не позволяли добиться эффективного масштабирования. Кроме того, сам процесс интеграции источников был достаточно трудоемким. Поэтому возник запрос на рефакторинг архитектуры процесса поставки данных, который, с одной стороны, позволил бы эффективно горизонтально масштабироваться, а с другой стороны, упростил бы сам процесс интеграции. В результате мы пришли к следующей схеме процесса.

Мы собрали могучую команду на железную триатлонную эстафету IronStar 226, которая пройдет в Сочи 22 сентября 2018 года, и призываем ИТ-шников присоединится! Лучше всего — это собрать команду и зарубиться с нами… ну или в крайнем случае предлагаем просто поболеть с пивком за (пока) единственную ИТ-команду

Эстафета включает в себя три дисциплины (проходимые в указанной ниже последовательности):

1. 3,8 км – плавание на открытой воде (плыву я);
2. 180 км – велосипед по живописной трассе Адлер - Красная Поляна (поедет Дмитрий Сидельников);
3. 42,2 км – бег (побежит Антон Старшов).

До старта еще два месяца. С дивана, конечно, команду не соберешь, но во многих ИТ-компаниях наверняка есть спортивные сотрудники, которые могут преодолеть указанные дистанции. Так что присоединяйтесь!

Зарегистрироваться можно тут. Стоимость – 20 000 руб за команду.

Надпись на плакате у милой девушки: "Железные люди – сексуальные". "Железные люди" – это те, кто преодолевают классическую дистанцию триатлона, пусть даже в эстафете ;-)

Часть 2: Решение

Часть 1: Постановка задачи

• Как представить модель машинного обучения в виде сервиса (Model as a Service)?
• Как физически выполняются задачи распределенной обработки больших объемов данных при помощи Apache Spark?
• Какие проблемы возникают при взаимодействии Apache Spark с внешними сервисами?
• Как при помощи библиотек akka-streams и akka-http, а также подхода Reactive Streams можно организовать эффективное взаимодействие Apache Spark с внешними сервисами?