Книга: «Архитектура медальона. Проектирование с помощью Delta Lake и Spark» / Хабр

Привет, Хаброжители!

Объемы данных растут экспоненциально, а опасность оказаться в «болоте данных» (data swamp) подстерегает на каждом шагу? Чтобы получить ценную аналитику, которая обеспечит конкурентное преимущество, можно обратиться к проверенной модели архитектуры медальона. Однако реализовать надежную архитектуру данных довольно сложно, особенно бронзовый, серебряный и золотой уровни.

Опираясь на свой богатый практический опыт, Питхейн Стренгхольт развеивает распространенные заблуждения и объясняет сложные проблемы, с которыми вы столкнетесь, начиная работу над новой архитектурой данных. Архитекторы и инженеры любого профиля найдут здесь ответы на свои частые вопросы, а также юзкейсы реальных компаний с примерами того, что сработало, а что нет и почему.

Вы получаете не очередную «теорию уровней», а полное практическое руководство, позволяющее разобраться, как правильно проектировать и реализовывать каждый уровень на Microsoft Fabric и Azure Databricks (с готовыми примерами кода и GitHub-репозиторием); реальные кейсы внедрения в AP Pension, Amadeus и ZEISS; рекомендации о том, как вписать медальон в data mesh; разбор таких вопросов, как контракты данных, безопасность и генеративный ИИ (включая RAG и работу с неструктурированными данными).

Для дата-инженеров, архитекторов данных, глав дата-офисов и всех, кто устал от «еще одного озера, которое никто не может использовать».

Прочитав книгу, вы:

Научитесь строить архитектуры медальона на базе Azure Databricks и Microsoft Fabric.
Узнаете о трех реальных кейсах ее применения в крупных компаниях с описанием практического опыта и полученных уроков.
Изучите различные факторы, влияющие на масштабирование, включая управление данными (governance), безопасность, генеративный ИИ и многие другие.
Научитесь принимать обоснованные решения при проектировании и реализации новых архитектур данных.
Освоите проверенные паттерны проектирования, сочетающиеся с долгосрочными целями организации.

«Эта книга – первое полное исследование архитектуры медальона. На практических примерах Питхейн помогает превратить теоретические концепции в ментальные модели, которые вы сможете применять в своей работе. Это то самое недостающее руководство, которое должно быть в библиотеке каждого современного специалиста по данным».

— Скотт Хейнс, соавтор книги Delta Lake: The Defi nitive Guide

Об авторе

Питхейн Стренгхольт

Признанный эксперт в управлении данными, имеющий богатый опыт работы на позициях директора по данным (CDO, chief data offi cer) и главного архитектора данных. Он давно и успешно сотрудничает с ведущими специалистами по данным и CDO в крупных компаниях, стимулируя рост профессионального сообщества и согласовывая стратегии с бизнес целями.

Ознакомиться с оглавлением