Привет, Хабр! Меня зовут Александр Тарасов, я архитектор департамента поддержки продаж Arenadata. Уход крупных зарубежных вендоров, таких как Oracle и Microsoft, заставил нас переосмыслить подходы к управлению данными и освоить альтернативные решения. Если с транзакционной нагрузкой всё относительно ясно благодаря PostgreSQL, то в аналитике дела обстоят сложнее, и здесь особенно важно адаптироваться к новым инструментам. Сейчас на первый план выходят системы с открытым исходным кодом, которые не только поддерживаются сообществом, но и открывают новые возможности для роста и экспериментов, оставаясь актуальными в условиях меняющегося рынка.
В этой статье я расскажу, как разработчикам и архитекторам адаптироваться к новым условиям, какие технологии стали достойной заменой западным решениям и какие шаги помогут специалистам эффективно использовать открытые платформы для укрепления своего карьерного трека.
Аналоги привычных технологий: что доступно на российском рынке
На российском рынке уже есть несколько решений, которые отлично заменяют реляционные СУБД от западных вендоров и при этом максимально к ним близки.
MPP СУБД с открытым исходным кодом. Эти системы позволяют распределять нагрузку на несколько узлов, что повышает скорость выполнения аналитических запросов. В качестве примеров можно выделить Greengage (новый проект, который заменяет Greenplum) и ClickHouse — обе платформы поддерживаются в России и активно развиваются. Greengage основан на последних версиях Greenplum (6.x и 7.x) и будет развиваться как независимый open source проект с понятной системой участия. Это решение ориентировано на гибкость и масштабируемость в аналитике, предлагая альтернативу западным платформам.
Принципиально другие технологии для анализа и хранения данных
Тем, кто готов рискнуть и освоить совершенно новые подходы, можно рассмотреть технологии, которые радикально отличаются от реляционных СУБД по своей архитектуре.
Озёра данных (Data Lakes).
Архитектура, применяющаяся для хранения данных в «сыром» виде, стала популярной благодаря своей низкой стоимости, гибкости и масштабируемости. Hadoop-системы, поддерживающие Data Lakes, позволяют хранить и обрабатывать огромные объёмы данных без их предварительной подготовки.
Lakehouse.
Архитектура Lakehouse объединяет возможности концепции озера данных и традиционных СУБД, развивая технологии, ориентированные прежде всего на применение в облаке. Это позволяет добавить традиционные функции СУБД, такие как поддержка транзакций и согласованность данных, в форматы хранения, обеспечивая при этом высокую производительность и гибкость при работе с большими объёмами данных. Вместо технологии HDFS, лежащей в основе Hadoop, используется объектное хранение S3, а сама архитектура разделяет обработку и хранение данных, заменяя монолитные системы на независимо масштабируемые компоненты. Эластичность облака предоставляет новые возможности для выделения ресурсов на обработку данных по мере необходимости, что делает решение более экономичным в облачной среде.
Lakehouse — это современный тренд, требующий новых знаний и адаптации. Можно провести аналогию с электромобилями, когда маркетинг опережает реальный опыт. Потенциал подхода, несомненно, есть, но важно помнить, что в свое время появление Hadoop тоже вызвало бурный ажиотаж, но классические СУБД продолжают активно решать задачи хранилища данных. «Серебряной» пули мы вряд ли дождёмся. И на уровне архитектуры очевидно, что, несмотря на высокую эластичность облачных решений, при увеличении объёма данных система может терять сбалансированность: для эффективной работы необходимо не только увеличивать вычислительные ресурсы, но и обеспечивать высокую скорость предоставления данных этим ресурсам.
Переход на новые технологии: варианты с учётом позиции компании
Работодатель поддерживает переход
Если твоя компания готова внедрять новые решения, это отличная возможность прокачать свои навыки. Рынок СУБД и обработки данных в России сейчас активно развивается и по прогнозам будет расти на 20% в год до 2030 года. Это значит, что ты ещё успеваешь запрыгнуть в последний вагон поезда под названием «процесс перехода на новые технологии».
Не упускай возможности запросить у своей компании обучение по современным направлениям. Это могут быть курсы по работе с аналитическими решениями, основанными на свободном исходном коде, и технологиями для обработки больших данных. Такое обучение — это не просто способ обновить теоретические знания, но и первый шаг к тому, чтобы впоследствии получить практический опыт, участвуя в реальных проектах, связанных с миграцией данных и переходом на новые системы. Применение этих технологий на практике поможет тебе глубже понять потребности бизнеса и научиться эффективно интегрировать новые инструменты в существующую инфраструктуру. Это делает тебя не просто участником изменений, а ключевым звеном в их успешной реализации.
Компания ещё в процессе принятия решения
Если компания ещё не решила, переходить ли на новые технологии, ты можешь взять инициативу в свои руки. Начни с продвижения пилотного проекта на новых платформах, например используй российские СУБД. Это не только покажет, что новые технологии реально работают, но и повысит твою ценность в глазах руководства, помогая компании сделать осознанный выбор.
Сейчас идёт активный процесс замены западного ПО отечественными решениями, и стоит обратить внимание на инструменты, которые уже зарекомендовали себя на рынке. Использование таких технологий обеспечит большую гибкость и безопасность для компании, а тебе — дополнительные возможности для роста, например, в области работы с новыми данными и внедрения решений в рамках цифровой трансформации.
Компания не поддерживает переход
Если твой работодатель не готов поддерживать внедрение новых технологий, не стоит терять время в ожидании. Вместо этого можно рассмотреть два варианта: искать работу в компаниях, где такие изменения активно поддерживаются, или начать изучать новые технологии самостоятельно.
Сейчас, когда спрос на российские СУБД и системы обработки данных растёт, а цифровизация экономики набирает обороты, специалисты, разбирающиеся в современных технологиях, крайне востребованы.
Может быть, Headhunter?
Чтобы оставаться в теме и уверенно осваивать новые технологии, важно не только учиться, но и следить за тем, что сейчас нужно работодателям. Один из лучших способов — смотреть вакансии. Так можно понять, какие навыки и инструменты сейчас в топе. Например, если часто мелькают требования к работе с ClickHouse или Apache Kafka, — это чёткий сигнал, что именно эти технологии стоит включить в свой арсенал.
Мы в Arenadata постоянно мониторим рынок вакансий и требований к специалистам, и, по нашим данным, в 2024 году самой популярной open source технологией в России стала Apache Kafka. За ней идут Hadoop, AirFlow и Spark — инструменты, которые активно используются для работы с потоковыми данными, автоматизации процессов и аналитики. Эти технологии всё чаще появляются в описаниях вакансий, что делает их must-have для тех, кто хочет оставаться востребованным и конкурентоспособным в нашей сфере.
Анализ показал также устойчивый спрос на технологии вроде Elastic, Hive и более узкоспециализированные решения, такие как Flink или Trino. Это подтверждает, что навыки работы с инструментами публичного исходного кода становятся обязательными для профессионального роста.
При этом рынок труда даёт полезные подсказки о дополнительных навыках, которые часто требуются для работы с современными СУБД:
базовые знания DevOps-практик;
опыт работы с контейнеризацией и оркестрацией, например Docker и Kubernetes;
знание архитектур обработки данных, таких как MPP или Data Lake.
Так что смотреть вакансии — это как читать карту с сокровищами: сразу видишь, что учить, на какие курсы идти или где сертификат получить, чтобы прокачаться и оставаться востребованным.
Обучение и комьюнити
С ростом интереса к открытым и гибким платформам появились многочисленные курсы и обучающие программы, которые позволяют получить актуальные знания и навыки работы с новыми СУБД. Компании, поддерживающие свободный исходный код, зачастую предоставляют ознакомительные версии своих решений для бесплатного изучения, например такие, как Arenadata Community Edition (CE) для популярных open source систем вроде ClickHouse (ADQM CE), Greengage (ADB CE) или экосистемы Hadoop (ADH CE). Это отличная возможность для нас не только познакомиться с новыми инструментами, но и набраться реального опыта.
Сообщества пользователей (комьюнити) играют важную роль в поддержке тех, кто осваивает новые технологии. Активные форумы, Telegram-каналы (Greengage, AD.CM) предоставляют платформу для обмена опытом, обсуждения технических вопросов и решения проблем. Здесь можно оперативно получать помощь, а также следить за обновлениями, которые выходят с участием локальных разработчиков и сообщества.
ИТ-конференции и личные встречи
Конференции — это не только возможность узнать о последних трендах, но и ценный шанс лично пообщаться с представителями компаний, обсудить текущие задачи и получить инсайдерскую информацию о технологиях, которые действительно применяются на практике. В России и за её пределами регулярно проходят крупные ИТ-конференции, где встречаются профессионалы в области баз данных, аналитики и обработки данных. Среди таких мероприятий можно отметить DataFest, HighLoad++, Smart Data и другие отраслевые события, которые активно поддерживают российские и международные компании.
Посещение таких событий помогает не только быть в курсе всех новинок, но и заводить полезные знакомства, узнавать о вакансиях и требованиях на рынке. А ещё на конференциях часто проходят практические сессии и воркшопы, где можно попробовать новые инструменты в деле и получить советы от экспертов.
Если нет возможности приехать лично, обязательно посмотри записи прошлых конференций — это тоже полезно, особенно если участие в таких мероприятиях пока выходит за рамки бюджета.
Итог
Смена технологического стека — это стресс и серьёзный вызов для каждого, кто работает в ИТ. Это не просто замена инструментов, а необходимость адаптироваться к новым методам работы и требованиям. Как говорила Красная Королева: если работаешь в ИТ, то «приходится бежать со всех ног, чтобы только остаться на том же месте. А чтобы двигаться вперёд, надо бежать вдвое быстрее».
Если руководство поддерживает переход, используйте эту возможность: организуйте обучение, проведите демонстрации и внедряйте нововведения поэтапно. В противном случае стоит задуматься о самообучении, стажировках или смене работы. Оставаться в компании, не готовой к переменам, — значит рисковать профессиональным будущим. Новые вызовы — это не барьер, а стимул к развитию и укреплению своих позиций в быстро меняющемся мире технологий.
