Помимо своей основной деятельности, мы в Ростелекоме ведем различные образовательные проекты. 28 февраля таких проектов станет больше. Мы начнем «Ростелеком. DataTalks» — цикл лекций о дата-инжиниринге и управлении данными от семи ведущих компаний в этой сфере. Все подробности — в этом посте.

Всем привет! Меня зовут Антон, в Ростелекоме я занимаюсь разработкой центрального хранилища данных. Наше хранилище состоит из модулей, в качестве оркестратора которых используются несколько инстансов Informatica, часть из которых мы хотим перевести на Airflow в рамках перехода на open-source решения. Поскольку Informatica и Airflow принципиально разные инструменты, взять и повторить существующую реализацию не так уж и просто. Нам хотелось получить workflow, с одной стороны, максимально похожий на текущую реализацию и, с другой стороны, использующий самый интересный первый принцип Airflow — динамичность, которая даёт гибкость.

В этой небольшой статье я хочу рассказать о по-настоящему динамической генерации ДАГов в Airflow. По этой теме в интернете в основном находится много статей от разработчиков из Индии, представляющих собой материалы вида "в Airflow можно генерировать даги динамически, вот пример: <пример по генерации 10 HelloWorld-тасков/дагов>". Нам же была интересна именно генерация дагов, которые будут изменяться во времени с переменным количеством и названиями тасков.

В «Ростелекоме», как и в любой крупной компании, имеется корпоративное хранилище данных (ЦХД). Наше ЦХД постоянно разрастается и расширяется, мы строим на нем полезные витрины, отчеты и кубы данных. В какой-то момент мы столкнулись с тем, что некачественные данные мешают нам при построении витрин, получаемые агрегаты не сходятся с агрегатами систем источников и вызывают непонимание бизнеса. Например, данные с Null значениями в внешних ключах (foreign key) не соединяются с данными других таблиц.
Краткая схема ЦХД:



Мы понимали, что для обеспечения уверенности в качестве данных нам нужен регулярный процесс сверок. Конечно, автоматизированный и позволяющий каждому из технологических уровней быть уверенным в качестве данных и их сходимости, как по вертикали, так и по горизонтали. В итоге мы параллельно рассмотрели три готовые платформы для управления сверками от различных вендоров и написали свою собственную. Делимся опытом в этом посте.

В «Ростелекоме» мы используем Hadoop для хранения и обработки данных, загруженных из многочисленных источников с помощью java-приложений. Сейчас мы переехали на новую версию hadoop с Kerberos Authentication. При переезде столкнулись с рядом проблем, в том числе и с использованием YARN API. Работа Hadoop с Kerberos Authentication заслуживает отдельной статьи, а в этой мы поговорим об отладке Hadoop MapReduce.

Сегодня на тематических зарубежных сайтах о Big Data можно встретить упоминание такого относительно нового для экосистемы Hadoop инструмента как Apache NiFi. Это современный open source ETL-инструмент. Распределенная архитектура для быстрой параллельной загрузки и обработки данных, большое количество плагинов для источников и преобразований, версионирование конфигураций – это только часть его преимуществ. При всей своей мощи NiFi остается достаточно простым в использовании.



Мы в «Ростелекоме» стремимся развивать работу с Hadoop, так что уже попробовали и оценили преимущества Apache NiFi по сравнению с другими решениями. В этой статье я расскажу, чем нас привлек этот инструмент и как мы его используем.

Летом этого года в России заработала Единая биометрическая система для юридически значимого и при этом простого для пользователя подтверждения личности. О том, как она устроена, мы писали в недавнем посте.

Чтобы системой было удобно пользоваться, необходимо приложение. Создание этого приложения — «Ключ Ростелеком» — открыло для нас целый бонусный уровень с новыми задачами, новыми вызовами. Которые, как несложно догадаться, направлены на повышение безопасности пользователей.

Сегодня многие разрабатывают enterprise-приложения на Java с использованием spring boot. В ходе проектов часто возникают задачи по созданию поисковых систем разной сложности. Например, если вы разрабатываете систему, хранящую данные о пользователях и книгах, то рано или поздно в ней может потребоваться поиск по имени/фамилии пользователя, по названиям/аннотациям для книг.



В этом посте я вкратце расскажу об инструментах, которые могут помочь в решении таких задач. А затем представлю демо-проект поискового сервиса, где реализована более интересная и сложная фича — синхронизация сущностей, БД и поискового индекса. На примере этого демо-проекта вы сможете познакомиться с Hibernate Search — удобным способом общения с полнотекстовыми индексами Solr, Lucene, ElasticSearch.

13 ноября мы с компанией AgileVerse будем проводить теплый ламповый вечер с настольными играми. Вместо D&D, Манчкина или какой-нибудь другой классики вас будет ждать Scrum Values Game — новая игра, которая поможет врубиться в ценности скрам — фреймворка и связать их с обычными кейсами. (Да, и при этом не запороть реальные проекты — игра же!)



А после митапа AgileVerse раздаст сотню коробок с этой игрой, чтобы вы могли показать ее коллегам и друзьям. Подробности под катом.

Все началось с того, что мы столкнулись с потребностью быстро и правильно формировать структуры EDWEX, JSON, DDL и затем раскатывать их на разных контурах реляционных БД. Под контурами я подразумеваю знакомые всем аббревиатуры — DEV, TST, UAT, PRD.



На тот момент мы делали практически все вручную: и генерировали DDL, и собирали edwex-ы и json-ы на основе метаданных из Oracle БД. Входных параметров множество. Упустишь один — и некорректно сформируешь сущность. А так как весь процесс формирования был последовательным и непрерывным, то ошибка обнаружится только в самом конце. О том, как мы все автоматизировали и побороли ошибки, читайте под катом.

8 октября в московском DI Telegraph пройдет Scrum Day 2018 — одна из конференций, которые по всему миру организует Scrum.org. Особенность Scrum Day в том, что точная программа конференции заранее неизвестна и упор делается на общение в малых группах. Каждый участник может заявить свою тему и затем обсудить ее с коллегами. Таким образом в течение дня параллельно раскрываются десятки актуальных тем. Подробная информация — под катом.
 

С начала июля в некоторых банках начала работать единая биометрическая система, созданная «Ростелекомом» по инициативе Министерства цифрового развития, связи и массовых коммуникаций и Центрального банка РФ. В этом посте мы подробно расскажем, как работает новая система, а в комментариях постараемся ответить на ваши вопросы, связанные с ней.  

Информация — один из столпов современного общества. Персональные данные граждан, коммерческие тайны организаций, инсайды и финансовые данные, платежные карты — всё это и многое другое должно храниться и обрабатываться в максимально защищенной среде.

Чем лакомее для потенциальных злоумышленников информация, тем более дорогими и изощренными могут быть методы взлома. Новые поколения киберугроз просто должны найти себе достойного соперника в виде нового поколения киберзащиты. И здесь под новым поколением защиты мы понимаем не просто программные средства и методы, но и самих людей.



С 1 по 24 ноября на базе образовательного центра «Сириус» в Сочи мы в партнерстве с МФТИ запускаем образовательную программу по кибербезопасности — с кучей практических занятий по реверс-инжинирингу, веб-безопасности, киберкриминалистике, криптографии, безопасности IoT, мобильных платформ. Выбирать участников будем с 11 по 15 сентября среди учеников 8–11 классов с помощью онлайн-олимпиады. Все подробности — под катом.

Фреймворк скрам постепенно осваивают все большие по масштабам команды. Такой опыт есть и у нашей компании. Совместно с Unusual Concepts мы планируем поделиться своими наработками со всеми желающими в рамках дня Large-Scale Scrum — LeSS Day 2018, который пройдет 16 июля в офисе Comcity в Москве.

Мероприятие бесплатное, а участники из других городов смогут посмотреть онлайн-трансляцию, которую мы запустим в нашем блоге.

В начале июня прошла новость, что в нашей стране разработан стандарт по терминологии интернета вещей. Ростелеком в этом проекте сотрудничает с Росстандартом и отвечает за контентную часть. В этом посте мы хотим рассказать, зачем нужна стандартизация и как она проходит — и в IT, и в IoT.

Мы в «Ростелекоме» давно задумывались о том, чтобы переводить голосовой клиентский сервис в digital-каналы текстового общения. Для небольших компаний задача выглядит несложно, но когда речь идет о службе из сотен, а в перспективе даже тысяч операторов поддержки, есть над чем задуматься. В этом посте мы расскажем, какое решение для этого нашли, что оно вообще собой представляет и позволяет делать. Спойлер: много чего.

Огромное количество популярных сегодня систем использует географические данные — от всевидящего Гугла до занятного Тиндера. Внедрить какие-нибудь базовые геофункции можно с помощью API от известных поставщиков карт. А если для сервиса нужны какие-то особенные геоданные? Совместить и кастомизировать кучу пространственной информации в разных слоях? Связать это с аналитикой? Или, может, вы хотите предложить людям собственные геоданные? На подобные сценарии повышенной сложности ориентирована наша новая платформа РусГИС.

Мы активно следим за всеми статьями по теме DDoS, которые публикуются на Хабрахабре, и несмотря на то, что поиск по всем потокам на момент написания статьи показывал 820 публикаций, решили, что было бы неплохо от лица оператора связи поделиться видением проблематики выявления и борьбы с DDoS-атаками.



В первой статье попробуем познакомить читателей с базовыми понятиями. Статья рассчитана скорее на новичков, которые в базе понимают сетевые технологии, но никогда не сталкивались с промышленными решениями по защите от DDoS, и если данный материал вызовет интерес, то в следующем цикле статей начнем подробно раскрывать технические детали.

21—23 апреля «Рестрим» устраивает «железный» хакатон в Сколкове. Участие бесплатное, включая доступ к оборудованию, деталям, инструментам и еде. Победители оставят собранное себе. Короче, надо идти!

Мы — компания «Рестрим», технологическое крыло «Ростелекома». Мы делаем видеонаблюдение, сайты, приложения, а также пишем софт под железо. (Между прочим, обязательно приходите к нам работать в Москве и Ульяновске).

С 21 по 23 апреля мы, вместе с Ростелекомом, Сколтехом и FutureLab, организуем хардатон. Это как хакатон, только про железо. Если на обычном хакатоне вы делаете прототип программы, то здесь — прототип устройства.

Примерно так хардатон выглядит в жизни.
Фото с последнего хардатона в Ульяновске

Тема хардатона максимально демократичная — «Интернет вещей». По сути, это значит, что можно делать всё что угодно — от вайфай-чайника до луча смерти на радиоуправлении. Главное, чтобы ваше устройство управлялось через интернет и заставило всех сказать «Вау!».

Хардатон пройдёт в Сколковском институте науки и технологий, на территории инновационного центра «Сколково» на улице Нобеля, 3 в Москве. В распоряжении участников будет самый большой зал Сколтеха, в котором с комфортом одновременно смогут работать двести человек.

Как участвовать

Мы хотим, чтобы на хардатон мог прийти каждый. Поэтому мы не только сделали участие бесплатным, но также бесплатно предоставляем участникам комплектующие и инструменты для проектов. Можете прийти со своим железом, но вообще из электроники с собой можно не брать ничего, кроме ноутбука. А если не планируете программировать, не берите и его.

В предыдущей части мы рассказывали о продукции, а теперь пора заглянуть в цеха. Мы пройдемся по неожиданно высокотехнологичным зонам, заглянем в неприметные комнаты и узнаем, какие процессы лучше доверить роботам, а где никак не обойтись без людей.

Рестрим, дочернее предприятие Ростелекома, приглашает всех желающих принять участие в Хардатоне (слово образовано из двух – Hardware Hackaton).



Участникам Хардатона предстоит за 48 часов собрать рабочий прототип устройства на стыке электроники, программирования и цифрового производства. Разрешается использовать любые подручные материалы и все, что достанется на подготовленной площадке: отладочные платы, инструмент, электронные компоненты, 3D-принтеры и т.д.

К участию в Хардатоне приглашаются инженеры, программисты, дизайнеры, а также все, кто увлекается электроникой, программированием, конструированием устройств и хотят воплотить в жизнь свою идею. Тематика не ограничена — устройство должно управляться по сети и делать что-то полезное.