Как стать автором
Обновить

«Ростелеком. DataTalks» — курс бесплатных лекций о дата-инжиниринге и управлении данными

Блог компании Ростелеком IT-инфраструктура *Хранение данных *Учебный процесс в IT Конференции
Помимо своей основной деятельности, мы в Ростелекоме ведем различные образовательные проекты. 28 февраля таких проектов станет больше. Мы начнем «Ростелеком. DataTalks» — цикл лекций о дата-инжиниринге и управлении данными от семи ведущих компаний в этой сфере. Все подробности — в этом посте.


Читать дальше →
Всего голосов 14: ↑11 и ↓3 +8
Просмотры 4.8K
Комментарии 3

Ростелеком предлагает дистрибутивы своих продуктов управления данными бесплатно

Блог компании Ростелеком Big Data *Хранение данных *Hadoop *

Ростелеком выводит на российский рынок импортонезависимый freeware-дистрибутив RT.Datalake — специальную сборку одного из компонентов «Платформы управления данными», которая предназначена для организации эффективного хранилища больших данных. Российским компаниям предоставляется возможность бесплатно построить собственное озеро данных на отечественной, импортонезависимой сборке дистрибутива Hadoop без затрат на лицензионные взносы.

Читать далее
Всего голосов 9: ↑9 и ↓0 +9
Просмотры 1.6K
Комментарии 2

DataTalks 3.0 — программа третьей конференции по управлению данными Ростелекома

Блог компании Ростелеком Учебный процесс в IT Конференции Data Engineering *

24 и 25 ноября 2021 года Ростелеком в третий раз проведет конференцию по управлению данными DataTalks 3.0, где ведущие эксперты крупных компаний поделятся практическим опытом управления данными. В мероприятии примут участие представители Gartner, Сбера, Яндекс.Go, Билайна, Tele2, консалтинговой компании BSSG, SAS Россия/СНГ, Accenture и другие.

Встреча будет интересна студентам, специалистам в области управления данными, аналитикам данных и дата-инженерам, Chief Digital Officer (CDO), а также представителям бизнеса и ИТ-специалистам смежных направлений.

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 382
Комментарии 0

RDL by red_mad_robot и Ростелеком будут развивать искусственный интеллект в промышленности

Блог компании Ростелеком IT-инфраструктура *Хранение данных *Машинное обучение *

Компании RDL by red_mad_robot (@redmadrobot) и Ростелеком заключили соглашение о сотрудничестве по цифровизации производства. Партнеры объединят компетенции: RDL by red_mad_robot предоставит технологии компьютерного зрения и предиктивной аналитики на основе ИИ, а Ростелеком — «Платформу управления данными» для построения корпоративных хранилищ.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 357
Комментарии 0
Большие данные по определению не умещаются в оперативной памяти сервера, а инструменты для работы с ними — в память инженера. Эти инструменты возникают снова и снова, в разных компаниях и университетах, дополняя, модифицируя и замещая друг друга. Единообразием тут даже не пахнет. Дата-инженеры и дата-сайентисты говорят, пишут и думают на различных языках.

Поэтому при подготовке этой коллекции мы с помощью экспертов из Ростелекома постарались решить несколько задач. Во-первых, дать представление — для чего возникли и используются те или иные инструменты управления большими данными. На примерах показать, как они выглядят и работают. И во-вторых, обязательно найти кейсы их применения в компаниях, которых без Big Data, наверное, просто не было бы.
Смотреть коллекцию
Всего голосов 23: ↑21 и ↓2 +19
Просмотры 20K
Комментарии 2

Автоматизация процесса контроля качества данных корпоративного хранилища

Блог компании Ростелеком Oracle *SQL *Администрирование баз данных *Хранение данных *
В «Ростелекоме», как и в любой крупной компании, имеется корпоративное хранилище данных (ЦХД). Наше ЦХД постоянно разрастается и расширяется, мы строим на нем полезные витрины, отчеты и кубы данных. В какой-то момент мы столкнулись с тем, что некачественные данные мешают нам при построении витрин, получаемые агрегаты не сходятся с агрегатами систем источников и вызывают непонимание бизнеса. Например, данные с Null значениями в внешних ключах (foreign key) не соединяются с данными других таблиц.
Краткая схема ЦХД:



Мы понимали, что для обеспечения уверенности в качестве данных нам нужен регулярный процесс сверок. Конечно, автоматизированный и позволяющий каждому из технологических уровней быть уверенным в качестве данных и их сходимости, как по вертикали, так и по горизонтали. В итоге мы параллельно рассмотрели три готовые платформы для управления сверками от различных вендоров и написали свою собственную. Делимся опытом в этом посте.
Читать дальше →
Всего голосов 8: ↑7 и ↓1 +6
Просмотры 4.8K
Комментарии 4

Как мы побороли несовместимость при миграции данных с Greenplum 4 на Greenplum 5

Блог компании Ростелеком Open source *PostgreSQL *Администрирование баз данных *Big Data *
Когда мы выбирали инструмент для обработки больших данных, то рассматривали разные варианты — как проприетарные, так и с открытым кодом. Оценивали возможности быстрой адаптации, доступности и гибкости технологий. В том числе, миграцию между версиями. В итоге выбрали решение с открытым исходным кодом Greenplum, которое лучше всех соответствовало нашим требованиям, но требовало решения одного важного вопроса.



Дело в том, что файлы баз данных Greenplum версий 4 и 5 не совместимы между собой, и поэтому простой апгрейд от одной версии к другой невозможен. Миграцию данных можно провести только через выгрузку и загрузку данных. В этом посте я расскажу о возможных вариантах этой миграции.
Читать дальше →
Всего голосов 16: ↑16 и ↓0 +16
Просмотры 2.7K
Комментарии 0

Сам себе дата-инженер: открыта регистрация на митап Ростелеком х Qlik 2 сентября

Блог компании Ростелеком Карьера в IT-индустрии Конференции Data Engineering *

Если вы хотите начать работать с данными без бюджета и большого штата ИТ специалистов – приходите на митап Ростелекома и Qlik «Сам себе дата-инженер» 2 сентября. Мы ждем всех, кто давно хочет начать работать с данными, но не знает с чего начать.

На встрече представители бизнес-подразделений крупных компаний расскажут о том, как выстроить самостоятельную работу с данными внутри бизнес-подразделений, и как строить аналитику, если нет ничего,кроме желания и энтузиазма.

Подробности под катом
Рейтинг 0
Просмотры 762
Комментарии 0

Монетизация данных. Зачем Большой Брат следит за нами?

Блог компании Группа Т1 Big Data *Управление проектами *IT-компании


2021-й год стал первым годом, когда крупные компании начали понимать на практике, зачем же они следят за пользователями. До этого бигдата была инструментом поиска вещей, которые можно было сделать и статичными правилами, а вот сейчас наконец-то стала полезной принципиально иначе.

Теперь можно получать обработку информации в реальном времени (и реагировать гибко и сразу на те же действия на сайте или в приложении), в агрегации данных (теперь банк знает, где вы живёте, какие у вас были диагнозы по чекам из аптеки и какие интернет-магазины вы предпочитаете по адресам посещаемых сайтов, от стратегического альянса с провайдером или сотовым оператором) и так далее.
Читать дальше →
Всего голосов 19: ↑16 и ↓3 +13
Просмотры 6.7K
Комментарии 2

Как упростить исследование БД Oracle: «джентльменский набор» скриптов

Блог компании Ростелеком Oracle *Анализ и проектирование систем *Администрирование баз данных *Хранение данных *
Добрый день! Мы команда системных аналитиков одного из подразделений управления данными «Ростелекома». В нашей компании насчитывается более 300 неоднородных источников данных — такое многообразие необходимо для поддержки работы Ростелекома по всем многочисленным направлениям. Мы изучаем источники данных и по необходимости частично выгружаем в контур хранилища.


Ровер Curiosity на поверхности. У него тоже много неоднородных источников данных. Картинка позаимствована с therahnuma.com.

В этом процессе выделяется две подзадачи: определение стратегии сбора данных из таблиц источника в зависимости от их свойств и подготовка таблиц-«приемников» хранилища данных. Для этого мы используем различные GUI и средства реверс-инжиниринга. Кроме того, при сборе информации системный аналитик начинает обрастать пулом вспомогательных запросов к информационным таблицам СУБД (преимущественно Oracle). В этой статье я поделюсь «джентльменским набором» таких скриптов, используемых нашей командой.
Читать дальше →
Всего голосов 22: ↑17 и ↓5 +12
Просмотры 9.6K
Комментарии 3

Другой взгляд на управление персоналом в ритейле: опыт ZOZO RCAM

Блог компании ГК ЛАНИТ Управление проектами *Развитие стартапа Управление персоналом *
Статистика провальных проектов по внедрению систем планирования рабочего времени сотрудников (WFM, Workforce Management) в ритейле зашкаливает. Все потому, что вместо честного WFM создают систему планирования, оторванную от реальных задач и процессов в магазинах. Это зачастую приводит к росту затрат на неоправданные переработки, появлению избыточного персонала и снижению выручки из-за падения конверсии или ухудшения уровня сервиса. В течение 5 лет мы глубоко изучали рынок, чтобы разобраться с потребностями и запросами ритейлеров и начать менять представление о неуспешности проектов в области WFM.


«Пилот» решения мы внедряли в Inventive Retail Group
 
Читать дальше →
Всего голосов 32: ↑28 и ↓4 +24
Просмотры 11K
Комментарии 0

Операторы не хотят передавать данные абонентов третьим лицам по закону о «суверенном рунете»

Информационная безопасность *Сетевые технологии *Законодательство в IT


Согласно информации издания РБК, операторы связи планируют на законодательном уровне попросить запретить использование данных своих абонентов как компаниям-интеграторам, которые, согласно плану тестирования Роскомнадзора, уже устанавливают на телекоммуникационных сетях необходимое оборудование по закону о «суверенном рунете», так и производителям этого оборудования. В настоящее время сохранность и защита данных абонентов от третьих лиц в этом случае законодательно не обеспечена. Теоретически, производители или интеграторы могут работать с данными абонентов как в тестовом режиме, так и в процессе мониторинга своих систем. А часть полученных ими данных может использоваться в коммерческих целях без ведома абонентов.
Читать дальше →
Всего голосов 10: ↑9 и ↓1 +8
Просмотры 6K
Комментарии 2

Речевая аналитика как инструмент управления KPI контакт-центра. Кейс «Ростелеком»

Блог компании Центр речевых технологий (ЦРТ) Анализ и проектирование систем *Клиентская оптимизация *Алгоритмы *Big Data *


Сегодня мы расскажем о том, как «Ростелеком Северо-Запад» повысил бизнес-показатели своего Единого Контакт-центра (ЕКЦ) с помощью инновационных технологий речевой аналитики. Подведены итоги консалтингового проекта, в рамках которого специалисты ЦРТ с помощью инструментов речевой аналитики Speech Analytics Lab проанализировали обращения клиентов в ЕКЦ «Ростелеком» и предложили методику улучшения качества обслуживания.

Зачем в КЦ нужна речевая аналитика?


ЕКЦ Северо-Западного филиала «Ростелеком» — огромная система, которая ежедневно обрабатывает тысячи обращений. При контроле качества супервизоры могут проанализировать только случайную выборку звонков, которая, как правило, составляет до 2% от общего числа обращений. А это не всегда даёт объективную картину.

С помощью инструментов речевой аналитики специалисты могут работать со 100% обращений. Для этого все диалоги ЕКЦ переводятся в текст и анализируются с помощью системы Speech Analytics Lab. Благодаря инструментам поиска в массивах неструктурированной речевой информации аналитик может отработать гипотезы (найти ключевые слова) на выборках в сотни тысяч фонограмм за несколько секунд.

На основе такого анализа можно разработать программу изменений для действующих в ЕКЦ процедур и процессов и оптимизировать системы самообслуживания (IVR, Личный кабинет, сайт).
Читать дальше →
Всего голосов 8: ↑8 и ↓0 +8
Просмотры 14K
Комментарии 7

Внедрение CI/CD и DevOps в Enterprise (Ростелеком) — часть 2

Блог компании Ростелеком Open source *IT-инфраструктура *

Платформа Цифровых Продуктов Ростелеком. Как это устроено

Датой создания Платформы Цифровых Продуктов (ПЦП) можно считать лето 2017. Старое название - Digital Sandbox, или просто Песочница.

В основе инфраструктуры лежат два тенанта на базе виртуализации OpenStack-KVM, размещенных в независимых ЦОДах Национальной облачной платформы: продуктивный стенд ПЦП на М9, стенд разработки на М10.

Из-за обособленности подразделений общества разработке нужен был инструмент с предварительными интеграциями с основными сервисами и продуктами Ростелекома и возможностью мгновенной организации рабочего места. Таким инструментом и стала ПЦП.

Создание платформы позволило существенно сэкономить время на разработке цифровых сервисов и продуктов, упростив их разработку и эксплуатацию за счет того, что теперь не нужна подготовка инфраструктуры “с нуля”. Появилась возможность легко, быстро и эффективно создавать сайты, веб-приложения, чат-боты, различные интеграционные сервисы, а у команды разработки внутри ПЦП - прототипировать, развёртывать и администрировать приложения без необходимости настройки какой-либо инфраструктуры и технологий. Время предоставления готового стенда сократилось до нескольких часов. Все это помогло сделать ПЦП центром IT ядра Ростелекома.

Сетевой сегмент DMZ-КСПД-НОП позволил нам интегрироваться с системами Ростелекома, что в дальнейшем помогло запускать сервисы, работающие с персональными данными по ФЗ-152.

Благодаря всему этому мы смогли сделать ПЦП оптимальным решением для российского рынка, так как ядро платформы построено на базе Open source с применением технологий OpenShift, Kubernetes, Docker, не требующих приобретения дополнительных лицензий, так как являются свободно распространяемым ПО, на ресурсах НОП с набором готовых к работе сервисов. 

Для наглядности приведем пример ниже:

Читать далее
Всего голосов 19: ↑13 и ↓6 +7
Просмотры 5.4K
Комментарии 6

«Ростелеком» купил разработчика ПО для госсектора «БФТ-холдинг»

Управление продуктом *Финансы в IT IT-компании


По информации «Интерфакс», «Ростелеком» стал владельцем 50,01% долей ООО «БФТ-Холдинг» — разработчика ПО для госсектора и МФЦ. Госкомпания заплатит 1,65 млрд рублей за присоединение к себе ключевого коллектива «БФТ-Холдинга» в качестве дочернего общества. Новый актив и его компетенции «Ростелеком» собирается использовать для расширения своей продуктовой линейки экосистем цифровых государственных продуктов.
Читать дальше →
Всего голосов 11: ↑11 и ↓0 +11
Просмотры 2.5K
Комментарии 2

«Ростелеком» покупает российскую компанию « ... на рынок неструктурированных данных

Бизнес-модели *
«Ростелеком» выкупит 75% акций российского разработчика ЗАО «Айкумен Ибс» за 525 миллионов рублей (почти $8 млн по курсу на 25 ноября 2015 года). Остальные 25% останутся у основателя и топ-менеджеров компании. Известно, что совет директоров «Ростелекома» уже одобрил эту сделку. Разработчик технологий для анализа «больших данных» «Айкумен Ибс» является портфельным проектом компании Sferiq Capital.

«Покупка разработчика «Айкумен Ибс» позволит реализовать ряд синергетических эффектов с нашим основным бизнесом, в том числе за счет использования технологий Big Data для повышения операционной эффективности, мониторинга качества оказываемых услуг, сегментации клиентской базы, персонификации предложений и многого другого», рассказала изданию RUSBASE старший вице-президент «Ростелекома» Мария Флорентьева.

Cделка позволит «Ростелекому» «выйти на перспективный рынок с двузначными темпами роста на горизонте ближайших пяти лет». По данным «Ростелекома», среднегодовой темп роста российского рынка Big Data в 2014-2018 годах составит 35%.
Читать дальше →
Всего голосов 10: ↑10 и ↓0 +10
Просмотры 3.7K
Комментарии 0

Внедрение CI/CD и DevOps в Enterprise (Ростелеком) — часть 3

Блог компании Ростелеком IT-инфраструктура *DevOps *

Круг DevOps – катаем квадратное, таскаем круглое

Всем привет! Это третья, завершающая, часть нашего рассказа о том, как «Ростелеком ИТ» внедряет CI/CD & DevOps в энтерпрайзовый ИТ-ландшафт и тяжелые монолитные Legacy-системы. Первую часть про внедрение CI/CD в десятки проектных команд очень большой компании можно прочитать на Хабре по ссылке здесь. Вторую часть – сугубо инженерную, с описанием прикладных подходов, инструментов и реализаций – читайте тут.

Сегодня мы расскажем про процесс внедрения в рамках Karma Framework в круге.

Читать далее
Всего голосов 11: ↑3 и ↓8 -5
Просмотры 3.1K
Комментарии 1

«Ростелеком» вложит в строительство новых линий связи 60 млрд рублей

Законодательство в IT Финансы в IT
На днях «Ростелеком» объявил условия участия в конкурсах на строительство линий связи, о чем сообщают «Ведомости». Конкурсы, которых насчитывается несколько десятков, будут проводиться в формате открытого запроса котировок. Планируется проложить линии связи в 52 местах в пяти федеральных округах России. Бюджет на строительство составит более 60 млрд рублей. На регионы, которые не были затронуты в этот раз, конкурсы будут объявлены позже.

Будущая инфраструктура необходима для реализации народной программы «Цифровая экономика». Эта программа призвана ускорить внедрение современных цифровых технологий в системы управления экономикой и социальной сферой РФ. Представитель «Ростелекома» Валерий Костарев отметил, что запрос котировок от подрядчиков даст возможность компании быстро начать строительство и подключать объекты в зависимости от поступающих заказов.
Читать дальше →
Всего голосов 16: ↑14 и ↓2 +12
Просмотры 3.6K
Комментарии 9

Проект «Ростелеком. Ключ»

Блог компании Ростелеком Умный дом
В нашей стране в среднем на каждого россиянина приходится одна комната. С 2014 по 2019 год было построено 400 миллионов квадратных метров жилья (так говорит Росстат). Столько не строили даже в последнюю, самую успешную для строительства пятилетку в РСФСР. Мы, учитывая такой тренд на рынке недвижимости, проанализировали потребности населения и модели поведения покупателей новостроек. В последние годы покупатели квартир в новостройках, помимо соотношения цены и качества, удобного местоположения, планировки, все больше внимания уделяют вопросам безопасности, комфорта и удобства проживания и окружающей среды. Принимая это во внимание, мы решили разработать продукт под запросы жителей новостроек, спрогнозировали его эффективность и приняли решение запустить «Ростелеком. Ключ».



«Ключ» сейчас — это система управления домом, включающая в себя и умные домофоны, и видеонаблюдение в подъезде и во дворе, и выдачу виртуальных пропусков, и умный шлагбаум, цифровые счетчики потребления ресурсов и многое другое. Причем всеми этими функциями и устройствами можно управлять через мобильное приложение или личный web-кабинет. У нас получилось сделать кроссегментный продукт B2B2C, который и нам обеспечивает новых клиентов, и даёт возможность жильцам домов комфортно взаимодействовать с управляющими компаниями.

Но обо все по порядку.
Читать дальше →
Всего голосов 13: ↑11 и ↓2 +9
Просмотры 12K
Комментарии 13

Гуляем по новому дата-центру “Ростелеком-ЦОД” в Санкт-Петербурге

Блог компании DataLine IT-инфраструктура *Хранение данных *Хранилища данных *Инженерные системы *

Сегодня отправимся в Калининский район Санкт-Петербурга и со всех сторон посмотрим на дата-центр "Ростелеком-ЦОД", который запустился в декабре 2020 года. Новый ЦОД построили "с нуля"  недалеко от корпусов завода ЛОМО по адресу: ул. Жукова, 43 (не путать с проспектом Маршала Жукова!). 

Пять лет назад здесь было заброшенное строительство мазутохранилища (а мы любим строить на территориях старых заводов). Сейчас на петербургской площадке заказчики уже арендовали первые стойки и заработали облачные сервисы DataLine. 

Погулять и посмотреть
Всего голосов 26: ↑24 и ↓2 +22
Просмотры 14K
Комментарии 11