• Как мы сделали не blockchain

      Как с помощью smart-contract мы построили систему отбора лучших технологических проектов в ИТ МТС? И в какие «ловушки» мы попали, но смогли выбраться, доказав в итоге, что вести распределенный реестр на мобильных устройствах возможно!



      Для чего понадобилась система на основе blockchain?


      Начнем с самого начала. В МТС есть давняя традиция – выбирать лучший технологический проект, сделанный за год, и награждать его команду. Команда получает призы, уважение и славу. За долгие годы победителями становились различные проекты: от высоконагруженных телеком-систем до систем искусственного интеллекта.

      Выборы лучшего проекта всегда происходили в несколько этапов:

      • Команды подают заявки
      • Проходит голосование уважаемых технических экспертов
      • После экспертов проекты отбирают руководители
      • По завершению всех этапов большой начальник выбирает лучший проект.

      Мы решили, что данная схема недостаточно прозрачна для участников и подумали: почему бы не дать возможность выбирать лучший технологический проект абсолютно всем экспертам в компании? 

      Читать дальше →
    • Kubernetes: open source против вендорского

        Привет, меня зовут Дмитрий Краснов. Уже более пяти лет я занимаюсь администрированием кластеров Kubernetes и построением сложных микросервисных архитектур. В начале этого года мы запустили сервис по управлению кластерами Kubernetes на базе Containerum. Пользуясь поводом расскажу, что представляет собой этот самый Kubernetes и чем интеграция с вендором отличается от open source.

        Для начала, что такое Kubernetes. Это система для управления контейнерами на большом количестве хостов. С греческого, кстати, переводится как «пилот» или «рулевой». Изначально разработана Google, после чего в качестве технологического вклада передана Cloud Native Computing Foundation, международной некоммерческой организации, которая объединяет ведущих мировых разработчиков, конечных пользователей и поставщиков контейнерных технологий.


        Читать дальше →
      • Обзор на статью о FarSee-Net — новый подход к семантической сегментации в реальном времени

          В данной работе авторы предлагают архитектуру Cascaded Factorized Atrous Spatial Pyramid Pooling (CF-ASPP) для семантической сегментации в реальном времени. Новый модуль CF-ASPP и использование super-resolution позволяют улучшить latency-accuracy trade-off. Обзор подготовил ведущий разработчик МТС Андрей Лукьяненко.

          image

          Семантическая сегментация в реальном времени очень нужна для многих задач, выполняемых на ограниченных ресурсах. Одна из больших сложностей — работа с объектами разных размеров и использованием контекста. В данной работе авторы предлагают архитектуру Cascaded Factorized Atrous Spatial Pyramid Pooling (CF-ASPP).

          В наше время распространенным подходом является быстрое уменьшение размера изображений на начальных этапах, а затем маска исходного размера получается с помощью upsampling. Авторы предлагают использовать подходы super-resolution вместо простого upsampling.

          Новый модуль и использование super-resolution позволяет улучшить latency-accuracy trade-off.
          Читать дальше →
          • +12
          • 17,5k
          • 3
        • Как у российских полярников появилась сотовая связь в Антарктиде

            В начале 2020 года МТС первым из российских операторов запустил сотовую связь в Антарктиде. Чтобы добраться до ледяного континента, специалисты компании прошли обучение для моряков и выдержали жесткую медкомиссию, а затем были включены в состав 65-й Российско-Антарктической экспедиции. Дальше был самолет до Кейптауна, оттуда 10 дней на судне и вертолет до станции «Прогресс». Как проходило это увлекательно путешествие и что за оборудование установили в Антарктиде — рассказывает один из участников экспедиции – старший инженер МТС Роман Левин.



            Читать дальше →
          • Checklist для архитектора

              Из этой статьи вы узнаете, как организовать процесс построения эффективной разработки в распределенной цифровой компании, как сделать это через общение экспертов и как это происходит на примере МТС.

              МТС, как и многие другие современные компании, подверглась так называемой цифровой трансформации. Говоря простым языком, нашим приоритетом стал запуск цифровых процессов и продуктов.

              Для меня, как для технаря, это значит, что направление бизнеса в компании целиком зависит от качества ИТ-систем и их способности к быстрому эволюционированию.

              Конечно, это неправильное определение, и маркетологи могут со мной поспорить — и даже переспорить! Но для всего, что вы прочитаете ниже, его вполне достаточно.


              Читать дальше →
            • Спам, спам, спам…

                Каждый активный абонент в среднем получает более четырех нежелательных звонков в неделю — это реклама, предложения банков, иногда просто мошенничество. Большинство клиентов негативно реагируют на такого рода звонки. Для решения этой проблемы мы разработали услугу “Блокировка спам-звонков”, подключив которую, пользователь перестает получать нежелательные звонки, а в конце каждого дня система оповещает абонента о вызовах, которые были заблокированы. В этой статье data scientist’ы МТС Анна Рожкова (@RogotulkA) и Ольга Герасимова(@ynonaolga) расскажут как разработали алгоритм, отличающий номера спамеров от остальной абонентской базы.


                Читать дальше →
              • Туториал по Uplift моделированию. Часть 2

                • Tutorial


                В первой части мы познакомились с uplift моделированием и узнали, что метод позволяет выбирать оптимальную стратегию коммуникации с клиентом, а также разобрали особенности сбора данных для обучения модели и несколько базовых алгоритмов. Однако эти подходы не позволяли оптимизировать uplift напрямую. Поэтому в этой части разберем более сложные, но не менее интересные подходы.
                Читать дальше →
                • +12
                • 12,3k
                • 5
              • Туториал по uplift моделированию. Часть 1

                • Tutorial

                Команда Big Data МТС активно извлекает знания из имеющихся данных и решает большое количество задач для бизнеса. Один из типов задач машинного обучения, с которыми мы сталкиваемся – это задачи моделирования uplift. С помощью этого подхода оценивается эффект от коммуникации с клиентами и выбирается группа, которая наиболее подвержена влиянию.

                Такой класс задач прост в реализации, но не получил большого распространения в литературе про машинное обучение. Небольшой цикл статей, подготовленный Ириной Елисовой (iraelisova) и Максимом Шевченко (maks-sh), можно рассматривать как руководство к решению таких задач. В рамках него мы познакомимся с uplift моделями, рассмотрим, чем они отличаются от других подходов, и разберем их реализации.
                Читать дальше →
                • +27
                • 18,7k
                • 4
              • Эволюция Web Application Firewall: от сетевых экранов до облачных систем защиты с машинным обучением

                  В нашем прошлом материале по облачной тематике мы рассказывали, как защитить ИТ-ресурсы в публичном облаке и почему традиционные антивирусы не совсем подходят для этих целей. В этом посте мы продолжим тему облачной безопасности и поговорим об эволюции WAF и о том, что лучше выбрать: железо, ПО или облако. 



                  Что такое WAF


                  Более 75% атак хакеров направлены на уязвимости веб-приложений и сайтов: такие атаки, как правило, незаметны для ИБ-инфраструктуры и ИБ-служб. Уязвимости веб-приложений несут в себе, в свою очередь, риски компрометации и фрода учетных записей и персональных данных пользователей, паролей, номеров кредитных карт. Кроме того, уязвимости в веб-сайте служат точкой входа злоумышленников в корпоративную сеть.

                  Web Application Firewall (WAF) представляет собой защитный экран, который блокирует атаки на веб-приложения: SQL-инъекции, межсайтовый скриптинг, удаленное выполнение кода, брутфорс и обход авторизации (auth bypass). В том числе атаки, использующие zero-day уязвимости. Файрволы приложений обеспечивают защиту, выполняя мониторинг содержимого веб-страниц, включая HTML, DHTML и CSS, и фильтруя потенциально вредоносные запросы по HTTP/HTTPS.
                  Читать дальше →
                  • +13
                  • 12,7k
                  • 3
                • NB-IoT: как он работает? Часть 3: SCEF – единое окно доступа к услугам оператора

                    В статье «NB-IoT: как он работает? Часть 2», рассказывая про архитектуру пакетного ядра сети NB-IoT, мы упомянули про появление нового узла SCEF. Объясняем в третьей части, что же это такое и зачем это нужно?



                    При создании M2M-сервиса разработчики приложений сталкиваются со следующими вопросами:

                    • как идентифицировать устройства;
                    • какой использовать алгоритм проверки и подтверждения подлинности;
                    • какой выбрать транспортный протокол для взаимодействия с устройствами;
                    • как гарантированно доставить данные на устройства;
                    • как организовать и установить правила обмена данными с ними;
                    • как контролировать и в онлайн режиме получить информацию об их состоянии;
                    • как одновременно доставить данные на группу своих устройств;
                    • как одновременно отправить данные с одного устройства на несколько клиентов;
                    • как получить унифицированный доступ к дополнительным сервисам оператора по управлению своим устройством.

                    Для их решения приходится создавать проприетарные технически «тяжелые» решения, что приводит к увеличению трудозатрат и времени time-to-market сервисов. Вот здесь на помощь и приходит новый узел SCEF.
                    Читать дальше →
                    • +6
                    • 22,8k
                    • 8
                  • Почему традиционные антивирусы не подходят для публичных облаков. И что делать?

                      Все больше пользователей выводят в публичное облако всю свою ИТ-инфраструктуру. Однако в случае недостаточности антивирусного контроля в инфраструктуре заказчика возникают серьезные кибер-риски. Практика показывает, что до 80% существующих вирусов отлично живут в виртуальной среде. В этом посте расскажем о том, как защитить ИТ-ресурсы в публичном облаке и почему традиционные антивирусы не совсем подходят для этих целей.



                      Для начала расскажем, как мы подошли к мысли о том, что для публичного облака не подходят привычные инструменты антивирусной защиты и требуются иные подходы к защите ресурсов.
                      Читать дальше →
                    • End2End-подход в задачах Automatic Speech Recognition

                        Что такое End2End-распознавание речи, и зачем же оно нужно? В чем его отличие от классического подхода? И почему для обучения хорошей модели на основе End2End нам потребуется огромное количество данных — в нашем сегодняшнем посте.

                        Классический подход к распознаванию речи


                        Прежде чем рассказать про End2End-подход, стоит сначала поговорить про классический подход к распознаванию речи. Что он из себя представляет?


                        Читать дальше →
                        • +14
                        • 19,2k
                        • 3
                      • Как это устроено: выбор частот для 5G

                          5G может совершить реальный переворот в качестве жизни, поэтому интерес к новой технологии намного выше, чем когда-то к 4G. Так, количество компаний, запускающих устройства в первоначальном развертывании, изменилось с четырех для 4G LTE до 20 для 5G. Тестовые запуски и разработка услуг под применение 5G идут по всему миру, в том числе через инкубаторы для привлечения стартапов. Один из них – от МТС – работает и в России.



                          Есть распространенное мнение, что скорости в LTE всех и так устраивают, и никакой потребности в ускорении до 10 Гбит/с обычному юзеру не требуется. Это не совсем так. Сценарии применения 5G лежат в плоскости подключения инфраструктуры, создания новых возможностей для применения AR и VR, беспилотников и других, скорее, инфраструктурных и бизнес-решений. Ускорение приема-передачи трафика дает возможность быстрее освободить ресурс сети для потребителя, чтобы не сталкиваться с ситуацией, когда при скоплении пользователей страница открывается очень медленно. Нельзя же затягивать с расширением пропускной способности сетей до тех пор, пока абоненты не столкнутся с ухудшением качества связи из-за перегрузки сетей.
                          Читать дальше →
                        • Deep (Learning+Random) Forest и разбор статей

                            Продолжаем рассказывать про конференцию по статистике и машинному обучению AISTATS 2019. В этом посте разберем статьи про глубокие модели из ансамблей деревьев, mix регуляризацию для сильно разреженных данных и эффективную по времени аппроксимацию кросс-валидации.


                            Читать дальше →
                            • +20
                            • 24,7k
                            • 4
                          • Data Science и конференция в тропиках

                              Статьи про компьютерное зрение, интерпретируемость, NLP – мы побывали на конференции AISTATS в Японии и хотим поделиться обзором статей. Это крупная конференция по статистике и машинному обучению, и в этом году она проходит на Окинаве – острове недалеко от Тайваня. В этом посте Юлия Антохина (Yulia_chan) подготовила описание ярких статей из основной секции, в следующем вместе с Анной Папета расскажет про доклады приглашенных лекторов и теоретические исследования. Немного расскажем и про то, как проходила сама конференция и про “неяпонскую” Японию.

                              image
                              Читать дальше →
                              • +13
                              • 7,8k
                              • 2
                            • End2End-подход к пониманию разговорной речи

                                Существует несколько подходов к понимаю машиной разговорной речи: классический трехкомпонентный подход (включает компонент распознавания речи, компонент понимания естественного языка и компонент, отвечающий за некую бизнес-логику) и End2End-подход, который предполагает четыре модели реализации: прямую, совместную, многоступенчатую и многозадачную. Рассмотрим все плюсы и минусы этих подходов, в том числе на основе экспериментов компании Google, и подробно разберем, почему End2End-подход решает проблемы классического подхода.

                                Читать дальше →
                                • +7
                                • 20,1k
                                • 1
                              • Как мы устанавливали самую высотную базовую станцию в Восточной Европе

                                  Недавно мы обеспечили высокоскоростным мобильным интернетом и мобильной связью верхние участки горнолыжных трасс Эльбруса. Теперь сигнал там доходит до высоты 5100 метров. И это был не самый простой монтаж оборудования — установка проходила в течение двух месяцев в сложных горноклиматических условиях. Расскажем, как это было.

                                  image
                                  Читать дальше →
                                • На каком железе анализировать огромный вал информации?

                                    Мы – Big Data в МТС и это наш первый пост. Сегодня расскажем о том, какие технологии позволяют нам хранить и обрабатывать большие данные так, чтобы всегда хватало ресурсов для аналитики, и затраты на закупки железа не уходили в заоблачные дали.

                                    О создании центра Big Data в МТС задумались в 2014 году: появилась необходимость масштабирования классического аналитического хранилища и BI-отчетности над ним. На тот момент движок для обработки данных и BI были SASовские – так сложилось исторически. И хотя потребности бизнеса в хранилище были закрыты, со временем функционал BI и ad-hoc-аналитики поверх аналитического хранилища разросся настолько, что нужно было решать вопрос увеличения производительности, учитывая, что с годами количество пользователей увеличилось в десятки раз и продолжало расти.

                                    В результате конкурса в МТС появилась MPP-система Teradata, покрывающая потребности телекома на тот момент. Это стало толчком к тому, чтобы попробовать что-то более популярное и open source’вое.

                                    image

                                    На фото — команда Big Data МТС в новом офисе «Декарт» в Москве
                                    Читать дальше →
                                  • Обзор NeurIPS-2018 (ex. NIPS)

                                      В начале декабря в Монреале прошла 32-ая ежегодная конференция Neural Information Processing Systems, посвященная машинному обучению. По неофициальному табелю о рангах эта конференция является топ-1 событием подобного формата в мире. Все билеты на конференцию в этом году были раскуплены за рекордные 13 минут. У нас большая команда data scientist’ов МТС, но лишь одному из них – Марине Ярославцевой (magoli) – посчастливилось попасть в Монреаль. Вместе с Данилой Савенковым (danila_savenkov), который остался без визы и следил за конференцией из Москвы, мы расскажем о работах, показавшихся нам наиболее интересными. Эта выборка очень субъективна, но, надеемся, она заинтересует вас.

                                      image
                                      Читать дальше →
                                      • +15
                                      • 4,1k
                                      • 3
                                    • NB-IoT: как он работает? Часть 2

                                        В прошлый раз мы говорили об особенностях нового стандарта NB-IoT с точки зрения архитектуры сети радиодоступа. Сегодня порассуждаем, что изменилось в ядре сети (Core Network) при NB-IoT. Итак, поехали.


                                        image

                                        В ядре сети произошли значительные изменения. Начнем с того, что появился новый элемент, а также ряд механизмов, которые определены стандартом как “CIoT EPS Optimization” или оптимизации опорной сети для сотового интернета вещей.

                                        Как известно, в мобильных сетях существует два основных канала коммуникаций, которые называются Control Plane (CP) и User Plane (UP). Control Plane предназначен для обмена служебными сообщениями между различными элементами сети и служит для обеспечения мобильности (Mobility management) устройств (UE) и установления/поддержания сессии передачи данных (Session Management). User Plane — это, собственно, канал передачи пользовательского трафика. В классическом LTE распределение CP и UP по интерфейсам выглядит следующим образом:
                                        Читать дальше →
                                        • +19
                                        • 10,1k
                                        • 8

                                      Самое читаемое