• Туториал по uplift моделированию: метрики. Часть 3

    • Tutorial

    В предыдущих туториалах (часть 1, часть 2) мы изучали методы, моделирующие uplift. Это величина, которая оценивает размер влияния на клиента, если мы взаимодействуем с ним. Например, отправляем смс или пуш уведомление. Давайте обсудим: как измерять качество uplift моделей?

    Читать про uplift метрики
  • Атаки злоумышленников и уязвимости. При чем здесь коммерческий SOC?

      Введение


      Делая выбор в пользу подключения к SOC (Security Operations Center), компания, зачастую, рассматривает провайдера как «подстраховку» в работе со сложными инцидентами и угрозами, справиться с которыми своими силами для нее потенциально было бы затруднительно. При этом часто бывает, что уже на этапе пилотного тестирования сервиса проявляются узкие места или критичные недоработки в существующей стратегии обеспечения информационной устойчивости цифровых активов. Именно поэтому SOC – это совместный «путь», где компания и провайдер сервиса идут рука об руку, дополняя и помогая друг другу на всей дистанции.



      Рис. 1. Распространенные слабые места у компаний

      Мы накопили многолетний опыт по обеспечению информационной безопасности: как своей собственной, так и наших клиентов. И хотим им поделиться с читателями. В рамках этой статьи будут приведены несколько кейсов, успешно предотвращенных нашим коммерческим SOC. Из них можно извлечь для себя немало полезного.
      Читать дальше →
    • OpenTelemetry на практике

        Совсем недавно два стандарта – OpenTracing и OpenCensus – окончательно объединились в один. Появился новый стандарт распределенного трейсинга и мониторинга – OpenTelemetry. Но несмотря на то, что разработка библиотек идет полным ходом, реального опыта его использования пока не слишком много.

        Илья Казначеев color, который занимается разработкой восемь лет и работает backend-разработчиком в МТС, готов поделиться тем, как применять OpenTelemetry в Golang-проектах. На конференции Golang Live 2020 он рассказал о том, как настроить использование нового стандарта для трейсинга и мониторинга и подружить его с уже существующей в проекте инфраструктурой.
        Читать дальше →
      • Контроль соблюдения контракта API — ограничения или возможности

          Из этой статьи вы узнаете, какие преимущества предоставляет контроль контракта API, что можно и нужно контролировать и как организовать процедуры контроля для исключения негативного влияния на производство.

          Когда в 1825 году Англия первыми из всех запустила железнодорожное сообщение между городами, мир еще жил по солнечному времени, ориентируясь на полдень – момент верхней кульминации солнца. Фактическая разница во времени между городами в одной географической полосе могла достигать 30 минут. Отсутствовала синхронизация.

          Поезд, который отправлялся из Лондона в 12:00 по местному времени и должен был прибыть в Бристоль в 13:00, по местному времени прибывал в 13:30. Для местных жителей и пассажиров поезда это не было критичным явлением, но для компании-перевозчика, которая строит бизнес вокруг расписаний, планировать работу с каждым новым маршрутом становилось дорогим удовольствием. К стандартным проблемам, как опоздания, сбои в работе или аварии, прибавилась еще одна – каждый новый маршрут кратно увеличивал затраты на перевозку.

          В итоге ввели специальный стандарт времени – железнодорожное время. Синхронизировали часы в каждом городе, где проходят пути. Решение было сложным и непопулярным среди жителей городов, но в итоге в 1880 году новый стандарт обрел правовой статус.
          Читать дальше →
        • Big Data: архитектура w/vs инфраструктура

            В этой статье вы узнаете, как МТС решает задачи по хранению и обработке больших данных. Как архитектура платформы Big Data совместно с инфраструктурой помогает их решать более эффективно. А когда наоборот — инфраструктура выступает существенным ограничителем, влияющим на архитектуру платформы.

            Меня зовут Сергей Косый komgbu, я работаю руководителем центра компетенций архитектуры в центре Big Data МТС. Я и многие мои коллеги очень любим две вещи: большие данные и велосипеды. На велосипедах предпочитаем ездить, а не изобретать их.



            Читать дальше →
            • +5
            • 17,1k
            • 4
          • Применение микросервисной архитектуры в потоковой обработке Big Data

              На Хабре вы можете найти множество статей применения данной архитектуры. Этой теме уже более 10 лет и, казалось бы, о чем же здесь еще говорить? Но я бы хотел не просто еще раз вспомнить об микросервисах, а рассказать о применении данной архитектуры именно в разрезе потоковой обработки Big Data. Попытаться объяснить, чем отличается модель потоковой обработки от классической трехуровневой. На реальном примере сравнить применение микросервисов и монолита.

              Читать дальше →
              • +3
              • 10,4k
              • 1
            • Who is mr. Marvin?

                В июне этого года мы выпустили на рынок умную колонку с голосовым помощником по имени Марвин. Она может работать до 2 часов без подзарядки. У колонки шесть микрофонов для обработки голосовых команд. ПО полностью разработано внутри МТС без использования сторонних коммерческих решений. В этом посте разберем основные функции и технические характеристики новинки.


                Читать дальше →
              • Не те игрушки: как мы научили нейросеть бороться с порно в стримах

                Всем привет, меня зовут Олег, я занимаюсь компьютерным зрением в команде Видеоаналитики МТС и сегодня расскажу вам, как мы защищаем от небезопасного контента стриминговую платформу WASD.tv, в частности про детектирование порнографии в постановке задачи action recognition.


                Читать дальше →
              • Обзор на статью Visual Transformers — новый подход к тренировке моделей компьютерного зрения на основе visual tokens

                  Эта работа интересна тем, что авторы в ней предлагают новый подход к тренировке моделей на изображениях — использовать не только пиксели и свертки, но ещё и представлять изображения в виде визуальных токенов и тренировать на них трансформеры. По сравнению с использованием просто архитектуры ResNet предложенный подход уменьшает MAC (multiply and accumulate operations) в 6,9 раз и увеличивает топ-1 точность на 4,53 пункта на задаче классификации ImageNet.

                  image
                  Читать дальше →
                  • +16
                  • 9,9k
                  • 2
                • Из чего состоит набор для разработчиков NB-IoT DevKit?

                    Набор вышел в начале июня. Он поможет разобраться, в чем преимущества сети интернета вещей NB-IoT, и научит работать с ней. В комплект входит аппаратная часть, коннективити, то есть доступ к сети NB-IoT и доступ к IoT-платформам. Главная «фича» DevKit – демонстрационная прошивка, которая позволяет на практике разобраться, как работает система. В этой статье детально рассмотрим DevKit и его возможности.



                    Кому это надо?


                    Когда мы начали разворачивать сеть NB-IoT (почитать больше о сети NB-IoT можно здесь), на нас со всех сторон посыпались различные вопросы. Крупные производители, которые много лет работают на рынке M2M устройств, стартапы, начинающие разработчики и просто любители интересовались режимами работы сети, протоколами передачи данных, даже управлением радиомодулем АТ-командами. Нас спрашивали, какие частоты (band) используются, как работает режим power save mode, как устройство и сеть согласуют соответствующие таймеры, как, используя протокол транспортного уровня UDP, добиться гарантированной доставки сообщения, как задать APN и выбрать определенный band (частотный диапазон). И множество других вопросов.
                    Читать дальше →
                    • +6
                    • 17,2k
                    • 4
                  • Как мы сделали не blockchain

                      Как с помощью smart-contract мы построили систему отбора лучших технологических проектов в ИТ МТС? И в какие «ловушки» мы попали, но смогли выбраться, доказав в итоге, что вести распределенный реестр на мобильных устройствах возможно!



                      Для чего понадобилась система на основе blockchain?


                      Начнем с самого начала. В МТС есть давняя традиция – выбирать лучший технологический проект, сделанный за год, и награждать его команду. Команда получает призы, уважение и славу. За долгие годы победителями становились различные проекты: от высоконагруженных телеком-систем до систем искусственного интеллекта.

                      Выборы лучшего проекта всегда происходили в несколько этапов:

                      • Команды подают заявки
                      • Проходит голосование уважаемых технических экспертов
                      • После экспертов проекты отбирают руководители
                      • По завершению всех этапов большой начальник выбирает лучший проект.

                      Мы решили, что данная схема недостаточно прозрачна для участников и подумали: почему бы не дать возможность выбирать лучший технологический проект абсолютно всем экспертам в компании? 

                      Читать дальше →
                    • Kubernetes: open source против вендорского

                        Привет, меня зовут Дмитрий Краснов. Уже более пяти лет я занимаюсь администрированием кластеров Kubernetes и построением сложных микросервисных архитектур. В начале этого года мы запустили сервис по управлению кластерами Kubernetes на базе Containerum. Пользуясь поводом расскажу, что представляет собой этот самый Kubernetes и чем интеграция с вендором отличается от open source.

                        Для начала, что такое Kubernetes. Это система для управления контейнерами на большом количестве хостов. С греческого, кстати, переводится как «пилот» или «рулевой». Изначально разработана Google, после чего в качестве технологического вклада передана Cloud Native Computing Foundation, международной некоммерческой организации, которая объединяет ведущих мировых разработчиков, конечных пользователей и поставщиков контейнерных технологий.


                        Читать дальше →
                      • Обзор на статью о FarSee-Net — новый подход к семантической сегментации в реальном времени

                          В данной работе авторы предлагают архитектуру Cascaded Factorized Atrous Spatial Pyramid Pooling (CF-ASPP) для семантической сегментации в реальном времени. Новый модуль CF-ASPP и использование super-resolution позволяют улучшить latency-accuracy trade-off. Обзор подготовил ведущий разработчик МТС Андрей Лукьяненко.

                          image

                          Семантическая сегментация в реальном времени очень нужна для многих задач, выполняемых на ограниченных ресурсах. Одна из больших сложностей — работа с объектами разных размеров и использованием контекста. В данной работе авторы предлагают архитектуру Cascaded Factorized Atrous Spatial Pyramid Pooling (CF-ASPP).

                          В наше время распространенным подходом является быстрое уменьшение размера изображений на начальных этапах, а затем маска исходного размера получается с помощью upsampling. Авторы предлагают использовать подходы super-resolution вместо простого upsampling.

                          Новый модуль и использование super-resolution позволяет улучшить latency-accuracy trade-off.
                          Читать дальше →
                          • +12
                          • 17,9k
                          • 3
                        • Как у российских полярников появилась сотовая связь в Антарктиде

                            В начале 2020 года МТС первым из российских операторов запустил сотовую связь в Антарктиде. Чтобы добраться до ледяного континента, специалисты компании прошли обучение для моряков и выдержали жесткую медкомиссию, а затем были включены в состав 65-й Российско-Антарктической экспедиции. Дальше был самолет до Кейптауна, оттуда 10 дней на судне и вертолет до станции «Прогресс». Как проходило это увлекательно путешествие и что за оборудование установили в Антарктиде — рассказывает один из участников экспедиции – старший инженер МТС Роман Левин.



                            Читать дальше →
                          • Checklist для архитектора

                              Из этой статьи вы узнаете, как организовать процесс построения эффективной разработки в распределенной цифровой компании, как сделать это через общение экспертов и как это происходит на примере МТС.

                              МТС, как и многие другие современные компании, подверглась так называемой цифровой трансформации. Говоря простым языком, нашим приоритетом стал запуск цифровых процессов и продуктов.

                              Для меня, как для технаря, это значит, что направление бизнеса в компании целиком зависит от качества ИТ-систем и их способности к быстрому эволюционированию.

                              Конечно, это неправильное определение, и маркетологи могут со мной поспорить — и даже переспорить! Но для всего, что вы прочитаете ниже, его вполне достаточно.


                              Читать дальше →
                            • Спам, спам, спам…

                                Каждый активный абонент в среднем получает более четырех нежелательных звонков в неделю — это реклама, предложения банков, иногда просто мошенничество. Большинство клиентов негативно реагируют на такого рода звонки. Для решения этой проблемы мы разработали услугу “Блокировка спам-звонков”, подключив которую, пользователь перестает получать нежелательные звонки, а в конце каждого дня система оповещает абонента о вызовах, которые были заблокированы. В этой статье data scientist’ы МТС Анна Рожкова (@RogotulkA) и Ольга Герасимова(@ynonaolga) расскажут как разработали алгоритм, отличающий номера спамеров от остальной абонентской базы.


                                Читать дальше →
                              • Туториал по Uplift моделированию. Часть 2



                                В первой части мы познакомились с uplift моделированием и узнали, что метод позволяет выбирать оптимальную стратегию коммуникации с клиентом, а также разобрали особенности сбора данных для обучения модели и несколько базовых алгоритмов. Однако эти подходы не позволяли оптимизировать uplift напрямую. Поэтому в этой части разберем более сложные, но не менее интересные подходы.
                                Читать дальше →
                                • +12
                                • 15,9k
                                • 5
                              • Туториал по uplift моделированию. Часть 1


                                Команда Big Data МТС активно извлекает знания из имеющихся данных и решает большое количество задач для бизнеса. Один из типов задач машинного обучения, с которыми мы сталкиваемся – это задачи моделирования uplift. С помощью этого подхода оценивается эффект от коммуникации с клиентами и выбирается группа, которая наиболее подвержена влиянию.

                                Такой класс задач прост в реализации, но не получил большого распространения в литературе про машинное обучение. Небольшой цикл статей, подготовленный Ириной Елисовой (iraelisova) и Максимом Шевченко (maks-sh), можно рассматривать как руководство к решению таких задач. В рамках него мы познакомимся с uplift моделями, рассмотрим, чем они отличаются от других подходов, и разберем их реализации.
                                Читать дальше →
                              • Эволюция Web Application Firewall: от сетевых экранов до облачных систем защиты с машинным обучением

                                  В нашем прошлом материале по облачной тематике мы рассказывали, как защитить ИТ-ресурсы в публичном облаке и почему традиционные антивирусы не совсем подходят для этих целей. В этом посте мы продолжим тему облачной безопасности и поговорим об эволюции WAF и о том, что лучше выбрать: железо, ПО или облако. 



                                  Что такое WAF


                                  Более 75% атак хакеров направлены на уязвимости веб-приложений и сайтов: такие атаки, как правило, незаметны для ИБ-инфраструктуры и ИБ-служб. Уязвимости веб-приложений несут в себе, в свою очередь, риски компрометации и фрода учетных записей и персональных данных пользователей, паролей, номеров кредитных карт. Кроме того, уязвимости в веб-сайте служат точкой входа злоумышленников в корпоративную сеть.

                                  Web Application Firewall (WAF) представляет собой защитный экран, который блокирует атаки на веб-приложения: SQL-инъекции, межсайтовый скриптинг, удаленное выполнение кода, брутфорс и обход авторизации (auth bypass). В том числе атаки, использующие zero-day уязвимости. Файрволы приложений обеспечивают защиту, выполняя мониторинг содержимого веб-страниц, включая HTML, DHTML и CSS, и фильтруя потенциально вредоносные запросы по HTTP/HTTPS.
                                  Читать дальше →
                                  • +13
                                  • 13,8k
                                  • 3
                                • NB-IoT: как он работает? Часть 3: SCEF – единое окно доступа к услугам оператора

                                    В статье «NB-IoT: как он работает? Часть 2», рассказывая про архитектуру пакетного ядра сети NB-IoT, мы упомянули про появление нового узла SCEF. Объясняем в третьей части, что же это такое и зачем это нужно?



                                    При создании M2M-сервиса разработчики приложений сталкиваются со следующими вопросами:

                                    • как идентифицировать устройства;
                                    • какой использовать алгоритм проверки и подтверждения подлинности;
                                    • какой выбрать транспортный протокол для взаимодействия с устройствами;
                                    • как гарантированно доставить данные на устройства;
                                    • как организовать и установить правила обмена данными с ними;
                                    • как контролировать и в онлайн режиме получить информацию об их состоянии;
                                    • как одновременно доставить данные на группу своих устройств;
                                    • как одновременно отправить данные с одного устройства на несколько клиентов;
                                    • как получить унифицированный доступ к дополнительным сервисам оператора по управлению своим устройством.

                                    Для их решения приходится создавать проприетарные технически «тяжелые» решения, что приводит к увеличению трудозатрат и времени time-to-market сервисов. Вот здесь на помощь и приходит новый узел SCEF.
                                    Читать дальше →
                                    • +6
                                    • 25,6k
                                    • 8

                                  Самое читаемое