• На каком железе анализировать огромный вал информации?

      Мы – Big Data в МТС и это наш первый пост. Сегодня расскажем о том, какие технологии позволяют нам хранить и обрабатывать большие данные так, чтобы всегда хватало ресурсов для аналитики, и затраты на закупки железа не уходили в заоблачные дали.

      О создании центра Big Data в МТС задумались в 2014 году: появилась необходимость масштабирования классического аналитического хранилища и BI-отчетности над ним. На тот момент движок для обработки данных и BI были SASовские – так сложилось исторически. И хотя потребности бизнеса в хранилище были закрыты, со временем функционал BI и ad-hoc-аналитики поверх аналитического хранилища разросся настолько, что нужно было решать вопрос увеличения производительности, учитывая, что с годами количество пользователей увеличилось в десятки раз и продолжало расти.

      В результате конкурса в МТС появилась MPP-система Teradata, покрывающая потребности телекома на тот момент. Это стало толчком к тому, чтобы попробовать что-то более популярное и open source’вое.

      image

      На фото — команда Big Data МТС в новом офисе «Декарт» в Москве
      Читать дальше →
    • Обзор NeurIPS-2018 (ex. NIPS)

        В начале декабря в Монреале прошла 32-ая ежегодная конференция Neural Information Processing Systems, посвященная машинному обучению. По неофициальному табелю о рангах эта конференция является топ-1 событием подобного формата в мире. Все билеты на конференцию в этом году были раскуплены за рекордные 13 минут. У нас большая команда data scientist’ов МТС, но лишь одному из них – Марине Ярославцевой (magoli) – посчастливилось попасть в Монреаль. Вместе с Данилой Савенковым (danila_savenkov), который остался без визы и следил за конференцией из Москвы, мы расскажем о работах, показавшихся нам наиболее интересными. Эта выборка очень субъективна, но, надеемся, она заинтересует вас.

        image
        Читать дальше →
        • +15
        • 2,9k
        • 3
      • NB-IoT: как он работает? Часть 2

          В прошлый раз мы говорили об особенностях нового стандарта NB-IoT с точки зрения архитектуры сети радиодоступа. Сегодня порассуждаем, что изменилось в ядре сети (Core Network) при NB-IoT. Итак, поехали.


          image

          В ядре сети произошли значительные изменения. Начнем с того, что появился новый элемент, а также ряд механизмов, которые определены стандартом как “CIoT EPS Optimization” или оптимизации опорной сети для сотового интернета вещей.

          Как известно, в мобильных сетях существует два основных канала коммуникаций, которые называются Control Plane (CP) и User Plane (UP). Control Plane предназначен для обмена служебными сообщениями между различными элементами сети и служит для обеспечения мобильности (Mobility management) устройств (UE) и установления/поддержания сессии передачи данных (Session Management). User Plane — это, собственно, канал передачи пользовательского трафика. В классическом LTE распределение CP и UP по интерфейсам выглядит следующим образом:
          Читать дальше →
          • +19
          • 3,9k
          • 8
        • NB-IoT: как он работает? Часть 1

            Устройства в стандарте NB-IoT могут работать до 10 лет от одной обычной батарейки. За счет чего? Мы собрали все самое главное об этой технологии. В этой статье расскажем о ее особенностях с точки зрения архитектуры сети радиодоступа, а во второй части — об изменениях в ядре сети, которые происходят при NB-IoT.

            image

            Технология NB-IoT многое унаследовала от LTE — начиная с физической структуры радиосигнала и заканчивая архитектурой. Все невозможно перечислить в одной статье, поэтому попробуем сфокусироваться на основных особенностях, ради которых и создавалась эта технология. Итак:

            В чем отличия NB-IoT с точки зрения архитектуры сети радиодоступа?
            Читать дальше →
          • VoLTE/ViLTE + Wi-Fi-Calling — просто о сложном

              Сегодня речь пойдет о достаточно новых для России технологиях передачи голоса и видео в сети сотового оператора — VoLTE (Voice over LTE), ViLTE (Video over LTE) и Wi-Fi-Calling (WFC).




              Почему при звонке из сети LTE телефон уходит в сеть 3G?

              Прежде чем перейти к рассмотрению новых технологий, давайте освежим в памяти, как на текущий момент работает наш смартфон в сети 4G/LTE.


              Думаю, что многие абоненты замечали, что смартфон при входящих или исходящих звонках переходит в сети предыдущего поколения (2G/3G), а на само соединение уходит достаточно много времени. Для начала следует сказать несколько слов о том, как верхнеуровнево (очень крупными блоками) выглядит сеть оператора мобильной связи.


              Читать дальше →
            • Как с помощью анализа геоданных предсказать количество вызовов экстренных служб в разных частях города?

                Попробуйте решить задачу из онлайн-хакатона Geohack.112. Дано: территория Москвы и Московской области была разделена на квадраты размеров от 500 на 500 метров. В качестве исходных данных представлено среднее количество вызовов экстренных служб в день (номера 112, 101, 102, 103, 104, 010, 020, 030, 040). Рассматриваемый регион был поделен на западную и восточную часть. Участникам предлагается, обучившись по западной части, предсказать количество вызовов экстренных служб для всех квадратов восточной.

                image
                Читать дальше →
              • Inventory Monitoring System или CMDB на коленке

                  Много лет назад работал я системным администратором в одной не очень большой, но хорошей компании. Все стандартно: несколько серверов, простенький документооборот, почта, интернет, бухгалтерия, файловые ресурсы, рабочие места пользователей. Да, ох уж эти рабочие места. Поддержка пользователей всегда занимает особое место в сердце любого системного (да и не системного тоже) администратора.

                  В одно прекрасное утро я получил довольно внушительный «втык» от руководства за неожиданно ставший неработоспособным компьютер главного бухгалтера. Ничего экзотического – неожиданно закончилось место на системном диске. ОС «упала» и отказалась подниматься самостоятельно. Быстренько устранив инцидент, я подумал, неплохо бы было получать информацию о том, что тот или иной пользователь заполонил своими фотками весь диск C немного раньше, чем откажет его компьютер.

                  image
                  Читать дальше →
                • Как привычка людей постить фотки с концертов изменила жизнь мобильных операторов

                    Грядут массовые новогодние мероприятия. А, значит, мобильным операторам придется потрудиться, чтобы обеспечить хорошую связь в местах большого скопления людей (площади, стадионы, концертные залы). К примеру, в день Народного единства на стадионе в Лужниках присутствовало около 130 тысяч зрителей. Для обеспечения их мобильной связью в чаше стадиона и подтрибунных помещениях было развернуто 44 сектора покрытия, установлено 688 антенн и проложено 90 километров ВЧ-кабеля. В этом посте расскажу о том, как мы обычно готовим нашу сеть к отработке массовых мероприятий.

                    image
                    Читать дальше →
                  • Базовые станции: как все начиналось

                      Первые ископаемые останки базовых станций семейства мобильных телесистем московского региона датируются 1994 годом. Это были настоящие динозавры – огромные и с маленьким объемом головного мозга функционала. Внешне они походили на большой холодильник, работали только в одном стандарте и в одном частотном диапазоне. Первая базовая станция МТС в Москве работала в стандарте GSM и только в диапазоне частот 900 МГц.

                      image

                      Читать дальше →
                    • Когда IP-адресов будет хватать всем?

                        Количество IP-адресов для устройств, доступных в глобальной сети по протоколу IPv4, достигло порядка 4,3 млрд и уже практически исчерпано из-за длины IP-адреса в 32 бита. В адресном пространстве IPv6 задействовано 128 бит, что делает практически бесконечным количество адресуемых устройств. Прямой и простой совместимости друг с другом у протоколов IPv4 и IPv6 нет. Именно из-за этого быстрого и дешевого перехода на IPv6 only не будет. Страшно? Да нет. Просто нужно вступить на эту дорогу — и рано или поздно мы войдем в эру «чистого» IPv6. Хорошо это или плохо?

                        image

                        Читать дальше →

                      Самое читаемое