Измерение качества мобильного интернета: куда мы дели контейнер розовых Samsung Galaxy S II

    Примерно полгода назад к нам приехал контейнер телефонов Samsung Galaxy S II ярко розового цвета, которые мы тут же отправили своим сотрудникам. Дальше с ними происходило много интересного: кто-то возил их в машине, кто-то носил в кейсе, а кое-кто собирал из них высокотехнологичные приборы вот такого типа:


    Устройство для «информационной разведки»

    Зачем нам всё это понадобилось? Всё довольно просто. Дело в том, что в 2012-м моему подразделению была поставлена задача наладить регулярный сбор статистики по качеству мобильного интернета по всей территории присутствия сети Билайн.

    На начало проекта вводная была такая: достаточно часто клиент звонит в call-центр, говорит, что у него проблемы с мобильным интернетом (низкая скорость, нет коннекта и т.д.), но при этом с точки зрения инфраструктуры сети всё выглядит нормально. В общем случае, если таких ситуаций набирается несколько десятков, на место можно отправить мобильную измерительную лабораторию, но каждый её выезд – это, по сути, забивание гвоздей микроскопом.

    Нам поставили задачу постоянно делать замеры качества мобильного интернета в тех местах, где есть скопления абонентов, чтобы иметь репрезентативную картину статистики.

    Зачем нужны такие замеры, если есть внутренний мониторинг инфраструктуры сети? Всё просто: на сеть всегда нужно смотреть не только с точки зрения инфраструктуры, но и с точки зрения абонентов. То есть моделировать их обычное использование мобильного интернета.

    Задачей моей команды было наладить сбор данных и предоставить разнообразные инструменты для их последующего анализа и использования. Мы как инкапсулированный объект в огромной структуре компании – нам поставили задачу, на выходе нужно дать поток достоверных данных. Что с ним будет дальше – вопрос к другим подразделениям.

    Поиск пути решения


    Мировой опыт подсказал, что наиболее действенный вариант в таких случаях – это дать возможность самим клиентам собирать информацию и оповещать о проблемах. Некоторые зарубежные операторы предлагают мобильные приложения, которые по сути логируют все технические параметры и действия на устройстве абонента и делятся статистикой с оператором. Это хорошее решение, от которого сразу пришлось отказаться по трём простым причинам:
    • В кодекс делового поведения нашей компании не входит сбор таких данных, это просто запрещено по этическим нормам.
    • Внедрение для тех, кто даёт добровольное согласие (например, оплачиваемых или «идейных» бета-тестеров из числа абонентов) к сожалению лежит в области не только технической, а требует подключения большого количества участников, в том числе и юристов, поскольку затрагивает контракт и персональные данные.
    • Один из операторов уже запускал подобную систему, но, по нашим данным, репрезентативной она не была, а интерес абонентов к ней, скажем так, угас.

    Наше решение было предельно простым и эффективным: раздать устройства сотрудникам компании. Здесь на сцене и появился контейнер розовых телефонов.

    У нас в компании работает несколько сотен человек в каждом крупном городе, мы постоянно перемещаемся по местам скопления абонентов (поскольку сами ими являемся), и если надо – можем зайти с таким тестовым телефоном в любое место, где есть подозрение на проблемы.

    Получается достаточная репрезентативность (это самое важное) и хорошая регулярность. Забегая вперёд, скажу, что за полгода мы сделали около 4 миллионов измерений, что было бы просто невозможно другими средствами.

    Итак, для начала мы определили показатели качества, которые нужно измерять. Это должна быть не только скорость. В итоге мы смотрим на Accessibility (Доступность), Retainability (Непрерывность), Access Time (Время доступа), Speed (Скорость, MeanDataRate) и Latency (Задержка, RTT). То есть то, что в совокупности определяет комфорт абонента и, например, возможность проверить почту за считанные секунды. Их можно получать средствами мобильной ОС, используя специализированное ПО для смартфона.

    Дальше мы нашли, кастомизировали и внедрили мобильное Android приложение, которое раз в 5 минут запускает тест. Если на момент начала измерения смартфон зарегистрирован в сети 3G – закачивается 1,5-мегабайтная картинка. Если же на момент начала измерения смартфон зарегистрирован в сети 2G – картинка всего 200-килобайтная. Сама картинка лежит на сервере в московском ЦОДе, и не кэшируется на наших медиасерверах или других типах прокси. Вне зависимости от региона России, скачивание происходит с централизованного ресурса по протоколу http, что обеспечивает одинаковые условия и позволяет оценить качество услуги мобильный интернет в реальных абонентских условиях.
    Результаты измерений регулярно отправляются (https) на технологический вебсервер (расположенный также в московском ЦОДе) и сохраняются в базе данных для дальнейшей обработки, создания отчетов, графиков и другой аналитической информации. Если смартфон вышел из зоны доступа или потерял интернет-соединение – данные пишутся на карту памяти и ждут следующего сеанса связи для отправки.

    Ход проекта


    Конечно, проект который получил название Mobile Quality Analyzer (MQA) не обошелся без сюрпризов. Важным моментом стал выбор смартфона. Как вы знаете, для расчета выбранных индикаторов качества требуется достаточно большая вычислительная мощность. Выяснилось, что многие модемы (радиомодули) бюджетных смартфонов попросту режут скорость, когда упираются в свой потолок. Тесты показали, что самая дешевая из имеющихся на тот момент на рынке моделей, не вносящая искажений в результаты измерений– это именно Samsung Galaxy S II (поддерживает технологии HSDPA, HSPA+, HSUPA). Здесь мы начали искать их в достаточном количестве – и нашли у одной розничной сети, которая с огромным удовольствием сделала нам скидку на нераспроданную розовую модель. К счастью, нам было всё равно какого цвета будет будущий прибор.

    Распределяли телефоны по регионам в соответствии с количеством вещающих секторов нашей сети, чтобы иметь нужную репрезентативность.

    Для проведения бета тестирования раздали телефоны тем, кто ездит в мобильной измерительной лаборатории.

    При проведении боевых измерений обычной картиной стало наличие трех телефонов в салоне автомобиля, обслуживающего базовые станции с подключенными зарядками, либо специальная сумка, либо чудо-девайс, как на картинке вверху топика. Очень важно было то, что все возможные погрешности измерений (которых довольно-таки много) сглаживались за счёт множества тестов. На города с большим количеством абонентов в день приходилось несколько сотен замеров – это исключало все «фазы луны».

    Первые результаты измерений разбирали руками, вычисляли нештатные ситуации и смотрели, почему они происходят. Пришлось вводить специальную обработку данных, позволяющую найти и отбросить искаженные результаты, например, не учитывать данные при низком (менее 3%)заряде батареи.

    Все телефоны предварительно конфигурировались так: включался автовыбор сети 2G/3G, отключался GPS (изначально планировали работать с ним, но уж очень он быстро сажает батарею), выключался Wi-Fi. Мобильное приложение на смартфоне также следит за тем, чтобы ни в коем случае не использовался никакой канал передачи данных кроме мобильного – иначе результаты пришли бы с погрешностями. Также мобильное приложение умеет само следить за обновлениями и получать удалённые конфигурационные настройки.

    Замеры


    Вот таблица замеров с 1 января 2013 по середину лета:



    Архитектура





    На серверах установлена ОС RedHat. В качестве Web серверов был выбран Apache + TomCat.
    На сервере MQA Gate кроме https есть защита от DDoS атак, плюс все телефоны авторизуются по IMEI.
    В качестве БД была выбрана Oracle 11g.
    Что приятно, затрат – минимум.

    Разворачивались мы вместе с подрядчиком в облаке, сначала на тестовом сервере в Германии, потом в московском ЦОДе по нашим стандартам, при этом виртуализовали все части системы обработки.

    Почему так? Потому что мы не знали будет проект успешным или нет, и не могли сразу спрогнозировать необходимую вычислительную мощность. Сейчас стало понятно, что проект более чем успешен, и будет расширяться. Горизонтальное масштабирование у нас делается очень просто благодаря возможностям виртуальных сред.

    Что получилось в итоге? Наша команда реализовала проект, которому, по нашим данным, нет аналогов у других операторов России. Теперь у технических подразделений компании есть точные данные по качеству предоставления мобильного интернета с точки зрения абонентов.

    По собственному опыту – очень интересно делать такие масштабные проекты, грубо говоря, сидя в своей комнате в офисе. Мы даже в поля не выезжали – всё время работали либо с приложением, либо с организацией всего этого процесса, либо с серверной частью. С точки зрения ИТ проекта – много полезного опыта, в особенности в плане организации большого количества людей и работы со статистикой. С просто человеческой точки зрения – приятно, что мы разработали инструмент, который позволит за ближайшие пару лет реально улучшить сеть (хоть работами по планированию и оптимизации сети занимаемся не мы).

    Комментарии 32

      +13
      Проект очень интересный, сам бы конечно предпочел поиграться именно таким способом. Но мне кажется более кошерный вариант, вывалить приложение в маркет установив которое юзер получит плюшку в виде 5 гиг бесплатных в месяц.
        0
        Надо больше бесплатных делать. Возможен трафик до 13 Гб.
          0
          Ну я думаю трафик приложения не должен вообще учитываться…
        +2
        «Если смартфон вышел из зоны доступа или потерял интернет-соединение – данные пишутся на карту памяти и ждут следующего сеанса связи для отправки. „

        Тогда что он собирает? Просто нулевые значения?
          0
          Одним инструментом невозможно измерить все.
          MQA изначально не предназначался для измерения зон покрытия связи.
          Измерять качество сервиса можно только там где есть сервис.
          Вне зонв покрытия MQA действительно собирает нулевые значения скоростей с пометкой «No coverage»
          Измерения вне зоны покрытия автоматически исключаются из обработки результатов.
            +1
            1) А зачем тогда их собирать? Почему это не делает само приложение (я имею ввиду фильтрацию)? Да и вообще корректо ли просто выкидывать эти данные?
            2) Как по поводу того, что «нет сети» там, где она «должна быть»? Если бы использовался и gps — возможно было уточнить данные зоны (еще 1 дополнительный параметр).
            3) Да, и если приложение выходило 1 раз в 5 минут, то результатов должно быть равное количество на один аппарат. Почему это не так?
              0
              GPS быстро расходует аккумулятор. Для привязки же к географии MQA используют координаты ближайших секторов.
              Измерения выполняются в рабочие часы сотрудников с одинаковым интервалом.
              Цель инструмента — измерить качество в зонах массового использования. Измерений вне зоны доступа — менее 1%.
              Обнаружение проблемных зон является сигналом использования более тонких инструментов.
          +1
          Очень похоже на case-study из учебников по бизнесу. Когда являешься свидетелем таких вещей, появляется чувство благоговения.
            +1
            Насколько корректными получаются измерения в связи с тем, что используются только Самсунги, причём одной модели? Если не ошибаюсь, то именно у Билайна когда-то были «косяки» при работе с Айфонами? Я уж молчу про то изобилие, которое обеспечивает «подвал дядюшки Ляо». Или проблема индивидуальной несовместимости «железа» оператора с абонентскими устройствами ушла в прошлое?
              0
              Мы измеряем параметры сети, а не телефона. Понятно, что устройство имеет свои особенности — но в первой серии тестов все параметры приборов должны быть одинаковы. При развитии проекта возможен переход на разные модели.
                0
                Ну тут согласен. Но ведь исходные вводные были таковы:

                На начало проекта вводная была такая: достаточно часто клиент звонит в call-центр, говорит, что у него проблемы с мобильным интернетом (низкая скорость, нет коннекта и т.д.), но при этом с точки зрения инфраструктуры сети всё выглядит нормально.

                «Ноги» моего вопроса растут именно из этой «вводной». Просто пока моим основным ОПСОСом был Билайн, то я самолично сталкивался с тем, что у меня при вроде как полном уровне сигнала на Айфоне даже текстовая страница просто не открывалась, в то время, как у рядом находящихся коллег на других устройствах (не помню точно, вроде что-то из HTC, но не суть) Инет от Билайна худо-бедно, но работал. Не готов предоставить более точную информацию, дело было года эдак два с половиной тому назад в районе Нового Арбата.
                  0
                  Такое может случаться, когда из-за местных технических проблем забит канал «вверх».
                  Айфоны используются EUL, то есть являются HSPA устройствами, а другой телефон мог быть просто HSDPA, и на нем проблема на аплинке не так фатально сказывалась. Но такая проблема никак не связана с Айфоном!
                  Точно так же туго будут работать и другие устройства, поддерживающие EUL (HSPA).
                  Эту проблему мы сами обнаружили при тестировании устройств, причем модемов, подробно исследовали вместе с сетевиками и производителем сетевого оборудования, и теперь она отслеживается в сети.
                0
                Про «косяки при работе с Айфонами» можно поподробнее и поконкретнее? Время, место, симптомы…
                Я как раз занимаюсь совместимостью мобильных терминалов с услугами сети, в том числе и работой Айфонов в сети Билайн.
                Очень интересуюсь, что я еще страшного на знаю про их работу в нашей сети.
                Можно в почту.
                  0
                  Не готов предоставить какую-то актуальную информацию, т.к. уже года два моя основная симка не от Билайна (ничего личного, банальная констатация факта).
                  А ушел от вас к конкуренту по одной причине: основной телефон — Айфон (на тот момент «четвёрка»), качество Инета в местах моего «обитания» было отвратным, даже текстовые посты вот из форума forum2.mbkcentre.ru/ могли открываться по минуте-другой, а могли и просто не открываться. Было и так, что при вроде как полном уровне сигнала не было Инета, по крайней мере никакие страницы в браузере просто не открывались, ни любое приложение, требующее Инета, не работало (Facebook, Echofon, Twitterrific, Foursquare и т.п.). Пару или тройку раз было так, что при том же вроде как полном уровне сигнала звонок ко мне не проходил («абонент вне зоны действия...»), хотя мой обратный звонок с Айфона с Билайновской симкой на тот же телефон нормально совершался. Один раз именно так сам с собой «развлекался» напротив Дома книги на Новом Арбате.
                  Но, повторюсь, информация далеко не актуальная, дело было более двух лет тому назад.
                    0
                    А причем тогда, «косяки» при работе с Айфонами" и «проблема индивидуальной несовместимости «железа» оператора с абонентскими устройствами»?
                    Все описанные Вами проблемы выглядят как перегрузка в отдельных местах зоны обслуживания, и никакой привязки к Айфонам не имеют.
                0
                Извините, просто хочу уточнить.
                Примерно полгода назад к нам приехал контейнер телефонов Samsung Galaxy S II ярко розового цвета

                Контейнер? Т.е. при примерно 850 телефонах на обычной европаллете (не помню точно, сколько помещалось для S2) и 60 паллетах (в два уровня, в зависимости от укладки) на морской контейнер, выходит 51.000 телефонов. Я не ошибся в расчётах? Или речь шла о паллете, а не контейнере?
                  0
                  Да, разумеется, не 40-тонный контейнер.
                    0
                    Насколько я понял — просто поддон (паллета), а не контейнер. Просто целый контейнер телефонов одной модели для тестов — это перебор даже для крупного европейского оператора. Вот и удивился.

                    Спасибо за уточнение.

                    P.S. Морские контейнеры обычно измеряются в футах. Т.е. не 40-тонный, а 40-футовый.
                  +2
                  Не поленился залогиниться ради такого замечательного поста.
                  Друзья, хватит популизма, дайте всем приложения изменяющие вашу сеть. И вы увидите что вы катитесь под горочку. Уже полгода у вас деградирует сервис на востоке Москвы. Там где раньше стабильно был 3G теперь выше edge не поднимается. Дома где у меня всегда была отличная связь и «все палки» — стала пропадать сеть. Буквально сегодня ночью высадился телефон за ночь потому что небыло сети и в режиме поиска телефон покушал батарею. Я сам IT'шник, поэтому не стал бы утверждать всего этого если бы это было у меня одного. Второй телефон ведёт себя точно так же.
                    +1
                    Так «сам ITшник», тем более должен понимать, что обобщения на уровне «на востоке Москвы» — это разговор ни о чем и популизм.
                    Вы же сами проблемы ищете наверняка не «во всем Интернете» сразу, а пытаетесь локализовать их источник!
                    Описанные Вами проблемы по сути своей локальные, сами же пишете «дома у меня».
                    Например, пришлось убрать базовую станцию из-за каких-то проблем с местом, где она стояла — снесли дом, вышку, или построили на пути между базовой станцией и Вашим домом новый и высокий дом… Разные причины бывают. Вот сигнал и просел.
                    Позвоните в абонентскую и укажите конкретный адрес, где Вы испытываете проблемы.
                    А заявления с обобщениями «на востоке Москвы» выглядят несерьезно.
                      –5
                      Передёргивания, фразы выдернутые из контекста. Ох хабр такой хабр.
                        0
                        У меня ни дома, ни на работе, ни на даче, ни в метро не ловит ничего лучше EDGE. Наверное это тоже локальные проблемы. 3G можно увидеть лишь выйдя в центре Москвы на поверхность.
                          0
                          А не пробовали воспользоваться телефоном с поддержкой 3G (UMTS) или LTE?
                          Я вот пользуюсь и дома (м.Красногвардейская, Шипиловская), и на работе, и на даче (Барыбино) и в городе, и за городом, когда на машине езжу.
                          И работает, как бы странно это не выглядело для некоторых!
                            0
                            Извиняюсь за слоупочество. Только что прочитал статью и обсуждение.
                            Зона покрытия LTE у вас просто смешная. А 3G я у себя дома ни разу не видел (Вешняки, тоже восток Москвы) и в последнее время (если честно, то больше года уже) все стало хуже. Раньше хоть метро радовало — вся желтая ветка почти без разрывов (С). А сейчас урывками, маленькие кусочки.
                      +4
                      «В качестве БД была выбрана Oracle 11g.
                      Что приятно, затрат – минимум.»

                      Мозг взорвался от взаимоисключающих параграфов.
                        0
                        Может быть имеется ввиду бесплатная версия oracle 11g XE (Express Edition)? Правда не помню, что там по техническим ограничениям.
                        0
                        скажите, а что у вас с планами на исправление ситуации с интернетом в метро? большую часть времени сказать что оно лагает, значит сделать комплимент. HTC Desire HD, Ericsson f3507g (в ноутбуке)
                          0
                          Здравствуйте!
                          Подскажите, пожалуйста, как часто и на каких станциях метро у Вас возникают ограничения с доступом к мобильному интернету?
                          Пожалуйста, укажите подробную информацию. Мы обязательно проверим указанные Вами данные.
                          Заранее Вам благодарны.
                            0
                            на любых. там где 2G only — пользоваться вообще не реально. там где 3G — лотерея. например, 20.08, м. третьяковская. сижу на платформе, на стороне где поезда отправляются в сторону ш. энтузиастов. 100-150кбит в прыжке. между 18 и 19 часами.

                            сейчас вот вообще по делам занесло в питер. вчера (04.09) с 13 до 14 ехал по маршруту м. Дыбенко — Сенная — Купчино. передача данных в 2G просто не работала. изредка пролетал пяток пингов, и всё.
                          +3
                          Все бы ничего, но у билайна меня «убивает» один пункт в тарифах на мобильный интернет:

                          6. В случае, если объем переданного/принятого трафика в течение 90 минут составит менее 10 Мбайт в рамках текущей установленной сессии, сеанс связи модема с сетью передачи данных Оператора будет прекращен.

                          Того, кто этот пункт придумал, посадить бы на интернет от билайна без права перехода на другого оператора. Чтобы он ощутил всю «прелесть» разрывов всех соединений… Больше ни у одного оператора такого ужаса не видел. Приходится тупо все время гонять интернет радио или какую-нибудь закачку, только чтобы трафик шел…

                          Скажите, чем обусловлено такое условие?
                            +2
                            жадностью?
                              0
                              Доброе утро!
                              Для того, чтобы интернет-сессия не прерывалась, необходимо расходовать не менее 10 Мбайт за 90 минут. Данная особенность обусловлена параметрами тарифного плана.
                              Если у Вас имеются какие-либо ограничения с доступом в интернет, Вы всегда можете сообщить нам о них.
                              Мы с удовольствием Вам поможем.

                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                            Самое читаемое