Найдена причина, по которой 168 тыс. SMS, отправленных в день Святого Валентина, пришли получателям только 7 ноября 2019

    «Я только что получила sms-сообщение от моей лучшей подруги. Единственная проблема в том, что она умерла в феврале»

    14 февраля 2019 года миллионы пользователей по всему миру отправляли поздравления через мобильные приложения, электронную почту и даже по SMS. Однако, более 160 тыс. сообщений оказались не совсем корректно отправлены, причем эта проблема коснулась не только пользователей определенного провайдера, а нескольких (T-Mobile, Verizon, Google Voice и других региональных провайдеров), в том числе эта ситуация была зафиксирована как минимум в двух странах — США и Канаде. Спустя девять месяцев, ночью 7 ноября 2019 года эти тысячи SMS-сообщений были наконец доставлены получателям.

    Расследование в компании Syniverse, которая обеспечивает доставку SMS-сообщений в США и Канаде, этого инцидента показало, что тысячи пользователей мобильных услуг через свои iPhone или смартфоны на Android отправили большое количество SMS-сообщений 14 февраля 2019 года. Уведомлений о том, что получатель их увидел, эти пользователи не получили. Да и после девяти месяцев уже многие из них забыли, что отправляли сообщения. Так же эти отправители ничего не делали для повторной отправки этих сообщений.

    И вот, девять месяцев спустя, рано утром 7 ноября 2019 года тысячи этих не полученных SMS-сообщений начали приходить получателям на их смартфоны. А их отправители и получатели оказались в очень странной ситуации. Ведь те, кто отправлял эти сообщения в феврале, были не в курсе, что они дошли только сейчас, а многие получатели приняли их за настоящую переписку. И если кто-то просто воспринял эти сообщения как должное, то все нормально. Но часть пользователей были серьезно обескуражены, ведь им пришли сообщения от родителей, друзей или знакомых, которых или нет уже в живых, или они не могли отправить никакие сообщения в это время.

    По данным сотрудников Syniverse, причиной этой масштабной SMS-проблемы стало аварийное отключение одного из их серверов в День Святого Валентина. Из-за этого сотни тысяч отправленных пользователями SMS-сообщений зависли в системе передачи этого сервера и не были отправлены вовремя получателям без уведомления отправителям. А централизованная система передачи данных из-за перегрузки не смогла корректно отработать эту нештатную ситуацию. Получилось, что информация о том, что в системе есть не отправленные SMS-сообщения, не была получена от сервера, и в течение последующих часов, пока эти сообщения должны хранится, не делалось повторной отправки этих SMS-сообщений.

    Когда отремонтированный сервер вернули в рабочую сеть 7 ноября 2019, то после его включения системой автоматически были запущены процедуры доставки всех этих хранящихся на сервере не отправленных получателям SMS-сообщений.

    Представители Syniverse не раскрыли полностью деталей расследования, как и точного числа не отправленных сообщений, которые позже все же были доставлены с девятимесячной задержкой. Однако, по информации из разных источников, этих задержанных сообщений было более 168 тысяч. По правилам использования сервиса системы передачи данных Syniverse, все не отправленные сообщения, которые не были доставлены получателям в течение семидесяти двух часов, должны были быть удалены из системы и их повторная отправка невозможна. Ведь подобные сервисы не занимаются хранием сообщений пользователей, а оставляют в своих системах в течение сорока пяти дней только информацию о метаданных этих сообщений (информацию об операторе мобильной связи и устройстве отправителя), чтобы использовать ее для выставления счетов и добавлять эту информацию в свою отчетность.

    На данный момент в компании проанализировали ситуацию с этим инцидентом и изменили систему передачи и краткосрочного хранения сообщений, чтобы в любом случае сообщения доставлялись без задержек даже в случае выхода из строя более чем одного сервера в их инфраструктуре, задействованного для обработки и отправки SMS-сообщений. В компании сожалеют, что такая ситуация произошла и извинились перед всеми пользователями, кого затронула эта ситуация.
    Share post
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 53

      +19
      Как-то долго они сервер чинили.
        +1
        Может накатили резервную копию.
          +11
          примерно как и статья — хватило бы одного абзаца :)
          +7
          имхо смс не является и не должны являться сообщениями с гарантией доставки. И у них должен быть ttl, желательно настраиваемый.
          Кто знает, сколько техники, управляемой смс командами «взбесилось» в тот момент и исполнило неактуальную команду и к чему это могло привести
            +1
            имхо смс не является и не должны являться сообщениями с гарантией доставки. И у них должен быть ttl, желательно настраиваемый.

            По правилам использования сервиса системы передачи данных Syniverse, все не отправленные сообщения, которые не были доставлены получателям в течение семидесяти двух часов, должны были быть удалены из системы и их повторная отправка невозможна.
              +6
              Они, конечно, не являются, но вот имхо должны начать являться гарантированным средством доставки. Слишком много на них завязано и альтернативы им не предвидится. У нас, например, штормовые предупреждения присылают по SMS. Уведомления о штрафах вроде хотят начинать присылать по SMS. Т.е. люди давно относятся к этому, как к средству гарантированной доставки. Значит технологии должны подтянуться.
                0

                Штормовые предупреждения актуальны только ко времени. Им нужна гарантия времени а не гарантия доставки
                Штрафы, авторизация, банкинг — все то, что использует смс по каким то причинам, но имхо это не безопасно и тупо. Должен быть один сервис уведомлений, что то вроде гос.услуг. и основываться он должен на современном и защищенном стеке технологий, а не на смс

                  0
                  Банки, авторизация привязаны ко времени. Первые ещё и к конкретной симке, так что замена бесполезна.
                    0
                    Им нужна гарантия времени а не гарантия доставки

                    Непонятно, что ты имеешь в виду. Гарантия доставки ко времени — это более сильное условие, чем просто гарантия доставки, то есть должно не просто дойти, но ещё и быстро дойти (в назначенное время).


                    Что до "Единого Государственного Сервиса Уведомлений", то в может получиться как с IPv6 — сервис есть, но всё уже настроено, и по старинке все уведомляются СМС.

                  +6
                  Вы это банкам расскажите.
                  Нет кода из СМС — в банкинг не войти, деньги не отправить.
                  Некоторые из банков к тому же сотрудничают с крайне тормозными прослойками, к примеру этим грешит Сбербанк… Пытаешься войти — минута СМС нету, две, иногда до суток проходит :)
                    +3
                    Не войти полбеды. По закону банк обязан уведомлять об операциях (срок на опротестование операции отсчитывается от уведомления), у некоторых это завязано на смс (некоторые хитрят говоря что уведомляют в ИБ), при этом пользователь считается уведомленным с момента отсылки банком смс (а то что оно через год может прийти никого не мучает).
                      0
                      А что поделать? Банк не может отвечать за каждую сотовую вышку, которая не смогла достучаться до абонента, это не его зона ответственности.
                        0

                        Зато если банк будет знать, что сообщение не доставлено — может написать об этом по другим каналам, например, звонком или по почте.

                          0
                          То есть по каждой покупке в «Пятёрочке» банк должен позвонить? Оригинальное решение.
                          0

                          Выбрать другой канал связи.

                            0
                            И какой же канал связи выбрать? А если и этот канал не поможет — что тогда?

                            Всё-таки обязанность банка информировать клиента не может быть основанием расширения её за пределы его зоны ответственности.
                        +4
                        В госуслуги иногда не могу войти, т.к. смс приходит, когда срок действия кода уже вышел.
                          +2
                          Точно! Силился вспомнить кто еще такой знатный слоупок :)
                            0
                            Зависит от оператора вроде. Чаще всего проблемы с еле2
                              0
                              МЧС со своими штормовыми предупреждениями
                            0
                            Вы это банкам расскажите.
                            Нет кода из СМС — в банкинг не войти, деньги не отправить.

                            Так банки в курсе. Некоторые :) И дают карты переменных кодов. Мне, например, дали в Авангарде и в ВТБ.
                            0
                            TTL там есть, кстати. В PDU режиме поле «Validity Period» в днях указывается. И «delivery confirmation» там тоже есть — специальное обратное сообщение о том, что такая-то SMS доставлена до конечного терминала.
                            Проблема, как всегда, в том что этим никто не пользуется, потому что никто об этом не знает. А не знают, потому что не пользуются.
                              0
                              validity_period можно указывать относительным — и чаще всего так и делают.
                                +1

                                Проблема либо в современных телефонах, либо в современных настройках опсосов.
                                До оригинального Nokia 3310 и его современников уведомления о доставке стабильно долетали.
                                Без каких-либо специальных телодвижений со стороны конечных пользователей.

                                  0
                                  Как это ни удивительно, но в современных телефонах delivery report вполне себе поддерживается. По крайней мере в Андроиде.
                                  Заголовок спойлера
                                  image
                                    +1
                                    Да, но задания TTL для сообщения больше нет. Старые Сименсы умели это, например.
                                    С современными телефонами больше интересно другое. Зачем опция для получения отчётов изначально выключена? Крайне удобная функция же.
                                      +1

                                      Потому что некоторые операторы чарджат за эту услугу отдельно.

                                0
                                Слышал, что есть, и это 72 часа.
                                  0
                                  Не регламентировано и зависит от оператора. Некоторые не разрешают больше 12 часов.
                                +2
                                Шокирует то что они 9 месяцев ремонтировали сервер, да за это время можно родить!))
                                  +9
                                  Наверняка кто-то успел
                                    +18

                                    — дорогой, ты скоро станешь папой!
                                    — что, ОПЯТЬ?

                                    +2

                                    Проблема в том, что кто-то наоборот не родил.

                                      +1
                                      Кто знает, может, в этой шутке лишь доля шутки, если ремонтник серверов — женщина. :)
                                        0
                                        Необязательно что ремонтировали они 9 месяцев. Скорее всего когда этот сервер поломался его поменяли на резервный. Этот отремонтировали и положили на склад. И возможно через 9 месяцев сломался другой сервер и тогда первый сервер взяли со склада у запустили.
                                        0
                                        .
                                          +1
                                          «Я только что получила sms-сообщение от моей лучшей подруги. Единственная проблема в том, что она умерла в феврале»

                                          Вот так рождаются легенды, о жизни после смерти!
                                            +13
                                            Никакого резервирования, балансировки нагрузки, ремонтные работы по 9 месяцев, нарушение своих же регламентов по TTL: отличная рекламу себе комания сделала.
                                              +6
                                              Объясните зачем в статье одно и тоже написано два раза?
                                                +5

                                                Краткость — сестра таланта, но враг гонорара

                                                  0
                                                  Эхо копипасты
                                                    0
                                                    Объясните зачем в статье одно и тоже написано два раза?

                                                    Глюк лоставки.
                                                    +7
                                                    В статье на мой взгляд недостаточно точно указали причину произошедшего.
                                                    Один из серверов вышел из строя в процессе этого коллапса и был введен в эксплуатацию после ремонта 7 ноября 2019 года. Как только сервер вновь оказался в рабочей сети, то он отправил все находящиеся в его системе хранения не отправленные на момент аварийного отключения SMS-сообщения.
                                                    Также хотелось бы отметить, что когда отремонтированный сервер вернули в рабочую сеть 7 ноября 2019, то после его включения системой автоматически были запущены процедуры доставки всех этих хранящихся на сервере не отправленных получателям SMS-сообщений.
                                                    Таким образом, сервер отправил все ранее сохраненные сообщения, которые не были отправлены и сделал это 7 ноября 2019 года.

                                                    P.S.
                                                    Нескромный вопрос: неужели редакторам платят за размер текста? Или это просто халтурная вычитка?
                                                      0
                                                      Судя по всему таки за буквы. Причем — каждый день план.
                                                      А так как сегодня новостей нет, то выкручиваются как могут.
                                                        0

                                                        кто за такую муйню вообще платит? ))

                                                          0
                                                          Рекламодатели.
                                                      +1

                                                      Какая нелепая попытка объяснить сбой в тайной системе записи и хранении всего трафика.

                                                        0

                                                        Имхо, доставка sms'ок спустя 9 месяцев многократно лучше чем полная их потеря. Так что финальный исход истории вполне норм. Хотя чинить сервак 9 месяцев, конечно, не хорошо.

                                                          +2
                                                          168 тыс. SMS, отправленных в день Святого Валентина, пришли получателям только 7 ноября 2019
                                                          14 февраля 2019 года миллионы пользователей по всему миру отправляли поздравления… по SMS.
                                                          ночью 7 ноября 2019 года эти тысячи SMS-сообщений были наконец доставлены получателям.
                                                          тысячи пользователей… отправили большое количество SMS-сообщений 14 февраля 2019 года.
                                                          рано утром 7 ноября 2019 года тысячи этих не полученных SMS-сообщений начали приходить получателям на их смартфоны.
                                                          Когда отремонтированный сервер вернули в рабочую сеть 7 ноября 2019, то после его включения системой автоматически были запущены процедуры доставки всех этих хранящихся на сервере не отправленных получателям SMS-сообщений.
                                                          А те были по пять,
                                                          но вчера,
                                                          но очень большие,
                                                          то есть, те были вчера по пять и очень большие,
                                                          а эти и маленькие, и сегодня, и по три.
                                                            0
                                                            Мне в конце октября пришли СМС от банка о зачислении денег, которое было в начале мая
                                                              0
                                                              В сентябре словил похожий баг, на полчаса смс-шлюз Мегафона перестал принимать входящие сообщения, а я как раз в тот момент пару раз попытался войти в онлайн-банкинг и не смог код получить.
                                                              Когда через две недели все эти неотправленные смс с кодами пришли одновременно сразу пачкой, я поначалу перепугался, что мой пароль поломали и добрались до второго фактора, но проверил метаданные СМС-сообщений и по дате отправления обнаружил, что это старые.
                                                              Было бы удобно, если бы мобильный оператор или телефон как-то помечал подобные сообщения, у которых большие расхождения между датой отправки и получения.
                                                                0
                                                                Сервак, через 9 мес, без проверки что на нем и как, просто так взяли и подключили в продакшн. Отлично. Никого не уволили?
                                                                  0
                                                                  Скорее всего про сервак это уже для журналистов написали, а на деле там какого-нить сетевого доступа не было или какое-то приложение зависло.

                                                                Only users with full accounts can post comments. Log in, please.