Как WEBO Рунет посчитало

    WEBO Pulsar Не так давно мы закончили собирать базовые данные для рейтинга доступности популярных сайтов Рунета. Данные получились очень неожиданные, но самым интересным оказался подсчет потерянных посетителей как для одного конкретного сайта, так и для всех популярных сайтов сразу.

    Забегая немного вперед, скажу, что ежедневно сайты теряют порядка миллиона посетителей. И примерно в половине случаев эти потери практически незаметны, потому что происходят либо из-за «плавающих» сбоев, либо из-за большого наплыва посетителей (и превышении времени ожидания ответа). Происходит это, к счастью, не так часто, но в финансовом плане эффект получается весьма ощутимым. Например, только avito.ru потерял за прошедшую неделю почти 140 тысяч посетителей.


    Технология


    Сеть серверов WEBO Pulsar сейчас включает 3 независимых точки (2 в Москве и 1 в Амстердаме), дополнительно каждую минуту проверяется ряд внешних точек, которые должны быть «всегда доступны». Только на основе этой информации делается вывод о недоступности какого-то конкретного ресурса.

    Для составления рейтинга было выбрано несколько сотен сайтов с посещаемостью более миллиона человек в месяц, и для каждого из них раз в минуту проверяется возможность осуществления соединения (проще говоря: можно ли на сайт зайти из браузера, или же сайт ответит неправильно, с ошибкой или вообще не ответит). По накомпленным в течение недели данным и составляется сам рейтинг.

    Реализация описанной технологии, конечно, не является тривиальной. Но самое интересное, на мой взгляд, заключается в сборе информации о посещаемости сайтов (для включения их в рейтинг и расчета потерь посетителей).

    Посещаемость сайтов


    Очень удобно, что примерно 2/3 сайтов использует статистику Liveinternet, в которой данные по посещениям за месяц открыты. Это существенно упростило задачу. Но что делать с оставшимися?

    На помощь приходит Alexa, которая измеряет долю сайта в общемировом трафике. У нее есть распределение по странам и поддоменам, поэтому почти во всех случаях можно точно узнать, какая доля общемировых посетителей попала на интересующий сайт.

    Только вот одна загвоздка: доля общемировых посетителей переводится в конкретное число, только если знать общее число пользователей Интернета (которых считает Alexa). И количество этих посетителей будет сильно варьироваться от стране к стране: т.е. из Штатов, например, обсчитывается половина пользователей, а из России — только 20%. Что же делать?

    Здесь мы вспоминаем про пропорции и берем за основу данные Liveinternet. Построив две модели (для самых крупных и средне-крупных сайтов) мы можем, зная долю трафика Alexa, рассчитать примерное число пользователей веб-ресурса, для которого счетчик Liveinternet не установлен. Точность получается примерно 20%, чего вполне достаточно для проведения оценки и составления рейтинга.

    Наиболее популярные веб-ресурсы Рунета выбирались на основе как самой статистики Liveinternet и рейтинга Alexa, так и рейтинга TNS. Комбинированные и перепроверенные данные позволили получить достаточно точную картину по популярным сайтам.

    Для всех сайтов в рейтинге рассчитывается доступность (в терминах «девяток»), фактическое время простоя (в часах и минутах) и число посетителей, которые не смогли попасть на сайт. Зная доходность сайта (например, 25 или 50 копеек с одного посетителя), можно легко рассчитать убытки от его простоя. К сожалению, финансовая информация по доходам сайта является закрытой, в противном случае, мы бы автоматически подсчитали и убытки. :)

    P.S. Сейчас рейтинг пересчитывается раз в сутки, охвачено порядка 150 топовых сайтов. Мы планируем довести это число до 250-300. По вопросам включения (или наличия) сайта в рейтинге можно писать нам на почту либо в комментариях к статье. Сейчас мы насчитали уже 1,3 млн. потерянных посетителей за неделю. С учетом охвата только 10-20%, получается озвученная выше цифра — миллион потерянных посетителей в день.
    Поделиться публикацией
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 32

      +2
      Смущает термин «потерянные посетители». Посетители никуда в основном не денутся и зайдут на сайт чуть позже, если домен на который они заходят, им заранее известен. Тут скорее интересен рекламный трафик, переходы по ссылкам с контекстной рекламы и баннерам, когда адрес сайта остается неизвестным для пользователя до момента захода на сайт. Вот эти потери интересно увидеть.
        +6
        столько одиноких девушек остаются в своих комнатах вечерами, и парни упускают столько возможностей… Миллион несостоявшихся лавстори каждый вечер! )
          +8
          Желтуха!
          «ежедневно сайты теряют порядка миллиона посетителей», «за прошедшую неделю почти 140 тысяч посетителей».

          Взять тот же авито — на их сайте написанно «Всего за год посещаемость нашего сайта возросла до 7 000 000 уникальных посетителей в месяц»

          Делаем вывод, за неделю 1 750 тыс. пользователей.
          140 тысяч от 1 750 тысяч = 8% (Вроде не путаю)
          Разве не может быть так, что трафик всего лишь на 8% скачет еженедельно?
          У них всегда ровно 7 миллионов посетителей за месяц?

          Куда теряют пользователи? Находят другой сайт? Закрывают браузер и идут пить пиво?
          С чего вы взяли, что они вообще там должны были быть?
          Если сайт не доступен, как можно узнать, что туда пытался зайти человек?
          Что если в первую неделю оптимизаторы закинули кучу объявлений в разные клик партнерки, а вторую неделю бюджета уже не было?
          Что делать, если у одно провайдера в крупном городе проблемы с каналом и несколько сотен тысяч пользователей на несколько часов остались без интернета?
          Сколько потеряет avito пользователей, если в период с 5 до 5 30 утра будет каждую неделю перезагружать сервер?

            0
            Потерянные пользователи уверенно переводятся в потерянные показы рекламы / потерянные деньги.
              0
              Да вам не про то говорят. Это и так понятно, что потерянные пользователи = потерянные деньги.
              Речь о том, что совсем необязательно, что если сайт уходит на профилактику с 4 до 5 утра раз в неделю, то он потеряет совсем не то же количество пользователей за этот час, что в понедельник с 9 до 10 утра.

              Кроме того, если человеку действительно важно попасть на сайт, он всё равно, рано или поздно на него попадёт. И это учитывается в статистике сайта за месяц тоже.
                0
                но не увидит той же рекламы. Или же будет сомневаться в надежности сайта/сервиса компании (реже будет заходить).
                  +1
                  Если я хочу найти б/у машину, то я приду на auto.ru. А если он не будет открываться, то я приду позже, и мне будет все равно насколько надежен сайт компании, т.к. это лучший сайт по б/у автомобилям.

                  И в поиске машины я не стану туда ходить реже, потому что это мне надо найти машину, и в моих интересах посетить этот сайт.
            +2
            На самом деле высосано из пальца.

            Какая причина не успешных входов? Может ваш маршрут временно упал у аплинка? Неуспешный вход на сайт подтверждался одновременно на всех точках мониторинга?
              +1
              Причин 100+ (ошибки всех уровней OSI). наиболее характерные: нет ответа от сервера или превышено время ожидания.
              Точность првоерки подверждается по всем точкам.
                0
                Вы гарантируете в своём исследовании, что на момент проверки это фатальная ошибка именно исследуемого сайта (на стороне сайта) при одновременной проверке со всех точек?

                Или же ошибка может встретиться на конкретной точке, а её истины вы не знаете (превышено время ожидания может быть причиной упавшего маршрута вашего провайдера (аплинка)).
                  +1
                  Ошибка может встретиться и на конкретной точке. Но мы уже за три месяца эксплуатации (несколько сотен миллионов проверок) устранили большую часть проблем, которые могут зависеть от точки. Сейчас для точки проверяется доступность «большого интернета» и только в положительном случае результат проверки учитывается.
                0
                Вы не понимаете методики. Если маршрут упал у аплинка WEBO, точно так же он будет лежать у рядового пользователя.

                Резолвим сайт — победитель:
                Name webmoney.ru has been resolved to 217.23.144.177, 77.246.100.42, 89.108.126.29.

                Точно так же зеркала есть и других топов в этом списке. И от падения отдельного маршрута они не зависят.
                  +1
                  То есть вы говорите, что маршрут у WEBO такой же как и у всех жителей Москвы? Даже у разных провайдеров в одном городе — разные маршруты.

                  В примере Webmoney вы показали round-robin-dns. Однако если 1 ip из этого списка лежит, то браузер в 1/3 случаев сайт открыть не удастся.
                    +1
                    Это бесспорно. Очевидно, что для победы нужно (а) много (б) хороших каналов.

                    Я к тому что вы напираете именно на «ошибку сайта при одновременной проверке со всех точек» (см выше), а оценка WEBO этого как бы не требует.
                +2
                Тупо айпишники серверов на файрволе зарезали, за то, что часто без дела стучится :)
                  +1
                  А потом подумали «а вдруг по делу» и пустили :)
                    0
                    Угу. Не понимая простейших методик бана, вы лезете со своим сарказмом.
                    –1
                    Вот именно, что WEBO (из-за их кривых рук из жопы) режут вообще все подряд. У меня, например, на серверах для них среднее время доступа к странице по 10 минут, т.к. их тупо блочит, а они даже этого понять не могут.
                    0
                    У WEBO есть британские корни?
                      0
                      Это самый лучший комментарий о WEBO! Нет, это самое лучшее определение их! Я просто жму руку. Только на Хабре этот сбор дилетантов может себя чувствовать в положительном рейтинге.
                      +1
                      напомнило uptime.ru
                        0
                        Просто в порядке эксперимента поставил Webo Pulsar пинговать несколько доменов. Честно говоря, не понравился.
                        Прорисован он в модном стиле, но в плане пользования неудобен, рисует очень странные диаграммы и выдает какое-то невообразимое количество ошибок в сравнении с одним альтернативным сервисом (рекламировать не буду).
                        Единственное, что действительно нравится — гибкая и разумная система тарифов.
                          0
                          Мы будем рады помочь Вам и улучшить сервис (в частности, наверное, проверки PING), если Вы сообщите свой логин.
                          0
                          Мегафон?? на третьем месте??
                            0
                            Красивый сервис, только не работает нифига. И теххподдержке все равно.
                              0
                              На все Ваши запросы в тех.поддержку Вы получили ответ. И сервис работает корректно. Вы можете написать мне лично, если какие-либо вопросы остались невыясненными.
                                0
                                Откуда такая уверенность? На все не получил.

                                При достижении нулевого баланса все проверки включая бесплатные уходят в «Недостаточно средств для проведения проверок».

                                Это не то чтоб запрос это баг. Два раза проверил. Первого вам было недостаточно.
                                  0
                                  Для проведения бесплатных проверок необходим ненулевой баланс
                                    0
                                    Это как же юзер можно понять?
                                    Из чего это видно?
                                    Когда при регистрации у вас бонусные деньги на баланесе?

                                    В итоге получится так люди ставят проверки, и думают что они работают, ставят где-то платную что бы для теста платных возможностей.

                                    И думают что оповещения к ним будут приходить. А деньги на балансе кончаются и проверки выключаются без предупреждения.
                                      0
                                      да, к сожалению, сейчас нет предупреждения об окончании баланса. Исправим в ближайшее время
                                        0
                                        Опять у меня выключились все проверки самопроизвольно, уже без движения средств на нулевом балансе.

                                        ИМХО
                                        Красиво но совершенно не надежно.
                                        Самое расстраивающее, что авторам кажется что все идеально работает, т.е. надежт на то что из этого, что то получится при таком подходе нет.
                                          0
                                          Для проведения проверок необходим ненулевой баланс

                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                            Самое читаемое