Неделя производительности в Рунете

    Некоторое время назад в одном из пансионатов Ленинградской области в узком кругу хостинг-провайдеров совладелец Openstat Леонид Филатов представил доклад, который стал своего рода пиршеством мета-анализа. Много разнородных данных удалось объединить на примере темы, которая волнует большинство вебмастеров и хостеров — производительность (скорость) отдачи страниц веб-сайтов на различных хостингах и в зависимости от различных движков.

    Пример такого отчета.



    Как видите, данных так много, что хочется сделать их декомпрессию.

    Но сначала пара абзацев о том, как они получены.

    Один из их источников — принятый 17 декабря 2012 специальный интерфейс разработчика — Navigation Timing API. Он предоставляет доступ к набору параметров, характеризующих скорость загрузки и подготовки страницы к работе — время в миллисекундах, прошедшее с начала эпохи до определенного события. На его основе Openstat чуть более месяца предоставил новый стандартный отчет, позволяющий выяснять производительность отдачи страниц в реальном времени и оценивать скорость сборки страниц для различных пользователей.
    Кроме Openstat в мире есть еще несколько веб-аналитик с подобных функционалом: New Relic, Google Analytics, Яндекс. Метрика, Piwik. Они позволяют работать с производительностью сайтов, как со следами людей в виртуальном пространстве, проще говоря, с Big Data. Другие тесты, к примеру, всем известный WebPagetest, измеряют скорость загрузки страниц не для живых посетителей, а для программ, которые общаются с сервером.

    Другой источник данных — краулер Openstat, который с прошлого лета индексирует весь Рунет, а также Байнет, Уанет и сайты других доменных зон, куда массово ходят российские пользователи. Главное назначение этого «паука» собирать сигнатуры счетчиков, рекламных систем, онлайн-консультантов и подобных систем. Но попутно он фиксирует доступные технометрики сайтов.

    Краулер работает со всеми доменами второго уровня, которые дают ответ «200», а счетчик — со всеми сайтами, где он установлен. Поэтому мета-анализ с помощью обоих инструментов зачастую проводился только для доменов второго уровня.
    Однако самый простой отчет получен для одного, но очень крупного сайта Рунета.



    Легко догадаться, что десктопные браузеры оказались более быстрыми, чем мобильные (так что это специально на гистограмме не помечается).
    А если задуматься, над этой картинкой, то первые незрелые мысли:
    1. Надо же Yandex Browser делали с целью (не считая конкурентной борьбы на рынке поиска) оптимизации скорости загрузки страниц, а он всё равно не превосходит конкурентов!
    2. В первую тройку входят браузеры для гиков, а уже они себе и последнюю милю обеспечили с хорошей пропускной способностью.
    Но такие выводы не богаты смыслом, а Crome давно стал браузером для всех, так как стоит у каждого пятого интернетчика.
    Так что здесь уместнее делать выводы аналитикам конкретного интернет-ресурса.

    А вот первое специальное исследование «зависимость производительности для 57 популярных CMS». Выборка 24 тыс. сайтов. Результаты за май 2014. В апреле тестировали 38 CMS и первая пятерка была ровно той же, хотя и с другими значениями.



    Наименование CMS Среднее, мс Мин., мс Макс., мс Сайтов
    A5 491 175 1213 7
    Melbis Shop 898 632 1462 7
    RBC Contents 961 463 1377 8
    ImageCMS 980 437 1748 5
    ABO 996 457 1834 12
    DJEM 1130 901 1425 7
    Aquilon 1183 961 1405 2
    Twilight 1189 1024 1359 3
    TYPO3 1453 426 3708 19
    S.Builder 1474 281 3475 8
    Taberna eCommerce 1505 784 2482 3


    В случае Bitrix скорость зависит от того, использовался ли сервис ускорение сайта (CDN), а также технология «Композитный сайт». Такие нюансы не отслеживались.



    Один из центральных отчетов долго пребывал в поисках себя. Пятикратно уточнялись (в смысле группировались) данные по хостинг-провайдерам. Дважды менялся критерий их отбора конкретно для центрального слайда.
    В конце концов при выборе фигурантов остановились на статистике хостинг-провайдеров StatOnline.ru (оттуда же взяты доли в группе). А после прикидочных расчетов средствами Excel окончательный отчет сгенерили средствами SQL.
    И хотя нет предела совершенства, следует отнестись к следующей диаграмме как данным, связанным с реальной ситуацией в мае 2014.



    organization bitrix drupal joomla setup_ru dle wordpress ucoz
    Agava 1541 1444 2230   2422 3313  
    Beget 2023 2684 2949   4093 3967  
    Compubyte Limited             4662
    FirstVDS 2163 2384 2846   3667 3679  
    Garant-Park-Telecom 1404 2885 2030   2203 3430  
    Hetzner 2861 2591 2990   4228 4213  
    Hosting Telesystems network 2245 3918 2681   4865 2636  
    InSolve 1397 2036 2576   4116 2205  
    Infobox 1859 1493 6970   2636 2857  
    Jino Avguro 1779 4746 3271   4714 4966  
    LeaseWeb 1814 2459 2775   4075 3512  
    Majordomo 1812 2806 2776   3788 4640  
    McHost.RU 1518 13923 2846   3598 4456  
    RU-CENTER     980        
    RU-NIC 2476 2836 2747   4964 3615  
    Reg.Ru 1753 1658 2633   3359 4855  
    SEDO Parking              
    SPRINTHOST.RU 1047 2210 2723   5847 6091  
    Setup.ru       3499      
    SpaceWeb 1815 1740 2301   2494 3126  
    Timeweb 1719 2183 2949   2520 4390  
    ihc.ru 2043 1649 2502   3217 3562  
    masterhost 2179 1702 2178   2631 2751  


    И немного — об уязвимости хостинг-провайдеров на примере SSL-сертификатов, сбор которых осуществлялся тем же краулером Openstat по доменам второго уровня по порту 443.
    Это совершенно отдельное исследование проводилось в масштабах всего Рунета (4,93 млн. доменов). Было обнаружено 1,6 млн. сертификатов, из которых самоподписанных 760 тыс; полностью нормальных (статус 200) — 4 тыс; уязвимых для Heartbleed (уязвимой версии OpenSSL) — 133 тыс. (8%).



    HeartBleed может стать, если уже не стала, самой большой информационной уязвимостью вообще.
    По оценкам хабрахабровских аналитиков примерно ⅓ вебсайтов Рунета были уязвимы до сегодняшнего дня. Точный подсчет показал, что это, мягко говоря, не так.



    org cnt
    FirstVDS 49248
    Reg.Ru 14838
    Hetzner 12279
    Не определена 9231
    Majordomo 6220
    LeaseWeb 3359
    Closed Joint Stock Company „RuWeb“ 3274
    OOO „Network of data-centers “Selectel» 2027
    Timeweb 2016
    E-PLANET Hosting Provider 1651
    masterhost 1614

    «Неделя производительности в Рунете» получилась некалендарная. Она началась с пятницы 23 мая, когда на конференции Failover Андрей Травин (Openstat) и Сергей Рыжиков (1C-Bitrix) рассказали о производительности сайтов — два первых доклада. Первый из них включал зависимость производительности сайтов от CMS за апрель. А у Сергея было про его «Композитный сайт».
    27 мая то же самое удалось доложить питерцам на конференции СПИК.
    А 30 мая Леонид Филатов на «Хост-обзоре» показал зависимость скорости сайтов от крупнейших провайдеров и заодно от используемых ими CMS.
    Почти одновременно появилось исследование Битрикс по производительности 100 отечественных интернет-магазинов как бы в ответ на аналогичное исследование 500 магазинов от Radware.
    Разгребать полученные результаты придется не только в июне, но и вообще до осенних конференций.
    Openstat
    34.09
    Company
    Share post

    Comments 34

      +9
      Без технических характеристик серверов, подключенных модулей CMS и конфигов вебсерверов, как минимум, Ваша выборка является очередной «100% объективная выборка по скорости работы CMS в интернете».

      Wordpress загружается в среднем 4 секунды и в два раза тормозней битрикса?
        0
        Конечно, производительность зависит от многих факторов, но наши данные получены на реальных измерениях реально функционирующих сайтов в реальных условиях, которые мы в состоянии измерить. Получить информацию о конфигурации и настройках сотен тысяч анализируемых серверов не представляется реальным и законным.
          –1
          В том то и дело, что цифры отображают не скорость провайдера или скорость работы CMS, а прямоту рук администратора, настраивающего сервер под CMS.

          Для примера возьмем тяжеловесный битрикс и Wordpress.

          На битрикс возьмем машину с SSD дисками, 8 ядер, 32Gb RAM, настроим APC/eaccelerator или иное, nginx для фронтенда, быстрый бекенд, затюненные настройки MySQL.

          Для WP возьмем самый дешевый VPS c предустановленным LAMP без nginx и просто зальем и распакуем CMS. Кроме вебсервера на VPS будут висеть мертвым грузом ftp,dns,smtp,pop3/imap из коробки и отбирать ресурсы у вебсервера.

          По полученным цифрам, думаю, все будет понятно.
            0
            Ну, как правило человек который ставит себе Битрикс, знает что и зачем. И конечно же занимается оптимизацией (серверной части (полный кеш)+ контент как cdn и тд). А люди на wp, этого как правило не понимают.
              +2
              Человек хочет создать сайт, узнает что есть CMS, вводит в гугле «самая быстрая CMS», попадает на этот топик, видит, что битрикс круче всех, идет и покупает VPS за 3 бакса, ставит себе эту CMS, в панели битрикса видит что вместо эталона 20 у него стоит 3, главная загружается по 15 секунд, идет на форум и пишет — хостер *** гуано и тормоз.

              Это я вам описал примерно 20-30% вебмастеров. =)
                0
                Согласен, что такое есть. Но совсем не согласен с процентом. Откуда Вы взяли это число?
                Любой «вебмастер» который мало что понимает решится купить Битрикс?
                  0
                  у битрикса есть пробный режим, да и нуллед версии afaik гуляют по сети. число было взято на глаз из количества обращений в тикет систему вида:

                  я прочитал тут <линк на статью>, что битрикс является одной из самых (быстрых | эффективных | удобных ) CMS, но почему-то на моем тарифе <лоу_кост_тариф> он открывается по 15 секунд, в панели производительности стоит 2 вместо эталона 20, а я ведь заплатил $random(1,10) долларов за тариф и у меня не шаред, а выделенный сервер.

                  Я не имею ничего против Битрикса или иной другой CMS, просто в контексте данного топика автор рекламирует именно его и, по моему опыту, из топ10 используемых CMS он является наиболее ресурсоемким.
                    0
                    Ну да)

                    Но в контексте статьи, все же показывается конечный итог, невзирая на все возможные _проблемы_.
                      0
                      Конечный итог, извините, чего? =)
                        0
                        Ну как же. Графики выше, как скорость загрузки страницы для любого пользователя, который не знает что такое CMS. Для него сайт — есть сайт и в независимости от CMS этот сайт грузится быстрее чем тот.

                        Да и вообще, я согласен полностью с Вашим комментарием ниже, что не стоило в статистику включать Битрикс.
                          0
                          В том то и дело, что вся выборка полностью нерепрезентативна, так как скорость загрузки зависит не от CMS, а от настроек сервера, его ресурсов и настроек CMS.

                          По аналогии на предприятии начальник получает 190к денег, обычный работник 10к денег, средняя ЗП на предприятии 100к денег.
                            +1
                            Когда я работал в компании Webvisor, то по сто комментариев получал на тему, что просмотр десяти роликов (изучение поведения десяти посетителей) не будет репрезентативной выборкой. Хотя он ею как раз и будет — по всей науке.
                            Так что я с этого места решил не участвовать в треде, а — написать в хаб «CMS». Лучше там обсужу репрезентативность.
          +1
          Замеры могут быть вполне адекватными, важна интерпритация: например то что «Wordpress загружается в среднем 4 секунды и в два раза тормозней битрикса» может означать что всреднем Wordpress устанавливают на значительно слабее сервера, так как он не являеться критичным для бизнеса.
            +1
            Важна не интепретация, а подача. Если битрикс позиционируется как крупное энтерпрайз решение, то зачем его тогда включать в общий список? Сравнение скорости работы CMS относительно друг друга должно проводиться на одинаковом оборудовании с одинаковыми настройками всего окружения. Тот же самый лоукост VPS c 400-500Mb RAM будет держать Wordpress, но битрикс будет задыхаться.

            За все время работы я не видел еще ни одного инструмента или формулы, по которым можно было бы сравнивать скорость работы CMS относительно друг друга.
              0
              Совершенно верно, еще когда я выступал в первый раз на Failover Conference, то из зала была выдвинута версия, что самые быстрые в нашем исследовании CMS ставят на некрупных или некритичных проектах.
            0
            Может имелось в виду FirstVDS, а не FirstDVS? :)
              0
              Fixed
              0
              Бредятина, а не тесты. Измерили сферического коня в вакууме и сделали «псевдонаучные» выводы :) Так держать!
                +1
                Наше исследование было ПРО ХОСТЕРОВ для конференции ХОСТ-ОБЗОР.
                Более того Леонид хотел, чтобы была исследована тема интернет-холдингов, так чтобы провайдеры были объединены по этому принципу. Но это ведь не техническая задача.
                Поэтому первый вопрос исследования: какие вообще CMS стоят у каких провайдеров?
                Попутно получается отчет, кто из провайдеров опирается на бесплатный софт, а кто на платный.
                И тут как раз даже полезны именно данные в среднем по конкретной больнице.

                Далее нужно автоматически соединить отчет производительности и используемых CMS. И мы видим какие провайдеры, использующие такие-то движки, дают в среднем такую-то производительность.
                И наконец соединить ответ по «производительности провайдеров» и отчет по производительности движков, так чтобы была разбивка внутри провайдера по движкам.
                Выполнено. Пришлось день попотеть. Что здесь «псевдонаучного». Это информация к размышлению конкретных хостеров. И она была ими воспринята: доклад шел с самого утра, когда еще все трезвые были.

                А что никто не дочитывает до последней ссылки?
                Исследование Radware зима 2013/2014.
                Исследовался Топ-500 электронной коммерции по рейтингу Alexa.
                Загрузка главной страницы занимала 9,3 сек — и это на 21% медленнее, чем годом ранее — в среднем 7,7 с.
                Большинство интернет-покупателей закрывают страницу после 3 сек ожидания ее отрисовки.
                Каждая секунда задержки стоит 3,5% конверсии и 2,1% среднего чека для интернет-магазина.
                Вот какие данные интереснее всего, на мой взгляд.
                  0
                  Вот мы сделали три публичных новых отчета

                  image

                  Что в подобных отчетах может быть интересно владельцам ресурсов и оптимизаторам?

                  1. Можно выделять резкие стабильные изменения (время ответа сервера увеличилось в 1,2 раза, время загрузки страницы уменьшилось в 1,5 раз).
                  2. Может быть интересна конкретная статистика по часам суток, особенно по времени загрузки страницы в часы пик. И по регионам скорость тоже интересно будет посмотреть.
                  3. Однако наиболее важно, что этот отчет появился в счетчике. И значит можно оценить корреляцию времени ответа сервера и времени загрузки страницы с показателем отказов и достигнутыми целями.
                    0
                    Как хостер я не вижу никакой ценности в данном отчете, уж извините. Лучше бы хостерам письма про heartbeat разослали чесслово.
                      0
                      Леонид называет это «новой пузомеркой Рунета».
                        0
                        Сделайте нормальный аналог 1stat.ru/firststat.ru, но с подсчетом не по DNS, вот тогда — будет пузомерка. А так — блок разрозненных данных.
                  0
                  Тесты конечно мягко говоря не совсем соответствуют действительности. Как уже говорилось выше тот же Битрикс ставят более продвинутые товарищи даже по той причине что большинство обычных веб-мастеров не будет выкидывать 30к рублей за лицензию, а пойдут по пути Wordpress/Joomla/etc и крутиться эти сайты будут на не в пример более слабом железе и зачастую неоптимизированных настройках серверного ПО.

                  Позабавили тесты скорости загрузки сайтов у различных хостеров. Тут ведь вся разница в том откуда сайт загружать. Если тестить из Германии то результаты будут противоположенные =) Если сайт под пользователей из РФ то размещаться конечно лучше в Мск, в другом случае более предпочтителен будет выбор Германии или Нидерландов к примеру.
                    0
                    Бесплатные ответы могут быть там, где есть экспертиза.
                    Насчет стран для удобного хостинга тоже подарю результаты.
                    Вот тут наш ответ, где размещаются сайты Рунета. Проводили исследование для РИФа, цифры должен был озвучивать Иван Засурский, но, кажется, не успел. Поэтому я письменно на Ридусе и зафиксировал.
                    0
                    Самая быстрая CMS, выходит — MODx?

                    Ну, во-первых она уже давным давно называется MODX, хотя кого волнуют эти мелочи в исследованиях?
                    А во-вторых у MODX есть две совершенно разные ветки: старенькая Evolution и более новая Revolution. Требованиями к хостингу они очень разнятся, и скорость показывают совсем разную, в зависимости от прямоты рук сборщика сайта.

                    Конечно, приятно, что MODX якобы самый быстрый, но объективности в этом исследовании нет даже близко.
                      0
                      Самая быстрая CMS, выходит — A5.
                        0
                        Окей, самая быстрая CMS из популярных.
                      0
                      Вообще данные по битриксу демонстрируют ровно то, что на практике его тяжеловесность не становится преградой для значительного числа пользователей, которые все-таки догадываются не ставить его на дохлые VDS. Т.е. в среднем температура по этой больнице вполне приличная.

                      Точности картине добавила бы дополнительная гистограммка столбиков на пять по каждой CMS, показывающая, как эта средняя температура была получена — легли ли результаты кучно, или действительно есть пачка тормозящих пробников, компенсирующихся пачкой SSD.
                        0
                        Какое отношение к производительности, имеет этот набор бесполезных данных?

                        Если вы хотели собрать статистику по CMS, надо было делать тесты в равноценных условиях, т.е. на одной платформе, и с одинаковым окружением, насколько это возможно.

                        Если по хостерам, то надо было брать максимально близкие тарифные планы, и одно и то же (или одинаковый набор) приложение. И сегментировать исследование.

                        Если по браузерам, то данные интересны только владельцу того сайта, и то для одной страницы. В реальном исследовании должен быть куда больший набор данных.
                        Про долю уязвимых сайтов это вообще цирк — сравнивать преднастроенный шаред хостинг, с настраиваемыми кем попало VDS.

                        Это бесполезный винегрет, составленный без понимания, как ставятся эксперименты в принципе.
                        И если статистика сама по себе, и часто не без основания, ставится ниже чем «наглая лож» и «реклама», то эти картинки вообще можно приравнять к бреду сумасшедшего.
                          0
                          Спасибо, нам как раз не хватало тридцатого комментария для ровного счета. И кстати, можно было бы на этом «круглом» рубеже остановиться, так как чуть выше я уже отвечал, что это «новая пузомерка Рунета». Жалею, что сразу не вынес эти слова в заголовок. А пузомерка отражает не эксперименты, в которые стараются вносить как можно меньше «возмущений», а просто отражать реальность, какая она есть.
                            0
                            Если это пузомерка, можно было не агригировать данные вовсе, делая сомнительные выводы, а сказать — вот эти сайты 5-10-100 сайтов грузятся быстррее всех, а вот эти медленее всех, и лежат они там-то, и сделаны на том-то. И это действительно было бы отражением реальности.
                            А то, как вы интерпретировали полученные данные бред. И не случайно вы получили пачку негативных комментариев.
                            Тем более, вы вроде как представляете компанию, которая занимается статистикой, и должны бы понимать всю бредовость представленных вами картинок.
                              0
                              Я не понимаю, в чем их бредовость, если это, условно говоря, «правда», хотя и «наша правда». Однако, не важно: я пишу этот пост про то, что уже произошло: событие в хостерной тусовке состоялось, доклад нашего продюсера прочитан.
                              А наш продюсер, между прочим — основатель Мастерхоста, от которого он избавился лишь в 2011.
                              И мое дело было сделать то, что я обещал — «декомпрессию».
                                0
                                С точки зрения арифметики — да, вероятно правда. Как статистическое исследование нет. Причины выше описаны, и мной, и многими другими.

                                Вот скажите, для кого конкретно предназначена каждая из картинок, какая у них ЦА?
                                И какой реальный смысл несёт каждая из них?
                                По какой причине, на основе ваших данных, вы решили сделать именно такие графики?

                        Only users with full accounts can post comments. Log in, please.