Звучит заумно?
Смысл же тут вроде простой: прежде объединить несколько счетчиков в мета-счетчик могли лишь Максим Зотов в Liveinternet и Иван Иванов в Openstat.
К примеру, я как аналитик Openstat имел для исследований два мета-счетчика, которые мне любезно сгенерил Иван (банковских сайтов и белорусских сайтов).
А теперь эта услуга предоставляется всем, кто пользуется Openstat!
Все могли сделать (как верно пишет Артур Суилин, это — нe rocket science), а сделали мы.
Хотя (утро вечера мудренее) тут совсем о разных группировках идет речь, насколько я теперь вижу: мы группируем исходные данные для статистики, а пользователи Метрики ратовали за улучшение интерфейсной группировки счетчиков.
У нас пять краулеров, один из которых («большой краулер») преимущественно собирает сигнатуры счетчиков, рекламных систем, онлайн-консультанотов, карты на сайт и всяческие виджеты, кнопки соцсетей, агрегаторов. Он же собирает и технометрики.
Краулер работает в ежемесячном цикле и успевает решать за календарный месяц все задачи. Собственно сбор и обсчет технометрик занимает пару дней, но поскольку все задачи запараллелены, «размазаны» по месяцу (и разложены на 72 процессорных ядра), то вопрос вышел по сути некорректный, так что ответил, как мог.
Еще вопрос, региональные домены spb.ru, msk.ru и пр. а так же net.ru, com.ru, pp.ru — проигнорированы?
Да, но не намеренно, сами хотим. Наш продюсер вел недавно переговоры о предоставлении доменной базы spb.ru, msk.ru, но пока они ничем практически не окончились.
[Я и сам живу в зоне msk.ru: мне было лениво фамильный домен второго уровня регистрировать].
С Ucoz, конечно, вышла опечтка.
А вообще продолжающее из год а в год лидерство Bitrix среди платных продуктов для управления сайтом не требовало дополнительных исследований. А вот некоторые другие коммерческие CMS — HostCMS, Netcat, UMI.CMS — оказались равно конкурентны. За исключением UMI.CMS, все перечисленные лидеры присутствуют на рынке не менее десяти лет.
А почему не взять из «провайдерских кругов» данные по тому куда ходят, но домен не второго уровня?
Это просто проблема мощностей. Openstat всё же — совсем не Яндекс.
Мы индексируем Рунет по доменам второго уровня на глубину главных и вторых страниц. Больший охват пока считаем для себя слишком накладным.
Приведенный мне тут в комментариях itrack индексирует только главные страницы доменов второго уровня. Мы пошли дальше, так как, к примеру, карты на сайте размещаются обычно на втором уровне, а не не на «морде». Но пока только так.
И можно цифру сколькими за счет данные провайдеров сайтами (доменами) пополнился отчет?
Косвенно можно судить об их доле по графе «Другое», это именно тот список доменов, полученный методом DPI.
если откинуть домены которым менее года, можно получить иную картину заметно. Причем показательную.
Данные о возрасте доменов (отвечая на другую реплику) у нас есть, мы ее использовали для исследования счетчиков.
Мы всего лишь фиксируем то, что написано в заголовке «X-Powered-by». А он, как известно, настраиваемый (в том числе скрываемый).
И там может стоять указание на используемый язык программирования, конечно, не только PHP, а к примеру, «Servlet» (2327 доменов), может быть указание типа «LiveStreet» (1831 доменов) — PHP-движок для создания коллективных блогов и для социальных сетей (и подобных указаний на разные CMS много), а может быть вообще шуточная надпись, как у одного хостера, который там штампует слово «pizza» (бывает и не такое).
Я из этой «руды» выделил осмысленный, на мой взгялд, результат — «парад» различных версий PHP.
Правда, InSales пропущен в моем комментарии, но мы его учитываем по авторизованной производителем сигнатуре.
Ucoz до начала лета вставлял всем своим клиентам счетчики Openstat, а когда снял, наш охват уменьшился (в сайтах) тыщ на тридцать…
Мне как аналитику можно конструировать алгоритм экспресс-исследования саасных движков:
для начала опросить DNS на предмет соответствия рунетовских доменов IP-адресам соответствующих служб: ucoz, wix и прочих, кого мы знаем/помним/нам напомнили.
Сама по себе саасная модель предоставления таких услуг даст достаточно высокую точность привязки доменов к конкретным веб-службам по их парковочным IP.
Исключение составят домены третьего уровня и глубже, о которых не знаем изначально, и домены, которые лишь указывают на веб-хостинг, но не являются сайтами как таковыми.
И чтобы решить эти исключения ретроспективно можно обратиться к данным по краулингу.
Но я такие письма программистам не пишу, потому что по поводу того же Ucoz они как раз и отвечают, что, дескать, и так нормально определяем его по 366 уникальным IP-адресам.
И по маске некоторых можем ловить…
Данные о возрасте доменов у нас, кстати, есть, мы ее использовали для исследования счетчиков.
А что можно ожидать, если мы приложим ее для сайтов на PHP?
Из невошедшего в основной текст:
PHP 5.0 — 298 доменов (то есть, как говорят, «встречается в следовых количествах»);
PHP 4.3 — 7735 доменов.
Краулер Openstat сначала обзванивал 6 136 378 доменов:
по российским зонам всегда свежие — по базе, ежемесячно получаемой из Руцентра.
по белорусской зоне — по базе, полученной от Hoster.by еще осенью, но которая по количеству «живых» доменов почти не отличается от версии за март 2014.
какая-то украинская база — тут мы действуем по остаточному признаку.
и наши сайты в других зонах, на которые ходят россияне (данные из провайдерских кругов).
В результате выделено 4,67 млн активных хостов, которые как-то ответили (обычно — ответили 200 Ok).
По ним делается исследование и считаются доли, а также указывается параметр «Не определена».
А как читается это латышское название?
А поскольку именно эту запись написал Ру Курепин, я воспользовался комментарием, чтобы вставить и свои пять копеек.
Впрочем, какие тут могут быть вопросы: надо брать и пользоваться.
Смысл же тут вроде простой: прежде объединить несколько счетчиков в мета-счетчик могли лишь Максим Зотов в Liveinternet и Иван Иванов в Openstat.
К примеру, я как аналитик Openstat имел для исследований два мета-счетчика, которые мне любезно сгенерил Иван (банковских сайтов и белорусских сайтов).
А теперь эта услуга предоставляется всем, кто пользуется Openstat!
Все могли сделать (как верно пишет Артур Суилин, это — нe rocket science), а сделали мы.
Краулер работает в ежемесячном цикле и успевает решать за календарный месяц все задачи. Собственно сбор и обсчет технометрик занимает пару дней, но поскольку все задачи запараллелены, «размазаны» по месяцу (и разложены на 72 процессорных ядра), то вопрос вышел по сути некорректный, так что ответил, как мог.
Да, но не намеренно, сами хотим. Наш продюсер вел недавно переговоры о предоставлении доменной базы spb.ru, msk.ru, но пока они ничем практически не окончились.
[Я и сам живу в зоне msk.ru: мне было лениво фамильный домен второго уровня регистрировать].
Никуда не выкладывали пока. Правда, нужно? Тогда попробуем организовать такое на своем домене.
А вообще продолжающее из год а в год лидерство Bitrix среди платных продуктов для управления сайтом не требовало дополнительных исследований. А вот некоторые другие коммерческие CMS — HostCMS, Netcat, UMI.CMS — оказались равно конкурентны. За исключением UMI.CMS, все перечисленные лидеры присутствуют на рынке не менее десяти лет.
Это просто проблема мощностей. Openstat всё же — совсем не Яндекс.
Мы индексируем Рунет по доменам второго уровня на глубину главных и вторых страниц. Больший охват пока считаем для себя слишком накладным.
Приведенный мне тут в комментариях itrack индексирует только главные страницы доменов второго уровня. Мы пошли дальше, так как, к примеру, карты на сайте размещаются обычно на втором уровне, а не не на «морде». Но пока только так.
Косвенно можно судить об их доле по графе «Другое», это именно тот список доменов, полученный методом DPI.
Данные о возрасте доменов (отвечая на другую реплику) у нас есть, мы ее использовали для исследования счетчиков.
И там может стоять указание на используемый язык программирования, конечно, не только PHP, а к примеру, «Servlet» (2327 доменов), может быть указание типа «LiveStreet» (1831 доменов) — PHP-движок для создания коллективных блогов и для социальных сетей (и подобных указаний на разные CMS много), а может быть вообще шуточная надпись, как у одного хостера, который там штампует слово «pizza» (бывает и не такое).
Я из этой «руды» выделил осмысленный, на мой взгялд, результат — «парад» различных версий PHP.
Правда, InSales пропущен в моем комментарии, но мы его учитываем по авторизованной производителем сигнатуре.
Ucoz до начала лета вставлял всем своим клиентам счетчики Openstat, а когда снял, наш охват уменьшился (в сайтах) тыщ на тридцать…
Мне как аналитику можно конструировать алгоритм экспресс-исследования саасных движков:
для начала опросить DNS на предмет соответствия рунетовских доменов IP-адресам соответствующих служб: ucoz, wix и прочих, кого мы знаем/помним/нам напомнили.
Сама по себе саасная модель предоставления таких услуг даст достаточно высокую точность привязки доменов к конкретным веб-службам по их парковочным IP.
Исключение составят домены третьего уровня и глубже, о которых не знаем изначально, и домены, которые лишь указывают на веб-хостинг, но не являются сайтами как таковыми.
И чтобы решить эти исключения ретроспективно можно обратиться к данным по краулингу.
Но я такие письма программистам не пишу, потому что по поводу того же Ucoz они как раз и отвечают, что, дескать, и так нормально определяем его по 366 уникальным IP-адресам.
И по маске некоторых можем ловить…
А что можно ожидать, если мы приложим ее для сайтов на PHP?
Из невошедшего в основной текст:
PHP 5.0 — 298 доменов (то есть, как говорят, «встречается в следовых количествах»);
PHP 4.3 — 7735 доменов.
Краулер Openstat сначала обзванивал 6 136 378 доменов:
по российским зонам всегда свежие — по базе, ежемесячно получаемой из Руцентра.
по белорусской зоне — по базе, полученной от Hoster.by еще осенью, но которая по количеству «живых» доменов почти не отличается от версии за март 2014.
какая-то украинская база — тут мы действуем по остаточному признаку.
и наши сайты в других зонах, на которые ходят россияне (данные из провайдерских кругов).
В результате выделено 4,67 млн активных хостов, которые как-то ответили (обычно — ответили 200 Ok).
По ним делается исследование и считаются доли, а также указывается параметр «Не определена».
* ucoz
* wix
* setup.ru
* A5
* jimbo
* umi
* nethouse
* fo.ru
* Google Sites
* Web Start Today
* Weebly
* Squarespace
* Plebu
* Cabanova
* Sellfy
* Etsy
* SnapPages
* Webnode
Но вообще их же тьма.
Для Рунета можно сделать в следующем выпуске.