Статистика распределения доменов по AS, IP, NS, MX и прочим параметрам

[pavelodintsov]

Вот она чудесная сила открытого кода! :) Когда выкладывал даже не думал, что кому-то он пригодится, просто жалко было удалять код проекта, на который потрачено прилично времени.

[dpivovarov]

был приятно удивлен пару недель назад обновлению :) давно пора было кроме парсинга NS-ов прикрутить все остальное.

хотел все лично спасибы отправить, но получается что благодарю тут! Спасибо!

[knutov]

Отличный сервис!

Мы тоже очень расстроены текущим состоянием 1stat. Пожелание — группировать нс сервера провайдеров, автоматически и с возможностью вручную передать список своих серверов (например, у нас — они в непохожих разных доменах).

[redfenix]

Проект открытый — его можно развивать и улучшать. Уже почти прикрутил историю скриншотов, среднее время отклика. Может получится уговорить Григория добивать его сервис проверки на вирусы =)

[knutov]

btw — как бы баг — по слову dobrohost в списке провайдеров — отдается dobryjhosting, а собственно доброхост я там так и не смог найти.

При этом — дипхост находится по слову bz8, и показывается как bz8.ru.

Определенно, нужна табличка соответствия названия провайдера и списка его нс серверов.

[redfenix]

Это не баг, мы не ставили задачу знать всех провайдеров =). Но при этом — хорошая идея, отписался ниже, если поможете сделать такое соответствие — будет здорово.

[ilin]

В данный момент есть группировка по провайдерам http://firststat.ru/?type=ns&date_start=2016-5-27&date_end=2016-5-27&sort_f=domain&sort_type=desc&aggregate=1&typep=all, но она берет в рейтинг, тот ns, на котором больше всего доменов на текущий момент, что тоже не очень корректно. В конце пришли к выводу, что более правильный вариант, это проверять все DNS доменов на наличие в них наименования провайдера. То есть если хотя бы один из ns содержит наименование провайдера, то этот домен относится к этому провайдеру. Этот принцип применен в сводной статистике — http://firststat.ru/summary-stat?zone=ru и скоро также выведем статистику по этому принципу в таблице. Если же один провайдер имеет совсем не похожие ns, то они отобразятся как разные провайдеры — единственный способ учитывать такие моменты, корректировать их вручную.

[knutov]

> проверять все DNS доменов на наличие в них наименования провайдера

Это несколько неправильно. Например, у нас есть домены с нс серверами в старом домене knutov.net и в новом после ребрендинга много лет назад dobrohost.ru. И есть еще два домена с нс серверами, относящимися к нашим вдс, совсем в других доменах. С 1stat можно было отправить список нс серверов и потом всё группировалось правильно.

(был бы проект на перле — я бы дописал нужную функциональность, но увы).

[redfenix]

За списком NS серверов нужно следить — это большая проблема. Опять же Вы правильно сказали — домены на других серверах есть не только у Вас, актуализировать информацию для ТОП 20 будет не очень сложно (далее сложнее), но это в любом случае ручная работа. Постоянно придется обновлять. В данном случае более корректно смотреть по количеству доменов на AS.

В текущей версии сайта — это вывод агрегированных данных из БД. Если есть желание, в понедельник могу набросать интерфейс для сопоставления NS, MX, сетей, AS c провайдером и предоставить его Вам =)

[knutov]

> смотреть по количеству доменов на AS

Вообще неправильная идея. Например, у нас нет своей AS и не появится прежде, чем в ней будет реальная необходимость. И таких — большинство.

Идея дать мне интерфейс — хорошая. Время для ручных правок есть )

[redfenix]

У маленьких хостингов нет своих сетей, они берут в аренду IP адреса у тех же дата-центров. У более или менее больших — почти всегда есть своя AS.

Без своей AS невозможно управлять связанностью, балансировать мощные DDOS, оптимизировать маршруты, создавать CDN, решать проблемы плохих маршрутов. Я уже не говорю о банальном переезде в другой ДЦ. На определенной стадии развития хостингу необходима собственная AS и если посмотреть статистику у всех крупных хостингов есть своя AS. Это один из компонентов качества услуги.

[knutov]

Или они берут целые блоки в аренду у кого-то еще.
Или они большие, но сидят в хетзнере, умеют его готовить и им всё ок.

Проблема смены ип адреса при переезде — не так чтобы проблема, а иногда и не проблема вовсе.

Некоторым хостингам на определенной стадии может потребоваться собственная AS.

В общем, с позиции топ20 как оно там у более мелких, наверное, уже не очень хорошо видно, да и просто не интересно, но не надо так категорично.

[sven]

Спасибо, Алексей, достойный сервис. Надеюсь будет жить долго и процветать. У 1stat сложная судьба сложилась.

[redfenix]

Изменились параметры доступа в pma

PhpMyAdmin: pma.amanikin.ru
mysqlUser: readonly
mysqlPasswd: readonly

Так же добавил статистику по среднему возрасту доменов для AS, IP, NS

ТОР 20 самых старых AS (по возрасту доменов в зоне .ru)


ТОР 20 самых молодых AS (по возрасту доменов в зоне .ru)


Явная корреляция между датой основания компании и возрастом доменов на ней