Целью исследования являлось получение актуального списка всех активных доменов в зоне .RU, к 01.01.2016 зарегистрировано в которой было 5040277 имён. Приняли решение пройтись по каждому имени краулером и проанализировать результат.
Ответы серверов распределились следующим образом:
Полная таблица c кодами ответов
| rc | cnt | % |
| 200 | 2670175 | 53.0 |
| IPFAIL | 826869 | 34.9 |
| TIMEOUT | 486924 | 7.4 |
| 301 | 444719 | 7.3 |
| 404 | 191831 | 3.4 |
| 302 | 176133 | 3.2 |
| 403 | 108624 | 2.1 |
| 503 | 43330 | 0.8 |
| CHARSETFAIL | 32606 | 0.6 |
| 500 | 19603 | 0.4 |
| 401 | 6847 | 0.1 |
| 303 | 5919 | 0.1 |
| 429 | 5501 | 0.1 |
| 502 | 5340 | 0.1 |
| 402 | 4232 | 0.1 |
| 0 | 2954 | 0.1 |
| NONHTML | 1796 | 0.0 |
| 423 | 1688 | 0.0 |
| 400 | 1654 | 0.0 |
| 409 | 1125 | 0.0 |
| 307 | 1014 | 0.0 |
| 521 | 273 | 0.0 |
| 999 | 203 | 0.0 |
| 410 | 191 | 0.0 |
| 523 | 150 | 0.0 |
| 504 | 138 | 0.0 |
| 509 | 98 | 0.0 |
| 508 | 93 | 0.0 |
| 204 | 46 | 0.0 |
| 520 | 45 | 0.0 |
| 434 | 32 | 0.0 |
| CLEX | 32 | 0.0 |
| 406 | 20 | 0.0 |
| 501 | 14 | 0.0 |
| 479 | 8 | 0.0 |
| 407 | 8 | 0.0 |
| 418 | 7 | 0.0 |
| 405 | 7 | 0.0 |
| 451 | 4 | 0.0 |
| 435 | 4 | 0.0 |
| 304 | 4 | 0.0 |
| 201 | 3 | 0.0 |
| 300 | 2 | 0.0 |
| 456 | 2 | 0.0 |
| 3 | 1 | 0.0 |
| 507 | 1 | 0.0 |
| 101 | 1 | 0.0 |
| 126 | 1 | 0.0 |
| 422 | 1 | 0.0 |
| 557 | 1 | 0.0 |
| 412 | 1 | 0.0 |
| 413 | 1 | 0.0 |
| 420 | 1 | 0.0 |
| Total: | 5040277 | 100.0 |
IPFAIL — отрезолвить домен не получилось (не делегирован, не указаны сервера имен и т.д.).
TIMEOUT — IP был получен, но не отдал ничего и отвалился по таймауту.
CHARSETFAIL — кодировку контента распознать не удалось.
NONHTML — сайты, веб-сервера которых не интерпретировали скрипты, а отдали их текстом вместе с реквизитами подключения к базам и прочими прелестями.
CLEX — исключения краулера по размеру ответа > 10мб.
301 редирект (постоянный):
bulk — зоопарк из сеток сателлитов, альтернативные адреса сайтов, прочее.
| cnt | % | |
| http:// www.domain | 215289 | 48.4 |
| bulk | 144275 | 32.4 |
| http:// domain/page | 76417 | 17.2 |
| https:// domain | 7617 | 1.7 |
| https:// www.domain | 1121 | 0.3 |
| Total: | 444719 | 100.0 |
302 редирект (временный):
bulk — всё те же сетки, ошибки, установщики различных cms, прочее.
| cnt | % | |
| bulk | 135464 | 76.9 |
| http:// domain/page | 22658 | 12.9 |
| http:// www.domain | 10660 | 6.1 |
| https:// domain | 7168 | 4.1 |
| https:// www.domain | 183 | 0.1 |
| Total: | 176133 | 100.0 |
В редирект через meta refresh мы тоже заглядываем, но в этот раз ничего интересного там не наблюдается. Самый популярный сопособ отправить пользователя на связку эксплойтов.
Все 2670175 доменов, отдавших 200 ОК крутятся на 192213 IP адресах, top 10:
| ip | cnt | example_url |
| 109.206.190.54 | 180983 | http://ksimelin.ru |
| 188.166.49.110 | 40199 | http://samoobsluga.ru |
| 81.177.141.15 | 15040 | http://plusheviy-buket.ru |
| 89.111.167.3 | 11887 | http://ipoezd.ru |
| 94.76.205.132 | 11774 | http://mediatr.ru |
| 78.108.80.238 | 10937 | http://bikesurfing.ru |
| 78.108.86.63 | 10883 | http://asp-v.ru |
| 185.32.57.224 | 10157 | http://salgroup.ru |
| 188.120.232.174 | 9431 | http://moscowspa.ru |
| 199.59.243.120 | 9057 | http://asolutbank.ru |
Вот тут мы встречаем по-настоящему интересных ребят: 180983 домена на ip 109.206.190.54 (6,77% от всех активных) являются зеркалами www.homes.ru (сверяли не только по ip, естественно). С огромным отрывом уходят даже от парковок. Работают с размахом.
Немного средних значений контентной составляющей главных страниц рунета:
| Средняя длина тайтла | 47 |
| Средняя длина кейвордов | 220 |
| Среднее количество слов на странице | 515 |
| Средний вес страницы (в октетах) | 42320 |
На 262 доменах в тексте встречается слово ‘хабрахабр'.
Ссылки с главных страниц на профили пользователей хабра
| user | anchor | cnt |
| WildGreyPlus | WildGreyPlus | 17 |
| DaryaKorsak | DaryaKorsak | 17 |
| ptsecurity | ptsecurity | 17 |
| DenisIzmaylov | DenisIzmaylov | 17 |
| pkruglov | pkruglov | 17 |
| maisvendoo | maisvendoo | 17 |
| alexsoft | alexsoft | 17 |
| SmartEngines | SmartEngines | 17 |
| DrMefistO | DrMefistO | 17 |
| DenisVasilyev | DenisVasilyev | 17 |
| yourdestiny | 4 | |
| anatoly_rr | Хабр | 2 |
| @taxi5mblog | 2 | |
| gurylyov | habr | 2 |
| kzotov | Хабрахабр | 1 |
| couragic | couragic | 1 |
| nProfessor | habrahabr.ru | 1 |
| efimich | habrahabr.ru/users/efimich/ | 1 |
| nektodev | 1 | |
| alexchernyy | Habrahabr | 1 |
| ftp27 | 1 | |
| constructive | На Хабре | 1 |
| ilusha_sergeevich | Полезности (от ilusha_sergeevich) | 1 |
| pas | 1 | |
| rock | 1 | |
| payonline | Habrahabr | 1 |
| softlink | Softlink | 1 |
| blv | Борисом Вольфсоном | 1 |
| ilusha_sergeevich | дискуссии в группах, подкасты на тему интернета | 1 |
| teaminds | Habrahabr | 1 |
| nikmelnikov | хабре | 1 |
| jaloveast1k | 1 | |
| Sacret | 1 | |
| bredun | 1 | |
| omegicus | Блог | 1 |
| xnim | 1 | |
| nkochnev | Habrahabr | 1 |
| brntsrs | хабр | 1 |
| splurov | Хабрахабр | 1 |
| batazor | 1 | |
| heath | автор статей на Хабрахабре | 1 |
| kriptomen | Habrahabr (один из…) | 1 |
| sil1999 | 1 | |
| Advertone | Хабрахабр | 1 |
| mwsoft | 1 | |
| superalesha | habrahabr | 1 |
| iserdmi | хабрахабре | 1 |
| cadmy | link | 1 |
| ksdaemon | Хабрахабр | 1 |
| invizory | Habr | 1 |
| yegorf1 | H | 1 |
| zoriko | Zoriko | 1 |
| nickurs | 1 | |
| asommer | 1 | |
| d530 | HABR.RU | 1 |
| polar | Polar | 1 |
| DataArt | Habrahabr | 1 |
| silvansky | silvansky | 1 |
| jokerov | jokerov | 1 |
| grachevamari | grachevamari | 1 |
| andruekonst | Habrahabr | 1 |
| artoodetoo | Habrahabr | 1 |
| ihhabr | Habrahabr | 1 |
| ustas | 1 | |
| alizar | alizar | 1 |
| wilelf | 1 | |
| rebirther23 | 1 | |
| ordos | Хабрахабр | 1 |
| shukshinivan | 1 | |
| falula | falula | 1 |
| Dobrii | habrahabr | 1 |
| denxc | 1 | |
| garstelecom | 1 | |
| shlom | HabrahabrHabrahabr.ru | 1 |
| PavlovM | пишу на хабр | 1 |
| iley | iley | 1 |
| noldo32 | Я на Хабре | 1 |
| valerasergeevich | H | 1 |
| kachkaev | мой аккаунт на Хабрахабре | 1 |
| icw82 | Хабрахабр | 1 |
| skutin | Habrahabr | 1 |
| genixg | 1 | |
| sirus | sirus | 1 |
| codefucker | Хабр | 1 |
| divan0 | divan0 | 1 |
| devpreview | 1 |
Список доменов отдавших 200 OK dataoperator.ru/ru_domains_200_ok.zip
