Аналитика доменов cloudexplorer.ru

[pae174]

Полный список можно посмотреть тут — всего более 1000 доменных зон.

А где-же национальные зоны, типа всякие там de, fr и так далее? Опять же для российских зон нет географических префиксов типа msk.ru, spb.ru а так же com.ru, net.ru и так далее.

Далее по каждому домену запрашиваю DNS-записи A/AAAA/NS/MX/CNAME/TXT и сохраняю их с историей изменений.

Если вы ищете IP адреса, то имеет смысл запрашивать еще и запись HTTPS так как в ней пишутся IP адреса для всяких там HTTP/2, и они могут отличаться от тех адресов, которые отдаются в записях A и AAAA.

Это полезно, когда надо посмотреть, у кого и когда размещался сайт.

Похоже, у вас эта штука работает только применительно к тем доменам, которые зарегистрированы в настоящее время, но не работает для таких доменов, которые раньше были зарегистрированы но потом протухли.

[redfenix]

1) de fr и прочие я не запрашивал, европейские зоны в целом не вижу смысла парсить - бредовая идея, да еще и абузы будут приходить. Но писал в реестр Казахстана, Турции, Бразилии - или отвечают что не дадут или не отвечают

2) А что такое запись для HTTPS ? Это 443 порт на А или АААА записи ? Или мы про что то другое говорим

3) В базе данные о всех протухших доменах есть. А вот то что они не выводятся - это наверное да, стоит исправить )

[pae174]

абузы будут приходить

Это вряд ли. Ну если только не делать по 100500 запросов на поддомены одного и того же апекса.

отвечают что не дадут или не отвечают

Их и спрашивать не надо. Открытых списков в сети - как грязи.

А что такое запись для HTTPS ?

Это новая запись, которую современные браузеры запрашивают одновременно с записями A и AAAA что бы понять заранее, имеет ли смысл работать с сервером сразу по HTTP/2 или HTTP/3 (вики). Если такой записи нет, тогда браузер сначала лезет на сервер по HTTP/1.1 и только потом может переключиться на более современный протокол, если сервер ответит, что такой современный протокол поддерживается. Если такая запись есть, тогда браузер сразу использует указанный в ней протокол (по крайней мере пытается это сделать). Прикол в том, что у некоторых сайтов в записях A и HTTPS указаны разные IP адреса. Например для домена b767.net прямо сейчас:

[ap@monster ~]$ nslookup b767.net 8.8.8.8

Non-authoritative answer:

Name: b767.net

Address: 162.55.58.38

Name: b767.net

Address: 2a01:4f8:1c1c:5b47::1

[ap@monster ~]$ nslookup -type=HTTPS b767.net 8.8.8.8

Non-authoritative answer:

b767.net rdata_65 = 1 b767.net. alpn=“h3,h2” ipv4hint=109.250.198.162

[redfenix]

А бузы приходят, на 50-100к запросов в час...


2) Дак мне список доменов нужен актуальный а не сетей

3) Прикольно добавлю !! Спасибо ) Я видимо отстал от жизни, последний раз правил в 2022 году ) не факт что тогда запись HTTPS была распространена.

[pae174]

2) Дак мне список доменов нужен актуальный а не сетей

Это и есть актуальные списки, обновляемые с определенной периодичностью:.

1) Рейтинг Tranco. https://tranco-list.eu/ Там имеет смысл забирать список "with subdomains" потому что у них там .com.ru, *.msk.ru и аналогичные зоны считаются такими же поддоменами, как и .narod.ru :-) Этот агрегирующий рейтинг базируется на нескольких других списках, которые в принципе можно скачать отдельно. Можно выкачать исторические данные.

2) Cisco Umbrella -- логи запросов DNS. Обновляется раз в сутки. Можно выкачать исторические данные. Если домен в этом рейтинге есть значит его часто запрашивали через DNS сервера, которые сливают статистику в этот рейтинг.

https://umbrella-static.s3-us-west-1.amazonaws.com/index.html

3) Majestic Top 1M сайтов по количеству внешних ссылок. Обновляется раз в сутки. Из archive.org можно вытащить архивные данные. Если домен в этом рейтинге есть значит на этот домен есть большое количество ссылок с разных сайтов, по которым полазил бот. https://downloads.majestic.com/majestic_million.csv

4) CrUX -- грубо говоря это архив телеметрии Хрома в пригодном для скачивания виде. Обновляется раз в месяц. Есть исторические данные. Если домен в этом рейтинге есть значит на него часто заходят в Chrome. Есть глобальная версия и национальные - можно посмотреть какие сайты популярны в какой-нибудь условной Уганде. https://github.com/zakird/crux-top-lists/tree/main/data

5) Cloud Flare Radar выдает Топ 1М сайтов, запрошенных через Cloud Flare. Обновляется раз в неделю. https://radar.cloudflare.com/domains

6) Списки HSTS Static preload. Если домен в них есть, значит админ сайта настроил HTTPS, настроил HSTS, добавил сайт в список через форму а бот все это проверил.

Для Chrome -- https://chromium.googlesource.com/chromium/src/+archive/refs/heads/master/net/http.tar.gz

Для Firefox -- https://hg-edge.mozilla.org/mozilla-central/raw-file/tip/security/manager/ssl/nsSTSPreloadList.inc

7) CommonCrawl. Это архивирующий бот. Он тупо бегает по сайтам и архивирует страницы. Раз в месяц публикует архив, индекс для архива и рейтинг доменных имен по количеству ссылок. https://commoncrawl.org/overview . Есть исторические данные. Если домен есть в индексе значит на домене есть сайт и бот его смог хотя бы частично скачать. Если домен есть в рейтинге значит бот нашел ссылки на него (но не обязательно пробежал по этим ссылкам, так что это могут быть мертвые ссылки).

8) BuiltWith. BuiltWith Top 1m Rank

9) Open Page Rank (бывший DomCop). https://keywordseverywhere.com/openpagerank/top-domains

10) Reverse DNS Lookup. https://ip.thc.org/docs/bulk-data-access

11) Еще один агрегатор, который парсит данные из некоторых вышеперечисленных списков: OpenINTEL: Active DNS Measurement Project

12) Совсем уже экзотика это

Выгрузки таблицы внешних ссылок Wikipedia -- доступны за 6 месяцев с интервалом 2 недели

Архивы alexa.com, давно протухли.

Архивы dmoz.org, давно протухли.

[pae174]

13) Еще немного экзотики:

Списки доменов в зоне gov.uk на государственном же портале. List of .gov.uk domain names - GOV.UK

Списки зоны fr и еще чего-то такого французского от местных интернет-властей. https://www.afnic.fr/en/products-and-services/fr-and-associated-services/shared-data-reuse-fr-data/

archive.org позволяет получить через API списки поддоменов на заданном домене. При этом домены в некоторых зонах он почему-то считает поддоменами, в результате там можно выкачать список *.мск.рус или что-то типа того из зоны рус.