Исследование веб-сайтов в рамках OSINT

Привет Хабр. Сегодня мы поговорим о том, какую информацию можно получить с веб-ресурса для последующего использования в OSINT. Какие сервисы для этого есть и какую конкретно информацию они для нас нароют. Данная информация и методики будут также полезны и простым смертным людям, которые не связаны с IT сферой, так как помогут определить «на глазок» благонадежность того или иного сайта, прежде чем вводить на нем данные своей банковской карты…

DISCLAIMER: Данная статья написана в ознакомительных целях и не является руководством к неправомерным действиям или обучающим материалом для сокрытия правонарушений. 

Исследование веб-сайтов в рамках OSINT может предназначаться для решения целого ряда задач:

• идентификации владельцев или администраторов;

• мониторинга изменения цен;

• анализ конкурента;

• SEO или используемые ключевики и др. 

Анализ любого веб-сайта начинается с получения регистрационных данных WHOIS.

WHOIS-сервисов очень много. Поэтому приведу лишь несколько популярных:

• https://whois.domaintools.com/

• https://whoer.net/ru/checkwhois

• https://www.iana.org/whois

• https://lookup.icann.org/

Как вы можете видеть, WHOIS содержит данные о сроках регистрации домена, его IP-адреса, владельце, регистраторе и их контактах.

Разумеется если, интернет-магазин обещает вам сказочно низкие цены и вообще «МЫ УЖЕ 10 ЛЕТ НА РЫНКЕ!», но его домен зарегистрирован 2-3 дня назад, то следует задуматься о том, а не лохотрон ли тут часом…

Однако, о грустном... После введения норм GDPR про открытую публикацию персональных данных владельцев доменных имен пришлось забыть. А для поиска по старым записям WHOIS, в которых персональные данные были сохранены, могу порекомендовать еще пару полезных ресурсов:

• http://whoishistory.ru/

• https://osint.sh/whoishistory/

• https://drs.whoisxmlapi.com/whois-history

Продолжаем о грустном. Как известно, есть такая компания - Cloudflare, которая позволяет дополнительно при использовании ее услуг - скрывать данные о владельцах вебсайтов.

Так вот, ее анонимность иногда можно приоткрывать. Для этого я использую такой опенсорсный продукт, как CrimeFlare: https://github.com/zidansec/CloudPeler.

Он существует и в веб-интерфейсе по ссылке: https://crimeflare.herokuapp.com. CrimeFlare позволяет делать немногое, но важное - получать реальный IP-адрес сайта, скрытого за Cloudflare.

Еще пара ресурсов, на которых могут попадаться утёкшие пароли от различных онлайн-сервисов. В числе последних может оказаться и исследуемый вами сайт:

• http://login2.me/

• http://bugmenot.com/

Как мы все знаем, сайт — это не только доменное имя. Сайт должен быть где-то физически расположен. Место его расположения — это хостинг.

Данные хостинга того или иного сайта также можно узнать в открытых источниках:

• https://www.whoishostingthis.com/

• https://hostingchecker.com/

• https://hostadvice.com/tools/whois/

• https://2ip.ru/guess-hosting/

Перейдем к контенту, размещаемому на сайте, и обратимся к анализу различных метрик (рекламных идентификаторов).

Следующая подборка сервисов позволит вам понять, какие технологии рекламной слежки (и не только) присутствуют на сайте:

• https://themarkup.org/blacklight

• https://urlscan.io/

• https://pagexray.fouanalytics.com/

Впрочем, вы можете открыть исходный код веб-страницы, а дальше поискать рекламные идентификаторы в ручном режиме по следующим ключевым словам:

AdSense: Pub- или ca-pub

Analytics: UA-

Amazon: &tag=

AddThis: #pubid / pubid

Metrika: mc.yandex / ym

Rambler: top100

Mail.ru: Top.Mail.Ru

Если мы нашли код одной из метрик, то мы можем открыть ее публичную статистику. Для этого введите ID метрики в одну из следующих гиперссылок:

https://metrika.yandex.ru/dashboard?id=ВВЕДИТЕ_ID

https://top100.rambler.ru/search?query=ВВЕДИТЕ_ID

https://top.mail.ru/visits?id=ВВЕДИТЕ_ID

Публичная метрика интересна тем, что первым посетителем сайта она засветит того администратора, который ставил ее на веб-ресурс. Это может быть владелец сайта. Тогда мы получим сведения о его поле, возрасте и городе проживания. Вы можете проверить это на следующей метрике Яндекса https://metrika.yandex.ru/dashboard?id=55694881.

Кроме этого, коды метрик или рекламных идентификаторов позволяет находить в сети дополнительные сайты, использующие ее в своем коде. Для этого можно воспользоваться следующими сервисами:

• https://intelx.io/tools?tab=adsense

• https://dnslytics.com/reverse-analytics

• https://analyzeid.com 

• https://osint.sh/adsense

Реверсивный поиск дополнительных (аффилированных с проверяемым) веб-ресурсов возможен не только по рекламным идентификаторам.

Вы можете использовать реверсивный поиск по IP-адресу размещения вебсайта, при помощи ресурсов:

• https://2ip.ru/domain-list-by-ip

• https://www.cy-pr.com/tools/oneip

• https://hackertarget.com/reverse-ip-lookup

• https://mxtoolbox.com/reverselookup.aspx

• https://osint.sh/reverseip

Вы также можете осуществлять реверсивный поиск по совпадению связанных адресов электронной почты:

• https://2ip.ru/domain-list-by-email

• https://domainbigdata.com

• https://phonebook.cz  

А еще реверсивному поиску можно подвергать SSL-сертификат сайта:

• https://osint.sh/crt

• https://www.ssllabs.com/ssltest

• https://www.digicert.com/help  

Переходим к сбору контактов. Часть контактной информации владельца веб-ресурса выкладывают на сайте или при регистрации доменного имени. Попробуем найти максимальное число контактов (адресов электронной почты) при помощи таких сервисов, как:

• https://phonebook.cz

• https://hunter.io

• https://www.mailshunt.com

• https://2ip.ru/domain-list-by-email

Плавно переходим к анализу DNS.

DNS (Domain Name System) используется для получения IP-адреса по имени хоста, получения информации о маршрутизации почты и/или обслуживающих узлах для протоколов в домене. Эти данные также будут нам полезны при изучении вебсайта:

• https://dnsdumpster.com

• https://hackertarget.com/dns-lookup/

• https://securitytrails.com/

• https://crt.sh/

• https://osint.sh/dns/

• https://suip.biz/?act=alldns

Исторические данные DNS можно посмотреть по ссылке:

https://osint.sh/dnshistory

Старые копии веб-страниц и сайтов (веб архивы) тоже пригодятся в расследовании. Мало ли, что писали на сайте пару лет назад. Ссылки на популярные веб архивы ниже:

• https://archive.org

• https://cachedview.com

• https://archive.is

• http://www.cachedpages.com

Полезные подборки дополнительных сервисов для изучения вебсайтов можно найти тут:

• https://osint.sh

• https://suip.biz

• https://hackertarget.com/ip-tools

• https://abhijithb200.github.io/investigator

А также, в качестве сладкого, комплексные сервисы для проведения расследований по веб-ресурсам. Начнем с модульного сервиса Spiderfoot, который позволяет делать 3 проверки в месяц совершенно бесплатно.

• https://www.spiderfoot.net/

• https://www.robtex.com/

• https://pulsedive.com/

Ну и Maltego с его бесплатными модулями и кучей халявных API не стоит забывать. Вполне себе крутой инструмент для расследователя.

Напоследок расскажу об изучении сайта с позиции маркетолога. Тут нас будет интересовать CMS сайта, который можно узнать на ресурсах:

• https://2ip.ru/cms

• https://linkonavt.ru/services/sitetechnologies

• https://suip.biz/?act=whatweb

Без сомнения, нас заинтересует статистика трафика сайта, его ключевики и прочие рекламные фишки. Их можно почерпнуть на сервисах:

• https://be1.ru

• http://similarweb.com

• https://ru.semrush.com

Ну вот и все на сегодня. Надеюсь, подборка была для Вас полезной. Подписывайтесь, чтобы не пропустить новые статьи. До новых встреч.