Все таргетированные хакерские атаки начинаются с разведки. Социальные инженеры, красные команды и отдельные пентестеры также собирают информацию о своих целях перед тем, как перейти к активным действиям. Им помогают десятки инструментов и хаков. Под катом ссылки на некоторые из них.
Пост состоит из 8 объемных разделов:
метапоисковики и поисковые комбайны;
инструменты для работы с дорками;
поиск по электронной почте и логинам;
поиск по номерам телефонов;
поиск в сети TOR;
поиск по интернету вещей, IP, доменам и поддоменам;
поиск данных об уязвимостях и индикаторов компрометации;
поиск по исходному коду.
В этом списке собраны инструменты, которые члены нашей команды используют в работе. И все же, эта подборка пригодится не только пентестерам, но и разработчикам, журналистам, HR, маркетологам и всем, кто много ищет в интернете. Знания — это сила. Используйте их во благо.
Как в случае инструментов для анализа зловредов или компьютерной криминалистики, я распределил инструменты на группы для удобства, в соответствии со своими представлениями о прекрасном. Список наверняка неполон, а некоторые ссылки вполне могли бы находиться в других разделах. Поскольку речь идет о поиске, в подборку не вошли многочисленные сканеры и другие инструменты для активного исследования компьютерных сетей, за исключением тех, что умеют в пассивный поиск по открытым источникам.
Метапоисковики и поисковые комбайны
Онлайн-сервисы
Hopain Tools, Inteltechniques, IntelligenceX, Aware OSINT Tools — представляют собой стартовые страницы для десятков поисковых систем общего и специального назначения. Все они явно ориентированы на OSINT.
Fagan Finder — панель с десятками поисковиков по библиотекам, архивам и базам данных.
Dogpile, iZito, zapmeta — метапоисковики, которые агрегируют результаты из Google, Yandex, Bing и других популярных поисковых систем и выводят на одну страницу.
Metaosint — поисковик по поисковым системам. Предоставляет удобный интерфейс для поиска других инструментов.
Synapsint — метапоисковик с возможностью поиска по IP, SSL, ASN, CVE, email и телефонным номерам.
ThatsThem — комбинированный поисковик по именам, адресам, телефонам, адресам электронной почты и IP.
Carrot2 — поисковик со встроенным алгоритмом кластеризации текста. Автоматически объединяет в группы тематически связанные источники.
Isearchfrom — имитирует поисковые запросы к Google из различных стран. Помогает понять, как региональные ограничения влияют на поисковую выдачу.
Answerthepublic — англоязычный поисковик, который выдает распространенные поисковые запросы по заданному словосочетанию.
Утилиты
C — поиск из командной строки в 106 источниках.
SpiderFoot — инструмент для автоматизации поисковых запросов и экспорта результатов в CSV, JSON, GEXF. Заточен под задачи red team. Снабжен встроенным веб-интерфейсом.
Query-Server — инструмент для отправки поисковых запросов в Google, Yahoo, Bing, Ask, DuckDuckGo, Baidu, Exalead, Quora, Parsijoo, Dailymotion, Mojeek и Youtube и записи результатов в CSV, JSON или XML.
Recon-ng — фреймворк для разведки по открытым источникам. Позволяет искать практически все от логинов, номеров телефонов и адресов, до файлов с бухгалтерской отчетностью, попавших в открытый доступ. Внешне напоминает Metasploit Framework.
Querytool — инструмент OSINT, основанный google-таблицах. Предназначен для сложного поиска людей, адресов электронной почты, файлов и многого другого.
Maltego Community Edition — это бесплатная версия OSINT-инструмента для сбора информации из Whois, поисковых систем, социальных сетей и выявления корреляций между людьми, адресами электронной почты, логинами, компаниями, веб-сайтами, доменами и т. д.
sn0int — фреймворк для сбора и полуавтоматической обработки информации о поддоменах, IP-адресах, скомпрометированных учетных записях, телефонных номерах и профилях в социальных сетях.
theHarvester — консольная утилита для сбора информации для реддтиминга. Позволяет выполнять активную и пассивную разведку при помощи различных поисковых систем. Собирает имена, адреса электронной почты, IP-адреса, поддомены и URL-адреса.
ReconSpider — краулер для поиска IP-адресов, электронных писем, веб-сайтов, организаций и поиска информации из разных источников.
Mr.Holmes — инструмент сбора информации о доменах, именах и телефонных номерах пользователя с помощью общедоступных источников и Google Dorks.
Datasploit — инструмент OSINT, который можно найти в Kali или BlackArch Linux. Предназначен для сбора данных по определенному домену, электронной почте, имени пользователя или номеру телефона и сохранения отчетов в текстовых файлах, HTML и JSON.
YaCy — децентрализованная поисковая система с открытым исходным кодом. Позволяет развернуть собственный поисковик.
Инструменты для работы с дорками
Онлайн-сервисы
Google Hacking Database — пополняемый каталог дорков со встроенным поиском.
Dorksearch — поисковая система со встроенным конструктором дорков.
Bug Bounty Helper — еще один онлайн-конструктор google dorks для поиска «деликатных» страниц.
Утилиты
pagodo — автоматизирует поиск потенциально уязвимых веб-страниц при помощи дорков из вышеупомянутой Google Hacking Database.
Grawler — PHP-утилита с веб-интерфейсом для автоматизации использования Google Dorks, очистки и сохранения результатов поисковой выдачи.
DorkScout — еще один инструмент для автоматизации поиска с использованием дорков. Написан на Golang.
oxDork — утилита для поиска уязвимостей и неправильных конфигураций веб-серверов.
ATSCAN SCANNER — предназначен для поиска с использованием дорков и массового сканирования веб-ресурсов на уязвимости.
Fast Google Dorks Scan — автоматизированный инструмент для сбора информации о конкретном веб-сайте при помощи дорков.
SiteDorks — готовый набор поисковых запросов для Google, Bing, Ecosia, DuckDuckGo, Yandex, Yahoo и так далее. Включает 527 веб-сайтов.
Поиск по электронной почте и логинам
Онлайн-сервисы
Snusbase — индексирует информацию из утечек и дает доступ к поиску по скомпрометированным адресам электронной почты, логинам, именам, IP-адресам, телефонам и хешам паролей.
have i been pwned? — поисковик по утечкам данных. Позволяет проверить, в каких инцидентах участвовал конкретный адрес электронной почты.
whatsmyname — поиск учетных записей в различных сервисах по логину. В основе сервиса лежит общедоступный JSON.
User Searcher — бесплатный инструмент, который поможет найти пользователя по логину на более чем 2 тыс. веб-сайтов.
CheckUserNames, Instant Username Search, Namecheckr, peekyou, usersearch — онлайн-сервисы для поиска аккаунтов пользователя по логину.
Утилиты
Infoga — инструмент, для сбора информации об учетных записях по электронной почте из общедоступных источников (поисковые системы, серверы ключей PGP, Shodan) и проверяющий, не произошла ли утечка электронной почты, с помощью API haveibeenpwned.com.
Holehe OSINT — проверяет, привязана ли электронная почта к учетным записям на таких сайтах, как twitter, instagram, imgur. Поддерживает более 100 порталов. Использует функцию восстановления пароля.
Mailcat — ищет адреса электронной почты по нику у 22 почтовых провайдеров.
WhatBreach — инструмент OSINT, упрощающий задачу обнаружения утечек, в которых участвовал конкретный адрес электронной почты. Умеет загружать общедоступные базы данных.
h8mail и pwnedOrNot — инструменты для поиска паролей от скомпрометированных адресов электронной почты в общедоступных базах данных.
Sherlock — инструмент для поиска аккаунтов в социальных сетях по логину пользователя.
Snoop Project — инструмент для поиска по логинам. По уверениям разработчика охватывает более двух с половиной тысяч сайтов.
Maigret — собирает досье на человека логину, проверяя аккаунты на двух с половиной тысячах сайтов и собирая всю доступную информацию с веб-страниц. Ключи API не требуются. Форк Sherlock.
Social Analyzer — API, интерфейс командной строки и веб-приложение для анализа и поиска профилей человека на более чем 1 тыс. сайтов.
NExfil — python-утилита для поиска профилей по имени пользователя на 350 веб-сайтах.
SPY — еще один быстрый поисковик по именам аккаунтов, работает с 210 сайтами.
Blackbird — инструмент для поиска аккаунтов по логину в социальных сетях.
Marple — упрощает поиск по логину через общедоступные поисковые системы от Google до Torch и Qwant.
GHunt — модульный инструмент для сбора данных о google-аккаунтах.
UserFinder — инструмент для поиска профилей по имени пользователя.
Поиск по номерам телефонов
Утилиты
Moriarty — утилита для реверсивного (обратного) поиска по телефонным номерам. Позволяет найти владельца, получить ссылки, страницы социальных сетей и другую связанную с номером информацию.
Phomber — выполняет поиск по телефонным номерам в интернете и извлекает все доступные данные.
PhoneInfoga — известный инструмент для поиска международных телефонных номеров. Сначала выдает стандартную информацию, такую как страна, регион, оператор связи по любому международному телефонному номеру, а затем ищет его следы в поисковых системах, чтобы помочь идентифицировать владельца.
kovinevmv/getcontact — утилита для получения информации из баз приложения GetContact (не подходит для парсинга, позволяет выполнить только ограниченное число запросов).
Поиск в сети TOR
Онлайн-сервисы
IACA darkweb tools — стартовая страница для двух десятков поисковых систем, работающих с TOR и доступных из обычного веба.
Ahmia.fi — еще один поисковик по сети TOR. Выделяется открытым исходным кодом.
SearchDemon, Phobos, Tor66, ExcavaTOR, Raklet, SeИtoЯ, Torch, OnionLand Search — поисковые системы, работающие внутри сети TOR.
Exonera Tor — база данных IP-адресов, которые были частью сети Tor. Поисковик отвечает на вопрос, работал ли ретранслятор Tor на этом IP-адресе в выбранную дату.
Relay Search — веб-приложение для обнаружения ретрансляторов и мостов Tor, предоставляющее информацию о том, как они настроены. Имеет открытый исходный код.
Утилиты
TorBot — удобный Onion краулер. Собирает адреса и названия страниц с кратким описанием, получает адреса электронной почты с сайтов, проверяет, активны ли ссылки, и сохраняет отчеты в JSON. Может быть запущен в Docker.
VililantOnion — Onion краулер с поддержкой поиска по ключевым словам.
Katana-ds — Python-инструмент для автоматизации поиска с использованием Google Dorks и с поддержкой TOR.
OnionSearch — скрипт Python3 для автоматизации поиска в зоне .onion через общедоступные сервисы.
Devils Eye — это инструмент OSINT для поиска в Darkweb. Не требует установки TOR. Также может искать в сети i2p.
Поиск по интернету вещей, IP, доменам и поддоменам
Онлайн-сервисы
Shodan — знаменитая поисковая система для сбора информации об устройствах, подключенных к интернету.
Censys Search, GreyNoise, ZoomEye, Netlas, CriminalIp — аналогичные Shodan поисковые системы, ориентированные на IoT.
Buckets by Grayhatwarfar — база данных с общедоступным поиском по открытым AWS Buckets, Azure Blobs, Digital Ocean Spaces.
Public buckets — поиск общедоступных бакетам AWS S3 & Azure Blob.
macaddress.io, MAC Vendor Lookup, maclookup.app — определяют производителя устройства по MAC-адресу, OUI или IAB.
CIRT, Default Password Lookup, Router Password, Open Sez Me — поиск по базам данных паролей, установленных по умолчанию на различных устройствах.
sitereport.netcraft — выдает комплексную сводку по регистрационным данным и технологиям, используемым на веб-сайте.
IPVoid — набор инструментов для исследования IP-адресов: проверка по черным спискам, Whois, поиск по DNS, пинг.
who.is, DomainDossier, whois.domaintools — поиск по регистрационным данным и Whois.
DNSDumpster — инструмент для исследования доменов, который может обнаруживать хосты, связанные с доменом.
ip-neighbors — определяет местоположение сервера, и имена хостов, которые делят с ним IP-адрес.
ShowMyIP — массовый поиск IP-адресов, позволяет проверять до 100 IP-адресов одновременно. Выдачу можно загрузить сохранить в .csv-файл.
MX Toolbox — еще один многофункциональный инструмент, позволяющий искать по доменному имени, IP-адресу или имени хоста.
DNSViz — это набор инструментов для анализа и визуализации системы доменных имен. Имеет открытый исходный код.
infosniper, ip2geolocation, ip2location, ipfingerprints, whoismind — поисковики, которые позволяют найти приблизительное географическое местоположение IP-адреса, а также другую полезную информацию, включая интернет-провайдера, часовой пояс, код города и т. д.
webmeup, openlinkprofiler, Meet Link Explorer — поиск по обратным ссылкам.
RapidDNS — инструмент для DNS-запросов, который упрощает поиск поддоменов или сайтов с одним и тем же IP-адресом.
CTSearch, crt — поиск по SSL/TLS сертификатам, выпущенным для конкретного домена.
Утилиты
IVRE — фреймворк для сетевой разведки. Альтернатива Shodan, ZoomEye, Censys и GreyNoise.
OWASP Amass — сетевой сканер с функцией поиска информации в открытых источниках. Агрегирует информацию из десятков различных поисковых систем и баз данных.
Infoooze — инструмент OSINT на базе NodeJs. Объединяет в себе сканер портов и поддоменов, поиск DNS-поиск URL-сканер, поиск в Whois и еще ряд инструментов.
Automater — утилита для поиска URL, IP-адресов и хешей MD5, предназначенная для упрощения работы ИБ-аналитиков. Установлена в Kali Linux по умолчанию.
Raccoon — инструмент, созданный для разведки и сбора информации с упором на простоту. Использует Nmap для сканирования портов и ряд пассивных методов поиска данных, чтобы собрать всестороннюю информацию о цели.
Mitaka — предназначена для поиска IP-адресов, MD5, ASN и биткойн-адресов.
Photon — сканер для работы с информаций из открытых источников. Предназначен для сканирования конкретных веб-сайтов в поисках (pdf, png, xml и т. д.), ключей, поддоменов и многого другого. Экспортирует полученные данные в JSON.
AttackSurfaceMapper — сканер с функциями поиска по открытым источникам. Ищет поддомены и связанные с ними IP-адреса.
HostHunter — использует методы разведки по открытым источникам для сопоставления IP-адресов с именами хостов. Выгружает результаты поиска в CSV или TXT-файлы.
Subfinder — модульный инструмент для обнаружения поддоменов при помощи методов пассивной разведки. Предназначен для багхантеров и пентестеров.
Sublist3r — предназначен для поиска поддоменов с использованием OSINT.
WASP Amass — выполняет сетевое картирование при помощи информации из открытых источников.
Anubis — еще одна утилита для обнаружения поддоменов и сбора информации о них из открытых источников.
DOME — скрипт python, выполняющий активное и/или пассивное сканирование для получения поддоменов и поиска открытых портов.
Belati — инструмент для сбора общедоступных данных и документов с веб-сайтов Вдохновлен Foca и Datasploit.
Поиск данных об уязвимостях и индикаторов компрометации
Онлайн-сервисы
MITRE CVE — поисковик, база данных и общепринятый классификатор уязвимостей.
NIST NVD — поиск по официальной американской правительственной базе данных об уязвимостях.
GitHub Advisory Database — база данных уязвимостей, включающая CVE и рекомендации по безопасности.
CVEDetails, osv.dev, VulDB, maltiverse — еще ряд источников данных об уязвимостях и индикаторах компрометации.
opencve.io — поисковик CVE со встроенными оповещениями о новых угрозах.
security.snyk.io и Mend Vulnerability Database, Vulncode-DB — базы данных уязвимостей с открытым исходным кодом.
Cloudvulndb — проект, который аккумулирует уязвимости и проблемы безопасности поставщиков облачных услуг.
Vulnerability Database — система для поиска информации об актуальных угрозах.
Rapid7 - DB — база данных, которая содержит детали более чем 180 тыс. уязвимостей и 4 тыс. эксплойтов. Все эксплойты включены в Metasploit.
Exploit DB — CVE-совместимый архив общедоступных эксплойтов и уязвимого программного обеспечения.
sploitus — поисковик по эксплойтам и хакерским инструментам.
Поиск по исходному коду
Онлайн-сервисы
Searchcode — поиск реальных примеров функций, API и библиотек на 243 языках в GitHub, GitLab, Bitbucket, GoogleCode и других хранилищах исходного кода.
Sourcegraph — быстрый и функциональный поисковик по open-source репозиториям. Имеет selfhosted-версию.
HotExamples — поиск примеров кода open-source проект. Позволяет увидеть на одной странице примеры использования того или иного класса или метода из нескольких проектов.
Libraries.io — поиск по 4 690 628 пакетам в 32 пакетных менеджерах.
RepoSearch — поиск исходного кода в репозиториях SVN и GitHub.
grep.app — поиск по содержимому Git. Полезен для поиска строк, связанных с уязвимостями индикаторами компрометации и вредоносными программами.
Search from Cyber_detective — поиск в 20 репозиториях с открытым исходным кодом при помощи дорков.
PublicWWW — позволяет найти любой буквенно-цифровой фрагмент, в том числе куски HTML, JavaScript, CSS-кода в коде веб-страниц.
NerdyData — поиск веб-сайтов, использующих определенные технологии.
Утилиты
Gitrob — инструмент, помогающий находить потенциально конфиденциальные файлы, помещенные в общедоступные репозитории на Github. Клонирует репозиторий, перебирает историю коммитов, помечает подозрительные файлы и выводит результаты в веб-интерфейс.
Github Dorks — утилита для поиска с использованием дорков через GitHub Search API. Написан на Python.
gitGraber — инструмент для мониторинга GitHub и оперативного поиска конфиденциальных данных, например, кредов от Google, Amazon (AWS), Paypal, Github, Mailgun, Facebook, Twitter, Heroku, Stripe, Twilio.
github-search — коллекция консольных инструментов для исследования Github.
TheScrapper — предназначен для поиска адресов электронной почты и учетных записей социальных сетей в исходном коде веб-сайта.
