Известный специалист по безопасности Трой Хант уже несколько лет поддерживает сайт Have I Been Pwned (HIBP) с миллионами записей об украденных аккаунтов. Каждый может проверить там свой email на предмет утечки. Трой Хант следит за хакерскими форумами, покупает базы данных, которые выставляют на продажу, иногда эти базы присылают ему бесплатно. Но он никогда не видел, чтобы на продажу выставляли такую огромную базу, как нынешняя Коллекция № 1 (Collection #1).
Гигантский архив содержит 2 692 818 238 записей с адресами электронной почты и паролями.
Хант раздобыл базу и провёл анализ, хотя её огромный размер вызвал определённые технические трудности из-за превышения 32-битного значения.
Трой говорит, что скачал архив с файлообменника Mega. Несколько информаторов оперативно прислали ему ссылку на файл, но вскоре его удалили с хостинга. В архиве оказалось более 12 000 отдельных файлов общим размером более 87 ГБ. Ссылка была опубликована на одном из хакерских форумов вместе со скриншотов, подтверждающим содержимое архива. Вот полный список файлов.
На скриншоте можно заметить, что корневая папка называется Collection #1. По списку файлов можно получить некоторое представление об источниках информации (itotal.ru, ineedtutor.ru. kazachok.com и так далее).
Сообщение на форуме упоминало «коллекцию более 2000 дехешированных баз данных и комбинаций по темам» и список из 2890 файлов в архиве.
Пока рано говорить о том, насколько достоверная информация содержится в новой базе. Однако Трой Хант нашёл там свой адрес электронной почты и пароль, который использовал много лет назад. «К счастью, — говорит он, — эти пароли больше не используются, но я всё ещё испытываю чувство тревоги, когда вижу их снова. В результате утечки несколько лет назад были скопированы парольные хеши, но в этой базе содержатся дехешированные пароли, которые взломаны и преобразованы обратно в обычный текст».
База составлена из множества различных отдельных утечек — буквально из тысяч источников. Всего в ней 1 160 253 228 уникальных комбинаций адресов электронной почты и паролей. Это при обработке паролей с учётом регистра и адресов электронной почты без учёта регистра. Трой Хант отмечает, что в этом объёме есть определённое количество мусора, потому что хакеры не всегда аккуратно форматируют свои дампы для удобной обработки (сочетание различных типов разделителей, включая двоеточия, точки с запятой, а также сочетание различных типов файлов, таких как текстовые файлы с разделителями, файлы, содержащие операторы SQL и другие сжатые архивы).
Новых адресов электронной почты в базе 772 904 991. Все данные уже загружены на сайт и доступны для поиска. Это крупнейшее обновление в истории HIBP.
Обнаружено также 21 222 975 уникальных паролей (то есть сочетаний электронной почты и паролей). Как и в случае с адресами электронной почты, эта цифра получена после применения множества правил, чтобы максимально очистить базу от дубликатов, насколько это возможно, включая удаление паролей в хэшированной форме, игнор строк с управляющими символами и фрагментами операторов SQL и т. д. После добавления новых данных общее количество уникальных записей в базе сайта выросло до 551 509 767.
Трой Хант признаётся, что после обработки этой базы на облачном хостинге ему предстоит неприятный разговор с женой по финансовому вопросу.
Проверить свой email можно прямо на сайте, а также через API или сервис Firefox Monitor. Это инструмент создаёт хеш SHA-1 для введённого в форму почтового адреса и сверяется с базой HIBP, используя первые шесть цифр. Например, test@example.com превращается в 567159D622FFBB50B11B0EFD307BE358624A26EE, и отсюда используется только 567159. В ответ агрегатор утечек «отдаёт» возможные совпадения, если таковые имеются. При этом email-адрес не передаётся в сколь-нибудь очевидной форме. Затем Firefox Monitor осуществляет поиск по полному хешу. Если совпадения найдены, пользователю сообщают, какие именно утечки данных затронули его данные, а также настоятельно порекомендуют сменить пароли.
