Comments 34
Словил парочку флшбэков. Плюсанул. Мира всем!
А как они ZFS уничтожили на TrueNAS то? Оно же на железном сервере было, а не в виртуалке.
Пароль сервисного аккаунта везде одинаков был?
Несколько лет назад был в похожей ситуации. Зашифровали почти все. Об ИБ тогда никто не думал к сожалению. После атаки что то получилось восстановить что то нет.
Многое было потом было переделано. И работая в офисе, в серверной завел офлайн бекап сервер - копировал на него все самое ценное и выключал до следующей среды или пятницы.
ага, т.е. ваша контора генерит важные данные только по средам и пятницам, а по остальным дням всякое барахло, которое не нужно бэкапить?
или rpo у вас неделя? а как тогда контора бабки зарабатывает, если может неделю без инфры прожить)
Забавно, у нас в одной конторе был внешний жесткий, который подключался один раз в неделю для лишнего бекапа, затем главбух его отключала и уносила. И именно в момент взлома оказалось что диск остался подключенным))
Спасибо. Читал как детектив.
Вопросы:
1 Почему после всего произошедшего остались на vmware esxi и не перешли на открытое ПО - теже proxmox ve, xcp-ng? Циску-то вы сменили на opnsense.
У pve есть pbs для быстрых инкрементных бэкапов с проверкой целостности + репликация хранилища, есть pdm, к-ый позволяет реплицировать ноды без создания кластера и прекрасный pulse для централизованного мониторинга https://github.com/rcourtman/pulse
2 Truenas умеет в репликацию, если что. И да, надеюсь у вас версия truenas scale, т.к. версия на freebsd в этом году EOL.
Вы в самом начале статьи говорите, что вам не важно, как вообще это произошло. Но это и есть самое главное, что нужно найти, понять и пофиксить. Никакие усложнения в ИБ не сработают, если у вас нет 2-го фактора для сервисного аккаунта с доступом извне, открывающего админский доступ до всей инфраструктуре. Все остальное - О малое и больше касается best practice.
У Veeam есть встроенная функция тестирования бэкапов на консистентность.
Включение/выключение внешнего жесткого диска с розеткой вам в итоге развалит диск и вы просто не узнаете о его кончине. Вам все равно нужно мониторить состояние такого бэкапа.
Антивирусы вам не помогут, к сожалению, предотвратить подобное - они потом скажут - ага, нашел! Есть методы анализа дисковой активности при старте подобного шифрования - я бы смотрел в эту сторону.
Ничего не скажу про лицензионность / техподдержку всего, на что вы перешли=)) Сам пока не особо понимаю, куда смотреть из Vmware
я даже пароль от акка восстановил и потрачу свой бесплатный комент на эту простыню)
по тексту
Штош, придется ехать в серверную и смотреть на месте
а не должно такого быть. админ должен подключиться всегда удаленно, если есть интернет, особенно если он один такой на конторе. вплоть до белых адресов без впна. пока ты катаешься туда-сюда вирус работал.
Какой-то момент я стоял и тупо смотрел на этот файл.
а надо сразу гасить все серваки и рубить сеть
Нас взломали
1 не нас, а вас
2 не взломали, а зашифровали с точкой входа на терминальнике. обратная сторона медали работы с тонкими клиентами. поэтому терминальников надо делать несколько. ну и вопрос как юзер смог это на терминальнике запустить...
Железо хорошее, но древнее, как и все ПО, возрастом примерно 10 лет
которое никто не поменял за это время, ни предыдущие админы, ни ты. да и не в железе дело, а в том кто и как им пользуется
Был составлен план по модернизации и, после разговора с руководством доводы приняли, выделили бюджет на следующий год, но, к сожалению, не успели
дадада, конечно) ты б еще на пятилетку это дело отложил
За полгода до инцидента была взломана наша материнская компания
и никто не сделал выводов. когда сдэк ломанули, то мы в отделе уже на след день провели совещание, и я почти сразу же приступил к допиливанию бэкап инфраструктуры с лишней проверкой всего)
и это, материнская компания, она что, никак не руководила айтишными процессами у тебя в конторе? впервые о таком слышу. обычно главные админы сидят в головном офисе, а на место нанимают эникея, вроде тебя
Первым делом выдергиваю сетевой шнурок из циски и физически гашу все сервера
нееее, первым делом ты тупишь, вместо того чтобы сделать это удаленно, прешься в офис, пялишься там на файл, а только потом дергаешь
Тем временем звонков становится все больше: все филиалы не работают, нет интернета и связи с серверами, у всех зашифрованы файлы на декстопах
что говорит о том, что системы оповещения юзеров в виде бегунка у тебя нет, помощников на которых это можно скинуть нет, а значит контора уровня 3 менеджера на 2 стола.
Главные активы: шара 4ТБ, около 10 1С SQL баз объемом в 1ТБ, профили юзеров RDP еще около 5ТБ, почта Exchange примерно 500ГБ
это вообще ни о чем. на переносной диск влезет) что только подтверждает теорию о мелкой конторе
Гипервизоры работоспособны, но VM выключены, а их образы зашифрованы
ага, это ща модно так делать, когда у тебя инфра кривая. дай угадаю - у тебя гипервизоры в той же сети что и операционки виртуалок?
Делались они по схеме 3-2-1:
что является самым минимумом в ситуациях, когда контора зависит от инфры. у меня у одного клиента 1с базы имеют 6, ШЕСТЬ!, копий, включая слив в амазон. и то я подумываю над еще одной копией.
Виноват ли я в том, что просрал проверку бэкапов? Безусловно виноват и еще как. Вроде не первый год в IT, но наступил на классические грабли. В условиях ограниченных ресурсов и времени ошибки неизбежны
ну хоть не отрицаешь, что это ты дурак, но не надо съезжать на ограниченные ресурсы и время. когда ты один админ на конторе, ты управляешь своим временем и никто больше. и даже имея ограниченные ресурсы можно сделать все максимально правильно.
Ты понимаешь, что от тебя зависит работа многих человек, они надеются, на кону стоят тысячи человеко-часов, благополучие людей и их семей
какой однако гуманист. твоя ж стоит на кону, потому что тебе за это все отвечать. тебе одному, больше никого нет)
Сразу обозначу, что выплата выкупа единогласно была отвергнута. Может, как последняя и крайняя мера, но в слух эти мысли никто не озвучивал, потому что с террористами и тридварасами переговоры не ведем
ну если ты как контора зарабатываешь биткоин в год, то да, лучше неделю помучаться. а если ты зарабатываешь биткоин в день, то простой инфры тебе дорого обойдется и лучше заплатить. но откуда это знать админу конторы на пяток человек - он таких бабок никогда не видел)
Скорее поверю в фишинговое письмо или брутфорс хэша пароля из конфига дырявой циски, да это и не важно. Векторов атаки масса и мне в принципе не интересно как
правильно, зачем разбираться в причинах и закрывать дыру. пусть будет, вдруг пригодится еще кому)
Стало ясно, что необходимо попытаться восстановить его во что бы то ни стало
вместо того, чтобы стартануть пусть старую, но 100% рабочую инфру, ты тратишь время на исправление своих косяков (интересно а ты сказал руководству, что это твой проеб по всем фронтам или съехал на юзеров открывших батник на терминальнике?))
помню еще когда учился на курсах по эксченджу, то препод там задал вопрос "у вас упал почтарь, база не работает. нужно восстанавливать из бэкапа, база несколько терабайт. ваши действия?" ну и там начали предлагать гениальные идеи типа "сообщить всем что почта не будет работать три дня". на что препод сказал "вы дебилы? нужно сделать пустую базу, чтобы почта пошла и юзеры смогли с ней работать, а потом уже восстанавливать и подкидывать восстановленное в эту новую базу. ваша задача обеспечить работу предприятия, а не в циферки пялиться"
Ни один я такой лох!
ну во-первых НЕ, во-вторых да, ты такой не один)
Veeam в зависимости от типа делает бэкапы в своих проприетарных форматах. Это может быть vbm, vbk, vib или vstore в случае с smb. Первые три замечательно импортируются через Backup & Replication console, а вот четвертый не будет работать без конфига сервера VB&R, а именно – файла .bco
все чуточку посложнее, парень, об этом ты узнаешь чуть позже
С некоторыми оговорками мне удалось восстановить почти 100% данных
ура, повезло, не надо на бутылку садиться) но скл-базе пофигу, что ты ее восстановил на 99%, она не будет работать, о чем вероятно мы узнаем ниже
А тем временем взламывают Аэрофлот
чел, там недели прошли между взломами, ты все это время ковырялся с восстановлением??
Бывает со всеми, даже с такими крупными и обеспеченными ребятами
ага, таких дураков везде насыпано
Расчехляю свои связи, пускаю сарафанное радио и выхожу на вендора
связи есть, а мозгов, чтобы сеть закрыть нет. обычное дело) и куда ты там выходил, в софтлайн позвонил в отдел продаж?)
начинает валиться подобное: SQL Server detected a logical consistency-based I/O error
а чего ты ожидал, восстанавливая базу с црц ошибками?))) кстати, вот мы и узнали
База все так же указывала на потерю консистентности
да ну, и как же ты это понял?))
В синглмоде запустил конфигуратор, после чего выполнил проверку информационной базы, конфигурации и экспорт в .dt. Все процедуры отработали на удивление штатно, хоть и выплюнули кучу ошибок
показатель того, что ты не знаешь, о том как работать с 1с базами) на курсы, чтоль сходи. хотя часто встречаю людей, которые сторонятся 1с и погружения в эту кухню. в рф, где 1с в каждой первой конторе...
База оказалось живой и после проверки сотрудниками была признана работоспособной. С ней потом еще пару раз случались проблемы, но непонятно с чем конкретно они были связаны я тоже разбираться уже не стал, да упокой ее душу.
ну конечно, оно же запускается, а то что база битая и кривая, то это уже не мои проблемы, это 1с виновата. и вообще пусть юзеры мучаются, а не я. и не я все сломал тут.
Были понесены серьезные убытки
тобой тоже?) ни слова об этом по всему тексту
все было отправлено в утиль и организованно с нуля
сомнительно, но ок
Полный отказ от Cisco и другой проприетарщины , вместо них маршрутизаторы на opnsense
перефразируя известную цитату - на хе ра?) или ты на откате у манагеров наклеильщиков шильдиков?
Максимальная изоляция как изнутри, так и извне, жесткое ограничение доступа к серверам и шлюзам. Любые внешние ресурсы с минимальным необходимым функционалом и за reverse proxy.
то, с чего надо было начинать, как только ты приходишь на любую контору, ты делаешь когда все полетело
Минимальное использование AD. Посидев и подумав, я понял, что повсеместное использование домена в моем кейсе - это не необходимость, но блажь. Управлять, безусловно, удобнее, но какой ценой?
ну, если не знаешь, как это работает, то да, лучше не использовать) локальные учетки на десятке серверов наше все. а эксч интересно ты как без домена запустишь?) ааа, тоже на опенсорсе чето поднимешь? про это тоже ни слова
Постоянный мониторинг свежих уязвимостей и эксплоитов. Обязательные регулярные патчи безопасности на всех серверах и маршрутизаторах
т.е. штатная работа админа небольшой конторы, когда нет ибешника и эникеев? а до этого ты чем занимался?)
Только за этот год я успел пропатчить 2 критические уязвимости MS (RDP и офис) и по одной для Veeam и ESXi.
целых две? уау)
Для бэкапов была пересмотрена политика мониторинга. На стример денег не дали
ага, т.е. выводов контора не сделала, значит не так много потеряла, раз стример дороже потерь. и причем тут мониторинг до бабла? мониторинг это отправка уведомление на почту и в тг, на это бабки не нужны, но даже этого у тебя не было.
добавился дополнительный внешний жесткий диск, подключающийся напрямую к серверу. Питание подается через умную розетку. Во время еженедельного бэкапа диск включается, после выключается. Примитивно, но от автоматических атак вполне должно помочь.
и админом выводов тоже не сделано, раз городит костыли, вместо того, чтобы организовать еще одну оффсайт точку с нормальным мониторингом и проверкой восстановления, особенно полагаясь на умную розетку с доступом через интернет)) как будто розетки не ломают...
В будущем есть мысль подключения какого-нить интеллектуального решения для мониторинга именно ransomware атак.
уволиться и пойти в яндекс-такси?)
то мне повезло. Очень повезло. Разрулил чисто на упрямстве, опыте, удаче и безысходности.
и на страхе сесть на бутылку, если контора узнает, что виновник всего этого ты, будь честным с хабром
не важно, сколько у тебя бэкапов. Важна организация хранения и регулярная проверка целостности.
после стольких лет и положенной инфры ты это понял
При всех панических настроениях и вбросах аэрофлот поднялся за 1 день.
сказал, что поднялся за 1 день. это разные вещи) как в анекдоте "доктор, мне и соседу 70 лет, он говорит что занимается сексом с женщинами каждый день. ну так и вы говорите". доказывать это аэрофлоту не было необходимости.
кто-то банкротится и закрывается навсегда, как та британская логистическая контора с вековой историей.
потому что закрыться выгоднее - под это списать можно много чего. ты не знаешь в чем личная выгода для владельца бизнеса. может ему это надоело и он хочет получить страховые бабки и не заниматься бизнесом, а государство ему не даст просто так закрыться, да еще платить кучу всего всем надо будет. если что то происходит, значит это кому то выгодно.
никогда не экономьте на инфраструктуре и ИБ. Это касается и владельцев бизнеса и админов
а новую тачку директору тогда откуда брать, если он прибыль на иб будет спускать?)
важность IT. Сегодня часто это вообще костяк вашего бизнеса.
а продажники говорят, что это они самые главные)
Задача вторых – не бояться и уметь продавливать свое мнение, правильные решения и бюджеты.
что ж ты не продавил и согласился ждать целый год? и не сделал правильное решение по изоляции бэкап сети.
Ни один уважающий себя специалист не станет работать с инфраструктурой из говна и палок
ну ты ж согласился)
Поначалу любое происшествие кажется неисправимой катастрофой, но глаза боятся, а руки делают.
это если у тебя нет плана, как поступать в этой ситуации, т.е. ты заранее ее не продумывал и не подготавливал сценарии восстановления и не просчитывал время всего этого, т.е. не подходил по-взрослому. все меняется когда тебе надо обеспечить работоспособность 99,99 в год.
это был один из самых тяжелых и напряжных периодов в моей профессиональной карьере
обычное шифрование самое тяжелое? что ж будет когда ты столкнешься с реальным проблемами))
Классный комментарий... И не лень же было писать с нулевой ценностью :)
не люблю, когда собственные косячные действия публично преподносятся под соусом героизма - "смотрите, я превозмог все трудности (которые сам же и создал)"
НЯП бывают всё же "типа-умные" розетки с недельным циклом и безо всяких этих ваших энторнедов, просто вкл-выкл, выставляемое кнопками на ней.же, или блютусом.
ох уж этот современный мир) про нормальные аппаратно-механические решения я уже и забыл, хотя 10+лет назад юзал бывало, причем именно такие как на картинке, с указанием периодов работы.
да, такое решение я бы и сам использовал в принципе, с пониманием риска что это неуправляемо удаленно. но у меня сомнения, что речь в тексте именно о таких)
пока ты катаешься туда-сюда вирус работал.
строго говоря, если логин был в 22:30 а звонки пошли в 8 утра, то лишний час погоды не сделает, всё там давно поломалось.
ну и вопрос как юзер смог это на терминальнике запустить...
не юзер, а админ (" логин с сервисного акка админа AD, который использовался для различных нужд, в том числе для авторизации по VPN через AD"), причем сразу доменный. Даже при дефолтно настроенных SRP (а были ли они там?) админам обычно "всё можно". Ну и из антивируса один дефендер - тоже флаг, он хорош только KMS-эмуляторы ловить, а скрипт на павершелле пропустит молча. Дальше скорее всего HV sandbox escape прошел, который с месяц назад афишировали, на который вроде даже админ на ВМ не требуется.
у тебя гипервизоры в той же сети что и операционки виртуалок?
возможно, особенно если ssh включен на них к тому же - а что, типа? Но если там был CVE-2025-22225, то это не спасает.
что ж будет когда ты столкнешься с реальным проблемами
а он до них не доживет, или если то, что вы называете "реальными", стукнет, он либо будет не там, либо давно свалит, и не будет иметь такой ответственности, чтобы разруливать эти проблемы в одного. Ну и шифрование серверной инфраструктуры вместе с расхреначиванием бэкапов - достаточно реальная проблема, чтобы поставить крест больше, чем только на авторе этого опуса.
строго говоря
технически да, в этой ситуации так, но тут важно то у админа нет заранее заготовленной "руки, дергающей все провода". коллеги рассказывали про случай, когда с утра юзеры звонят и говорят что "чето не работает", админ местный не понимал что происходит, потом через пару часов директор позвонил знакомому админу, тот созвонился с офисным, задал пару вопросов и говорит "прямо сейчас выключай серваки" - "ты че, там же юзеры работают" - "ты дурак, похер на юзеров, выключай, у тебя данные шифруются сейчас". потом этот админ приехал, дал пенделя офисному, стер все порушенное, восстановил из бэкапа. а все почему? потому что этот знакомый уже поел хлеба с говном и знал как настраивать инфраструктуру, т.е. он и настраивал этот офис. а на полной зп его было дорого держать)
админ (" логин с сервисного акка админа AD, который использовался для различных нужд, в том числе для авторизации по VPN через AD"), причем сразу доменный.
пропустил этот момент, тогда все еще печальнее.
Дальше скорее всего HV sandbox escape прошел, который с месяц назад афишировали,
ну автор довольно точно обозначил сроки, тогда такого чуда еще могло не быть
Насладился токсичностью комментария, аж противно стало, хочу ещё 😅
+1 в рейтинг и в карму, не пониманию, почему ушли в минус. Советую обработать этот комментарий в статью, карму исправит и информация не потеряется
спасибо за отзыв, но я хаброчитатель отдельных статей уже давно.
в минус/ноль уходил, потому что "мнение редакции может не совпадать с мнением автора") а я не привык ходить строем в интернете и тем более стараться угодить нонеймам, просто чтобы иметь возможность писать не раз в час. я думаю по стилистике комента заметно, и то это я его еще пригладил, зная как тут могут реагировать на безобидные на мой взгляд вещи (вон ниже как раз пример этого - я мерзкий только потому, что называю вещи своими именами с долей сарказма, чем задеваю тонкую натуру)
Боже, какой вы мерзкий и самодовольный
Четыре года молчали!
Видел этот псто с двумя комментами и сразу же забэкапил на отчуждаемый носитель, такое саморазоблачение редко увидишь.
Babuk ransomware (я всю историю называл его бабадуком по ассоциации с дебильным фильмом ужасов). Шифрует все стойким алгоритмом ChaCha20. Через сервис https://id-ransomware.malwarehunterteam.com после загрузки зашифрованного файла и письма диагноз MB подтверждается. В открытом доступе ключей не обнаружено, расшифровка невозможна. Но так как атака была проведена, скорее всего, без участия живой силы, то теплится надежда вытащить хоть какие-то данные.
Babuk шифрует только начало виртуального диска. В ряде случаев диск C: виртуальной машины либо начинается в незашифрованной области (т. е. данные, считай, не тронуты), либо зашифровано лишь начало файловой системы (а это, главным образом, заголовок, бекап которого есть в конце раздела, и индексы директорий, которые из $MFT можно восстановить).
Ряд пострадавших вообще "спасают" кучу данных через chkdsk (разумеется, запускать в отношении копии виртуального диска, а не оригинала).
Хуже, если внутри виртуальной машины поработал другой шифровальщик.
После взлома DARPA (Пентагон) в 90-е эксплойтом из 80-х они ввели правило каждые 4 года менять все оборудование. Разумное решение.
У богатых свои причуды.
Когда их поразил червь Морриса, зараженные компы почистили и обновили. А один не пострадавший сан спустя почти 10 лет поставили гейтом, с такой нагрузкой это старье способно справиться - не выкидывать же добро, военные используют все пока можно.
Взломан одним из эксплойтов того червя, только доработанным для спарка. Доэкономились.
Это триггернуло Operation Eligible Receiver 97 - и хакеры АНБ поломали все публичными эксплойтами. В результате разработали и навязали всем свое видение кибербезопасности, чем только хуже сделали.
Много лет спустя дарпу опять хитровыдуманно взломали, чтобы получить доступ к серверу АНБ. Оказалось, что они под контролем ЦРУ, а не АНБ. Против целенаправленного взлома свежий софт на новом железе не спасет (с их любимой виндой тем более), но с какой-то древностью наверняка было бы проще.
Может кто-нибудь сможет объяснить, а почему сейчас (лет наверное 10-15 назад у меня такое настроено точно было) нельзя настроить бекапному аккаунту пермишны - разрешёно write (возможно read), запрещено delete, modify. И останется главное чтоб бекапы проверялись, что они есть (мы же проверку корректности делаем после создания).
нельзя настроить бекапному аккаунту пермишны
потому что тот же вим (де факто стандарт отрасли в области виртуализации) и пишет и читает и модифицирует и удаляет при работе с хдд. только запись возможна на ворм ленты, что учтено в самом ПО.
правильный вопрос в таких ситуациях - почему из сети продакшена можно попасть в сеть менеджмента/бэкап и на остальное оборудование, не имеющее к терминальнику (в данном случае) и к юзерам никакого отношения. если контора зависит от серверов/сервисов, то делается отдельная сеть вплоть до физического разделения на уровне проводов и железа, с оффсайт бэкапом в 1-2-эн удаленных мест без прямого постоянного канала связи.
И останется главное чтоб бекапы проверялись, что они есть (мы же проверку корректности делаем после создания).
нет, бэкапы мало проверять, что они есть и что црц сошелся. нужно физически восстановить из них машину/несколько машин/всю инфраструктуру и убедиться, что сервисы на этих машинах поднялись и работают. и делать так регулярно. а иначе как вы собираетесь rpo обеспечивать?
автор профакапил и организацию уведомлений и фактическую проверку работоспособности, за что заплатил огромной кучей времени, своего и конторы. про штрафы тактически умолчал видимо)
бэкапы мало проверять, что они есть и что црц сошелся.
Никогда так не делал (в смысле црц) для меня проверка это что из бекапа можно восстановить. Если можно, значит валидный, а црц и прочее конечно красиво и быстро но не гарантия (по крайней мере в те времена когда этим занимался).
потому что тот же вим (де факто стандарт отрасли в области виртуализации) и пишет и читает и модифицирует и удаляет при работе с хдд. только запись возможна на ворм ленты, что учтено в самом ПО.
Понял, спасибо. Занимался ещё без этого всего добра (вим и прочие стандарты виртуализации), потому не в курсе был.
Очень крутая статья. Эпичная. Я даже поставил себя на его место. Если бы была карма поставил бы плюс
Спасибо за флешбэки!)
Пару лет назад в новогодние зашифровали всю инфру у коллег. ИБ там и не пахло, потратил совместно с ними 4 дня на помощь в восстановлении. Чему их это научило - ровно ничему, так что, к сожалению, не все истории хорошо заканчиваются. Но данный опыт принял на заметку, теперь и Ваш приму.
Самое интересное, были ли какие-то учетки TrueNAS связаны с AD или совпадали пароли?
Иметь оффсайт бэкапы и не проверять их целый год это увольнение по статье в нормальной конторе. Бэкап Шредингера в чистом виде, пока не попробуешь восстановить, не узнаешь, жив он или нет
Помню, в одной небольшой конторке шифратор тоже поймали - так мне удалось выйти на его автора и уговорить поделиться ключом бесплатно. Товарищ был русский, и сказал, что та рассылка, откуда поймали шифратор, вообще не на Россию была направлена, поэтому он по доброте душевной ключ и выдал. Но это считай что чистое везение, что удалось так выкрутиться.
История одного Ransomware или как я спасал бизнес