Comments 85
Спасибо, Кэп. Это очень неожиданная и ценная информация.
Вообще непонятно каким образом в настоящий момент возможно "уничтожить инфраструктуру" пока у тебя есть бекапы на лентах хранящиеся вдали от любых устройств записи.
Понятное дело что в бекапах так-же могут лежать скрипты с отложенным запуском и на их поиск придётся потратить кучу времени, но именно поэтому восстановление и занимает не пару дней, а больше.
Сколько времени нужно на сброс пароля к свитчу и заливание бекапа? А на 1000 свитчей? А сервер? А 1000 серверов? Даже с копией это дикий гемор. При учёте, что она реально есть и не уничтожена с лент за несколько месяцев присутствия хакеров в сети.
К счастью в случае работы с сотнями железок не обязательно использовать теже методы что и в случае с единичными устройствами.
Самым эффективным методом будет подготовка новых базовых образов для всех типов железа, которые будут заливать на них условные студенты, которые легко масштабируются, а уже потом имея удалённый доступ на них заливается нужный бекап в соответствии с их адресом(а лучше серийником).
Другой вопрос что нет смысла не глядя заливать скомпроментированные копии и вероятно придётся помещать всё это добро в изолированную DMZ, а снаружи параллельно строить новую доверенную инфраструктуру.
Вы говорите с позиции настройки нового оборудования. А тут уже кем-то настроенное. И сброс там далеко не всегда лёгкая процедура. Туда добавляем проблему лицензирования. Потому что часть оборудования была настроена до 2022 и была в активированном состоянии, а теперь сделать то же самое уже нельзя.
Ох, вот это вы в самую мякотку. Да и без санкций, в таких конторах с наплевательским отношением к Ит, есть куча устаревшего по, лицензий привязанных к физическому оборудованию и прочего барахла.
Даже в условиях "до санкций" - развернутая и отлицензированная на виртуальной машине прикладная система запросто могла быть привязана лицензиями к UUID виртуалки.
В зависимости от процедуры восстановления - этот UUID мог сохраниться, а мог и новым оказаться.
Я имел как-то сомнительное удовольствие доказывать тех.поддрежке CIsco, что нам надо выдать новый комплект лицензий на только что закупленный Cisco CUCM со всеми его сопутствующими смежными софтинами (ну вот так ловко смежники махнули рукой и поплыли лебеди полетели виртуалки :)
Было такое с 1с-ками на thin provisioned харде. Размер диска поменялся, и лицензии до свидания
Это знакомо и это плохо, но нет ничего хуже хуже, чем физическая плата шифрования, воткнутая в уже несуществующий на современных серверах com-порт. Сервер (архив кадровой информации) сдох и хотя бекапы были - прочитать их без этой платы было невозможно. Повезло, что вендор еще существовал и согласился помочь.
заливать на них условные студенты, которые легко масштабируются
вот им щас только студентов без проверки СБ масштабировать. А если всех нормально будут проверять, то вся потенциальная выгода от "масштабирования" испарится
Ничего не знаю про Аэрофлот, но если пофантазировать про абстрактный кейс, то можно. Кстати, это называется dr-план и его никто не делает. Пишут планы на одну систему, но не на инфраструктуру в целом, потому что сложно и лень, и надо обсуждать между разными стейкхолдерами.
Итак, у нас мертвая инфраструктура. Для простоты задачи предположим, что сеть работает. С чего начнем? С домена и dns? А у нас виртуальные домен-контроллеры. С восстановления гипервизора? Нужна СРК, срк на виртуалке. Восстанавливаем срк на первый попавшийся bare metal и начинаем раскатывать бекап, нет не начинаем. Самобекап старый, надо перечитывать хранилище. Встретимся через сутки. Теперь начнем создавать виртуалки. Кто знает пароль от vcenter? Раньше он был в keepass на уничтоженной файловой шаре…
Там куча подводных камней. Множество ручных этапов, отнимающих время и хранящихся в одной голове. Хронически не делают бекапы небольших но важных частей. Постоянно люди хранят важные данные там, где их быть не должно (типа бизнес данные на сервере приложений, который не бекапится). Никогда никто реально не проверяет бекапы. Часто никто не знает, как восстановить систему, и даже если бекап в наличии, то там все надо поднимать руками. Да банально, что лента что современный deduplication backup appliance, они не такие быстрые. А если в аэрофлоте экономили то там какой-нибудь lto-5 с двумя стримерами и скорость будет два терабайта в час в хорошую погоду.
Боже как я люблю энтерпрайз, а не эти все ванильные облака. Написал, как говна ложку съел, но самое страшное - хочу туда.
хорошо сказал)
Множество ручных этапов, отнимающих время и хранящихся в одной голове.
Вот это для меня самое интересное. Восстанавливать должны те же люди, кому, судя по статье, будет грозить статья, когда все закончится. Они уже пересекают границу через степи Казахстана, или думают, что пронесёт ?
Ну я бы на месте ответственных за безопасность бежал бы. Точно посадят за халатность, а то и инсайдера искать начнут и окажешься соучастником.
У них же семья, квартира, ИТ-ипотека, бронь от мобилизации...
Куда тут бежать)))
А как они могли проверить человеческий фактор, который, скорее всего, был не в виде одного человека? Каждый день таскать на детектор лжи и поставить логгеры на личные устройства?
Тем более, что за несколько лет можно было дослужиться и до должности, которой не скажешь такого
а не эти все ванильные облака.
точно то же самое, просто за ширмой API и WEB-морды — как говорится "there's no cloud, it's someone's else computers"
аааааааа, ржал с последнего предложения, я сам такой же извращенец )))))
Там куча подводных камней.
Особенно когда это все древнее, строилось годами слой за слоем "из палок и желудей", и никто уже толком не помнит, что есть какая-нибудь мелкая но важная мелочь, да и бэкапится где как -- где-то системами резервного копирования, а где-то какими-то старыми самописными bash-скриптами. Фактически в таком случае проще поднять все с нуля и мигрировать туда данные из бэкапов, если их удастся достать, чем восстанавливать как было. А чтобы инфраструктура хорошо восстанавливалась, она должна изначально проектироваться с учетом этого требования.
Я уже тут. Эти дни восстанавливаем хакнутого клиента (нет, не Аэрофлот). И это жопа. Никто ничего не знает. Конфиги утеряны, копии, а хотя какие копии...
У меня даже конфиг домашнего роутера в двух местах лежит, мало ли что. А тут...
Понятное дело что в бекапах так-же могут лежать скрипты с отложенным запуском и на их поиск придётся потратить кучу времени, но именно поэтому восстановление и занимает не пару дней, а больше.
И какая процедура получается с учетом того, что в бэкапах уже могут быть зловреды?
Явно ведь не "развернуть с ними, пусть все работает, постепенно ищем"?
Тогда как? Каждый бэкап разворачиваем на изолированной машине и тщательно ищем...?
Что именно ищем? Если в сеть проник условный вирус, его легко поискать по сигнатуре везде. Но здесь-то неизвестно что. И в данном случае, скорее всего, не что-то одно. Т.е. если в бэкапе отсутсвует вредонос1, это вовсе не значит, что его можно безопасно восстановить. Вдруг из этого бэкапа восстановитсчя вредонос2.
Поверять перед восстановлением каждый бэкап как с нуля, считая что там может быть "что-то новенькое"? "не пару дней, а больше" превратятся во многие месяцы.
По идее надо разворачивать ОС и ПО "с нуля", а из бэкапов доставать только конфиги. Но представьте, что речь о вашей персональной винде. Сколько усилий потребуется, чтобы на свежеустановленную винду восстановить все приложения с их настроечками даже имея под рукой бэкап?
Если изначально серверы конфигурировали ручками, безо всякого Infrastructure as a Code - это адская работа. Лучше, чем совсем без бэкапов, но все равно речь не просто о "побольше, чем пару дней".
Veeam умеет сканировать копии на вирусы. Как при создании, так и при разворачивании
Полагаю, если бы Veeam знал такие вирусы, они бы еще раньше чем-то поймались бы. Наверняка там куча всяких антивирусов стояла, но зеродеи - они коварные.
Ну так теперь можно обновить сигнатуры и тогда при распаковке всё отловит
Сигнатуры чего?
Я же пишу: если вы нашли один зловред в каком-то из бэкапов серверов, это не значит, что проблема решена. Вполне вероятно, что в других бэкапах (да и в этом тоже) есть и другие зловреды.
Т.е. фактически надо проанализировать все бэкапы. Ну или просто молиться, что полностью поняли картину заражения, нашли все зловреды, и больше никто в старых бэкапах не притаился.
Veeam уже пару лет, как не даёт продлить лицензии - если он там и был (с бессрочной лицензией), то весьма несвежей версии.
А стандартные файловые антивирусы типа касперского, веба и прости господи - дефендера, разве не отловят известного зловреда при распаковке или чтении файла для создания копии?
Поэтому нормальные люди бэкапят данные - отдельно, саморазворачивающуюся структуру - отдельно (вроде скриптов для Ansible), а то ,что руками собрано - отдельно. Тогда проверять на малварь придётся только последнее, а его должно быть по минимуму.
Рутуб так 3 дня лежал тоже затерли все и бэкапы тоже
Если они столько времени сидели в системе, то бекапы могут быть зашифрованы или туда попала откровенная или не очень чушь.
По сути придётся проверять каждую строку. Не только скрипты, но и саму инфу.
К примеру допустим есть позиции некоторых периодических закупок и если в бекапе в этих позициях поменяли деталь X1.3, на деталь на неподходящий аналог - деталь X1.1 , то можно попасть и на деньги и на безопасность.
Атака на Saudi Aramco (Shamoon, 2012) - несколько недель всё делали в ручную, а востанавливались месяцами.
А если бэкапов нет)))
Даже если так, думаю там сидели любители "работает - не трогай" с миллионом легаси систем на физических windows server
Вы описываете строгую развитую архитектуру. Но Аэрофлот, как и другие компании, совсем недавно перешёл на новую систему российской разработки. Не факт, что она была устойчивой к потере данных.
Как пример: постгрес требует устойчивой современной аутентификации (например, по SCRAM-SHA-256 ), со старыми клиентами с относительно слабой аутентификацией не работает вообще. При этом могут быть (и обычно есть) как раз старые клиенты или разработчики, не умеющие работать современно. Результат? Полное отключение проверок (например, trust), чтобы можно было работать. "Ну, пока, на первое время".
~s/пока/если/ ... ;)
И вообще судя по тому какого масштаба фэйл, раз даже в новостях говорят про всёпропало - то вбросами о страшных хакерах могут прикрывать свой косяк. Запустил трудолюбивый админ из дружественной индии в какой-нибудь высокоавтоматизированной среде типа ансибла rm -rf / и привет...
Неизменно умиляют такие гадания на кофейной гуще от посторонних граждан. Банальная разница в том,был ли это на самом деле взлом, или купили/внедрили кого-то для саботажа изнутри может означать разницу в дни и месяцы.
Как мы видим, рейсы Аэрофлота летают, ну а сколько времени займёт восстановление и что было причиной, поживём- увидим.
По мне так самое логичное сейчас это летать на чужой инфраструктуре, взаимодействие с аэропортами, топливо, расчеты и всё такое.
Думаю государство может "попросить" какую-нибудь авиакомпанию или несколько "помочь" в долг.
Это снизит репутационные потери.
Как мы видим, рейсы Аэрофлота летают
Мелкой компании, типа "АК Россия" выделяются гос.субсидии, из-за чего цены х0,75, например. Аэрофлот покупает эти места, а продает за фулл прайс. Профит! И летишь ты типа Аэрофлотом, регистрируешься на стойке Аэрофлота, а на самом деле перевозчик - "АК Россия". Аэрофлот сейчас закупит места у других АК, даже за фул прайс, и люди будут спокойно летать. Да, порой задержки будут, и иногда отмены, но коллапса не случится. И, кстати, это всем удобно: и пассажирам, и Аэрофлоту, и сторонним перевозчикам, потому что простой самолета без дела дорого выходит.
Среди причин получения хакерами доступа к инфраструктуре «Аэрофлота» мог быть недостаточный контроль доступа и внутренней безопасности
¯\_(ツ)_/¯
ТОТР - просто существует.
Да нахрена им что-то восстанавливать сейчас? Авиация всё равно стоит из-за "БПЛА" :)
Можно, например, обратиться за разрешением летать при закрытом небе. Ну или каждый раз запрашивать у ЗСУ однократную лицензию на полет по закрытой ими для полетов территории России. Не факт, конечно, что украинцы согласятся, но почему бы не попробовать. Собственно, этим и должны заниматься менеджеры Аэрофлота - пытаться договориться с Украиной, просить разрешения осуществлять полеты. /sarkazm
Звучит как : самое время просто все заново сделать, хоть в этот раз по уму, раз уж такая сиутация.
Так уже:
"Как «Аэрофлот» перешел на российское ПО и сократил втрое время вывода продуктов на рынок" сурс.
Скорее как : Мы по любому не сможем в ближайшее время обеспечить соблюдение графиков полетов, поэтому нам заранее нужна какая-то отмазка.
А что за цифры в 12 млн $ мелькают на восстановление?
Сейчас даже крипто Скам проекты за 12 млн $ никто не берется делать
Если и правда, что невесть кто у них внутри столько времени резвился, а заметили это только тогда, когда все рухнуло, то там, на мой взгляд, "всю систему надо менять" -- нанимать полностью новый штат и строить все с нуля. Поскольку нынешние явно профнепригодны или куплены в неизвестной пропорции.
Всегда забавно читать версии от людей «со стороны». Истинная причина — взлом или внутренний саботаж — может менять сроки восстановления на месяцы. А пока рейсы летают, выводы делать рано.
Жестоко палитесь: https://habr.com/ru/news/931890/comments/#comment_28631502
Скрины
Ваш:
Всегда забавно читать версии от людей «со стороны». Истинная причина — взлом или внутренний саботаж — может менять сроки восстановления на месяцы. А пока рейсы летают, выводы делать рано.
(Текст не изменять. Содержимое скобок удалить. Сделать скриншот отправленного сообщения. 1 комментарий - 30 рублей.)
Странно всё это, вроде бы уже давно наплевать на общественное мнение, враньё уже таких масштабов, что о правдоподобности и речи нет, а ботов натравливать не перестали по любой более-менее резонансной теме. Зачем всё это? Вряд ли хоть на кого-то оно ещё может подействовать, особенно в таком формате. Больше похоже на инстинкт - любое обсуждение нужно утопить в потоке лжи, а с рациональной точки зрения я такое объяснить не могу.
В Роскомнадзоре на настоящий момент не подтвердили инцидент с утечкой персональных данных
Сэр, сервера уничтожены, логов нет, подтвердить не можем
А какое сегодня число? Не может же быть сегодня первое апреля. Неужели дело серьёзное?
Авиакомпания "Аэрофлот" после сбоя информационных систем с 10:00 мск 29 июля вернулась к выполнению программы полетов по расписанию, сообщил авиаперевозчик. На 29 июля запланировано выполнение 93% рейсов из Москвы и обратно по изначальному расписанию.
Все, заправлены в планшеты космические карты. Расходимся.
Как человек, которому приходилось бекапить всего-то шесть терабайт данных в день могу сказать, что просто "нажал и работает" в бэкапах не существует.
Оно непонятно, что было записано на ленты, было-ли, целостно-ли это, и вообще что там забэкаплено. Может быть там просто содержимое диска D: на каждом сервере, потому что инженер в дветыщимахровом году сказал, что надо бэкапить именно D. А может быть там просто снэп файловой системы C: Ведь МССкюль стоит именно на нём. При таком состоянии службы ИБ, я глубоко сомневаюсь, что бэкапы будут в полной сохранности.
Далее, вы явно никогда не работали с SABRE. Для того, чтобы пользовать этой системой на Windows XP, надо устанавливать эмулятор, который гоняет виртуальную машину на Яве, в которой в консоли показывается интерфейс, в котором используют символ солнышка. Для того, чтобы её настроить мне приходилось часами сидеть на звонках с техподдержкой, и это - на КЛИЕНТСКОМ компьютере. Я не знаю, как они эту Сабру будут восстанавливать под санкциями.
Все восстановили менее, чем за сутки. И отмена полётов были точечные. Но зато одна и та же новость до сих пор разгоняется, где "по оценкам профильных специалистов... " и "неподтверждённым признаниями хакеров" ущерб составил миллиарды, восстанавливать год и т.п.
Единственное, что восхищает - это пиар сопровождение данной акции.
Интересно, что это за эксперты и представители, могли бы уже сказать, что не пару недель, а пару лет будут восстанавливаться. А на деле за один день уже всё восстановили
Похоже, повальное разгильдяйство и безответственность становятся нормой везде - от служб поддержки до служб безопасности.
СМИ: восстановление IT-систем «Аэрофлота» может занять от нескольких недель до шести месяцев