Комментарии 85
А вот такой заголовок будет более интересным Провайдер Beget сообщил об уничтожении своей облачной инфраструктуры
Вообще может кто-нибудь написать, как такое может быть чисто технически? Все схд одновременно зашифровались?
Когда получают доступ к СХД, то удаляют все данные и снепшоты и данных больше нет. Спасает только подход с репликацией на другой сервер с исключением права на удаление данных, там ставится агент, который сам определяет политику хранения и удаляет копии старше 7, 14, 30 дней. В большинстве компаний у сис. админов есть все права ко всем серверам.
дык, снэпшоты это не бэкапы. я просто фигею какие там все охреневшие были, если называли снэпшоты и копии бэкапами, ещё и денюжку брали некислую (по сравнению с dedicated server где ты сам себе буратина или нет) )
До определённого момента они приписывали к описанию своего сервиса управляемых БД "высокая доступность". Когда я в поддержку написал, что нет никакого интерфейса для создания кластера, и их управляемые БД это обычные БД в облаке, они сперва отпирались, потом согласились поменять формулировку. Но я теперь даже рад - именно по этой причине, наши сервера жили на бегете, а сервера БД - в другом месте.
В большинстве компаний у сис. админов есть все права ко всем серверам
Нас бы аудит натянул за такое. Но я не в России, может у вас свободы и доверия больше)
Все схд одновременно зашифровались?
Современные накопители поддерживают команду ATA Secure Erase, после получения которой они сразу же самостоятельно грохают внутри себя все данные и сбрасывают настройки до заводских.
Как альтернативный вариант, SSD можно просто тотально принудительно "затримить" весь целиком. Эффект будет аналогичным - мгновенное исчезновение всей ранее записанной информации.
Обе эти команды отрабатываются аппаратурой мгновенно, так что если злоумышленник с рутовыми правами через какую-то дырку в системе дорвался до накопителей, то грохнуть их он может практически за нулевое время.
В современных СХД прямого доступа к накопителям, как правило, нет.
Гадать тут бессмысленно. Судя по последствиям, у преступников было немало времени понять как устроена инфраструктура и грамотно ее занулить. Это и просчеты в защите, и отсутствие Intruder Detection, и отсутствие рабочего резервного копирования. Как минимум.
Beget молчит в надежде не знаю чего, усугубляя ситуацию. По моему, эта компания уже мертва как провайдер.
по идее "затриммить" и вообще любой мгновенный erase - это должно быть аналогично сносу FAT/MFT - сами данные всё ещё лежат, легко сопоставить их именам файлов не получается, но если есть время пройтись по секторам и не было фрагментации, то большинство файлов выкопировать и опознать будет можно. Всякие конторы по восстановлению данных с дисков по идее таким занимаются. Правда время/цена больше самого диска.
это должно быть аналогично сносу FAT/MFT - сами данные всё ещё лежат, легко сопоставить их именам файлов не получается
TRIM работает совсем не так. Получив команду TRIM на весь объем накопителя, контроллер после этого в ответ на любую попытку прочесть любой блок тупо возвращает нули до тех пор, пока в этот блок не будет записано хоть что-нибудь ненулевое. То есть теряется не FAT/MFT, а вообще всё и сразу.
на любую попытку прочесть любой блок тупо возвращает нули
Ну да, точно так же как операционка будет возвращать ошибку, при попытке прочитать файл с испорченными цепочками FAT/MFT
В обоих случаях надо идти на уровень ниже - на уровень секторов/блоков данных самого носителя.
В случае FAT - надо обойти операционку, а в случае диска - надо обойти SATA-контроллер и вычитывать напрямую с пластин или микросхем Flash. Либо перевести контроллер в инженерный режим, если так можно, но с той же целью, "разговаривать" с диском не на испорченном уровне SATA, а на уровень ниже.
Единственный КМК случай, когда реально можно весь диск мгновенно испортить, это если все данные в нём зашифрованны, тогда достаточно снести ключ шифрования внутри прошивки - и данные нечитаемы. Но такое есть вроде бы только в немногих дорогих SSD для корпоративных ноутов, чтобы при краже/потере меньше плакать. Едва ли бегету в стационарных серверах такое было нужно.
Есть разница. Операционка не знает где взять файл и потому возвращает ошибку. А SSD при запросе блока с таким-то номером никаких ошибок не возвращает, она возвращает нули, даже не читая по факту диск.
Современные SSD - это не просто длинный блок байтов, а сложное устройство с хитроумным контроллером с довольно замысловатой логикой работы. И мимо контроллера прочитать данные нельзя. Тем более что где они в SSD реально находятся - знает только прошивка контроллера.
И мимо контроллера прочитать данные нельзя.
Технически - можно. :) Но это ничего не даст. Они во-первых - зашифрованные, а ключ в контроллере, во вторых - порядок их следования сокрыт в трансляторе, и без него это просто паззл из секторов.
Именно так, без данных из прошивки и без знаний параметров и алгоритмов конкретной версии прошивки - бесполезны.
В HDD довольно давно есть remap - некоторые сбойные блоки могут находиться в запасной области диска по другому адресу. А в SSD по сути remap идёт постоянно и данные совершенно непредсказуемо размазаны по диску.
Ну я как админ попробую:
Думаю, что не мало коллег согласиться, что самое критичное в наших инфраструктурах, это не сервера, а имено наши с вами домашние-рабочие компы. Думаю, что у подавляющего большинства на своих компах сохранено все, все ключи, все пароли, все доступы. — мы все любим не выходя из кабинета админить все. Много ли у кого есть 2-3-5 отдельных рабочих компов, для отдельного администрирования сегментов?
Раньше у нас всегда было время. Даже супер-пупер админу-хакеру, всегда нужно время, что бы разобраться в чужой инфраструктуре. Сейчас это не надо. Агент ИИ разберется за минуты, а дальше «dd if=/dev/zero of=/dev/sda» разом и везде. Минут 15-30 хватит на все.
В 2024 я пережил подобную историю, когда из под учетки буха, увели мою администратора AD, и хорошо, что торопились. Могли и подождать, и увести от моего компа и серверов под линуксом, в том числе и бекапные. Я тогда все сильно переделал и долго думал, как защититься от «себя», а что если у меня поедет крыша, я поругаюсь с боссом, или в сетке появится «моя» злая конфигурация? — И если честно, ответа я не нашел.
Да, мы знаем, что 3-2-1 это круто, но что если бекапы были у Яндекса? Мы в офисах не замарачиваемся всякими ФЗ, а как там у хостеров и прочих ОПД? — Может там вообще нельзя это по человечески организовать с учетом всех ФЗ, может просто непомерно дорого?
Может конечно они жлобы жадные, а может и нет, это же бизнес, там есть понятие рентабельности-экономии, а не только кроилово-попадалово. Я например знаю, что у интернет-провайдеров тяжелые времена, особенно мелких. Как у хостеров — не знаю.
Может конечно они жлобы жадные, а может и нет, это же бизнес
Вот бизнес все по местам и расставит - останутся те провайдеры, которых не ломают. Или которых ломают, но они умеют делать копии и восстанавливаться.
Или которые честно пишут что случилось, и не начинают свои пояснению с отказа от ответственности.
Жалко, конечно, этих добряков. Так обнулиться, это реально жестко.
Интересно, что никто ответственность не взял, не потребовал выкупа, просто вынос.
Так а может и просили выкуп. Может кто-то просто решили, что шутка, и послал куда подальше. А может подумал, что отдавать много денег из своего кармана сейчас хуже, чем платить деньгами клиентов. Теорий заговоров можно придумать много прямо на ровном месте. Но случись такое, рассказали бы они это всем?
Враньё всегда всплывает и делает только хуже. Признаться что обосрались и начать работать над собой, это сложно, но выгодно в перспективе. Конечно если не обосрались по полной, так что всё, хуже уже не будет.
Согласен!
А молчание в этой ситуации выглядит почти как вранье.
Кому теперь нужен этот черный ящик?
я думаю обосрались, но сказать не могут потому что это банально бизнес, а не дядя вася сосед.
признаются - получат милионные иски и судебные издержки и придут к банкротству.
а не признаются - сохранят бизнес. вот и всё.
от "попросить выкуп" до "вернуть данные" - дорога дальняя и ненадёжная
вот я тоже могу сказать "дай миллион, верну данные бегета", а потом скажу, это я пошутил так, а деньги мне прислали ценители моего актёрского таланта - что-то придется вернуть, а сколько-то да останется
вот если реально возвращать - это уже статья и арест, а если ничего не возвращать - то и ловить некого, будет висеть, условно, холодный BC-кошелёк, пока сроки давности не выйдут, потом обналичат
тем более были прецеденты, когда вирьмейкеры обещали вернуть данные - и не возвращали не потому, что мошенники, а потому что просто затупили и в шифраторе ошибку сделали, и ключ расшифровки не работал
так что в любого сотрудника бегета, даже если предложения были, сразу возникнет вопрос: где лично мои гарантии, что не кинут, что не мне лично придется все эти деньги возвращать после кидка?
У Яндекса тоже что-то выкуп не просили, как и у Мирохоста. Действительно, очень странно. Вы не с Луны?
Вы путаете атаку БПЛА с кибератакой
Как это влияет на очевидный идиотизм вопроса о выкупе? Можно вынести дата-центр ракетой или дроном, можно сломать инфраструктуру. И РФи Украина активно занимается и тем и другим последние несколько лет. Ну вынос дата-центров физически это, конечно, новшество. Но кибератаки активно шли и идут достаточно давно.
И выкупы особо не просили, ну и ответственность когда прямо государственные службы брали, когда нет. Почему в данном случае должен был быть какой-то выкуп?
(ужимками, типа это не мы, это какие-то хакеры-вымогатели, уже давно смысла страдать нет)
Мне пришло смс от них (хотя я не был их клиентом… вроде), вот дословно
Скрытый текст
Остановите войну против Украины! История ничего не забывает
То есть смс-шлюз сломали тоже. Возможно в параллель оно было, но странно тогда. Либо это лютая какая-то многоходовка чтобы сбросить подозрение, но почему тогда потом публичности не было, а только смс и явно не всем. Потому вывод тут только один.
Вполне возможно, что SMS-рассылку смогли быстро зарубить, в отличие от процесса удаления данных. Поэтому и отправилось мало кому.
Очень удобно - достаточно отправить пару СМС про Украину, и вот уже вектор поиска повёрнут куда захотел злоумышленник.
Чтобы это было похоже на действия хакеров, надо было не пару SMS рандомным людям отправить, а отправить прям тысячам. Будет слишком легко доказать, что Бегет сам пытался смухлевать. Так что я сомневаюсь, что это реальный сценарий.
так одно другому не мешает
запустить рассылку, чтобы следователям в другую сторону показать
рассылку почти сразу накроет антиспам и реальным покупателям почти ничего не придёт - но это ничего не меняет, потому что настоящие адресаты следователи, а не покупатели
Это всё равно дешёвая конспирология, ничем не обоснованная.
Ну, имея в своём распоряжении всю инфраструктуру бегета, можно было сделать что-то-нибудь поинтереснее. Например дефейснуть вообще всё прописанное на их NS-ах и показать соответствующие призывы на тысячах сайтов одновременно.
А не несколько СМС отправить.
Показать на тысячах сайтов не получится из-за https. А вот снести всё что только получается - это даёт намного больше эффекта. Который мы и наблюдаем уже неделю.
Челы когда нашли реквизиты отправки SMS - вполне могли решить, что самое гениальное применение этих знаний - накидать SMS. Что это дурацкая затея они вряд ли осознавали.
Я бы ещё отметил, что для симулации украинцев проще было оставить что-то на уцелевшей части инфраструктуры, а не посылать дорогие SMS.
Если одним "инцидентом" было ухайдохано всё и сразу, то есть подозрение, что кто то получал свою ЗП зря. Уж кто кто, а IT-гиганты обязаны предвосхищать такие угрозы и купировать заранее. Даже если уязвимости нулевого дня (но тогда легли бы десятки таких организаций по миру, а не одна) то есть правило - не хранить все яйца в одной корзине. Я понимаю, что я в данном случае колхозный эксперт на общественных началах, но все же - уму непостижимо, такое допустить.
А что если, тот, кто получал хорошую зарплату и является тем, кто всё уничтожил?
Практика показала, что проблемы с ментальным здоровьем может вызвать всё, что угодно.
Экономия
IT-гигантом можно назвать Яндекс или, может, Селектел, но Бегет — просто очередной, относительно немаленький, провайдер хостинга и VPS.
не хранить все яйца в одной корзине
Вы как-то отстаете от моды. Сейчас модно отказываться от контроля над проектами, кодом и доверчиво вкладывать яйца в заботливые руки Сэма Альтмана, либо иже с ними.
Бегет и вложил, а до того на 100% получил и зарплату, и премию за урезание ФОТ путем сокращения персонала заменами на "сторонний интеллект"(ц) какой-то немаленький бегетовский менеджер. Таков путь, знаете ли. Давайте просто похлопаем.
Чаще всего за глобальными взломами стоят люди, работающие внутри этих компаний. Просто так не взломать, а вот залить изнутри вполне.
Из их телеграмма:
Q: Когда можно будет запустить VPS, если восстановление бэкапа не требуется?
A: неделя, может больше
Если кто ждал, что починят VPS относительно быстро, если бэкап не нужен (который маловероятно, что будет) и не очень срочно, то смысла ждать нет, проще на другой хостинг перейти.
Не представляю себе идиотов, которые захотят к ним вернуться, особенно после того как выяснилось, что у них не бэкапы, а снапшоты. Уровень безопасности как на сайте шаурмячной с паролем admin admin123.
Не представляю себе идиотов, которые захотят к ним вернуться,
А я бы вернулся, потому что вряд ли они оставят все как было, скорее всего начнут относиться к безопасности нормально, а не как обычно, в отличии от других, у которых "с нами то уж такого не случится"
...
На меня волнами накатывала тошнота от предчувствия возможных последствий. Возможно, я только что превратил в кучу мусора оборудование на 500 миллионов долларов. А до запуска марсохода оставалось всего две недели
...
Я был уверен, что утром потеряю свою работу, и что моё имя войдёт в историю исследования космоса на позорных страницах.
...
И я всё ещё помню свой шок, когда руководитель проекта Пит рассказал о решении: «Испытания продолжатся. Крис будет продолжать руководить ими, потому что мы заплатили за его образование. Он единственный человек в мире, кто не повторит больше этой ошибки».
Попытки атаки совершаются регулярно, и начинают всегда с более крупных хостинг-провайдеров. На яндекс клауд, таймвебе, firstvds и других крутятся куда более прибыльные и серьезные проекты, чем на бигете, но именно они облажались.
И их подход виден во всём, по моему мнению. На сайте написано что они гарантируют надежность и стабильную работу, но как они могут это гарантировать, если они потеряли всё практически безвозвратно по причине того, что нет бэкапов а вместо них снэпшоты, и причем у себя же. Они пишут про безопасность и про регулярное обновления ПО, но где безопасность, если даже по их заявлениям половина клиентов потеряла данные безвозвратно? И это по их заявлениям, я предполагаю (моё мнение) что по факту потеряно намного больше, просто клиентам будут говорить что вы оказались не в той половине.
У них личный кабинет не обновлялся со времён создания, дизайн как в 1С. Не поймите меня неправильно, я не говорю что ГЛАВНОЕ ЭТО ДИЗАЙН, нет, но видно, что они просто жили себе не тужили. Заняли нишу php, вордпресса и всего вытекающего и сидят себе там. С безопасностью то же самое.
Ну а вы просто идеальная целевая аудитория для них, продолжайте.
Попытки атаки совершаются регулярно, и начинают всегда с более крупных хостинг-провайдеров. <...> но именно они облажались.
С другой стороны, компании уже почти 20 лет, если бы там было все совсем плохо, такие инциденты были бы регулярными.
У них личный кабинет не обновлялся со времён создания, дизайн как в 1С.
По дизайну не спец, судить не берусь - по мне вполне аккуратный дизайн заточенный под функционал а не финтифлюшки.
Но вот по удобству их кабинет шикарный - один из самых удобных из всего с чем сталкивался.
нет бэкапов а вместо них снэпшоты
а в чем принципиальная разница в этом случае?
не на ленту с физическим отключением? инкрементальные? только диски с данными без системных дисков?
вряд ли они оставят все как было
Вряд ли они что-то изменят - люди то те же самые! Что мешало им делать работу хорошо раньше и что заставит из теперь делать ее хорошо?
Так что я скорее согласен с этим:
Не представляю себе идиотов, которые захотят к ним вернуться,
Не помню, когда начал плакать, но я определённо продолжал рыдать, записывая все подробности в комнате для совещаний.
Спасибо, напомнили. Опять читаю как в первый раз.
Для того, чтобы относится к безопасности по-другому, нужно текущего техдира (и пачку админов, вероятно) в утиль списать и нанять такого, который шарит и может расписать инструкции. А таких, кто реально шарит, в принципе-то не сильно много, их еще поискать надо.
Так что сразу они, вероятно, доступы ограничат сильно, да бэкапы настоящие делать начнут. И скорее всего, что смотря на Бегет очень многие сделают и так то же самое. Но реально перестроить инфру, думаю, у них бы ушло очень много времени. Годы. Увы, этих самых годов у них, судя по всему, нет, так как деятельность свою они просто прекратят.
У них относительно недорого хорошее железо. Да, самый бомж сегмент VPS дороговат, но если надо 2-4 ядра, пару Гб ОЗУ и 30-50 Гб SSD, у beget отличное соотношение характеристик за свою цену. На beget VPS был эпик 2022, у другого хостера на которого перешел (скорее всего временно) зион 2018 (8 лет железке!), и вместо 2х ядер уже 3-4 надо.
Согласен, ждать, пока Beget запустит VPS, смысла нет. Мы так и сделали: за три дня подняли большую часть сайтов и кабинетов из git у другого провайдера, а базы дольём из файловой копии, если Beget её выдаст. Простой выходит короче, а копия, если придёт, всё равно пригодится для данных.
файловые бэкапы VPS будут доступны только для половины пользователей.
Отличная формулировка!
К сожалению, вы входите в другую половину %-)
В принципе, хорошие получились учения disaster recovery
Отличная формулировка!
Недоработали пиарщики на самом деле. Можно было сказать, что 85% пользователей получат свои данные, все равно ведь никто не сможет посчитать. Про любую сколь угодно большую группу недовольных всегда можно сказать, что это и есть те 15%, которым не повезло, ведь точного количества клиентов никто кроме них не знает.
Думаю пиарщики уже поработали и увеличили долю успешно восстановленных до 50%
Лет 6 назад и у Яндекса был "сбой", затронувший не более 3% клиентов облака. Только клиент потерял диски у 3 из 5 облачных серверов. После этого, ручная миграция через sshfs образов ВМ и развертывание на своих подконтрольных мощностях.
От "кибератаки" пострадали сильнее, чем физическое уничтожение как у Яндекса.
Вообще Яндекс ещё страдает. Работу с аудиторией уничтожили в ноль, ресурсов на перезапуск нет. Некоторые сервисы не работают или работают с ограничениями, некоторые - не обновляются или не обрабатываются.
Но в целом, конечно, это просто провал. Как цены в Селектеле )))
Не знаю как устроено всё у Яндекса и у Бегета, но где-то писали что Яндекс регулярно проводит disaster-учения с выводом из строя одного из своих ДЦ, т.е. получается что у них отработаны механизмы для решения похожих инцидентов. Но делал ли так Бегет - неизвестно, либо я плохо искал
Видимо учения с отказом сразу двух ДЦ Яндекс не проводил /s
Учения от реальности отличаются тем, что после завершения учений "вышедшее из строя" оборудование достаточно просто включить назад как было. А после реального инцидента никакого оборудования уже нет. Так что новое оборудование надо сначала купить, привезти, установить и настроить. А перед этим еще дырки в потолке заделать, строительный мусор с пола убрать и копоть со стен отмыть.
На главной, полуживой странице Бегета, где даже админки еще не ожили, всё еще висит оптимистичный лозунг - "Гарантируем надежность и стабильную работу". Жаль конечно ребят, в один миг потеряли почти всё. Будем надеяться, смогут восстановить работу железа и, что главное... доверия клиентов.
и, что главное... доверия клиентов.
Ну это кстати не невыполнимая задача. Нужно только на этот раз взять, сделать нормально, потом взять в руки камеру, пройти, показать и рассказать, как у вас все сделано. Сымитировать взлом на реалистичном стенде и показать на стриме, как теперь это будет работать. Это конечно полностью не отмоет репутацию, но ощутимо поможет. Но это надо денег не пожалеть на то, чтобы правильно инфраструктуру построить, а судя по случившимся это было не в их характере.
Помню давеча тоже кого-то ломанули, не помню точно кого, из крупных наших. Так они чуть ли не каждый день статьи выпускали - что сломалось, почему, какие меры приняты. Я считаю это нормально, честно признавать свои факапы. Никто не без греха - ломают всех, даже Пентагоны и гуглов с амазонами-микрософтами. А тут молчок и полная тишина уже неделю.В то, что некоторые злые дяденьки запретили рассказывать я верю с трудом, иначе бы и этого поста не появилось. По итогу своим молчанием сами себе репутацию испортили. Штош.
Сымитировать взлом на реалистичном стенде
Это как у генералов подготовка к уже прошедшей войне.
Ну значит гарантийный срок вышел :)
А почему взлом это обстоятельство непреодолимой силы?
Возможно, бэкапы vps у них есть в каком-то виде, но утеряна привязка к клиентам. На одном хостинге так было неск лет назад: они после этого каждый бэкап персонально разбирали и нужно было им прислать какой-то уникальный признак, по которому можно подтвердить, что это твой бэкап. Но то был небольшой хостинг с двумя сотнями активных клиентов, поэтому всё заняло меньше месяца. А на бегете с данными, походу, можно попрощаться. Вряд ли они будут на такую ручную проверку тратить время, и лично с каждым по почте тоже не будут общаться.
кто знает, как можно вернуть деньги? А то я уже неделю “стучусь к серверу” каждые 30 секунд и “не достучаться”. Как там с деньгами, если данные уже не вернуть? Пока beget не объявили о банкротстве.
Может быть, проблема в том, что некоторые провайдеры месяцами не ставят патчи безопасности, а когда пишешь им об этом по несколько раз, то рекомендуют перейти на выделенный vps и обновлять самостоятельно и закрывают заявку без действий
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Beget: восстановили всё, что можно было вернуть быстро, запущено более 60% хостинга, облачная инфраструктура уничтожена