Комментарии 57
Представляю широкие глаза их админов и разрабов сейчас, после слов начальника "надо сделать к завтрему, дешифрирывайте!", чую кого то ждет бессонная ночь, и далеко не факт что с результатом. Не завидую.
У админов сейчас кое что другое широкое
Чета сомневаюсь я, что в СДЭК на столько убогие админы и прочие ИТ-шники, ибо когда я с ними собеседовался, вопросы были очень даже хороши, а мысли были заоблачновеликими. Правда меня не взяли, да и не на админа я там ими мыслился. Единственно, что напрягло, это ответ на мой вопрос о том, что писать в базу 4кк транзакций в день - это фигня, если их оттуда не читать, а что они будут делать с чтением. Ответ был в том ключе, что они вроде бы и не собирались что-то читать. И тут я подвис )))
Ну 4 миллиона транзакций в день, ну ок. У меня во время одного инцидента была под временные данные создана таблица то ли на 200 миллионов записей, то ли на 600, не вспомню сразу. И после первичной набивки из нее только читали. Правильное шардирование (для горячих данных) и архитектура решает проблему ну не то чтобы легко, но без необходимости внеземных технологий и знаний.
4кк - вообще ниачом, если это не 1С, конечно. Шардирование в те годы в 1С еще не завезли - оно и сейчас-то только через секционирование сделано, но мне сказали, что им какие-то подрядчики показали, что 4кк - это можно записать, а про прочитать им, видимо, не сказали.
Как там у них сейчас и на чем - не в курсе.
По поводу бэкапов, то стопроцентно есть дев-контур, есть стендовый контур. Если у них это все было неизолировано в одной сетке (не хотел говорить, но скажу: на одном диске), то мне их, конечно, жаль. Прям вот слезы текут из глаз )))
4кк миллиона в сутки, особенно если оно еще и равномерно распределено, можно выполнить на однопроцессорном компе чуть ли не IDE, если это простые записи.
Все зависит от сложности запросов, размере записи, типе БД и что потом с данными делать.
Итого 4 000 000 000 000? ?
4кк = 4 * 1000 * 1000 = 4 000 000. Откуда еще шесть нулей?
И да, транзакция транзакции рознь. В СДЭКе, предположу, транзакции - это информация о доставке с суммами, комиссиями, позициями, ... в разрезе покупателя, поставщика, точки обслуживания, тарифа, ... что там еще? Я не их системный аналитик, и тем более не их архитектор, но не думаю, что там миллиарды параметров. Тем не менее это все нужно распихать по таблицам, и нужно периодически получать данные о том, кто кому сколько должен. Второй вид транзакций - это оплаты от тех, кто кому-то что-то должен. Все эти "наложные платежи", агентские договора, ...
И вот, допустим, есть у вас контур на 1С какой-нить православной, которая может класть это все в базу со скоростью 4кк (транзакций) / 87600 (секунд в сутках) = 50 транзакций в секунду. И первые 10кк, может даже первые 100кк - они вполне могут так вот быстро в много потоков (от количества "транзакционирующих") быть записаны. Предположу, что есть и пиковые нагрузки, т.к. вряд ли тут будет прям вот четенько в пределах суток все однородно распределено. Как делают умные люди? Правильно, очередь на кафках рисуют и всякими там редисами кешируют (ну или тарантулами обходятся, или что там еще бывает буржуйского и не сильно), и все это в контейнерах отдельными сервисами, и все это продублировано, и все это в онлайне в защищенные хранилища уезжает. Но что-то мне верится с трудом, что все это было реализовано по красивой красоте, а не как боги на душу покладут. Не удивлюсь, что они купили суперкомпьютер для своей 1С, которая там в одну харю все это тянула - деловые линии на эти грабли тоже наступали, но вроде слезли на джаву...
4 млн =), сори
Вы же мне отвечали? Я не принижаю сотрудников, сочувствую скорее, все допускают ошибки. Если ошибки тупые как скрин с "пароли тут" ну тогда сами виноваты, но как правило это комплексные проблемы. Я больше про обещание завтра восстановить "мамой клянусь", если там и бекап полетел - ну это слабо реально же. А начальство может ожидать от инженерного состава что справятся и заявляет об этом публично. А такие заявления только добавляют нервозновсти в деле восстановления базы.
Я думаю за счёт дублирования на бумаге, они планируют внести это всё вручную, вызвав всех сотрудников на работу с посылками. Больше похоже на правду.
Либо они действительно имеют бэкапы, которые не затронула атака.
Обычно когда на собеседовании мысли заоблачновеликие, то руководство что-то где-то слышало, что так можно сделать, хотат у себя сделать, но штат к этому не готов, а на вилку таких специалистов не набрать )
дешифрирывайте
Есть и другой путь, может быть одновременно еще и по нему пошли. Запустить новую пустую базу и заново принять в нее все посылки в пунктах выдачи и промежуточных складах. Возможно как раз этим все эти дни рядовые сотрудники и занимаются - сканируют штрихкоды, вбивают данные откуда и куда посылка едет, вбивают данные клиентов, ждут машины которые еще в пути чтобы их тоже принять.
Хотите верьте, хотите нет но из первых рук известно что на складе (небольшом, не СЦ, всего-то ПФО, но всё-же) в одном небольшом городе - это не так. Всё кладовщики, которые занимаются приемом/отправкой посылок в/из друг(ие/их) город(а/ов) сейчас в вынужденном отгуле. В офисе только один сотрудник выдачи.
В фильме, помните, админ, буду верно простимулирован, быстро что-то там расшифровал. Какие, правда, стимулы в СДЕКе - не знаю.
Международные хакеры с вчера зарегистрированным тг и твиттером
Если у вас нет подтвержденного аккаунта в Х, сайта и инстаграма с миллионом подписчиков, а также штаб-квартиры в Швейцарии - какие же вы, к чертям, международные хакеры. ;))
а можно для тупых типа меня рассказать
вот событие идет три дня
на второй по слухам появилась по слухам какаято причина
и потом появились хакеры которые допустим зарегистрировали отдельный канал, но даже не три дня назад и даже без новых пруфов, а с кучкой мутных скринов. где я ошибаюсь говоря что это выглядит как фейк и попытка примазаться к событию?
что я упускаю?
если это группа не вчера появилась то у нее должен был быть сайт канал акк хоть гдето где они хвастаются чем то чего они достигли. почему они там не сообщили?
Впрочем, хакеры слабые. Раз хвастаются, значит где-нибудь действительно обосрались. Как тот чудик, что указал свои реальные реквизиты для оплаты кувшина.
Вспомнился видос
Ну Первый Бит вышел из комы дня через три после аналогичной атаки. На днях по той же схеме их взламывали
Все так раскудахтались заочно про "нет бэкапов". restore большой базы можно и намного дольше 3х дней ждать.
Можно конечно предположить что у них микросервисы не в ходу, раз всё так наглухо положили. Что уже диагноз для 2024го года.
restore большой базы можно и намного дольше 3х дней ждать.
Не надо печалиться, вся жизнь впереди. Надейся и жди! (С)
Возможно ещё и то, что зашифровали не всё. И теперь админы не столько тратят время на восстановление бэкапов, сколько на проверку не пострадавших серверов на наличие закладок. Ведь довольно подозрительно, если продуктовую базу с парой терабайт данных успели зашифровать, а комп с зарплатной 1С в той же сети остался не тронутым.
Плюс надо найти точку проникновения, чтобы через 3 дня всё не легло по новой.
что у них микросервисы не в ходу, раз всё так наглухо положили. Что уже диагноз для 2024го года.
Скорее диагноз все подряд переводить в микросервисы.
Все так раскудахтались заочно про "нет бэкапов".
Если были бы бекапы, их бы уже разворачивали и пресс-сулжба вместо двух дней молчания об этом поспешила бы сказать. Они даже не могут просто сайт развернуть, хотя бы с плашкой "Функционал ограничен, ведутся технические работы". Домен тоже увели и не могут восстановить?
restore большой базы можно и намного дольше 3х дней ждать.
Сложно представить это даже с учетом масштаба СДЭКа. К тому же вряд ли, что на все про все одна база и ее никак не могут развернуть. На худой конец уж можно было восстановить лишь какую-то часть, а не тащить всю базу с операциями за 10 лет.
Поскольку за 3ое суток ничего еще не восстановлено, то охотно верится в проблему с бекапами, чем в том, что все ок, просто оно там долго компилится / восстанавливается.
Я жду какой-нибудь более эпичной развязки. Типа приехало ФСБ и арестовали админа, который знал пароль от бэкапа, и конфисковали его бумаги.
Возможно просто получили доступ к системе виртуализации серверов. Соответственно, получили доступ ко всем дискам, в том числе из бэкапами. Часто сервера для бэкапов тоже делают просто как отдельные виртуалки на отдельных дисках, думая, что это убережет.
Они даже не могут просто сайт развернуть, хотя бы с плашкой "Функционал ограничен, ведутся технические работы". Домен тоже увели и не могут восстановить?
Могут, точнее, могли ещё вчера. А вот утром уже 404 наблюдал
Не совсем в тему, но... неужели не существует файловых систем с версионностью / возможностью отката изменений?
О сколько уже твердили миру, что не существует автоматического архивирования! Только вручную подключаемые и отчуждаемые носители будут считаться архивными. Ибо при целенаправленной атаке на инфраструктуру все "автоматические резервные копии" всегда первыми попадают под удар.
Почему не существует ? "Библиотека" заполненная скажем dvd вполне себе такой носитель. Резервные копии вообще не должны храниться на носителях с которых можно что-то удалить. Т.е. выбор, похоже только между всякими dvd/bluray и лентами с отломанными язычками записи. Возможно их можно механически отламывать автоматом при первой выгрузке.
Тут уже все придумано до нас. Называется WORM ленты/картриджи для стримера.
Зачем такие маразмы? У меня так: есть машина, на ней раздел диска расшарен по NFS. Бэкапящиеся машины сами заливают туда данные и создают специальные файлики, сигналящие, что у них всё готово. Скрипт мониторит эти файлики, и когда все залились, переводит шару в readonly (это типа транзакция) и копирует данные уже во внутреннее хранилище, а шару стирает. И зайти на бекап машину по SSH нельзя.
При этом сервер бэкапов может по прежнему спокойно слать админу телеметрию по почте и сам заливать копии в облако.
Чтобы это сломать нужно иметь холодный 0-day на полный доступ в NFS или взломать машину через исходящие из неё HTTP запросы. Кто так может, нашей гуталиновой фабрикой не занимается.
Так у вас и есть полуручное изделие. Вы же архивы так же самописной логикой обрабатываете, складируя во внутреннем хранилище. И восстановление из архива потребует отдельного ручного вмешательства. Надеюсь доступ на машину с архивами происходит вне самой архивируемой инфраструктуры?
А владельцы условного Veeam, считают что они уже защищены от всех злых хакеров. Только Veeam находится в той же инфраструктуре и доступ на него с той же машины, что и ко всей остальной инфраструктуре.
Только Veeam находится в той же инфраструктуре и доступ на него с той же машины, что и ко всей остальной инфраструктуре.
Veeam может отправлять бэкапы во внешнее хранилище. Оно теоретически должно быть в другом месте географически, и не позволять удалять файлы, например это может быть шара, на которой включено версионирование, но доступ в ее админку из той инфраструктуры которая туда бэкапится -- отсутствует.
Консервативный подход имеет свои плюсы.
Потом не оказывается, что "ой мы что-то тут напутали, бэкап сервер оказывается в сети и доступ к нему оказывается есть у всех".
Если ты вынул ленту - ты вынул ленту.
Если ты проверил, что на ней есть данные - они там есть.
Если ты хранишь ее правильно - они оттуда никуда не денутся.
Без дополнительных "если все правильно настроено" "если правильно втыкать провода" "если хакеры нас не проели насквозь" итд итп.
Безопасность всегда приводит к дорогостоящим неудобствам.
А дальше предстоит решить, что для вас важнее, еще чуток безопасности, или "не буду я с оффлайн копиями морочиться".
И в зависимости от конкретики может оказаться и то и сё. Некоторые вон вообще никаких данных нормально не резервируют. Ну потеряли, да и бог бы с ним. Жизнь продолжается.
А кому-то очень важно, чтобы "если" было поменьше и он готов за это платить.
Очень уж сомнительно звучит, раньше подобные проблемы они решали за день, а тут несколько дней прошло уже, не думаю, что 29.05 пвз начнут работу.
Проблема, очевидно, системная.
Каждый раз после обращения с бздэком недели три самого низкопробного спама на телефон гарантированы
Неблагодарное это дело, давать какие-либо гарантии по срокам, когда речь идёт о такой проблеме. Когда сцепляешься с такой заразой, никогда не знаешь, какой у этой схватки вообще будет результат. Просто делаешь что возможно, а там как повезёт.
p.s. Один раз в моей практике удалось обезвредить результаты работы ещё неизвестного на тот момент локкера, геммор был основательный. Данные удалось спасти, но после этого ещё неделю чувство основательно выжатого лимона устойчиво сохранялось.
надеемся и ждем, когда-нибудь и я дождусь своей посылки, а пока отправил жалобу через общественную потребительскую инициативу, хорошо хоть, что у них приложение книга жалоб рабочее
В СДЭК пообещали после масштабного сбоя восстановить выдачу посылок клиентам в ПВЗ «не позднее» 29 мая