Привет, Хабр! Меня зовут Евгений Абрамкин, я руководитель поддержки третьего уровня в направлении омниканальных решений Лиги Цифровой Экономики. Моя команда — последняя «инстанция» во флоу по решению инцидентов. Мы пишем доработки и фиксы, чтобы победить проблему клиента, а еще предоставляем оптимальную конфигурацию для системы, которая передана в эксплуатацию или требует масштабирования. Это может быть кластер Elasticsearch, балансировщики nginx или что поинтереснее — распределенная NoSQL СУБД Apache Cassandra.
Восстановление данных *
Резервное копирование и восстановление данных
Предварительная обработка данных с помощью библиотеки Pandas (Задача)
В современном мире большинство бизнес-процессов связаны с обработкой больших объемов данных, получаемых от различных источников. Часто эти данные содержат ошибки, дубликаты и пропуски, что может привести к неверным выводам и решениям. Одним из инструментов, которые позволяют очистить и преобразовать данные, является библиотека pandas для языка программирования Python.
Я собираюсь рассмотреть задачу по очистке данных с помощью pandas. Для этого возьмем данные, содержащие дубликаты строк, неправильные типы данных, пропуски и отрицательные значения. Затем я буду использовать функциональные возможности pandas для очистки и преобразования этих данных в форму, пригодную для дальнейшего анализа.
Предположим, у вас есть набор данных, содержащий информацию о продажах компании за последние несколько лет. Но данные не очень чистые, и вы заметили, что есть некоторые проблемы с форматированием и некоторые строки содержат ошибки.
Задача: Необходимо очистить данные о продажах компании за последние несколько лет с помощью библиотеки Pandas.
Tibx или не tib(x): вот в чем вопрос…
Сегодня я хочу поговорить о том, каких преимуществ в вопросах резервного копирования и аварийного восстановления можно добиться за счет смены архитектуры архива и правил хранения информации. Разумеется делать я это буду на примере нового формата архивов, который используют продукты КИБЕРПРОТЕКТ. Из интересного сразу выделю, что мы добились увеличения плотности до 5 раз! (это реальный показатель), а также повысили скорость, удобство и надежность. Не обошлось конечно и без проблем обратной совместимости и некоторых нюансов. Под катом — отличия нового формата, примеры оптимизаций, которые мы сделали, подробнее о плюсах инкрементного бэкапа, а также рекомендации по работе с резервными копиями в современных условиях. Всех заинтересованных приглашаю обсудить архитектурные подходы к работе с резервными копиями.
КОД DA VINCHIN 2: тестируем седьмую версию китайской СРК
Пару недель назад разработчик системы резервного копирования Vinchin порадовал всех нас новой версией своего решения. Мы уже рассказывали немного о “семерке” и обещали поделиться с вами результатами тестирования ее функционала. В этом посте разберемся, насколько обновление версии повлияло на работу СРК, расширились ли сферы ее применения (а точнее — насколько они расширились). Если вы до сих пор сидите на “запретной” СРК или присматриваете себе новую платформу для резервного копирования, давайте подробнее знакомиться с Vinchin 7. Под катом — подробный разбор новых функций со скриншотами и примерами использования.
Истории
Проведение технической экспертизы в рамках уголовного дела
Всем привет, меня зовут Василий я являлся государственным экспертом отдела компьютерных и радиотехнических экспертиз более 4 лет!
Целью технической экспертизы, является выявление существующей или удаленной информации, по заданным критериям, в данном случае условие отбора задает следователь. Снятие информации происходит с любого объекта, имеющего накопитель информации, начиная от micro-sd накопителя и заканчивая серверным оборудованием.
Первое, что происходит с объектом исследования – это его фотофиксация в запакованном виде, для отображения в заключении эксперта, целостности упаковки. После вскрытия упаковки происходит непосредственная фотофиксация самого объекта исследования с приложенной криминалистической линейкой.
Рассмотрим в качестве объекта исследования – ПК.
После фотофиксации объекта в упаковке и без, мы должны зафиксировать все носители информации (они могут быть разными – поэтому я обобщу) находящихся в ПК, а также его внутреннего содержимого с линейкой и зафиксировать S/N системного блока и накопителей информации.
В таком формате происходит постановка вопроса в заключении эксперта.
Просто, быстро или дорого: 3 схемы включения DR из облака
Потребность в гарантиях отказоустойчивости систем продолжает расти. Но, сами понимаете, нельзя всем подряд рекомендовать одни и те же механизмы защиты. Как минимум, сами данные бывают очень разными — и нельзя обойтись простым резервным копированием для realtime-систем. Но стоимость реализации разных схем также сильно отличается друг от друга, а приложения часто бывают не готовы к тому, чтобы их действительно защищали с гарантией катастрофоустойчивости. Под катом — подробный разбор популярных среди наших заказчиков методов резервирования с использованием облака, а также анализ их применимости для разных ситуаций.
Так с агентом или без?
Привет, Хабр! Сегодня я хочу рассказать о том, как решаются вопросы резервного копирования в случаях работы с агентами или без них. В этом посте мы обсудим, какие преимущества даёт безагентная СРК (на примере Кибер Бэкап), поговорим о том, как она работает, а также рассмотрим ситуации, когда Илюха Курякин (см. «Агенты А.Н.К.Л.» ) всё-таки нужен.
5 новых причин роста запросов на DR и 3 кейса клиентов из серии “откуда не ждали”
Привет, Хабр. Сегодня мы поговорим о том, почему растет спрос на аварийное восстановление, а также разберем несколько примеров, когда компании сталкиваются с рисками или реальными сбоями инфраструктуры там, где раньше это было невозможно. Всех желающих обсудить предпосылки к расширению DR, а также методы защиты данных в разных ситуациях, приглашаю под кат.
Как ускорить бэкап и сэкономить место на сторадже: на примере ArenadataDB ddboost и СХД Dell EMC Data Domain
Всем привет, меня зовут Андрей, я – системный архитектор Arenadata и в этой статье мы рассмотрим интеграцию решения логического резервного копирования и восстановления gpbackup/gprestore с программно-аппаратным комплексом Dell EMC Data Domain — задача, которой наша команда разработки занималась в 2022 году.
Итогом этой разработки стал плагин-коннектор для нативного использования этой системы хранения данных в задачах резервного копирования и восстановления данных. С декабря 2022 года мы поставляем его в Enterprise Edition нашего продукта Arenadata DB.
Кто ворует крипту: хакеры, сотрудники или владельцы. И какая биржа следующая?
Весь циклический процесс взломов происходит из-за утечек данных пользователей. Взломы криптовалютных бирж наносят особый ущерб, потерь денежных средств хранящихся в криптовалютных кошельках пользователей бирж. Хотя криптовалюты сами по себе защищены, но биржи могут быть подвержены множеству уязвимостей, что делает их главной целью для хакеров.
Можно надеяться, что со временем криптовалютные биржи станут более безопасными. К сожалению, реальность такова, что с каждым годом взламывается все больше бирж. Поскольку криптовалюты и биржи остаются в значительной степени нерегулируемыми, неясно, кто обладает юрисдикцией над криптовалютными рынками.
Бэкап CommuniGate Pro: как мы сделали резервную копию коммуникационной платформы надежной
Привет, Хабр!
Сегодня я хочу рассказать о том, как работает резервное копирование сервера CommuniGate Pro, если делать его с помощью Кибер Бэкап 15. Под катом — схема взаимодействия наших решений, а также подробности о том, как работает бэкап-агент в наиболее сложных для него ситуациях.
Необычный случай восстановления данных или немного реверс-инжиниринга PLC Siemens Simatic S7-300
На вопрос, какие не самые обычные случаи восстановления данных могут повстречаться в компании, профиль которой – извлекать информацию из поврежденных накопителей, можно привести пример одной из недавних задач с MMC картой из промышленного ПЛК (PLC) Siemens Simatic S7-300, в задачи которого входило управление несколькими десятками электродвигателей и клапанов, а также анализ параметров целой россыпи датчиков некоего конвейера.
Для решения этой задачи перечень услуг специалиста по работе с поврежденными накопителями оказался недостаточным. Кроме этого потребовался опыт реверс-инженера, опыт аналитика повреждений в данных, не имеющих избыточности, а также опыт программиста.
Почему IT-гиганты ежегодно уничтожают миллионы устройств хранения данных
За последнее десятилетие данные стали чрезвычайно ценным активом. Это побудило правительства, защитников конфиденциальности и различные некоммерческие организации обратить более пристальное внимание на то, как крупные компании собирают, хранят и обмениваются информацией о клиентах.
Развилась целая индустрия утилизации данных — большая отрасль, в которой компании разрабатывают специальные процессы, обеспечивая надлежащую утилизацию устаревшего оборудования без утечки конфиденциальных данных третьим сторонам. Крупнейшие в мире технологические компании ежегодно уничтожают миллионы устройств хранения данных, а в сумме затраты идут на миллиарды долларов. Это огромная индустрия со своими отдельными правилами.
По данным Financial Times, и Amazon, и Microsoft (два главных владельца центров обработки данных в мире) сейчас выбирают физически уничтожать все свои устройства, несущие данные, которые они больше не собираются использовать. Одной очистки данных с дисков для них недостаточно. Уничтожение миллионов девайсов каждый год в их случае предпочтительнее, чем наличие любого риска утечки информации. В то же время некоторые активисты и гос. организации пытаются изменить эту парадигму и призывают компании переходить просто на очистку своих использованных дисков и их последующую продажу на вторичном рынке.
Ближайшие события
Один, два…десять! Когда скорость восстановления имеет значение
Привет, Хабр! Сегодня я предлагаю поговорить о скорости восстановления из резервной копии. Иногда именно этот параметр оказывается критически недооцененным при внедрении систем резервного копирования для небольших отделов и не самых критичных задач (ведь для критичных RTO и RPO прописывают еще на этапе проектирования). В этом посте мы остановимся на 10 способах сократить время, которое ваши системы будут простаивать, если вдруг не дай бог чего случится. А если вы знаете еще и другие методы, делитесь ими в комментариях.
МАСШТАБная интеграция или как мы подружили ECP VeiL с Кибер Бэкап
Привет Хабр! Сегодня мы рассмотрим кейс интеграции системы резервного копирования Кибер Бэкап с платформой виртуализации ECP VeiL от НИИ “Масштаб”. Скажу сразу, что это был непростой путь, и нам пришлось приложить немало усилий с обеих сторон, чтобы продукты действительно начали взаимодействовать друг с другом так, как надо. Но, как говорят психологи, “над отношениями надо работать”. Что же, мы работали и продолжаем работать. А под катом — небольшой рассказ том, как развивались взаимоотношения Кибер Бэкап и ECP VeiL.
Как правильно подготовиться к сбою в RAID
Те, кому пришлось восстанавливать данные с неисправного тома RAID, часто спрашивают, какой тип массива выбрать в дальнейшем? Однако это не совсем корректный вопрос. Тип массива, вопреки распространенному мнению, не так уж и важен. В целом, дальнейшие действия вращаются больше вокруг вашей стратегии резервного копирования данных и тактики, которая будет использована в вашем плане хранения данных.
Включаем турбо-режим: 9 способов ускорить резервное копирование
Увы, резервное копирование не всегда происходит быстро. На скорость создания копии влияют десятки факторов, и из-за этого часто страдают бизнес-процессы, снижается производительность, а главное — данные остаются незащищенными. Сегодня я расскажу о том, как можно ускорить резервное копирование, устранив одно или несколько “узких мест” в архитектуре. Если вы задаетесь вопросом, оптимально ли настроено резервное копирование, вас не устраивает скорость создания резервных копий, либо данные вовсе не успевают перемещаться в заданные хранилища, то добро пожаловать под кат! Обсудим, что с этим можно сделать.
Код ДА-VINCHIN: Как мы разгадали китайскую СРК после N тестов
Сегодня мы снова поднимем тему, без которой не проходит и дня на Хабре — замены программного обеспечения именитых производителей. Но в отличие от многих других постов мы не просто расскажем о том, что же есть такого у китайцев, но покажем, как мы тестировали систему резервного копирования Vinchin из поднебесной, в том числе на предмет совместимости с российскими решениями. Отчеты, скриншоты, подробности и общие впечатления — все под катом!
Восстановление повреждённых файлов на основе CRC32
Нашел я недавно в закромах старый оптический диск (CD). Открыл его в проводнике и не могу зайти ни в одну папку. Протёр диск. Попробовал снова - та же оказия. Царапины на диске конечно есть, но не много и не сильные. Решил воспользоваться специальным софтом BadCopy. Половина мелких файлов восстановилась, половина нет. Большие файлы восстановились не полностью. В итоге в двух повреждённых архивах (повреждено 2% и 10%) я обнаружил один и тот же файл. При попытке его извлечь вылезала ошибка CRC. Но если в WinRAR при извлечении установить галочку "Keep broken files", то извлекается как есть. Так как мой файл был дорог мне как воспоминание и был небольшим - всего 640 КБ, я решил заморочиться. Там же в WinRAR, кстати, можно узнать оригинальный размер файла и его CRC32.
Итак, у нас есть две повреждённые версии файла, его длина и даже его CRC32, нужно восстановить оригинал. Что может быть проще?
Санкции санкциями… а я требую продолжения бэкапа! Обзор Кибер Бэкап 15
Привет, Хабр! Это первый пост в корпоративном блоге компании “Киберпротект”, и сегодня речь пойдет о возможностях системы резервного копирования и восстановления данных Кибер Бэкап. Фактически это будет обзорный текст по Кибер Бэкап 15, в котором я расскажу об основных функциях и модулях нашей разработки, о поддержке разных платформ и приложений. В конечном счете, мы все понимаем, что сегодня помимо стандартных проблем защиты данных для многих игроков добавилась еще и головная боль “импортозамещения” — кому-то просто нельзя больше использовать импортное ПО, а другим не нравится отсутствие поддержки или невозможность докупить лицензии под растущую инфраструктуру. Поэтому мы написали пост для тех, кто рассматривает российские решения для защиты данных в самых разных окружениях — с российскими и зарубежными компонентами. Под катом — подробности о том, какие сценарии резервного копирования можно запустить на базе Кибер Бэкап, и что он позволяет защитить. А в комментариях давайте обсудим, чего вам больше всего не хватает в области резервного копирования на сегодняшний день.
Вклад авторов
-
hddmasters 844.0 -
polarowl 450.6 -
R3EQ 180.0 -
anteo 177.0 -
sysmetic 136.2 -
dragonsbane 134.0 -
Kidar 129.0 -
v_katalov 126.0 -
rease 116.0 -
oowl 111.0