Восстановление данных *

1. передача только измененных данных (все данные разделяются на блоки, и через WAN передаются только измененные блоки)
2. глобальный кеш блоков данных (то есть кеш, охватывающий все имеющиеся виртуальные машины), позволяет передавать хеши ранее переданных блоков, вместо данных самих блоков
3. сжатие сетевого трафика и дедубликация данных с переменной длиной блока
4. мультипоточные параллельные TCP/IP соединения для увеличения скорости передачи данных и другие TCP/IP оптимизации под соединения с большим временем отклика, характерным для WAN сетей
5. автоматическое возобновление прерванных соединений

• Veeam Backup Free Edition for VMware and Hyper-V
• Veeam ONE Free Edition for VMware and Hyper-V
• Veeam Extended Generic Report Library for Microsoft System Center
• Veeam Stencils for VMware и Hyper-V
• Veeam Management Pack for VMware

В этой статье Вы узнаете как теоретические аспекты апскейла сочетаются с практической реализацией, уделяя особое внимание оптимизации алгоритмов на C# для достижения высокой производительности. Рассмотрим сравнительный анализ классических и новых методов, включая нейросетевые подходы, и предложим несколько интересных идей для будущих исследователей. Надеюсь, эта статья станет ценным ресурсом, если вас интересует обработка изображений и повышение эффективности программного кода.

Делаем резервное копирование кластера ClickHouse: простая инструкция

Меня зовут Леонид Блынский и я администратор баз данных в Лиге Цифровой Экономики. В этой небольшой статье расскажу, как я делаю резервное копирование кластера ClickHouse размером 20 ТБ.

Документация по резервному копированию довольно небольшая и содержит инструкции по созданию резервных копий отдельной инсталляции СУБД. К сожалению, информации о том, как создавать резервные копии кластера, практически нет. Как и нет промышленного решения для управления бэкапом. 

На стабильную работу ИТ-инфраструктуры компании в локальном дата-центре влияет много факторов: резервирование по схеме N+1, работа инженерных систем, экспертиза технических специалистов. Однако есть и внешние. К ним относится отказ оборудования, природные катаклизмы и геополитические конфликты.

В статье мы рассказали, как специалисты ITGLOBAL.COM запустили резервную площадку для восстановления данных после сбоев (Disaster Recovery) в облаке для ГК «Интерлизинг». А на YouTube выпустили видео с интервью участников проекта.

Привет, Хабр! Современный высокотехнологичный бизнес немыслим без глубокой аналитики и отработки гипотез с помощью ML. Однако это накладывает особые требования на качество данных: все мы знаем, что ерунда на входе = ерунда на выходе. Прекрасно понимая, что стоит на кону у большого бизнеса, мы организовали большой митап, посвящённый подходам к качеству данных в больших компаниях уровня Lyft и Shopify. 

Митап был интересен как приглашёнными спикерами, представителями крупных проектов, делающих свой бизнес на анализе больших данных, так и охватом тем. Мы поговорили о том, как предотвратить повреждение данных (потому что «не ломать проще, чем чинить»), о том, как быть, когда информация есть, но пользователи ей не доверяют, как тестировать данные не на динамических моделях, а на подменённых «в воздухе» статических данных и, наконец, как показывать пользователям фейковые данные, чтобы узнать, чего люди хотят на самом деле.

Далее краткий пересказ докладов Datafold, Lyft, Shopify и HealthJoy. Текст будет интересен в первую очередь дата-инженерам и тем, кто обеспечивает хранение, предоставление и тестирование данных.

В первой части данной статьи мы рассказали про правило резервного копирования «3-2-1». Теперь мы приглашаем посмотреть вторую часть статьи, содержащую запись нашего полуторачасового вебинара, подготовленного в формате whiteboarding сессии (то есть никаких PowerPoint слайдов — будет только наш эксперт и презентационная доска), на которой он шаг за шагом показывает какие проблемы встречаются у компаний в области резервного копирования, и как правило «3-2-1» можно реализовать на практике на примере продукта Veeam Backup & Replication. Помимо записи вебинара в статье приводятся ответы на наиболее актуальные вопросы, заданные участниками в ходе его онлайн-трансляции.

• Проверка целостности резервной копии – сверяются контрольные суммы блоков данных резервной копии.
• Проверка восстановления из резервной копии – в специальной изолированной среде (“песочнице”) моделируется процесс восстановления системы из резервной копии, и проверяется, будет ли она работать корректно после восстановления.

Тестирование – проблемный вопрос

Задача

Дано

• VPS на базе Centos 5 x86_64.
• Панель управления ISP Manager. Стандартные средства ISP Manager не устраивают.
• Свободного места на сервере очень мало.

Цель

Есть какое то количество фото и видео в Google Photos или Yandex Диск и место в облаке постепенно заканчивается, особенно если вы снимаете много контента в 4К, либо активно делаете снимки.

Цель: Автоматизировать процесс скачивания большого количества файлов из вашего облака на ваш локальный диск. Автоматически отсортировать файлы по годам, месяцам и даже дням. Скачать все 4К видео и конвертировать их в 1080p 60к/c без использования видеоредактора.

Звучит как какой то сон? Давайте сделаем это и погрузимся в инструменты ffmpeg и Rclone.

Задание: необходимо создать кодовое слово, состоящее из 8 цифр (на примере – 01234567) на основе алгоритма, приведенного в ГОСТ Р ИСО/МЭК 18004-2015 (п. 7.4.3, пример 2). Затем создать для полученного кода Micro QR Code вер. М2. Данный режим невозможно прочитать стандартными ресурсами мобильных устройств, производимых GAFAM (как оказалось, свободно распространяемые библиотеки просто страшно глючат, поэтому Ассоциация отказалась от этого режима)

Задача: необходимо прочитать Micro QR Code версии М1, содержащее кодовое слово, состоящее из цифр (на примерах – 7, 77, 777, 7777 и максимальное кодовое расстояние – 77777) на основе алгоритма, приведенного в ГОСТ Р ИСО/МЭК 18004-2015 (п. 7.4.3, пример 2). Данный режим невозможно прочитать стандартными ресурсами мобильных устройств, производимых GAFAM (как оказалось, свободно распространяемые библиотеки страшно глючат, поэтому Ассоциация отказалась от режима)

Привет, Хабр!  Сегодня поговорим об одном из наших инструментов, входящих в систему резервного копирования Кибер Бэкап (и в наш продукт для индивидуальных пользователей Кибер Бэкап Персональный). Его задача - обеспечить возможность восстановления образов машин на «неродное» железо.

Инструмент, называемый Universal Restore, появился в нашем арсенале довольно давно, еще до того, как линейка ОС Windows научилась сама искать новые драйвера при переносе на новое железо, и был весьма востребован. Он позволял модернизировать или чинить рабочую машину без привязки к конкретным моделям железных составляющих, а также переносить виртуальные машины на физические шасси или наоборот. То есть, адаптировать образ машины под различные аппаратные и программные варианты окружения.

Потребность в гарантиях отказоустойчивости систем продолжает расти. Но, сами понимаете, нельзя всем подряд рекомендовать одни и те же механизмы защиты. Как минимум, сами данные бывают очень разными — и нельзя обойтись простым резервным копированием для realtime-систем. Но стоимость реализации разных схем также сильно отличается друг от друга, а приложения часто бывают не готовы к тому, чтобы их действительно защищали с гарантией катастрофоустойчивости. Под катом — подробный разбор популярных среди наших заказчиков методов резервирования с использованием облака, а также анализ их применимости для разных ситуаций.

Весь циклический процесс взломов происходит из-за утечек данных пользователей. Взломы криптовалютных бирж наносят особый ущерб, потерь денежных средств хранящихся в криптовалютных кошельках пользователей бирж. Хотя криптовалюты сами по себе защищены, но биржи могут быть подвержены множеству уязвимостей, что делает их главной целью для хакеров.

Можно надеяться, что со временем криптовалютные биржи станут более безопасными. К сожалению, реальность такова, что с каждым годом взламывается все больше бирж. Поскольку криптовалюты и биржи остаются в значительной степени нерегулируемыми, неясно, кто обладает юрисдикцией над криптовалютными рынками. 

VPS сервер купить

Ночью со счета компании вывели деньги. Утром начинается паника, которая приводит к дополнительным проблемам. Например, ИТ переустанавливают скомпрометированную систему — с нуля или восстанавливают из бэкапа. В первом случае стираются следы взломщиков, и приглашенной команде по расследованию инцидентов остается только развести руками, а потом долго искать артефакты на других системах. Во втором случае есть риск восстановить образ, который уже скомпрометирован. Сегодня мы расскажем об основных просчетах, которые мешают грамотно и быстро отреагировать на действия хакеров, и почему к встрече с киберпреступниками лучше готовиться заранее (на всякий случай).