Как стать автором
Обновить
7.4

Резервное копирование *

Спасти и сохранить

Сначала показывать
Порог рейтинга
Уровень сложности

Как мы снизили время создания бэкапов Git с 48 часов до 41 минуты

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров2.8K

В этой статье мы расскажем о том, как GitLab выявил и устранил «бутылочное горлышко» производительности в 15-летней функции Git, что повысило эффективность, обеспечив возможность применения более надёжных стратегий резервного копирования и снижения рисков.

Резервные копии репозиториев — важнейший компонент надёжной любой стратегии восстановления после сбоев. Однако с увеличением размеров репозиториев процесс создания надёжных бэкапов становится всё сложнее. Для резервного копирования нашего собственного репозитория Rails нам требовалось 48 часов. Это заставило нас искать невозможные компромиссы между частотой резервного копирования и производительностью системы. Мы хотели найти собственное внутреннее решение для наших клиентов и пользователей.

В конечном итоге, мы нашли источник проблемы в 15-летней функции Git со сложностью O(N²) и устранили его, внеся изменения в алгоритм, что экспоненциально уменьшило время резервного копирования. В результате мы обеспечили снижение затрат, уменьшение рисков и возможность создания стратегий резервного копирования, которые хорошо масштабируются месте с нашей кодовой базой.

Оказалось, что это проблема масштабируемости Git, влияла на всех его пользователей с крупными репозиториями. Ниже мы расскажем историю о том, как выявили и устранили проблему.

Читать далее

Новости

Написал скрипт для gThumb (менеджер и простой редактор фото) для загрузки фотографий в Wikimedia Commons, доволен

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров333

Здравствуйте, я загружаю много (как посмотреть) фото (и не только) в Wikimedia Commons. Вместе с Википедией, это важный сервис, особый: некоммерческий, тоже живет на донаты, без рекламы и платных аккаунтов, всё содержимое в свободных лицензиях. Базовый путь загрузки - через веб клиент, который сложный, это не в Фейсбук перетянуть фото. Экосистема, инфраструктура, комьюнити огромно, есть десяток инструментов загрузки. И внезапно, за вечер, я сделал, по моему мнению, один из лучших инструментов, о котором мечтал годами. Получилось так быстро потому что это скрипт для gThumb, который использует официальное SDK Pywikibot на Питоне, и библиотека для чтения/записи IPTC тегов - где указываются категории, категории это важно - Коммонс это не помойка, при загрузке и после ребята стараются систематизировать артефакты, у каждого файла может быть много категорий.

Читать далее

Как с помощью RuBackup сделать резервное копирование систем виртуализации oVirt, ROSA, zVirt, РЕД Виртуализация, HOSTVM

Время на прочтение13 мин
Количество просмотров1.4K

Привет всем, кто заботится о сохранности данных виртуальных машин (ВМ) и не хочет их потерять. Сегодня мы рассмотрим тему бэкапа ВМ на платформе виртуализации oVirt и oVirt-подобных: ROSA; zVirt, РЕД Виртуализация и HOSTVM. Далее в статье, когда будет идти речь о oVirt, подразумевается, что речь будет идти обо всех этих платформах.

Для этого будем использовать систему резервного копирования (СРК) RuBackup.

Читать далее

Как мы делали бэкапы для IaaS и что там под капотом

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров947

Можно много раз говорить, что резервное копирование — это база и необходимая функция для надежной работы с данными в любой системе. А можно раз показать, как мы в нашей инфраструктуре реализовали механизм бэкапов. С учетом специфики виртуальных машин, OpenStack и современных инструментов, обеспечивающих сжатие, дедупликацию и безопасное хранение данных.

Привет, Хабр! Меня зовут Игорь Шишкин, я руковожу командой R&D в облачном направлении Рег.ру и являюсь архитектором наших сервисов — в этой статье расскажу, как мы создавали бэкапы в облаке. Далее о том, как выбирали инструменты для реализации, строили архитектуру и что мы делаем, когда пользователи устраивают тот еще квест — дружно решают забэкапиться в одно время.

Читать далее

Защищенное хранение резервных копий

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров3K

В этом обзоре расскажем о проблематике защиты резервных копий, возможных вариантах реализации такой защиты, а также о совместном решении компаний Киберпротект и АМТ‑ГРУП, позволяющем обеспечить защищенное хранение резервных копий, создаваемых СРК Кибер Бэкап, используя аппаратно‑программный комплекс InfoDiode.

Читать далее

Подмена E-EDID на Windows

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров2.6K

Если вы когда-нибудь, запуская рабочую станцию с операционной системой Windows, обнаруживали, что ваш Full HD монитор показывает лишь изображение с разрешением не более 1024x768 и определяется как «Стандартный не Plug-n-Play монитор», и по какой-то причине вы не имеете возможности переключить монитор на другой видеовход, не поленитесь заглянуть под кат, где я растолкую, как «временно» выкрутиться минимальными усилиями.

Читать далее

Как мы развиваем поддержку OpenStack в Кибер Бэкапе

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров815

Привет, Хабр! Меня зовут Валентин, я инженер по тестированию ПО в компании Киберпротект. Сегодня я расскажу о том, как мы продолжаем развивать возможности защиты платформы виртуализации OpenStack в нашей системе резервного копирования Кибер Бэкап. 

Читать далее

Резервное копирование и восстановление дисков виртуальных машин платформы виртуализации VMware

Уровень сложностиПростой
Время на прочтение18 мин
Количество просмотров3.3K

Когда требуется сделать резервную копию виртуальной машины какой-либо платформы виртуализации, обычно используется следующий подход: сначала добавляют в резервную копию информацию о конфигурации самой виртуальной машины, а затем уже содержание дисков этой виртуальной машины. При восстановлении резервной копии виртуальной машины эта же информация потребуется, чтобы создать экземпляр виртуальной машины на платформе виртуализации и в дальнейшем наполнить диски данными из резервной копии только что созданной виртуальной машины.

Сегодня разберем, как это сделать на платформе VMware.

Читать далее

Как настроить резервирование VK Private Cloud с помощью RuBackup

Уровень сложностиПростой
Время на прочтение21 мин
Количество просмотров777

При эксплуатации облаков, в частности приватных, появляется проблема резервного копирования ресурсов облака. Систему резервного копирования RuBackup можно использовать в качестве решения резервного копирования для виртуальных машин в облаках, в том числе на основе VK Private Cloud.

Предположим, что в вашей локальной инфраструктуре уже проинсталирован и настроен экземпляр VK Private Cloud. Чтобы RuBackup смог работать внутри VK Private Cloud, для начала требуется создать пользователя системы виртуализации openstack, от имени которого будет работать модуль rb_module_openstack RuBackup.

Читать далее

Обновление Кибер Бэкапа — обзор новинок в версии 17.3

Время на прочтение6 мин
Количество просмотров1.5K

В середине апреля вышло обновление нашей системы резервного копирования — Кибер Бэкап 17.3. В этой версии мы обеспечили рывок в производительности системы: относительно максимального числа защищаемых источников данных, дальнейшего развития возможностей работы агентов в многопоточном и кластерном режимах, а также гранулярного восстановления баз данных PostgreSQL.

Помимо этого мы развили защиту платформ виртуализации VMware, oVirt и подобных систем, а также OpenStack. Мы доработали механизмы резервного копирования и восстановления Kubernetes, расширили возможности аудита событий безопасности и интеграции с системами SIEM, внедрили ряд других улучшений.

Читать далее

Maipu MPS5580G2: разгадали секреты функционала от QoS до безопасности

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров570

Привет, Хабр!

Это вторая часть с результатами наших тестов китайского массива. В первом посте мы рассказали, как проходили нагрузочные испытания и проверка на отказоустойчивость. В этой части поделимся результатами функциональных тестов модели Maipu MPS5580G2. Разберем его ключевые возможности: репликацию, метрокластер, QoS, снепшоты, мониторинг и безопасность. Ведь именно для этого в тест мы взяли не один массив, а сразу два!

Читать далее

Мы его нагружали, а он выдержал! Тестируем китайский дисковый массив Maipu

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров1.6K

Привет, Хабр! Нам в руки попал китайский массив. Но не прям в руки, а удаленно. И даже не один, а сразу два. И даже не Huawei, а Maipu. Если вы еще не знаете, у этого производителя есть официальный сервисный центр в Москве, но об этом позже.

В этом посте мы покажем вам результаты наших тестов, начиная с нагрузки и надежности. А позже, во второй части, расскажем о функционале.

Читать далее

Как ошибка в настройке RDP привела к атаке вымогателя

Время на прочтение5 мин
Количество просмотров4.4K

Утро в небольшой ИТ-компании обернулось кошмаром — файлы зашифрованы, ERP-система мертва, а на экране требование выкупа.

Всё из-за одной ошибки в настройке RDP. Как хакеры захватили сеть, почему бэкапы подвели и что спасло бизнес?

Читать далее

Ближайшие события

Более 4 000 ГБ за 11 минут: тестируем три сценария резервного копирования с Кибер Бэкап и TATLIN.BACKUP

Уровень сложностиСредний
Время на прочтение14 мин
Количество просмотров3.7K

В формуле идеального решения для резервного копирования данных enterprise-класса много переменных. Одна из ключевых — производительность решения, включая скорость копирования, нагрузку на сеть и потребление вычислительных ресурсов хранилища и источника данных. 

Инженеры компаний YADRO и Киберпротект протестировали совместную работу системы резервного копирования Кибер Бэкап и системы хранения данных TATLIN.BACKUP в трех сценариях сохранения резервных копий виртуальных машин: с inline-дедупликацией, по протоколу NFS и агентом Tboost на узле хранения. Поделимся результатами тестирования совместимого решения, а заодно предметно поговорим об организации правильной архитектуры с учетом особенностей конкретной инфраструктуры. 

Читать далее

Практический GrapheneOS для параноиков

Уровень сложностиСредний
Время на прочтение49 мин
Количество просмотров6.8K

GrapheneOS — это операционная система с открытым исходным кодом (FOSS), основанная на проекте Android Open Source Project (AOSP), которая в первую очередь сосредоточена на улучшении конфиденциальности и безопасности. Хотя мы все хотели бы иметь наилучшую безопасность и конфиденциальность, к сожалению, такие улучшения редко приходят без потерь в удобстве и простоте использования. В этой статье мы рассмотрим, как максимально использовать улучшения Graphene и как эти меры влияют на пользовательский опыт, предлагая практические решения.

Эта статья является попыткой объединить информацию и знания о мобильной безопасности и конфиденциальности в рамках проекта GrapheneOS.

Читать далее

Как создать дедуплицирующую файловую систему с нуля? Опыт TATLIN.BACKUP

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров4.7K

Как сделать высоконагруженную систему хранения данных в сжатые сроки? Чтобы она не падала через день, не теряла данные и не поглощала ресурсы, как Гулливер провизию в амбаре лилипутов. А еще нужно реализовать дедупликацию и заложить будущий функционал на этапе создания архитектуры. Неплохо бы и стоимость хранения гигабайта снизить до минимума, а скорость передачи данных наоборот, увеличить до второй космической.

Меня зовут Ростислав, я эксперт по разработке ПО отдела систем обработки данных в YADRO. Расскажу о вкладе нашей команды в разработку TATLIN.BACKUP: как мы с нуля создали дедуплицирующую файловую систему, а также какие вызовы преодолели за два года разработки и 200 тысяч строк кода.

Читать далее

LTO снова в моде. Чего ждать от нового, десятого поколения лент

Время на прочтение5 мин
Количество просмотров2.9K

Тренд на ленты возвращается. Много лет про LTO было практически не слышно — их использовали только те организации, которым нужно хранить данные более 15 лет, например проектные и геолого-разведочные компании, архивные фонды. Но шифровальщики и программы-вымогатели увеличили спрос. Сейчас даже те, кому не надо так долго хранить терабайты данных, начали смотреть в сторону LTO, чтобы иметь отчуждаемые в офлайн резервные копии. Заказчики, для которых мы подбираем решения on-premise, тоже устанавливают себе ленточные приводы, чтобы иметь возможность физически отделять данные от доступа извне.

Перед выходом LTO-10 решили посмотреть, что там вообще с ленточными технологиями и как они себя чувствуют в эпоху NVME.

Читать далее

Храним бэкапы правильно: основные способы оставить их «живыми»

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров11K

Резервные копии (РК) долгое время считались надежной страховкой от потери данных. Однако сегодня компании всё чаще становятся жертвами вирусов-шифровальщиков или просто теряют данные. Этого можно избежать, если организовать правильное хранение бэкапов. Разбираемся на примерах реальных ситуаций, как потеря резервных копий разрушала целые бизнесы и как защитить свои данные, чтобы шифровальщики до них не добрались.

Читать далее

Кибер Бэкап и защита СУБД

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров990

Продолжаем рассказывать про то, как быстро и просто начать использовать нашу систему резервного копирования Кибер Бэкап.

В первой части мы обсудили, как развернуть Кибер Бэкап на ОС Linux и создать план резервного копирования. Вторую часть посвятили защите платформ виртуализации. Сегодня расскажем о резервном копировании и восстановлении баз данных.

Читать далее

От дедупликации до air gap: как повысить производительность и безопасность бэкапов

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров1.4K

В этой статье я поделюсь практическим опытом оптимизации производительности и защищенности систем резервного копирования (СРК). Многие наши клиенты задумываются о том, как построить архитектуру корпоративных бэкапов и при этом оптимизировать затраты. Мы рассмотрим архитектурные особенности системы, поговорим о тонкостях настройки дедупликации, обсудим безопасность резервных копий и проанализируем актуальные решения на российском рынке. Материал основан на реальном опыте внедрений и будет полезен как техническим специалистам, так и руководителям ИТ-подразделений.

Особое внимание уделим балансу между производительностью, надежностью и стоимостью владения — трем китам, на которых держится эффективная система резервного копирования. Разберем типичные ошибки, с которыми мы сталкиваемся при проектировании систем, и покажем, как их избежать.

Читать далее
1
23 ...