Pull to refresh
  • by relevance
  • by date
  • by rating

Беззащитные данные

Lumber room
В голове крупных бизнес-потребителей ИТ произошло наконец-то смещение акцента с бизнес-приложений на данные, обрабатываемые этими приложениями. А в словосочетании «центр обработки данных» теперь заслуженно выделяют третье слово, а не второе. Вместе с пониманием главной роли данных в бизнесе пришёл и панический страх их утери. Ведь по статистике IDC, в случае продолжительного отсутствия доступа к оперативным данным большинство компаний ожидает банкротство.

Существует два принципиально разных подхода к обеспечению надёжности хранения данных. Первый – это резервное копирование. С резервированием связаны два главных понятия – RPO (recovery point objective) и RTO (recovery time objective). RPO – это момент времени, в который система содержала данные, соответствующие резервной копии. RTO – это время, занимаемое процессом резервирования/восстановления. Естественно, что с ростом объёма корпоративных данных, RTO растёт пропорционально объёму данных, а RPO возникают всё реже и реже. А значит, самые свежие, самые ценные данные становятся наиболее уязвимыми, и их объём при этом возрастает.

Второй подход – это «data is always there», то есть защита данных непосредственно в системе хранения, в момент их попадания туда. А это означает real time RPO и стремящееся к нулю RTO. Этот подход усиленно продвигается грандами систем хранения данных (в частности, компанией EMC). Самый популярный способ обеспечения защиты по предложенной концепции – RAID (redundant array of independent disk; кстати, ранее вместо слова «independent» фигурировало «inexpensive», что для современных fibre channel дисков вряд ли применимо). Принцип действия заключается в объединении нескольких дисков в группу и хранении в ней данных и избыточной информации. Думаю, нет особого смысла рассказывать про уровни RAID, поскольку нас сейчас интересует самый популярный уровень – 5.
((cut))
В RAID5 группе данные сохраняются «размазанными» по всем дискам, также «размазанными» сохраняются и коды коррекции – информация, требующаяся для восстановления данных. Её избыточность для RAID5 составляет оптимальные 25% от объёма полезных данных. RAID5 построен таким образом, что группа выдерживает отказ одного диска единовременно.

Казалось бы, при такой технологии хранения, данные действительно always there. Давайте посмотрим насколько «always». Тонкий момент здесь заключается в том, что группа выдерживает отказ только одного диска в один момент времени. Даже если вы моментально заменяете этот диск, группе требуется определённое время для того, чтобы восстановить на этот диск данные и коды коррекции (rebuild). Данные, естественно, при этом доступны, но если во время проведения процедуры rebuild произойдёт отказ ещё одного диска, то группа будет разрушена. Чем больше дисков в группе и чем больше объём каждого диска, тем более частым будет отказ одного из них, и тем больше времени требуется на rebuild. Вплоть до того, что RAID5 группа из большого количества недорогих объёмных дисков может полностью разрушаться несколько (3-4 раза) раз за год!

Решение этой проблемы во введении двойной коррекции, RAID6 или RAID5 DP. Такая группа выдерживает отказ уже двух дисков в один момент времени (как мы выяснили выше, «момент» для больших групп довольно продолжительное время процедуры rebuild). Отказ двух дисков подряд событие не частое. Теоретически, для групп менее 20 ТБ уровень RAID6 обеспечивает на 2 порядка лучшую защиту данных (время до потери данных) для дисков со средними параметрами, чем RAID5.

Практика заставляет усомниться в теории вероятности: выход из строя второго диска в момент rebuild весьма вероятен. Особенно это касается систем, находящихся под серьёзной рабочей нагрузкой. Влияют на это два фактора. Во-первых, процедура rebuild на продуктивной системе серьёзно нагружает диски, количество операций чтения/записи значительно увеличивается на уже сильно нагруженной системе. Во-вторых, при современном уровне микроэлектроники, диски выходят с конвейера похожими друг на друга как клоны; соответственно, и такой важный параметр, как время наработки на отказ (MTBF), у них практически одинаков. Таким образом, один из дисков, достигший предельного времени работы, приводит к повышенной нагрузке на всю группу, более быстрому, чем в обычных условиях, исчерпанию ресурса остальных дисков и, как следствие, повышенной вероятности отказа ещё одного диска. Этакое веерное отключение.

Производители систем хранения борются с этим как могут. Например, IBM при заказе системы хранения поставляет диски различных производителей и различных партий, для того чтобы внести неоднородность в MTBF дисков и уменьшить вероятность одновременного отказа двух дисков в группе. Однако, концепцию data is always there это не спасает. И наряду с защитой данных in-place продолжает использоваться и резервное копирование. Что, кстати, также не обеспечивает 100% защиты данных от аппаратного сбоя…

Держите это в уме: ваш бизнес уязвим, как и ваши данные. Абсолютная защита данных невозможна, но используя комбинированный подход к защите данных, надёжные устройств и полным резервированием систем хранения вероятность потери корпоративных данных можно минимизировать.
Total votes 61: ↑52 and ↓9 +43
Views 702
Comments 114

Box Backup – горячие резервные копии.

System administration *
Вопросы резервного копирования никогда не утратят свою актуальность. Это то, без чего не возможно представить ни одну информационную структуру. Сегодня мы поговорим об on-line способе создания резервных копий.

Читать дальше →
Total votes 9: ↑7 and ↓2 +5
Views 19K
Comments 8

LJSM 2.8

Lumber room
Cкрипт для сохранения всех меморисов и постов с комментариями любого юзера Livejournal-a. Скачав, может очистить HTML от sidebar-ов, менюшек и т.п. ненужностей, сконвертировать из UTF-8 обратно в человеческую кодировку, сохранить юзерпики и иконки, заменить относительные ссылки на абсолютные.
Создает «оглавление» для скачанных постов. Поддерживает http прокси.

softserver.com.ua/filemgmt/index.php?id=806
Rating 0
Views 338
Comments 1

Бекап важной информации с помощью Rar+nnCron

Lumber room
Уже давно пользуюсь весьма интересной, простой, и удобной программой для архивации важных данных, которая не дала ни одного сбоя за 2 с половиной года работы!
Называется эта программа nnCron, для xUSSR регистрация бесплатная. Работает nnCron в связке с winrar и выполняет несколько простых операций, благодарая которым у меня хранится архив важных мне папок в течении полугода. Естественно пришлось пожертвовать кусочком дискового пространства, но информация дороже.
Читать дальше →
Total votes 7: ↑7 and ↓0 +7
Views 893
Comments 7

Seagate УЖЕ платит за «неправильное» определение гигабайта

Lumber room
Сегодня обнаружил любопытную софтинку от Seagate+Acronis

Судя по всему это и есть ответ сигейта на Seagate заплатит за «неправильное» определение гигабайта. И раздают «ответ» бесплатно!

Читать дальше →
Total votes 14: ↑11 and ↓3 +8
Views 637
Comments 19

Установка драйвера для видяхи NVIDIA в Ubuntu 7.10

Configuring Linux *
Здесь я расскажу как быстро и без проблем установить драйвер на карточки NVIDIA. В основном все советуют устанавливать ручками — я же предлагаю использовать классную тулзу под названием «Envy». Она — лучший вариант правильной установки дров (по крайней мере глюков я пока еще не видел), ИМХО.
Читать дальше →
Total votes 13: ↑8 and ↓5 +3
Views 1.2K
Comments 18

Зачем пользователю Windows нужен Ubuntu LiveCD.

Lumber room
Для многих людей на сегодняшний день единственной возможной операционной системой является виндоуз, однако почти никто из них не рассматривает возможность использования LiveCD с линуксом. Зачем это надо? На этот вопрос я постараюсь ответить в этом небольшом обзоре.
Читать дальше →
Total votes 19: ↑13 and ↓6 +7
Views 595
Comments 25

Инкрементный Backup при подключении USB HDD в Ubuntu

Configuring Linux *
Наконец-то я нашел время заняться свежеприехавшей железкой — USB винт на 500Gb. Этот пост может быть полезен всем, кто задумывался о надежном и удобном бэкапе данных, требующем минимальных затрат усилий.
Итак приступим.

Читать дальше →
Total votes 43: ↑40 and ↓3 +37
Views 4.7K
Comments 36

Яндекс.Фотки Архив

IT-companies
На сервисе Яндекc.Фотки не ограничен объем загружаемых фотографий — его очень удобно использовать для бэкапа и хранения вашей фото-коллекции.

Яндекс.Фотки Архив позволит скачать архив ваших фотографий с сервиса Яндекс.Фотки в один клик, если что-то случилось с вашими фотографиями на локальном компьютере или вам надо скопировать их на другую машину.

Будет отличным дополнением к ранее анонсировавшемуся плагину Яндекс.Фотки для Picasa, выполняющему противоположную функцию — закачку фотографий на Яндекс.Фотки.
Total votes 27: ↑20 and ↓7 +13
Views 3.4K
Comments 22

Появился клиент Dropbox под Linux

Configuring Linux *
Про этот замечательный сервис на Хабре уже несколько раз писали.
Сегодня с радостью для себя заметил, что на форуме проекта появилась тема про клиент для Linux. Напомню, ранее был клиент только под Windows и MacOS X.
Особых сложностей установка не вызывает — есть сборки под Федору и Убунту (для нее также есть и репозиторий) — под обе основные архитектуры, также доступен исходный код. Единственное существенное ограничение на данный момент — поддерживается только файловый менеджер Nautilus (среда Gnome), так что любителям KDE стоит либо подождать, либо написать свой клиент — исходники открыты.

Краткая инструкция по установке:
Читать дальше →
Total votes 36: ↑26 and ↓10 +16
Views 8.3K
Comments 222

Системы резервного копирования данных для настольных компьютеров

Lumber room
Имеется:
Number of Files: 283309
Total Size: 62.92 GB
Тип бэкапов: инкрементальный
Источник: сетевой диск (LAN)
Место хранения: локальный компьютер (Windows), с которого и запускается сама программа копирования
Задача: ежедневное инкрментальное бэкапирование данных, хранение копий за последние 2 недели.

Сначала хотелось найти какое-то бесплатное решение. Но я не смог найти ничего стоящего… Поэтому переключился на коммерческие системы.

Читать дальше →
Total votes 16: ↑12 and ↓4 +8
Views 1.6K
Comments 28

Backup — дело тонкое

Configuring Linux *
Практически все согласны, что бакапы делать надо. Но, тем не менее, эта проблема всплывает снова и снова. Недавний опрос продемонстрировал два любопытных момента: во-первых половина из нас бакапы не делает вообще, а во-вторых автору даже не пришло в голову включить в опрос пункт «раз в день». Что же не так с простой, на первый взгляд, задачей — запаковать свои файлы и положить архив в тёплое и сухое место?

Основная проблема в том, что бакап не относится к тем вещам, которые можно сделать не думая! Если попытаться тупо запаковать всё содержимое винта, то во-первых вам негде будет эти архивы (ежедневные! :)) хранить, и во-вторых ваша машина будет круглосуточно заниматься архивированием себя, любимой, вместо выполнения ваших задач. А когда начинаешь думать (что уже непросто), то оказывается, что данные на винте очень разные, и бакапить их желательно тоже по-разному (что окончательно осложняет ситуацию). Как следствие, либо принимается решение не делать бакапы вообще (замаскированное под «отложить на потом»), либо ставится первая попавшаяся утилита и кое-как быстро настраивается, в надежде, что этого будет достаточно.
Читать дальше →
Total votes 41: ↑32 and ↓9 +23
Views 16K
Comments 69

Удобный Backup

Computer hardware
Как известно, в Asus Eee и других нетбуках нет сидирома, а посему а делать загрузочную флешку от Acronis'а как-то не улыбается.
Но есть два простых способа сделать образ диска.
Оба способа требуют загрузки любой Linux-системы (с флешки) и прав суперпользователя для исполнения (то бишь sudo для Ubuntu и su для всех остальных)

1. > dd if=/dev/sda1 of=/media/disk/backup.bck

2. > cat /dev/sda1 | gzip > /media/disk/backup.bck.gz

В примерах /dev/sda1 — резервируемый раздел, а /media/disk/ — флешка.
Соответственно, второй способ несколько удобнее за счет сжатия. А первый — заметно быстрее.

Восстановление: в первом случае поменять местами аргументы, а во втором — использовать команду zcat.

Идеи почерпнуты в блоге Telegamochka и комментарии Moose_kazan там же. Проверены на моем MSI Wind.
Total votes 21: ↑12 and ↓9 +3
Views 849
Comments 10

Настройка резервного копирования в Ubuntu

Configuring Linux *

Настройка резервного копирования в Ubuntu за 20 минут.


Для работы над проектами использую svn, который находится на удаленном виртуальном выделенном хосте, под управлением ubuntu 8.04. Со временем объемы данных выросли, как и критичность этих данных. Потеря чего-то снилась в кошмарах. Время от времени копировал репозитории на локальный компьютер. Недавно мне это надоело. И я стал искать возможности автоматизировать это дело. Не буду говорить о поисках и вариантах, расскажу о результатах.

Итак, мы имеем удаленный хост под управлением ubuntu, с некоторым массивом довольно критичных данных. Довольно логичным было бы настроить бэкап прямо на удаленном хосте, с помощью tar по крону, rsyns и т.д. Но, т.к. место на виртуальном выделенном хостинге довольно дорого и использовать его лучше по делу, идеально было бы, чтобы данные автоматически копировались на какую нибудь локальную машину, место на которой хоть отбавляй. В моем случае это файловый сервис в офисе, под управлением все той же Ubuntu.

Итак, приступим
Total votes 58: ↑53 and ↓5 +48
Views 87K
Comments 23

Мак. Гид по выживанию. Часть 2

IT-companies
Translation
Перед вами вторая часть большой переводной статьи Мишель Делио. Если вы ещё не читали, можете ознакомиться с первой частью Гида по выживанию на этих страшных яблочных компьютерах.

В статье много ссылок на платные программы, что многие расценят, как рекламу. Я долго думала, что с ними делать, и решила оставить, но пыталась рассказать также о возможных бесплатных альтернативах. Здесь и далее мои комментарии выделены курсивом. Итак, приступим к нашим бедствиям.

Chapter 2

Читать дальше →
Total votes 69: ↑43 and ↓26 +17
Views 15K
Comments 48

Disk Write Copy: софт, способный сделать Windows вечным.

Self Promo
Сложилось так, что работаю я в компании CCS. Полностью Российской компании, которая на свет появилась в качестве стартапа, собравшись в крепкую команду.

Хочу познакомить хаброжителей с программным обеспечением Disk Write Copy, которое эта компания выпускает.

image

Это означает, что если поставить все диски на компьютере под защиту, то утилита потребует перезагрузки в процессе которой моментально создаст их теневые копии, а оригинал будет оставаться защищенным и никак изменяться не будет. В процессе работы на компьютере, все что делается, представлено в качестве изменения информации и именно эти изменения будут накапливаться в теневом диске. Такие как закачка новых фильмов, изменение настроек компьютера, реестра. Скачаные вирусы и трояны, ожидающие внедрения. Все это будет той измененной информацией. Так вот когда настанет момент и Вы выключите или перезагрузите компьютер, то вся измененная информация пропадет бесследно, а вы снова увидите свой оригинальный диск.
Читать дальше →
Total votes 114: ↑73 and ↓41 +32
Views 1.9K
Comments 111

Valuehost backup

Hosting
image
Друзья,
пишу впервые, прошу извинить за наглость, но нужен совет профи!

У нас на valuehost пропало два форума, после того, как мы сделали backup данных БД mysql за 1 день через «Восстановление данных» на контрольной панели Валуйхоста.
Т.е. текущая база удалилась, вместо нее появилась пустая бд.

В СП Валуя сказали что бэк делался пустой, изза ошибки базы. Но наши сайты работали более года нормально (кроме регулярной 502 ошибки), и как я полагаю бд была нормальная.

Теперь сп отвечают что: «Мы не можем вам помочь, данных нет».

Есть ли наша вина в том, что форумы делали якобы «кривую бд», и поэтому скрипт бэкапа валуя записывал всегда пустой файл, который нам дружелюбно предложили в качестве резервной копии?

И самое главное, есть ли техническая возможность восстановить эту бд. Ведь она была не пустая, в ней было море информации!

p.s. ВЫВОД: бэкапам mysql Valuehost`а (да и другим хостерам думаю тоже) доверять нельзя! Делайте свои бэкапы, пусть наш горький опыт будем Вам наукой.

chumric: Админы делятся на 2 категории: те кто не делает бекапы, и те кто уже делает

p.p.s В этой истории есть 1 плюс — на руинах старого форума мы открыли сообщество профессионалов в области промышленной окраски. Но пасаран, друзья!
Total votes 79: ↑65 and ↓14 +51
Views 1.7K
Comments 142

Как делать бекапы разнородного контента?

Lumber room
Доброго времени суток!

Хочу попросить совета у хабражителей по поводу бекапов.

Есть папка с проектом, в неё находятся исходники и большое количество графических и видео файлов. В данный момент бекап скрипт делает следующим образом:
  1. Дампит все базы в папку с бекапами — каждая база в свою папку, каждая таблица в свой файл
  2. Запаковывает каждую папку с базой в .tar, потом жмёт всё это в 7z
  3. Копирует папку с проектом в папку бекапов
  4. Пакует папку с проектом в .tar и жмёт 7z

Естественно графики много, она не ужимается и сжатие происходит очень долго. В данный момент там порядка 2-х гигабайт пользовательских графических файлов.

На данный момент есть следующие идеи:
  • Копировать только все текстовые файлы, т.е. исходники и графику дизайна (её не много) — использовать find или сделать скрипт, который копирует все подпапки проекта по отдельности, пропуская папки с графикой
  • Папки с графикой копировать отдельно и просто паковать в .tar
  • Вариант с rsync думал, но я не нашёл возможности делать синхронизацию на windows машину


Любые дельные советы и идеи приветствуются.
Сервер работает на Gentoo Linux.
Total votes 7: ↑4 and ↓3 +1
Views 384
Comments 7

Элементарный Bash скрипт для резервного копирования данных

Configuring Linux *
Привет хабралюди, сейчас я расскажу как можно немного автоматизировать рутиную работу по подготовке бэкапов.

В данном случае, мы не будем использовать мощные программы, или даже целые системы для резервного копирования данных, ограничимся самым доступным что у нас есть. А именно — Bash скриптом.

Читать дальше →
Total votes 53: ↑43 and ↓10 +33
Views 49K
Comments 63