1998 год, Студия Pixar. Полным ходом идет создание «Истории игрушек 2». В процессе участвует более 150 человек. Размер исходных материалов анимации составляет 10 ГБ (по тем временам это очень много). Каждый день строится полный бэкап на ленту. Кассета имеет размер… 4ГБ (данные при записи на ленту сжимаются, но, конечно, не до такой степени). Каждый раз выдается ошибка, но этого никто не замечает, потому что лог-файл располагается на этой же кассете и пишется в самом конце бэкап-задания, а, поскольку места на кассете уже нет, он имеет размер 0 байт. Каждую неделю проводится тестовое восстановление данных, в ходе которого проверяются первые 2000 кадров анимации. И, конечно, каждый раз тест проходит успешно.

… А потом вдруг наступил день, когда кто-то из сотрудников (ошибочно или намеренно) запустил на сервере команду "/bin/rm -r -f *" (или аналогичную), которая удалила 90% из 100,000 файлов исходников анимации. Один из сотрудников компании, Ларри Катлер, как раз просматривал файлы папки с исходниками анимации, собираясь откорректировать что-то в модели шляпы персонажа Вуди, как вдруг он заметил, что файлов в папке осталось всего 40… потом 4… а еще через секунду их там не осталось вовсе. Ларри позвонил в ИТ службу и сообщил, что "произошла масштабная потеря данных", и что "восстановление потребует полную резервную копию..." Которой, как выяснилось чуть позже, у них не было, несмотря на ежедневный бэкап.

Если мантра Google звучит как “поиск всей информации в мире одним кликом”, то мантра молодого российского проекта Pandorama идет дальше: “найдем без клика всю интересную вам информацию”.

Приложение Pandorama предлагает своим пользователям “бесконечную” персонализированную ленту новостей, составленную на основе их личных информационных предпочтений, не требуя при этом от читателя работы с “тегами”, “категориями” или “лайками” друзей. Сначала нужно ответить на пару вопросов про несколько забавных панд, а потом нужно просто… читать предлагаемую ленту. Те новости, которые вы прочитали, будут автоматически анализироваться и обрабатываться системой, с тем, чтобы в дальнейшем такого рода новостей в ленте становилось все больше, а тех новостей, которые не вызвали у вас интереса – все меньше.

Pandorama уже объединяет более 40 тыс. пользователей по всему миру, и это число постоянно растет. В данной статье рассматривается BigData-инфраструктура этого проекта, функционирующая в режиме 24x7, механизмы обеспечения ее отказоустойчивости, и защита ее данных от сбоев, построенная с использованием Veeam Backup & Replication Cloud Edition.

Год назад мы делали обзор бесплатного инструмента для резервного копирования виртуальных машин (ВМ) и их управления в VMware и Hyper-V – Veeam Backup Free Edition. Недавно состоялся выпуск версии 7.0 с новыми фичами и улучшениями. В этом посте я хочу рассмотреть те функции, которые показались мне наиболее интересными.

Для начала я хочу отметить три главные функции:

• VeeamZIP – позволяет создать резервную копию работающей ВМ без ее отключения, например, для того, чтобы перенести ВМ и файлы на другой хост.
• Восстановление из резервных копий – покрывает большое кол-во сценариев восстановления, включая ВМ целиком, файлы гостевой ОС или отдельные объекты приложений.
• Quick Migration для VMware – позволяет мигрировать работающую ВМ между хостами и/или хранилищами с минимальным временем простоя без использования кластеров и общих хранилищ даже при отсутствии VMware vMotion и vStorage Motion.

В первой части данной статьи мы рассказали про правило резервного копирования «3-2-1». Теперь мы приглашаем посмотреть вторую часть статьи, содержащую запись нашего полуторачасового вебинара, подготовленного в формате whiteboarding сессии (то есть никаких PowerPoint слайдов — будет только наш эксперт и презентационная доска), на которой он шаг за шагом показывает какие проблемы встречаются у компаний в области резервного копирования, и как правило «3-2-1» можно реализовать на практике на примере продукта Veeam Backup & Replication. Помимо записи вебинара в статье приводятся ответы на наиболее актуальные вопросы, заданные участниками в ходе его онлайн-трансляции.

Что делают многие предприниматели, когда продают многомиллионную компанию? Основывают другую. Так вышло у Андрея Баронова и Ратмира Тимашева. Когда они продали свою первую компанию, Aelita Software, им пришла идея создать новый проект, и так появился Veeam Software.

Все началось с крохотной комнатки в одном из бизнес-центров Санкт-Петербурга, где помещались лишь три рабочих стола. Почему было не снять большой офис в доме Зингера, деньги ведь уже были? Все просто. Основатели Veeam работали по принципу «start-in-garage» («старт-в-гараже») – создание компании и получение первой прибыли при минимальных затратах (про этот принцип подробно рассказывают на интенсивной образовательной программе Start in Garage для предпринимателей, занимающимися бизнесом в сфере Интернета, облачных сервисов и разработки программных продуктов).

В результате Veeam Software начал строиться с небольшой комнаты, нескольких столов и компьютера за $600. Вот как выглядел первый центр обработки данных компании Veeam (Фото 1):

Фото 1. Первый дата-центр компании Veeam Software, 2006 год. Здесь уместились виртуальный контроллер доменов, почтовый сервер, file/print сервер. Суммарная стоимость — $600.

Считается, что бэкап-правило «3-2-1» впервые описал Peter Krogh в своей книге «Управление цифровыми активами для фотографов». И это, наверное, неудивительно, так как потеря личного архива означает для профессионального фотографа полную катастрофу, и он просто обязан придерживаться такой стратегии резервного копирования, которая гарантировано защитит его от потери данных.



Итак, правило «3-2-1» гласит, что для обеспечения надежного хранения данных, необходимо иметь как минимум:

1. ТРИ резервные копии,
2. которые должны быть сохранены в ДВУХ различных физических форматах хранения,
3. причем ОДНА из копий, должна быть передана на внеофисное хранение

Все три составляющих правила базируются на принципе обеспечения отказоустойчивости через избыточность хранения данных.

В прошлой статье я рассказал про преимущества/недостатки и способы улучшения работы по резервному копированию через технологию прямого доступа к SAN – Direct SAN Access. Сегодня продолжим наш рассказ.

25 октября вышла новая версия нашего флагманского продукта – Veeam Backup & Replication 6.5. Новая версия включила в себя ряд интересных усовершенствований, одна из которых – восстановление виртуальных машин (ВМ) из “снэпшотов” SAN (аппаратных снимков). Ниже я коротко расскажу про эту технологию подробнее.

Кратко об СХД HP LeftHand Storage

После появления виртуальных сред в компаниях появилась возможность запуска на одном сервере нескольких ВМ. Со временем количество серверов, ВМ и приложений в компании растет, а емкости и производительности систем хранения данных (СХД) становится недостаточно. Эта проблема решается добавлением дополнительных дисковых полок до того момента, пока контроллерная пара СХД не станет узким местом в развитии инфраструктуры. При наступлении такой крайней ситуации обычно компании решают либо заменить контроллерную пару (upgrade), либо поставить новую СХД.

С точки зрения архитектуры HP SAN Left Hand Storage (HP SAN) принципиально отличается от стандартных СХД тем, что масштабируются не только по емкости, но и про производительности. HP SAN не имеет отдельных контролеров и отдельных дисковых полок, а каждый массив обладает своими ресурсами (процессор, диски, кэш, порты ввода / вывода), поэтому наращивая массив компания не только увеличивает дисковые ресурсы, но и процессорную емкость, кэш, т.д.

Таким образом, HP SAN представляет из себя кластер из узлов хранения, где каждый узел – это полноценное хранилище данных. Между узлами происходит автоматическое перераспределение данных, и все это управляется через единую консоль. При добавлении новых узлов производительность и надежность HP SAN только возрастает.

Подробнее можно посмотреть хорошее поясняющее видео (на английском).

От автора

Добрый день, хабр! А вы знаете, что продает HP, кроме принтеров? А Dell, кроме ноутбуков и мониторов? А Hitachi, кроме бытовой техники? Что общего у перечисленных компаний и EMC? Ответ кажется простым для специалистов, но не так очевиден для среднего IT-специалиста.

Все перечисленные компании продают (в т.ч.) системы хранения данных. Какие системы? Да, по своему опыту я убедился, что познания в области хранения данных большинства знакомых мне IT-инженеров заканчиваются в области RAID. Так родилась идея написать эту статью, или даже несколько. Для начала мы рассмотрим ряд технологий в области управления информацией, отметим, какие существуют подходы к хранению данных и почему каждого из них оказывалось недостаточно. Здесь описываются базовые принципы DAS, NAS и SAN, поэтому специалистам эта статья будет, скорее всего, бесполезна, если же вам эта тема не близка, но интересна, добро пожаловать!