Как управлять стадом OpenVZ контейнеров, если их количество > 300-500

[Andrey_Rogovsky]

Для бекапов я использовал CDP — минимальная нагрузка, централизированное хранилище. Единственное что — платный.

[cabeza]

Честно говоря, навскидку не понял — одна железка-один журнал? Т.е. без центрального демона?
Но сама идея просто отличная!

[cabeza]

А, судя по «starts at $180/Agent», всё в порядке

[Andrey_Rogovsky]

Там веб-интерфейс и кодер может вернуть себе файл без дерганий админа. За что любим админами :)

[kay]

что можете рассказать об инкрементальных бэкапах + возможность получить доступ к файлу за любое число?

[cabeza]

К какому именно файлу? Проекты достаются из VCS, там не то что число, там гранулярность до коммита; базы — посуточно, за последние 10 дней; контент — это бакула (если не путаю, ежедневные срезы за последние 10 дней, дальше еженедельные, дальще ежемесячные.). Системные файлы — а зачем именно оригинальные? У нас есть ovz`шные шаблоны для всех нужных нам типов контейнеров, профили шаблонов хранятся в гите.

[unicast]

Не понял юмора про «Используйте Bacula, если вы не планируете восстанавливать файлы из бэкапа»
Можно пояснить?

[cabeza]

Попробуйте восстановить из бакулы гигов 5 файлов.
Мы держим бакулу на случай либо единичного восстановления конкретного файла, либо либо на случай необходимости неспешного (порядка 0.5-1 суток) восстановления целого контейнера. Последнее крупное восстановление было года 3 назад, тогда решили файлы с бэкапируемой, если так можно выразиться, умершей железки восстановить с одновременным перетаскиванием оных файлов в vps.

[unicast]

Восстанавливал, довольно шустро.
Есть 2 хинта:
1. база каталога должна быть в myisam
2. файлы нужно бэкапить без компрессии — тут действительно можно несколько суток восстанавливать. Где-то в рассылке упоминалось.

[cabeza]

> 1. база каталога должна быть в myisam

У нас база занимает почти 40Г (правда, без оптимайза-аналайза, подозреваю). Посему для нас остаётся только постгрес.

[unicast]

Наверное надо было первым пунктом написать про компрессию. Основное падение скорости как раз тут.
У меня база 13 гигов.

[cabeza]

Бакулу настраивал не я, но:
я правильно понимаю, что если ни в одном из FileSet {} нет опции Compression, то компрессии нет?

Спасибо за совет

P.S. я ошибся — около 5ти часов доставались не 5, а 345 гигов (посмотрел сейчас размер впса).

[unicast]

Если нет compression = GZIP, или другого, то не должно быть. По-дефолту выключено.
А VSS не включено? Тоже влияет.
У меня 200 гигов мелких файлов восстанавливалось за час вроде бы. Надо перепроверить.
Ещё может влиять размер файлов-томов. У меня 10GB. Ну и дальше всякие тонкости типа версии бакулы и прочего.
Мы её пользуем из-за относительно удобной возможности восстанавливать разные версии файлов.

[cabeza]

VSS нет.

размер томов — оно?
Maximum Volumes = 20
Maximum Volume Bytes = 512 000 000 000

[unicast]

Да, оно
Я пробовал делать 100гигов — это 100 000 000 000, было медленнее, чем 10 по 10 000 000 000 (10GB)
А у вас 512GB. Имхо, многовато, но нужно пробовать.
А железо какое?

[cabeza]

Тупо несколько рейдов (кажется, три) склеенные lvm`ом в один раздел на 17Тб. Даже не полка)

[unicast]

Аналогично (:
Ну тогда нужно тестить на предмет размера тома.

p.s. у а harvester'а есть общедоступная демка?

[cabeza]

нет, демки нет, но могу наделать скриншотов на работе)

Хм, в принципе, могу сделать GAE-based демку, но быстро это не будет и необходимости особой не вижу

[unicast]

Да, скриншотов бы хватило. Буду благодарено

[cabeza]

Что-то типа такого
harvester.assembla.com/spaces/image_annotation/image_gallery/clVUzwZHOr3RCOeJe5afGb

[unicast]

Оо, круто. Поставлю посмотреть.

[spanasik]

C каких масштабов актуальна виртуализация?

[cabeza]

AFAIR мы начинали с 10-15ти железок,

[spanasik]

Т.е. 10-15 серверов — это ОК, а дальше уже нужно переходить на виртуализацию?

[cabeza]

С одной стороны — да, ОК.
С другой — знакомым из дружественной веб-студии я перетащил 6 из 8ми железок на два оставшихся сервера — весьма средней «толщины». В итоге — они платят петерхосту за колокейшн на 25Круб меньше в месяц. Выгода налицо.

[spanasik]

Как это получилось? Они держали незагруженные серверы?

[cabeza]

Было что-то вроде такого:
Арендованные сервера:
«почтовый сервер», «сервер с сайтами и базами №1», «сервер с сайтами и базами №2»
+ 2 собственных под бэкапы-развитие-возможные пертурбации-мелочь-etc.

Вариант «держать на одной железке все сайты + почту» не проканывал совершенно, потому что время от времени один сервис становился раком сам и тянул за собой всю железку. Сейчас этим раком встаёт _максимум_ 1 контейнер.

[spanasik]

Спасибо за информацию! :-)

[cabeza]

Без проблем.

[unicast]

Перенесите в блог администрирование, или веб-хостинг, кармы хватает (-;

[cabeza]

Резонно
перенёс