Опыт переноса веб-сервисов компании СОЮЗ в масштабируемый виртуальный комплекс

[bondbig]

Хорошая success story.l Поздравляю и Союз и Оверсан.
Радует, что применяете open-source вместо модных балансировщиков/ADC от больших вендоров типа циски и F5, за это отдельный респект.

[jazzman]

спасибо! и за респект тоже )).

[multagor]

Компания Оверсан-Меркурий любит и хорошие open-source решения и надежное оборудование от известных вендоров.

[Exileum]

Хм, то-то удивительно быстро интернет-магазин «СОЮЗа» работать стал, а то раньше что ни клик — то лаг.

[jazzman]

прямо в цель! ))

[inkvizitor68sl]

конфиги в студию бы с пояснениями.
а то таких success story можно много написать-прочитать.

[jazzman]

какой именно конфиг интересует? конфигурация МВК описана здесь: habrahabr.ru/company/oversun-mercury/blog/92908/

[inkvizitor68sl]

интереснее читать не как оно работает, а как оно настроено и почему)

[MNX]

Люблю читать ваши статьи, жутко интересно! Спасибо)

[jazzman]

спасибо, стараемся сделать посты интереснее. в ближайшее время опробуем видео.

[non7top]

схема почему-то без пояснений. fe1test, fe, slb

[multagor]

Slb — узлы балансировщиков, fe — узлы backend-ов, fe1test тестовая платформа.

[mgyk]

Файлики можно разбарсывать по WebDav, nginx его для этого и поддерживает. DRBD избыточен если нужно просто синхронизировать фаилы, кроме этого можно получить ололо, когда у нас DRBD кластер рассинхронизируется.

[uMg]

мм если потребуется добавить еще один узел аналогичный по функционалу Fe1 и Fe2 что будете делать с DRBD?
мы столкнулись с тем что расширить на 3 узла очень проблематично DRBD и затратно по времени и затем перешли на более простую синхронизацию дерганьем скрипта…

[multagor]

Для тех целей, которые ставил перед нами заказчик мы решили что backend серверов будет 2, не вижу смысла делать еще один backend. Если же вдруг случится ситуация, что ресурсов на backend серверах будет не хватать, мы на «горячую» добавим памяти и процессора.

[angry_elf]

Вы там уже разобрались со своими финансовыми заморочками? Сервера больше не отключают навсегда? Вам уже можно доверить сайт с нулевой посещаемостью (я забочусь о своих клиентах)?

[klark]

Что? Почему до сих пор никто McHost не припомнил? :)

[hazg]

Потроха в студию!

Поясню: )) не знаю как остальным, а мне очень любопытно, как все устроенно (это с детства :-) ). Читать о ваших успехах на удивление интересно (10000 плюсов пиаршику в ежеквартальную карму), но в итоге чувствуешь себя немножко обманутым. Мне лично интересней на конфиги смотреть, а не на блок схемы… так сказать мое ИМХО.

[multagor]

Спрашивайте конкретно, что Вас интересует и мы Вам ответим. Выкладывать конфиги всего софта, который мы использовали не считаю интересным для Хабросообщества.

[jazzman]

спасибо за 10000 плюсов )).

[shark1]

Оверсан, насколько мне известно вы самостоятельно разрабатываете облачный продукт схожий с Amazon Cloud. Когда планируется использовать собственный продукт?

Кста iSCSI массив на котором хранятся образы виртуальных машин как-нибудь резервируете? (active-active репликация например) Чревато для кастомеров если нет.

[multagor]

iSCSI массив реализован на продукте HP p4300 SAN, кластер состоит из 4 узлов (дисковых полок), которые объединены в массив RAID5, внутри самого узла так же сделан RAID5 из дисков.
То есть нашему заказчику не стоит бояться выхода из строя ни диска массива внутри узла, ни даже целой полки.

[jazzman]

облаком занимается наша «сестринская» компания, Оверсан-Скалакси. их сервис уже запущен и активно используется.

[shark1]

success story уже есть?

[jazzman]

насколько мне известно, есть, но как-то они не спешат публиковать это все. мы работаем довольно автономно. думаю, скоро обязательно что-нибудь напишут.

[shark1]

если у Вас 4-е дисковые полки, то максимальное network I/O капасити на полку 4gb/s или 16 gb/s на весь кластер, чего явно мало для масштабирования в случае использования этого же массива другими клиентами, что подразумевается в случае МВК. Плюс редандаси на сетевом уровне, судя по топологии которую Вы публиковали в посте про МВК, дисковый массив вотнут в один свитч, что опять же уменьшает реданданси в разы

[multagor]

Топология подключения на данный момент оптимизируется для лучшей работы iSCSI. Про обновленную топологию будет пост. Да, скорость кластера составляется 16 Gb/s. Как только мы упремся в потолок пропускной способности, то добавим в кластер еще узлы для расширения массива и повышения скорости работы массива.В дальнейшем мы будем предлагать клиентам более быстрое хранилище. Но тем не менее я не считаю скорость в 16 Gb/s недостаточной для нормального функционирования МВК.

[shark1]

ага) jumbo frames не забудьте включить, вцелом все ок :)

[multagor]

Спасибо, мы знаем :)

[unicast]

А что поверх DRBD?

[multagor]

ocfs2