Обзор архитектуры облачной платформы Скалакси

[mark_ablov]

феерично :)

[amarao]

Расскажите, как вы справляетесь с тормозами LVM при большом количестве томов? Я при 10к+ ощущаю явный дискомфорт, когда вижу, сколько времени создаётся том (больше 30с).

[lohansky]

В /etc/lvm.conf сделай archive=0. Можешь и backup=0 сделать, если уверен, что сможешь восстановить в случае чего.

[opium]

Амарао отпишите пожалуйста реально помогает или нет?

[amarao]

см ниже.

[amarao]

Мистика. Выключил, включил обратно — тормоза прошли. Через некоторое время снова начались.

(не самое долгое время выполнения):

time vgdisplay |grep UUID|wc -l
7

real 0m15.667s
user 0m0.072s
sys 0m0.652s

выключенный archive:

time vgdisplay |grep UUID|wc -l
7

real 0m3.040s
user 0m0.052s
sys 0m0.416s

выключенный archive и backup:

time vgdisplay |grep UUID|wc -l
7

real 0m1.281s
user 0m0.068s
sys 0m0.332s

Да, разница феноменальная. Спасибо, буду думать.

[lohansky]

> Выключил, включил обратно — тормоза прошли. Через некоторое время снова начались.

Все правильно, включенный archive начинает записывать всю историю изменений разделов в текстовом виде, с течением времени тормоза будут нарастать, потому что изменения инсертятся в голову текстового файла.

[amarao]

Ага. А я только уверился, что всё знаю про LVM…

Спасибо.

[voooz]

А лимиты на использование канала к дискам также могут изменятся в зависимости от нагрузки вирт. машины, ноды (в большую сторону, как на процессор) или жестко на каждую виртуальную машину задано?
Скорость дисковых операций зависит от количества слот в вирт. машине?

[lohansky]

Пока что жестко привязаны к размеру слотов, но мы сделаем специальную метрику для масштабирования по iops или трафику, а саму пропускную способность к дискам — отдельно регулируемой для каждого диска.

[phpcmsdev]

спасибо за вкусную статью под ужин.

[drunken]

я правильно понял, что на узлах хранения не используются аппаратные raid-контроллеры?
они считаются непозволительной роскошью, или есть технические проблемы с обслуживанием 36 дисков?

[lohansky]

Они увеличивают цену на хранилище. Если уж аппаратные контроллеры, то тогда сразу системы хранения вроде NetApp или EMC, такое будет видимо ближе к концу года, в отдельных пулах виртуализации и для тех клиентов, которым требуются именно такие решения (сертификация, корпоративные стандарты международных компаний и т.д.).

[drunken]

а я-то надеялся позадавать вопросы :) собираю сейчас несколько небольших серверов, встала конкретная дилемма «что брать?». 3ware больше не будет *плачущий смайлик*, к Adaptec'ам в ценовом диапазоне 400-600$ доверия не было и нет. LSI?

[lohansky]

Я бы взял LSI. У нас стоят LSI HBA, без рейдов, они нас устраивают и для SSD.

[phasma]

3Ware так же продолжает и будет продолжать жить под LSI. С новыми контроллерами проблем нет.

Новая линейка 6Гб SAS 9750, если мне не изменяет память, вышла после покупки AMCC LSI'аем.

[DmitryVolodin]

SRX3600 не слабоват для этой задачи? Все-таки он сильно ограничен по pps, да и с софтом проблемы были.
А отдельные load balancer'ы у вас предусмотрены?

[lohansky]

Если у SRX3600 будут заканчиваться ресурсы, поставим еще два. Пока что он загружен на считанные проценты.

Отдельно load-balancer'ы для чего? Есть F5 Viprion, который пока используется только для внутренних нужд. В планах когда-нибудь дать его пользователям напрямую в панели управления.

[DmitryVolodin]

А какие преимущества даст куча SRX3600 перед парой SRX5800-х, которые набиваются SPC по мере потребности. Все платформа посерьезнее и понадежнее. Трехтысячники под нагрузкой у нас в свое время затыкались и переставали форвардить пакеты вообще.

С VIPRION'ами да, удобная штука и SOAP API хороший, можно простенькие вещи типа пулов и virtual'ов для юзеров организовывать.

[lohansky]

У вас это в badoo? Мы с shapa (он помогал проектировать нашу архитектуру) и людьми из juniper-russia обсуждали этот вопрос и сошлись на том, что для наших задач по деньгам лучше srx3xxx, а на srx5xxx переехать можно будет, если все будет хорошо в плане роста.

[DmitryVolodin]

Нет, SRX'ы мы загибали в Иннове :) С трехтысячниками были проблемы с софтом и с общей надежностью. Минимальной забивки трехтысячника хватит только на 0.7Mpps. Что-то еще удастся простейшими screen'ами вычистить.

Судя по вашей схеме, должна еще быть парочка MX'ов на девятке и десятке ;)

[lohansky]

На m9/m10 стоят циски, так как ядро сети ДЦ построено на них.

[shapa]

Дима — ребята развиваются, надо будет проапгрейдить — с джунипером договорятся.

На тот момент насколько я помню реально 3000-е кардинально дешевле были, хотя я говорил что в общем-то конечно не самые шустрые железки.

Виприон — не знал что простаивает, конечно лучше бы пользователям давать в использование — слишком мощное железо чтобы для внутренних задач ;)

[shapa]

А в общем — для рунета у ребят действительно очень качественно и грамотно сделано, да и пользователи как вижу в целом весьма положительно отзываются.

У конкурентов большинства — по сравнению с этим позапрошлый век ;)

[BeeZONE]

Вопрос про Windows под Xen'ом. Используются-ли (рекомендуются к использованию) pv драйвера? Если да, то какие. А то у меня при установке GPLPV драйверов машина не перезагружалась самостоятельно, а уничтожалась при перезагрузке.

[lohansky]

Используются GPLPV драйвера последней версии. До официального запуска было несколько месяцев альфа и бета тестирования, когда нагружали Windows машинки в разных позах. Работает стабильно.

[realloc]

И как решён вопрос с неподписанностью GPLPV драйвера?

[lohansky]

Хитро.

[realloc]

Побойтесь НЛО, это же технический ресурс, а не конкурс хитрецов-умолчателей.

TESTSIGNING + спрятанный вотермарк?

[lohansky]

Я думаю все простительно в ответе компании-конкуренту, которая уже и так позаимствовала у нас достаточно. Но вы безусловно правы, начав делиться, делись до конца. TESTSIGNING + hidden watermark.

[Stocker]

Дурацкий вопрос можно? Хотя на прошлый дурацкий вопрос мне так и не ответили :(
У меня две софтины общаются через файл. Одна иногда пишет в него команды, вторая часто-часто файл читает на предмет наличия новых команд к действию. Хочется и скорость/частоту этого процесса увеличить и нагружать дисковую систему этой дуротой совершенно без надобности. Что посоветуете? Есть может какой — то надёжный ramdisk под windows? Может у 2008 R2 уже есть что — то вроде /dev/shm? Или винда сама всю эту кучу запросов к одному маленькуму файлу нормально закеширует? Где можно почитать? Заранее спасибо.

[lohansky]

А какой размер файла?

[Stocker]

Пусть будет 20 кб. Хотя если надо, то думаю могу сократить до одного-двух. А какие пределы? Если б точно знать, могу соблюдать, но знать бы в деталях как оно работает.
Софтина, которая читает — проприетарь. С ней надо взаимодействовать. Недавно там сделали API, конечно в конце концов буду работать через API, но там свои заморочки, это в будущем. А пока подаю ей команды своей софтиной через текстовый файл. Выполненнные команды можно из файла удалять если нужно держать размер в рамках, но т.к. я не знаю как все эти записи-чтения работают на низком уровне (своя софтинка на java), то боюсь коллизий и предпочитаю трогать его поменьше.
Важна скорость отклика. В чужой софтине можно выставить частоту опроса файла на предмет новых команд. Сейчас стоит 10 раз в секунду и конечно хочется выставить её на максимум. Хотя и непонятно как его определить. Но ради одной строчки протирать дырку в винте у себя или загружать дисковую подсистему вам — глупо. На ум сразу приходит ramdisk, но это кажется что — то времён 98-й винды и современные ФС вроде как умеют сами всё в АЗУ кешировать.
Просто не знаю как ликвидировать недостаток знаний по кешированию дисковых операций, чтобы точно всё знать и представлять наверняка, потому и спрашиваю :) Извините за надоедлевость.

[lohansky]

20kb файл точно в кэшах будет сидеть, можно не париться по этому поводу.

[amarao]

Кстати, ещё вопрос по поводу blkio-throttle. Вы только bandwidth режите, не иопсы?

[lohansky]

И то, и другое.

[amarao]

blkio-throttle не умеет резать иопсы.

[lohansky]

Ты не прав.

vrt088:~ # cat /cgroup/blkio.throttle.read_iops_device | head -2
253:6 650
253:14 650
vrt088:~ # cat /cgroup/blkio.throttle.write_iops_device | head -2
253:14 650
253:6 650


[amarao]

Спасибо. Не знал.

[minnus]

Простите, но вот тут — неправда.
«В качестве узлов системы хранения могут применяться любые системы хранения данных работающие по протоколам SRP, FC или iSCSI, такие как NetApp, EMC и другие.»

NetApp не умеет SRP, т.е. Infiniband, на front-end. Он умеет там FC, Ethernet 1GbE/10GbE, и FCoE. Пруф — топовые системы NetApp — www.netapp.com/ru/products/storage-systems/fas6200/fas6200-tech-specs-ru.html
EMC, помнится, тоже, хотя я и не специалист по ним.

[lohansky]

Есть специальные гейты IB <-> FC, IB <-> Eth, например от Mellanox, мы их имели ввиду, когда писали эту фразу.

[minnus]

Это понятно, что есть. Но просто в контексте это звучало, будто вышеописанные СХД умеют это out-the-box, что дает неискушенному человеку недостоверную информацию :)