Да, об указании на нюансы, впредь буду больше внимания обращать.
Что касается active-active между ЦОД. Это не я решал. Более того, это было уже до меня. Так построено приложение, что работают ноды кластера в режиме active-active. В общем — это еще один де-факто.
Нет, как я понял, round-robin используется для поочередного доступа к ceph через развернутые RadosGW.
В моем случае работа узла кластера должна быть локализована в рамках ЦОД но с общим хранилищем. В каждом ЦОД свой RGW. Потом должен появиться резерв по доступу, соответственно по 2 RGW ноды на ЦОД с попарной балансировкой round-robin.
Касаемо количества файлов. Читаются они чаще, чем пишутся. Соответственно и SLA не нужно путать с QoS системы. Конечно же это не значит, что при нормальной работе все готовы ждать сутками. Тогда можно носить все дискетками и вообще не заморачиваться.
Конечно можно обойтись без ceph. Можно много без чего обходиться. Можно было поднять nfs-шару, можно две и их синкать, можно и не nfs. В общем костыли на любой вкус. :)
Спасибо за дельные замечания!
ssd только как журнальные устройства. Tiering нет и не предвидится. Задача не та.
Сеть 10g. По части двух цодов показывает сейчас стабильно для возложенных задач. Естественно, это пока в тестировании и еще долго в нем пробудет.
Простите, конечно, но Ваши рассуждения так «по-нашему» бескомпромиссные. Не разобравшись в проблеме, надо сказать, что все не так.
Мне это анекдот напомнило:
49% несчастных случаев начинаются со слов «смотри, как умею»
51% — со слов «смотри как надо»
Я неплохо умею читать документацию, тем более «гуглить». И я ни в коем случае не собираюсь «отбрасывать тень» на технологию и тем более считать себя «первопроходцем». Многие полезные советы я учту и опробую. Тем более, что это, пока, далеко не продакшн.
Проблема в том, что у меня нет DR ЦОДа, они active-active. И как именно мне поможет federation при работе кластера в active-active? Я ответа не нашел, подскажите?
Что касается репликации 2 — я много читал, что не делайте так, но есть нюанс. Данные критичны с точки зрения законов РФ по хранению, при этом SLA исчисляется сутками. Мне говорят (и при том обоснованно) на тебе ленты, поднимемся из бэкапа. Кстати еще одна проблема в отсутствии federation.
При этом сейчас софт работает с блочными distributed томами — вот это дорого.
Загрузка в сутки порядка 200 файлов по 5-10Мб. Не ахти как.
Касаемо сети, мне никто не даст ее «положить». Есть, по крайней мере, rate limit для моего vlan. «Моргнуть» может по разному, и вот если будет ложиться FC, из-за initial copy, вот тут прям не знаю даже что лучше будет.
Вообще в любой книжке по архитектуре написано так: «вот так вот нужно, но вы, это, смотрите по обстоятельствам. Как бы чего не сломать.» :)
Может я на эти грабли не вставал еще?
Или у меня данных на нем просто мало лежит.
Я гасил половину кластера и через 4 часа поднимал. Сеть на 15% только прогрузилась. Ну это из мониторинга нод кластера. Повторю эксперименты и подключу к ним сетевиков. Поизучаю поведение всесторонне :)
Ну если они допускают использование одной сети, то видимо проблем в этом уже не видят.
Сетевики не жаловались, да и данных у меня на нем пока 300gb…
Там еще есть нюанс с настройкой gc параметров. Нужно искать баланс во временном интервале выполнения collector'а. Я думаю мне это еще предстоит.
Я на практике это не делал, кстати, спасибо за совет, в ближайшие недели попробую.
Документация же говорила о том, что для этого нам и нужно кворумное большинство. При сплите кворумное меньшинство должно прибивать службы на тех osd нодах, до которых может дотянуться.
Большинство, понятно, выживает. Какие-то объекты нужно будет перезаписать. Но это уже вопрос приклада.
А сеть мне отдавали сетевики :)
Т.к. я не большой спец в ip-сетях, попробую объяснить.
Я так понимаю, что vlan растянут по ЦОДам, поэтому у меня вообще не было проблем. Для меня это просто одноранговая сеть.
Но в принципе — это не имеет значения. Главное чтобы были маршруты и описание в hosts. Dhcp тоже не плохо.
Lio пока не умеет делать fc-target из RBD. Это плохо.
Что касается active-active между ЦОД. Это не я решал. Более того, это было уже до меня. Так построено приложение, что работают ноды кластера в режиме active-active. В общем — это еще один де-факто.
Нет, как я понял, round-robin используется для поочередного доступа к ceph через развернутые RadosGW.
В моем случае работа узла кластера должна быть локализована в рамках ЦОД но с общим хранилищем. В каждом ЦОД свой RGW. Потом должен появиться резерв по доступу, соответственно по 2 RGW ноды на ЦОД с попарной балансировкой round-robin.
Касаемо количества файлов. Читаются они чаще, чем пишутся. Соответственно и SLA не нужно путать с QoS системы. Конечно же это не значит, что при нормальной работе все готовы ждать сутками. Тогда можно носить все дискетками и вообще не заморачиваться.
Конечно можно обойтись без ceph. Можно много без чего обходиться. Можно было поднять nfs-шару, можно две и их синкать, можно и не nfs. В общем костыли на любой вкус. :)
Ок, буду читать.
ssd только как журнальные устройства. Tiering нет и не предвидится. Задача не та.
Сеть 10g. По части двух цодов показывает сейчас стабильно для возложенных задач. Естественно, это пока в тестировании и еще долго в нем пробудет.
Мне это анекдот напомнило:
49% несчастных случаев начинаются со слов «смотри, как умею»
51% — со слов «смотри как надо»
Я неплохо умею читать документацию, тем более «гуглить». И я ни в коем случае не собираюсь «отбрасывать тень» на технологию и тем более считать себя «первопроходцем». Многие полезные советы я учту и опробую. Тем более, что это, пока, далеко не продакшн.
Проблема в том, что у меня нет DR ЦОДа, они active-active. И как именно мне поможет federation при работе кластера в active-active? Я ответа не нашел, подскажите?
Что касается репликации 2 — я много читал, что не делайте так, но есть нюанс. Данные критичны с точки зрения законов РФ по хранению, при этом SLA исчисляется сутками. Мне говорят (и при том обоснованно) на тебе ленты, поднимемся из бэкапа. Кстати еще одна проблема в отсутствии federation.
При этом сейчас софт работает с блочными distributed томами — вот это дорого.
Загрузка в сутки порядка 200 файлов по 5-10Мб. Не ахти как.
Касаемо сети, мне никто не даст ее «положить». Есть, по крайней мере, rate limit для моего vlan. «Моргнуть» может по разному, и вот если будет ложиться FC, из-за initial copy, вот тут прям не знаю даже что лучше будет.
Вообще в любой книжке по архитектуре написано так: «вот так вот нужно, но вы, это, смотрите по обстоятельствам. Как бы чего не сломать.» :)
Или так, попиариться
All flash. Вот с последних двух забугорных слов стала понятна нагрузка.
Или у меня данных на нем просто мало лежит.
Я гасил половину кластера и через 4 часа поднимал. Сеть на 15% только прогрузилась. Ну это из мониторинга нод кластера. Повторю эксперименты и подключу к ним сетевиков. Поизучаю поведение всесторонне :)
Сетевики не жаловались, да и данных у меня на нем пока 300gb…
Там еще есть нюанс с настройкой gc параметров. Нужно искать баланс во временном интервале выполнения collector'а. Я думаю мне это еще предстоит.
Документация же говорила о том, что для этого нам и нужно кворумное большинство. При сплите кворумное меньшинство должно прибивать службы на тех osd нодах, до которых может дотянуться.
Большинство, понятно, выживает. Какие-то объекты нужно будет перезаписать. Но это уже вопрос приклада.
Т.к. я не большой спец в ip-сетях, попробую объяснить.
Я так понимаю, что vlan растянут по ЦОДам, поэтому у меня вообще не было проблем. Для меня это просто одноранговая сеть.
Но в принципе — это не имеет значения. Главное чтобы были маршруты и описание в hosts. Dhcp тоже не плохо.