Пробовал в продакшене «ZFS on Linux» как основа ноды для MooseFS (для теста только на одной ноде, летом уже был как стейбл).
через пару недель откатился на ext4.
+ пару процентов дает больше места с компрессией и включенной дедупликацией
— много ест памяти
— работает существенно медленнее
— ест процессор больше
— иногда посте ребутов были проблемы с поднятием
в FF, предложился поставиться попап-баром сверху, как только зашел на news360.com. Ну я и подумал, что туда будет лента посылаться, что-то подобное, а его даже не видно
3 чанка, локальный гигабит. В основном все файлы по 3 копии, часть не особо важных по 2.
Общее место на серверах 156 TB, свободного места 36 TB, 14млн файлов +1млн сейчас кандидаты на удаление.
Мастер ест памяти 7.3 гига, скоростью довольны. Но тут зависит от применения — как весьма активное файлохранилище отлично, для образов виртуалок думаю не очень. Но тут я не особо спец.
За нескольок месяцев эксплуатации были как медленные так и мгновенные умирания дисков, падения чанк-серверов — все работало отлично. Вот мастер еще не падал, так, перестартовывали припереносе на другой сервер. При этом все файловые операции у клиентов фризились.
>«По истечении 3-х месяцев получаешь немецкое в любом случае — достаточно указать, что была попытка отказа»
В случаи с Российским гражданством и нормальным ПМЖ это не работает. Потому что они знают, что Россия «отпускает».
Я точно не знаю, но могу предлопожить, что лиц без гражданства не могут просто так выпнуть из страны. «Некуда»
Поэтому много беженцев выкидывают свои паспорта и остаются в германии, пока службы пытаются выяснить «откуда» и «чей» он. А не выяснят, оставляют
Наличие ИНН необязательно, оно было введено относительно недавно.
Надо просто послать запрос письменно в центральное налоговое управление, они через месяц присылают справку об отсутствии задолженностей. Там стандартная форма, главное только послать в москву в центр, а не в область откуда увезли — в глубинках обычно такие справки выдают не того образца, что принимается консульством. А москва выдает всем и правильно.
И ничего это не стоит. Образца такого письма и адрес можно на германке найти.
1) Срока не даются на отказ, дается срок действительности Einbürgerungszusicherung. Это два года.
2) У Ausländeramt есть списки проблемных стран, из гражданства которых выйти почти нереально. России там нет. А есть что-то из азиатского, то ли Узбекистан, то ли Туркменистан. Вот в этом случае можно даже не пытаться отказываться и так дадут.
3) Российские консульства без проблем принимают заявления на выход для тех, кто состоит на учете (практически все с пмж).
При этом действует упрощенная процедура. И сроки по закону(!) не более 6 месяцев.
4) Да, из налоговой нужна справка об отсутствии задолженности. Но с прошлого года не обязательно, потому как консульства подключены к единой системе информационного обмена и сами ее могут получать. Достаточно знать свой ИНН. Хотя наличие справки как они сами говорят, ускоряет процедуру.
5) «попытки» отказа недостаточно. Тут уже индивидуально рассматривается каждый случай и ВСЕ документы что есть, вся переписка с консульствами и решение + см пункт 2.
да, отзывы именно о cephfs, а вглубь уже не интересно, если на этом уровне работает нестабильно.
Выглядит конечно ceph привлекательно, похож тот же музе, но говорят пока рано в продакшн. А музе работает уже у многих годами, недовольных не встречал, если есть голова на плечах (например не ставить goal=1, а потом сокрушаться куда же файлы пропали при вылете диска).
Да, это костыль, как расплата за стабильность и надежность. И это единственный фактор для меня, который играет наивысшую степень — данные должны жить, быть доступными и не испорченными при любом катаклизме. Поэтому я не даже не ставил ceph, достаточно просто отзывы о надежности почитать.
Сплит-брейна не существует, это не гластер.
Насчет разделенно сети, всё не так — вторичный мастер прежде чем подняться должен проверить агентов на доступность на всех сегментах.
У меня проще — все сервера к одному свитчу подключены, нет разнесения по стойкам, поэтому достаточно просто другой металоггер проверить и убедиться что упал именно основной мастер.
Операции не обрываются, они «замирают» пока новый мастер не поднимится, подхватывается он автоматически, для клиентов это выглядит как временный фриз. Падение чанк-серверов вообще не заметно, как и дисков на них.
Сплин-брейна нет как такового, т.к. метасервер только один + сколько захотите металоггеров, которые при падении мастера можно превратить в мастера.
Музе не без минусов, и мастер-сервер без автофаиловера — его единственный минус мной обнаруженный.
Они у себя советуют использовать ucarp, что я нахожу неприемлемым.
У себя организовал ежесекундный мониторинг с проверкой как по живучести IP, так и на уровне работоспособности порта мастер-процесса.
Переключение металоггера в мастера происходит только если кроме фиксирования падения мастера, видны другие металоггеры и не пингуется IP мастера, что исключает сплин-брейн полностью. На мастере тоже мониторинг, который освобождает IP, если мастер-процесс не отвечает.
У нас клиенты — это 6 серверов, чтение/запись примерно 70/30.
Есть один юзер, которые на трех серверах генерирует за пару дней миллион файлов, на несколько ТБ, а потом их скопом удаляет.
Все это работает шустро, особенно файловые операции, так как удаление происходит в памяти метасервера, а он уже потом в бекграунде потихоньку чанки удалет на контентных серверах.
Делал тест на запись на уже рабочем кластере — 30-50мб/с, при двойной копии, при этом еще соседние сервера писали туда рсинком контент с гластера.
С второй версией:
1) частые падения клиентской части
2) как я уже писал — потеря на одной из зеркальных нод 10ТБ за несколько минут, пришлось восстанавливать из второй копии — внутренняя репликация не работала. Тикет делал когда они еще гластером были без редхата, ничего не решилось. Такое было 2 раза за два года, стоило больших нервов.
3) Падения при высоких параллельных нагрузках. Так как повторить было очень легко, то включив дебаг режим, отсылал в баг-репорт всё что мог, вплоть до корки. Также письмами туда-сюда с разработчиками, результат тот же — не решено.
С третьей версией хватило постоянных падений клиентской части и недоступности части контента, то он есть, то он есть только в мечтах.
Что мне в музе не хватает по сравнению с гластером — это чтобы к файлам можно было обращаться напрямую. Там файлы бьются на чанки по 64мб и раскидываются по дискам одного сервера.
Правда у этого решения есть ОЧЕНЬ большое преимущество — не надо (а даже и очень вредно) под систему делать рейды, а значит больше места под файлы вместо чексумм. При падении диска, данные которые на нем должны быть в фоне копируются с копий, при этом не надо насиловать все(!) диски как в рейде5/6, а происходит копирование только реальных кусков.
Если параллельное чтение разных файлов, то скорость больше, за счет того что они просто на разных дисках.
На самом дуле у музе много плюсов, которые с лихвой перекрывают для меня незначительные недостатки:
1) Наличие только одного метасервера и ручное/самописное переключение на один из металоггеров металоггер(как слейв)
2) Для метасервера надо много памяти. В памятке они пишут про 300мб/1млн файлов, в реальности народ говорит надо 500мб, у меня столько примерно и выходит. Сейчас 8.5млн файлов, процесс занимает почти 4ГБ. Также надо иметь реальную+своп по формуле сколько ест памяти*2, потому как форкается процесс каждый час для бекапа метаданных. И хотя реально он не потребляет столько, но ОС начитает тормозить если меньше двойной памяти. Сам не сталкивался, но в рассылке есть упоминания. Плюс желательно хранить файлы структур на ссд диске.
Может быть напишу небольшую статью, уже поподробней, настолько мне она понравилась после тестирования, особенно поведение при сбоях дисков/серверов (клиенты этого вообще не замечают)
Не пару лет назад, а пару лет работали, вот только месяц назад начали миграцию на музе. А с гластером спасибо, наелся, и с 2й веткой, и с последней 3.3.1
через пару недель откатился на ext4.
+ пару процентов дает больше места с компрессией и включенной дедупликацией
— много ест памяти
— работает существенно медленнее
— ест процессор больше
— иногда посте ребутов были проблемы с поднятием
www.play-i.com/
Общее место на серверах 156 TB, свободного места 36 TB, 14млн файлов +1млн сейчас кандидаты на удаление.
Мастер ест памяти 7.3 гига, скоростью довольны. Но тут зависит от применения — как весьма активное файлохранилище отлично, для образов виртуалок думаю не очень. Но тут я не особо спец.
За нескольок месяцев эксплуатации были как медленные так и мгновенные умирания дисков, падения чанк-серверов — все работало отлично. Вот мастер еще не падал, так, перестартовывали припереносе на другой сервер. При этом все файловые операции у клиентов фризились.
>«По истечении 3-х месяцев получаешь немецкое в любом случае — достаточно указать, что была попытка отказа»
В случаи с Российским гражданством и нормальным ПМЖ это не работает. Потому что они знают, что Россия «отпускает».
Поэтому много беженцев выкидывают свои паспорта и остаются в германии, пока службы пытаются выяснить «откуда» и «чей» он. А не выяснят, оставляют
Надо просто послать запрос письменно в центральное налоговое управление, они через месяц присылают справку об отсутствии задолженностей. Там стандартная форма, главное только послать в москву в центр, а не в область откуда увезли — в глубинках обычно такие справки выдают не того образца, что принимается консульством. А москва выдает всем и правильно.
И ничего это не стоит. Образца такого письма и адрес можно на германке найти.
1) Срока не даются на отказ, дается срок действительности Einbürgerungszusicherung. Это два года.
2) У Ausländeramt есть списки проблемных стран, из гражданства которых выйти почти нереально. России там нет. А есть что-то из азиатского, то ли Узбекистан, то ли Туркменистан. Вот в этом случае можно даже не пытаться отказываться и так дадут.
3) Российские консульства без проблем принимают заявления на выход для тех, кто состоит на учете (практически все с пмж).
При этом действует упрощенная процедура. И сроки по закону(!) не более 6 месяцев.
4) Да, из налоговой нужна справка об отсутствии задолженности. Но с прошлого года не обязательно, потому как консульства подключены к единой системе информационного обмена и сами ее могут получать. Достаточно знать свой ИНН. Хотя наличие справки как они сами говорят, ускоряет процедуру.
5) «попытки» отказа недостаточно. Тут уже индивидуально рассматривается каждый случай и ВСЕ документы что есть, вся переписка с консульствами и решение + см пункт 2.
Выглядит конечно ceph привлекательно, похож тот же музе, но говорят пока рано в продакшн. А музе работает уже у многих годами, недовольных не встречал, если есть голова на плечах (например не ставить goal=1, а потом сокрушаться куда же файлы пропали при вылете диска).
Сплит-брейна не существует, это не гластер.
Насчет разделенно сети, всё не так — вторичный мастер прежде чем подняться должен проверить агентов на доступность на всех сегментах.
У меня проще — все сервера к одному свитчу подключены, нет разнесения по стойкам, поэтому достаточно просто другой металоггер проверить и убедиться что упал именно основной мастер.
Сплин-брейна нет как такового, т.к. метасервер только один + сколько захотите металоггеров, которые при падении мастера можно превратить в мастера.
Музе не без минусов, и мастер-сервер без автофаиловера — его единственный минус мной обнаруженный.
Они у себя советуют использовать ucarp, что я нахожу неприемлемым.
У себя организовал ежесекундный мониторинг с проверкой как по живучести IP, так и на уровне работоспособности порта мастер-процесса.
Переключение металоггера в мастера происходит только если кроме фиксирования падения мастера, видны другие металоггеры и не пингуется IP мастера, что исключает сплин-брейн полностью. На мастере тоже мониторинг, который освобождает IP, если мастер-процесс не отвечает.
Посмотрите еще здесь начиная отсюда и вниз:
habrahabr.ru/post/178533/#comment_6196527
Есть один юзер, которые на трех серверах генерирует за пару дней миллион файлов, на несколько ТБ, а потом их скопом удаляет.
Все это работает шустро, особенно файловые операции, так как удаление происходит в памяти метасервера, а он уже потом в бекграунде потихоньку чанки удалет на контентных серверах.
Делал тест на запись на уже рабочем кластере — 30-50мб/с, при двойной копии, при этом еще соседние сервера писали туда рсинком контент с гластера.
1) частые падения клиентской части
2) как я уже писал — потеря на одной из зеркальных нод 10ТБ за несколько минут, пришлось восстанавливать из второй копии — внутренняя репликация не работала. Тикет делал когда они еще гластером были без редхата, ничего не решилось. Такое было 2 раза за два года, стоило больших нервов.
3) Падения при высоких параллельных нагрузках. Так как повторить было очень легко, то включив дебаг режим, отсылал в баг-репорт всё что мог, вплоть до корки. Также письмами туда-сюда с разработчиками, результат тот же — не решено.
С третьей версией хватило постоянных падений клиентской части и недоступности части контента, то он есть, то он есть только в мечтах.
Что мне в музе не хватает по сравнению с гластером — это чтобы к файлам можно было обращаться напрямую. Там файлы бьются на чанки по 64мб и раскидываются по дискам одного сервера.
Правда у этого решения есть ОЧЕНЬ большое преимущество — не надо (а даже и очень вредно) под систему делать рейды, а значит больше места под файлы вместо чексумм. При падении диска, данные которые на нем должны быть в фоне копируются с копий, при этом не надо насиловать все(!) диски как в рейде5/6, а происходит копирование только реальных кусков.
Если параллельное чтение разных файлов, то скорость больше, за счет того что они просто на разных дисках.
На самом дуле у музе много плюсов, которые с лихвой перекрывают для меня незначительные недостатки:
1) Наличие только одного метасервера и ручное/самописное переключение на один из металоггеров металоггер(как слейв)
2) Для метасервера надо много памяти. В памятке они пишут про 300мб/1млн файлов, в реальности народ говорит надо 500мб, у меня столько примерно и выходит. Сейчас 8.5млн файлов, процесс занимает почти 4ГБ. Также надо иметь реальную+своп по формуле сколько ест памяти*2, потому как форкается процесс каждый час для бекапа метаданных. И хотя реально он не потребляет столько, но ОС начитает тормозить если меньше двойной памяти. Сам не сталкивался, но в рассылке есть упоминания. Плюс желательно хранить файлы структур на ссд диске.
Может быть напишу небольшую статью, уже поподробней, настолько мне она понравилась после тестирования, особенно поведение при сбоях дисков/серверов (клиенты этого вообще не замечают)