Отказоустойчивость в MinIO

[Marsezi]

Я когда узнал что minio не поддерживает upload через стримы , сразу дропнул. И вам советую

[stratnevpy]

Привет! Предлагаю объяснить, почему это критический недостаток)

[TerekhinSergey]

И к каким альтернативам перешли?

[zelenin]

да вроде умеет

[HenryPootle]

Представим такой деплой MinIO - два деплоймента single node single drive, с репликацией active-active между собой. При этом MinIO развёрнуты на виртуалках, а redundancy дисковой подсистемы обеспечивается "железным" хранилищем. Как по мне - так неплохой вариант получить резервированное (и даже георезервированное) объектное хранилище без необходимости покупать 8 настоящих серверов и минимум 8х8 дисков. Но может есть подводные камни?

[trabl]

Нет подводных камней кроме производительности такого решения. Видел даже single node single drive на виртуалке в проде, с бэкапом данных с помощью restic в s3 облака. И всё это работает уже несколько лет без особых проблем.

[HenryPootle]

Спасибо. Производительность не требуется, нагрузка не большая. Заказчик больше волнуется за георезервирование.

[geniussbk]

Minio как-то недавно тестировал и обнаружил баг из-за которого пришлось рассмотреть другие opensource s3. Он заключается в том, что когда одна из нод недоступна, удаляешь файлы или бакеты. Затем включаешь ноду, а файлы с удаленных бакетов теперь лежат мертвым грузом на этой ноде и ни когда не удаляться.

[stratnevpy]

Моделировал такую ситуацию. Все отрабатывало как нужно! Есть пруф, что такой баг имеет место?

[geniussbk]

К сожалению стенд minio уже разобрал. Это было 4 месяца назад, на самой последней версии.

[Razoon]

А вот стесняюсь спросить, почему все поперлись в минио? Там медом намазано? Чем плох православный ceph?

[stratnevpy]

Как минимум тем, что ceph - более сложный инструмент и требует больших компетенций в администрировании, если мы говорим про сегмент траблшутинга. Основная потребность при использовании ceph, на моей практике, это rbd. Я бы не стал поднимать ceph, если мне нужен только s3. Это кажется очень дорого) поправьте меня, если где-то ошибаюсь

[geniussbk]

Ceph не про сохранность данных, что касается s3. Все еще детские баги есть

[trabl]

У Алексея Плетнева есть два видео с конференции Highload++ на ютюбе, он там тоже про вариант 4х4 рассказывает как об оптимальном. Пулы дисков у них презентуются с СХД, что позволяет динамически увеличивать объём S3 хранилища, не добавляя при этом новые пулы в самом minio. Я бы дополнил эту статью отказоустойчивостью проксирующего фронта для minio, обычно это nginx или angie, и важно чтобы он был всегда доступен.