У нас есть кластер Ceph. К сожалению, добиться от него полной утилизации ssd на одну виртуалку не получается. (Но крайне мере пока у нас это не вышло).
Поэтому мы ищем решение которое позволит получить лучшую утилизацию ресурсов.
У нас есть набор железок, которые еще не доехали до prod-а, и есть на чем погонять. Это U.2 NVME, SSD и даже RAM диск отдавали. У нас в распоряжении 56 Гб/с карточки с поддержкой RDMA (Mellanox) - используем Ethernet.
Обязательно проверяем сеть - iperf.
Потом замеры fio локально (блочные устройства). И далее отдаем устройства по nvme-of (rdma) и проверяем на удаленном сервере.
В тестах специально использовали прямое подключение между серверами (DAC), чтобы избежать лишних задержек. Нас интересует процент потерь.
Замеряем:
последовательную запись/чтение 4M блоками, QD=32
пиковые IOPS запись/чтение 4K блоками, QD=128
задержки случайной записи/чтения 4K блоками, QD=1
В итоге:
Последовательное чтение/запись упирается в ширину полосы и устройства
Максимальные IOPS до 700 K IOPS вытягивает
SSD на 100% можно считать
NVME локально показывает больше, около 10% не дожали
Задержки примерно +10 us
т.е. на SSD почти не заметно
на NVME до 10%, что как раз и показывает в пиковых IOPS
на RAM существенно можно больше
Дополнительно проверяли сколько можно выжать из Виртуалки (KVM). Там, конечно, уже сама виртуализация большие накладные расходы дает.
По сравнению с CEPH даже на NVME (что является кощунством по отношению к NVME) это выглядит очень вкусно.
Сейчас мы на тестовом стенде играемся для обкатки технологии.
Но сталкиваемся ошибками в ядре при определенных сценариях. Особенно при отключении выборочных дисков.
Поэтому интересен ваш опыт и ваше видение вариантов эксплуатации.
Насколько я знаю - не обязательно. Привязать сервер к домену требуется только если необходимо получать почту на ваш собственный сервер. Но при таком раскладе придется его держать постоянно включенным.
Только для рассылки почты можно ничего не привязывать к домену. Включили, разослали сколько нужно, выключили. Впринципе это может быть даже чья-нибудь рабочая машина, но с вашими объемами так поступать не стоит. Лучше действительно купить отдельный сервер.
А ещё можно написать небольшой скриптик на PHP или любом другом языке, который бы рассылал почту с локального веб-сервера (сответственно через sendmail и т.п.)
Если кто-то захочет навредить экономики всего мира, а возможно отбросить развитие человечества на некоторое время назад, то достаточно уничтожить этот дата-центр.
У нас есть кластер Ceph. К сожалению, добиться от него полной утилизации ssd на одну виртуалку не получается. (Но крайне мере пока у нас это не вышло).
Поэтому мы ищем решение которое позволит получить лучшую утилизацию ресурсов.
У нас есть набор железок, которые еще не доехали до prod-а, и есть на чем погонять. Это U.2 NVME, SSD и даже RAM диск отдавали. У нас в распоряжении 56 Гб/с карточки с поддержкой RDMA (Mellanox) - используем Ethernet.
Обязательно проверяем сеть - iperf.
Потом замеры fio локально (блочные устройства). И далее отдаем устройства по nvme-of (rdma) и проверяем на удаленном сервере.
В тестах специально использовали прямое подключение между серверами (DAC), чтобы избежать лишних задержек. Нас интересует процент потерь.
Замеряем:
последовательную запись/чтение 4M блоками, QD=32
пиковые IOPS запись/чтение 4K блоками, QD=128
задержки случайной записи/чтения 4K блоками, QD=1
В итоге:
Последовательное чтение/запись упирается в ширину полосы и устройства
Максимальные IOPS до 700 K IOPS вытягивает
SSD на 100% можно считать
NVME локально показывает больше, около 10% не дожали
Задержки примерно +10 us
т.е. на SSD почти не заметно
на NVME до 10%, что как раз и показывает в пиковых IOPS
на RAM существенно можно больше
Дополнительно проверяли сколько можно выжать из Виртуалки (KVM). Там, конечно, уже сама виртуализация большие накладные расходы дает.
По сравнению с CEPH даже на NVME (что является кощунством по отношению к NVME) это выглядит очень вкусно.
Сейчас мы на тестовом стенде играемся для обкатки технологии.
Но сталкиваемся ошибками в ядре при определенных сценариях. Особенно при отключении выборочных дисков.
Поэтому интересен ваш опыт и ваше видение вариантов эксплуатации.
Продолжение ждем?
Мы тоже тестируем данную технологию. NVME-OF через RDMA на 56 Гбит/с -> LVM на гипервизорах. Показывает очень хорошие показатели. Очень!
Как я понимаю, проблема возникает если диск примонтирован и теряется соединение с источником диска?
Удалось ли решить проблему?
Только для рассылки почты можно ничего не привязывать к домену. Включили, разослали сколько нужно, выключили. Впринципе это может быть даже чья-нибудь рабочая машина, но с вашими объемами так поступать не стоит. Лучше действительно купить отдельный сервер.