ну тогда точно придется брать Gold support и пускать инженеров Nexenta с отвертками и паяльниками в потроха нашего файлера для его полного тюнинга и прокачки =) Самое главное мы его сейчас под нагрузку поставим и там профиль загрузки будет ясный. Пока крутить там нечего, а через месяц очень будет даже интересно посмотреть внимательнее.
вот-вот должна 4.0 появиться. Мы ждали что она появится до конца февраля, но увы, релиза не было и пришлось ехать в дело с 3.1.3.5. Надеюсь когда 7Тб с учетом дедупликации забьются, это не вызовет проблем. В любом случае, мы не планируем заниматься этим самостоятельно — есть специально обученные сертифицированные по Нексенте инженеры у партнера которые нам помогут и которые в курсе всех косяков.
да, мы в курсе. SSD кэша и логов могут совсем сдохнуть, только скорость снизится немного. потом с консольки их меняем и все хорошо дальше. Главное что бы сами диски были на хот-свопе и легко доступны для замены.
в общем кому танцы с бубном и много свободного времени, то можно позаниматься.
а мы лучше заплатим $1750 за Нексенту и запустим все за недельку. С учетом зарплат админов это сильно дешевле.
Да, все эти касается только техники которую мы эксплуатируем и закупаем. Я понятия не имею о статистике выхода из строя hp, IBM и т.п. Но речь про наш новый файлер, он собран из понятных нам компонентов.
Все меняется и мы постоянно узнаем что-то новое. Данные в комменте сверху это опыт закупок, гарантийных случаев и аварий на протяжении 4 лет при эксплуатации более 1000 единиц разномастных серверов. Этот опыт позволяет нам минимизировать проблемы при эксплуатации и иметь надлежащий цикл у серверов от закупки до продажи по выслуге лет. Если что, все закупки и гарантия проходят лично через меня. А сколько серверов у вас в эксплуатации?
Да, конечно. Мы в вопросах эксплуатации полагаемся на свою статистику по авариям и гарантии (1000 серверов на балансе), она гласит следующее:
1) блоки питания современных серверов не ломаются
2) мать Supermicro последнего поколения можно испортить совсем только неправильно поставив или подключив. Иногда она сразу не заводится или глючит — младенческая смертность. Все остальные случаи бывают после 3-4 лет работы
3) память не портится в матери
4) контроллеры имеют AFR менее 1%, шансы его сдохнуть при работе ничтожны
Вместе с тем, у нас в шкафу или свободных серверах всегда есть схожие запчасти и аналогичные контроллеры, что позволит придать рабочий конфиг файлеру за час-два.
Для катастрофических ситуаций есть снапшоты на другой машине
Ну по пунктам…
Зеркало дороговато выходит, нам и объем важен.
По поводу ssd на 300гб, тут не надо пробовать и обжигаться. Опытные люди говорят что нужен серверный ssd или будут проблемы. У нас коммерческая эксплуатация, а не тестовая лаба — мы слушаем экспертов вендора и делаем как они рекомендуют.
Компрессию не используем.
По поводу остального напишу отдельный пост после того как перемигруем туда все виртуалки и система встанет на полную нагрузку
3 года долгий срок. Скорее всего значительно раньше мы сделаем более адекватный и современный файлер рядом, смигрируем на него данные. А старый файлер модернизируем или будем использовать в другом режиме. Представьте себе что за файлер и на чем вы могли собрать в 2009 году? Сейчас все гибко, подцепили новый том на ноды и смигрировали.
Однако с дедупликацией и мемори кэшем говорить о 100% случайном чтении не совсем верно при массовой виртуализации с 5-6 шаблонов… Все что часто используется и фрагменты ОС будут именно оттуда раздаваться, а механизм copy-on-write и запись сводит к тому же. Так что тут синтетикой не проймешь что и как будет. Том на 1Т мы гоняли тестами, там было ожидаемые 3000-4000 iops в одну линию, там же 35 дисков. Ровно столько и должно быть, тут без чудес волшебных. Картиночку пришлю ;)
По опыту — 350 виртуалок == 1000 iops в рабочем режиме на старвинде и hyper-v/csv
Архивное хранилище мы делаем именно по этому рецепту, там солярка, 15х3тб диски wdc red, один контроллер с экспандером и никаких GUI. Но это тема отдельного поста, я подробно отпишу конфиг машины. Кстати собрали нам ее опытные парни по солярке за 200 баксов.
А для нексенты основная идея что нельзя эксперементировать, должно быть отшлифованное решение. Если архивный том пару часов посидит в офлайне, ничего не случится. А центральное хранилище такого не может допускать.
Касательно мелких контроллеров, по опыту мы еще ни одного не поменяли по гарантии. А их у нас много.
На случай ахтунга — есть снапшоты тома и отдельно каждой ВМ. Через то и спасемся ;)
но кстати да, использовать proxmox в качестве решения для частного облака вполне возможно. Мы скорее всего реализуем его поддержку как вариант оркестратора частных облаков.
нам надо было что бы с личным кабинетом, с контрольной панелью, с ресселерами, с API, с интеграцией с биллингом.
proxmox судя по сайту немного не про это. SolusVM абсолютно нативно поддерживает OpenVZ, просто мы это не используем — публика шарахается.
соединять ноды можно еще и по PCIe, есть интересные решения. Тут вот обзорная статья www.rtcmagazine.com/articles/view/100910
Общий смысл что используя PCIe коммутатор можно шарить видео-карты, сетевые устройства между вычислительными нодами. Можно цеплять сервера между собой по 16-и канальному PCIe достигая скорости до 120Гб/с. Ничего волшебного, даже софт имеется той или иной сырости.
кстати из-за этого мы завязали со Старвиндом. Как какая очередная проблема с разрывом мозга высокодоступного кластера или еще с чем похожим, добиться вменяемого ответа с локализацией причины оказалось невозможно. Единственная конфигурация которая оказалась пригодной к эксплуатации в качестве таргета HA кластера Win08 DC Hyper-V это одна машина на SAS дисках у которой приоритетом выкручен MPIO на нодах и вторая резервная на SATA дисках, на которую та реплицируется. MPIO на второй понижен до минимума. Это не мешает нам иногда обнаружить тормоза и «переехавший» приоритет MPIO без каких-либо упоминаний в логах.
а мы лучше заплатим $1750 за Нексенту и запустим все за недельку. С учетом зарплат админов это сильно дешевле.
1) блоки питания современных серверов не ломаются
2) мать Supermicro последнего поколения можно испортить совсем только неправильно поставив или подключив. Иногда она сразу не заводится или глючит — младенческая смертность. Все остальные случаи бывают после 3-4 лет работы
3) память не портится в матери
4) контроллеры имеют AFR менее 1%, шансы его сдохнуть при работе ничтожны
Вместе с тем, у нас в шкафу или свободных серверах всегда есть схожие запчасти и аналогичные контроллеры, что позволит придать рабочий конфиг файлеру за час-два.
Для катастрофических ситуаций есть снапшоты на другой машине
Зеркало дороговато выходит, нам и объем важен.
По поводу ssd на 300гб, тут не надо пробовать и обжигаться. Опытные люди говорят что нужен серверный ssd или будут проблемы. У нас коммерческая эксплуатация, а не тестовая лаба — мы слушаем экспертов вендора и делаем как они рекомендуют.
Компрессию не используем.
По поводу остального напишу отдельный пост после того как перемигруем туда все виртуалки и система встанет на полную нагрузку
По опыту — 350 виртуалок == 1000 iops в рабочем режиме на старвинде и hyper-v/csv
А для нексенты основная идея что нельзя эксперементировать, должно быть отшлифованное решение. Если архивный том пару часов посидит в офлайне, ничего не случится. А центральное хранилище такого не может допускать.
Касательно мелких контроллеров, по опыту мы еще ни одного не поменяли по гарантии. А их у нас много.
На случай ахтунга — есть снапшоты тома и отдельно каждой ВМ. Через то и спасемся ;)
proxmox судя по сайту немного не про это. SolusVM абсолютно нативно поддерживает OpenVZ, просто мы это не используем — публика шарахается.
Общий смысл что используя PCIe коммутатор можно шарить видео-карты, сетевые устройства между вычислительными нодами. Можно цеплять сервера между собой по 16-и канальному PCIe достигая скорости до 120Гб/с. Ничего волшебного, даже софт имеется той или иной сырости.