Comments 22
вы экономите место в стойке
Спорный аргумент на мой взгляд. Современные СХД — 3U, минимум для SDS — 3 ноды по 1U.
экономите на SAN-сети за счёт отказа от Fibre Channel
Так же на мой взгляд спорно, ввиду того, что традиционные схд давно работают по iSCSI.
Спорный аргумент на мой взгляд. Современные СХД — 3U, минимум для SDS — 3 ноды по 1U.
Верно, если говорить об использовании SDS как отдельно стоящего решения, аналогично традиционным СХД. Но если говорить про гиперконвергентные решения, где на одном сервере объединяются вычислительные мощности для ВМ и дисковые ресурсы для SDS, то здесь экономия мест на лицо — вообще не нужно место для СХД, только для серверов.
Так же на мой взгляд спорно, ввиду того, что традиционные схд давно работают по iSCSI.Использование iSCSI с традиционными СХД позволяет сэкономить, в сравнении с Fiber Channel, за счет отказа от специализированного FC-оборудования и использования Ethernet.
Кстати, если есть необходимость предоставить ресурсы хранения vSAN серверам работающим не под управлением гипервизора ESXi — это можно сделать также через iSCSI.
Прочитал предыдущую статью
И задумался. А можно ли на Intel NUC собрать кластер с vsan?
или какое нибудь похожее компактное решение в которое можно впихнуть пару sata дисков и диск под кеш? плюсом засунуть 2-х портовую карточку на 10 ГБ? Хочу собрать такой лабораторный стенд. Закупить железа с того же али чтобы много денег не тратить.
Уложиться в 300-350$ за ноду
По поводу vSAN как я понял вы брали диски из списка совместимости vmware?
Т.е. купили пустые корзины для дисков, заказали совместимые диски и установили их в сервер?
Мне для 1 проекта считали vSAN решение и оно вышло просто космос. В основном из-за очень большой стоимости вендорских дисков. Просто читал что идеология vSAN допускает использование каких нибудь потребительских SSD?
дата-центр из стопки Intel NUC
И задумался. А можно ли на Intel NUC собрать кластер с vsan?
или какое нибудь похожее компактное решение в которое можно впихнуть пару sata дисков и диск под кеш? плюсом засунуть 2-х портовую карточку на 10 ГБ? Хочу собрать такой лабораторный стенд. Закупить железа с того же али чтобы много денег не тратить.
Уложиться в 300-350$ за ноду
По поводу vSAN как я понял вы брали диски из списка совместимости vmware?
Т.е. купили пустые корзины для дисков, заказали совместимые диски и установили их в сервер?
Мне для 1 проекта считали vSAN решение и оно вышло просто космос. В основном из-за очень большой стоимости вендорских дисков. Просто читал что идеология vSAN допускает использование каких нибудь потребительских SSD?
Если говорить про NUC и другие компактные решения, то основным ограничениям можно отнести отсутсвие сетевых интерфейсов 10 GbE (который нужен, если мы рассчитываем на хорошую производительность) и относительно маленькое количество дисков, которое можно установить в подобное решение.
Что касается дисков, то vSAN может работать с любыми дисками которые доступны гипервизору ESXi. В том числе, и с дисками для потребительского рынка, но их ресурс и производительность могут быть меньше, чем у корпоративных. Но ключевым, с точки зрения производительности и надежности инфраструктуры vSAN, является дисковый контроллер, который как раз и делает установленные в сервер диски доступными ESXi. Крайне желательно, чтобы дисковый контроллер поддерживал режим Host Bus Adapter, который на прямую подключает диски, минуя необходимость создавать RAID0 для каждого.
Что касается дисков, то vSAN может работать с любыми дисками которые доступны гипервизору ESXi. В том числе, и с дисками для потребительского рынка, но их ресурс и производительность могут быть меньше, чем у корпоративных. Но ключевым, с точки зрения производительности и надежности инфраструктуры vSAN, является дисковый контроллер, который как раз и делает установленные в сервер диски доступными ESXi. Крайне желательно, чтобы дисковый контроллер поддерживал режим Host Bus Adapter, который на прямую подключает диски, минуя необходимость создавать RAID0 для каждого.
Думаю, что вопрос касался использовали вы родные диски Dell с их контроллером или же взяли OEM Samsung и Toshiba из HCL. И были ли какие-то нюансы, например с firmware.
У нас были диски OEM. На этом стенде (и вообще по опыту) проблем с дисками у меня не было. Чаще проблемы возникают, если пробовать использовать старые дисковые контроллеры, которых нет в HCL. Но, как правило, это тоже решается созданием RAID0 для каждого диска.
В HCL указывается не только поддерживается диск или нет, но и сведения о версии ESXi, драйвера, прошивки и для каких задач его можно использовать (кэширование и/или хранение).
Вот пример сведений о диске, который мы использовали под кэш, в HCL — www.vmware.com/resources/compatibility/detail.php?deviceCategory=ssd&productid=40177&deviceCategory=ssd&details=1&vsan_type=vsanssd&keyword=PM1725&vsanrncomp=true&page=3&display_interval=10&sortColumn=Partner&sortOrder=Asc
В HCL указывается не только поддерживается диск или нет, но и сведения о версии ESXi, драйвера, прошивки и для каких задач его можно использовать (кэширование и/или хранение).
Вот пример сведений о диске, который мы использовали под кэш, в HCL — www.vmware.com/resources/compatibility/detail.php?deviceCategory=ssd&productid=40177&deviceCategory=ssd&details=1&vsan_type=vsanssd&keyword=PM1725&vsanrncomp=true&page=3&display_interval=10&sortColumn=Partner&sortOrder=Asc
с дисками для потребительского рынка
Для некоторых классов задач хватает и этого. Всякие демо стенды, или не нагруженные проекты. Если что проект перевозим в продакшен а стенд отдаём дальше.
А где покупать салазки для дисков? Например есть сервера DELL R730.
И правильно ли я понимаю что если у сервера корзина для SAS то SATA диски в неё поставить можно?
является дисковый контроллерпро контроллер понятно.
Буду иметь в виду. Насколько критично наличие именно дисков в списке совместимость с vSAN?
Я правильно понял что ESXi умеет вложенную виртуализацию?
Что имея например ПК с CPU 8/16 (очень жду новый интел ) ), RAM 64 ГБ и VMware Workstation Pro можно сделать 3 виртуалки с ESXi и поднять уже на ESXi другие VM?
и будет такой демо стенд?
А где покупать салазки для дисков?
ебай, да и у нас полно контор, кто таким торгует, хоть на авито можно найти по сходной цене
то SATA диски в неё поставить можно
можно
ESXi умеет вложенную виртуализацию
там кое что надо докрутить, но в целом — да, я hyper-v разворачивал на стенде vmware
Наличие диска в списке совместимости гарантирует его корректную работу c vSAN, а если возникнут какие-либо проблемы, том можно будет обратиться в техническую поддержку VMware за помощью. При этом отсутсвие диска в списке совместимости не означает, что он не будет работать. В моем понимании, большинство современных дисков работать будет, но лучше тестировать пред покупкой.
Относительно вложенной виртуализации, да, это возможно, но ожидать от такой конфигурации производительности не стоит. У меня был успешный опыт с вложенными ESXi, Hyper-V и KVM.
Относительно вложенной виртуализации, да, это возможно, но ожидать от такой конфигурации производительности не стоит. У меня был успешный опыт с вложенными ESXi, Hyper-V и KVM.
Гм… Интересненько. Как раз заканчиваю построение бюджетной ГКС для одного небольшого Заказчика Proxmox VE + Ceph Bluestore + Open vSwitch на 3-х нодах. Еще один старичок ML150 G6 используется как iSCSI хранилище с ZFS — бэкапы, образы дисков, темплейты LXC.
Параметры серверного железа — 2xCPU 4108, 128 GB DDR4 2400, 16 GB SD-карта Class10 под ОС, 1 TB SSD NVMe, 2x6 TB Sata HDD, 2x1Gbit, 2x10Gbit.
Нарезал SSD по 4 OSD + кусочки под wal/db HDD. Производительность и отказоустойчивость радует.
В сторону vSAN тоже смотрел — но не устроила цена, лицензии vSphere Essentials Plus + vSAN оказались дороже железа.
Параметры серверного железа — 2xCPU 4108, 128 GB DDR4 2400, 16 GB SD-карта Class10 под ОС, 1 TB SSD NVMe, 2x6 TB Sata HDD, 2x1Gbit, 2x10Gbit.
Нарезал SSD по 4 OSD + кусочки под wal/db HDD. Производительность и отказоустойчивость радует.
В сторону vSAN тоже смотрел — но не устроила цена, лицензии vSphere Essentials Plus + vSAN оказались дороже железа.
Proxmox VE + Ceph Bluestore + Open vSwitch на 3-х нодах
Если не супер секретно и не затруднит то хотелось бы увидеть цикл статей.
Что можно использовать как альтернативу VMWARE в инсталляциях на 3-4 сервера.
Для не большой инфраструктуры.
Конечно не секретно, статьи пишутся. Я с командой админов 2 месяца уже над этим работаю, пока тесты, разные варианты ceph, развертывания VM и прочее.
Через пару недель ввод в эксплуатацию, затем вылизывание мелочей, документация на систему, тогда и начну выкладывать статьи.
Я с командой админов 2 месяца уже над этим работаю,...
Скажите, пожалуйста, а эти затраты (и будущие затраты на вылизывание мелочей) Вы учитывали при сравнении цен различных решений?
И к слову, конфигурация 2xCPU 4108, 128 GB несколько не сбалансирована по памяти. У сильверов память 6-и канальная и лучше распределять установленную память по всем из них.
Ну админы Заказчика и я получают ЗП (Заказчиком является работодатель, просто я рассматриваю это как проектную работу). Это наша работа, вылизать систему, чтобы спать потом спокойно ;)
По памяти я конечно в курсе, апгрейд никто не отменял. Задача была в этом году обновить серверную группу за определенный бюджет и перенести существующие сервисы. На следующий год планирую расширение системы, так как осенью будет внедрение СЭД, далее в течении пары лет MES, ERP.
Очень познавательно, спасибо.
Спасибо, получилась очень интересная статья. Безусловно, для онлайн процессинга и БД в целом требования по задержкам дисковой подсистемы значительно выше. Но для значительной части корпоративных приложений, инфраструктурных служб, по нашему опыту, задержки в 10-15 мс не сильно влияют на производительность, а, например, для виртуализации рабочих станций (VDI) задержки в 25-30 мс практически не заметны пользователю и, соответсвенно, никак не влияют на его работу.
Sign up to leave a comment.
Как мы тестировали VMware vSAN™: для чего это подходит на практике