Мы в EULA прямо прописываем условия использования (внтренние бизнес-цели, не продакшен). Другой разговор что «что такое продакшен» мы никак не описываем.
License Grant. The Software and Documentation are licensed, not sold, to you by Nutanix. This Agreement confers no title or ownership and is not a sale of any rights in the Software. Subject to the terms and conditions of this Agreement and the authorized scope of use of the Software, you are hereby granted a personal, limited, non-assignable, non-exclusive, non-sublicensable and non-transferable right to install and run one copy of the object code version of the Software (which Software may be activated by a valid user registration for the Software) during the term of the license for internal business operations and non-production use only, subject to any additional licensing metrics or volume or user limitations specified in the Documentation (which form an integral part of and restriction on your permitted use of the Software) (the foregoing right, «Permitted Use»). Use of the Software outside the scope of the Permitted Use is unauthorized and shall constitute a material breach of this EULA and shall give rise to an immediate termination of this Agreement. You agree to use Your best efforts to prevent and protect the contents of the Software and Documentation from unauthorized disclosure or use. Nutanix and its licensors reserve all rights, including but not limited to ownership and intellectual property rights, not expressly granted to You. Nutanix's licensors are the intended third party beneficiaries of this Agreement and have the express right to rely upon and directly enforce the terms set forth herein. There are no implied licenses granted by Nutanix under this Agreement. Except as expressly specified above, You shall have no rights to the Software.
Для начала — гипервизор Nutanix AHV это лишь (очень) небольшая часть того что умеет делать Нутаникс.
В первую очередь — уникальная распределенная ФС (с сотнями «фич», включая тиринг / дедупликацию / сжатие / DR / снапшоты (консистентные в том числе), разработанная работниками из Google / Facebook / Amazon и прочих.
Которая при нормальном железе даже на CE легко выдаст сотни тысяч IOPS (на 4-х узлах например).
Так-же кластер может работать параллельно как внешняя iSCSI хранилка, так-же как встроенный scale-out file server.
Proxmox в свою очередь — просто простенькая управлялка стандартным KVM, работающая «по старинке». Собственно, это как Airbus A380 сравнивать с «кукурузником».
Nutanix AHV сертифицирован для использования почти всеми ключевыми вендорами (включая Microsoft например), proxmox и прочиее — само-собой нет.
Nutanix CE запускается под ключ максимум за полчаса, аналог скрутить из «палок и коровьих лепешек» на proxmox + ceph + прочем — сутками ковыряться, без гарантий результата и надежности работы.
При этом я Proxmox намного больше уважаю чем тот-же OpenStack например (хотя это и несколько разные вещи) — как минимум для своих задач работает вменяемо.
Суммируя — да, многим нравится возможность поставить High-End технологию вместо того чтобы иметь развлечения с «опенсорсом»
E5-2620v4 практически идентичен по производительности Intel Xeon D-1541, при этом кушает почти в два раза больше (-> греется и шумит охлаждение).
В чем «цимес»?
Цена платформы публичная что я вижу — около $4,500 (newegg, amazon и другие). Откуда 3700? На сайтах где налоги штата не учитываются? Ну так тогда и конфиг что в статье можно купить сильно дешевле.
Да, кому потребуется больше производительность и потратить тысячи на 3-4 больше долларов готовы — хороший вариант тоже, согласен. Но статья — про наиболее эффективный вариант «доллар на единицу производительности / макс. цена»
…
Мне кажется вы не поняли что такое RAIN архитектура.
Да, для CE надо будет заменить SSD и сделать ребилд нода — займет минут 15. Если один SSD был. В чем проблема?
Для коммерческих версий это сделано намного быстрее быстрее и удобнее, ввиду другого принципа работы с дисками (о чем в статье пишется).
По поводу «приключений» — там надо снять задачу (это делается за 5 секунд), человека попросили выдать вывод команды ( «progress_monitor_cli -fetchall» ) но он не ответил. Есть такая фраза — ССБ («сам себе буратино»).
При этом никаких потерь данных и прочего, даже при том что человек сделал неправильные действия.
Мы убрали много опасного кода из KVM, включая проброс USB, SPICE протокол от RH и прочее.
Поэтому наш AHV, хотя и базируется на KVM, но намного более безопасен и «вычищен».
Сама идея втыкать в USB порты серверов / нодов не очень архитектурно красивая.
Если требуется пробрасывать USB то намного лучше использовать что-то вроде http://www.digi.com/products/usb-and-serial-connectivity/usb-over-ip-hubs/anywhereusb
Железо не требуется резервировать в пределах узла, это RAIN архитектура — домен изоляции сбоев в данном случае хост (для небольших конфигураций), а не диск.
Замена SSD легитимная и документированная процедура.
Все вопросы в общем-то имеют ответы в «библии Нутаникс».
1) горячие блоки данных всегда локализуются (если есть место на SSD локальных). холодные блоки данных (SATA уровень) нет смысла локализовывать — latency сети меньше чем latency SATA дисков
Для CE поддерживается RF2 (2 копии данных на кластере), одна из них собственно будет локализовываться вслед за VM (например файл сервером в вашем случае)
Если места локально не хватает — используется доступ по сети к «соседним» SSD и SATA.
2) Нутаникс не гоняет бесконечно «туда-сюда» данные, ему достаточно содавать одну реплику (горячую) локально и вторую «где-то на сетевых узлах».
3) Сложный вопрос — формально для RF2 кушается ~50% (две копии), но у нас есть встроенное сжатие и дедупликация (в CE тоже) которые обычно имеют 1.7-2.5 коээфицициент. По итогу — виртуально очень часто «не съедается ничего».
Для EC-X работает другая математика, но на 3-4 нода EC-X имеет мало смысла.
4) Кластер всегда пытается перестроиться и восстановить количество реплик. Если есть 4 узла (поддерживаемый максимум для CE) и достаточно места на дисках, то можно «потерять» один узел со всеми дисками, произойдет «ребилд» кластера, и далее еще один узел например выдержит отказ.
Взрослые версии Nutanix выдерживают множественный одновременный и неоднократный отказ оборудования без потери данных и контроля над облаком.
5) Нет, не переходят — у нас честный кластер (в основе Нутаникс используются NoSQL / BigData технологии), кластер 2 узла — это аварийная ситуация. Работать будет, но отказа еще одного узла не выдержит — это split-brain ситуация. Поэтому если нужно резервирование дополнительное — делайте кластер из 4-х узлов или покупайте коммерческий Нутаникс (который умеет RF3 — т.е. выдерживает отказ двух и более узлов одновременно)
2)… не забываем добавлять «по совершенно нерепрезентативным данным одной компании, ввиду того что у них WD дисков очень мало, но они тупо экстраполировали данные»
Nutanix — многопоточная архитектура, даже iSCSI мы превратили в многопоточный (у нас отдельный iSCSI поток на каждый виртуальный диск для нашего гипервизора)
Так что в общем-то от LACP некий (достаточно существенный) толк будет.
Диски 2TB WD далеко не худшие (по тем же данным от битблейз, которые при этом весьма субьективны ввиду того что они их эксплуатируют тоннами засовывая в один корпус), в статье прямо пишут что просто не получается закупать большие партии.
По CPU с твинами — так не стесняйтесь приводить свои варианты, посмотрим насколько «почти столько же».
А то даже (опять-же по ссылке) пишут что очень довольны теми процессорами что мы рекомендовали:
«Part of STH’s hosting cluster is actually a number of 1U Intel Xeon D-1540 servers so the Xeon D-1540 and D-1541 we are well aware of. The performance of the parts is overall excellent so long as you can handle lower single thread performance and do not need more RAM.»
Мы в EULA прямо прописываем условия использования (внтренние бизнес-цели, не продакшен). Другой разговор что «что такое продакшен» мы никак не описываем.
License Grant. The Software and Documentation are licensed, not sold, to you by Nutanix. This Agreement confers no title or ownership and is not a sale of any rights in the Software. Subject to the terms and conditions of this Agreement and the authorized scope of use of the Software, you are hereby granted a personal, limited, non-assignable, non-exclusive, non-sublicensable and non-transferable right to install and run one copy of the object code version of the Software (which Software may be activated by a valid user registration for the Software) during the term of the license for internal business operations and non-production use only, subject to any additional licensing metrics or volume or user limitations specified in the Documentation (which form an integral part of and restriction on your permitted use of the Software) (the foregoing right, «Permitted Use»). Use of the Software outside the scope of the Permitted Use is unauthorized and shall constitute a material breach of this EULA and shall give rise to an immediate termination of this Agreement. You agree to use Your best efforts to prevent and protect the contents of the Software and Documentation from unauthorized disclosure or use. Nutanix and its licensors reserve all rights, including but not limited to ownership and intellectual property rights, not expressly granted to You. Nutanix's licensors are the intended third party beneficiaries of this Agreement and have the express right to rely upon and directly enforce the terms set forth herein. There are no implied licenses granted by Nutanix under this Agreement. Except as expressly specified above, You shall have no rights to the Software.
Для начала — гипервизор Nutanix AHV это лишь (очень) небольшая часть того что умеет делать Нутаникс.
В первую очередь — уникальная распределенная ФС (с сотнями «фич», включая тиринг / дедупликацию / сжатие / DR / снапшоты (консистентные в том числе), разработанная работниками из Google / Facebook / Amazon и прочих.
Которая при нормальном железе даже на CE легко выдаст сотни тысяч IOPS (на 4-х узлах например).
Так-же кластер может работать параллельно как внешняя iSCSI хранилка, так-же как встроенный scale-out file server.
Proxmox в свою очередь — просто простенькая управлялка стандартным KVM, работающая «по старинке». Собственно, это как Airbus A380 сравнивать с «кукурузником».
Nutanix AHV сертифицирован для использования почти всеми ключевыми вендорами (включая Microsoft например), proxmox и прочиее — само-собой нет.
Nutanix CE запускается под ключ максимум за полчаса, аналог скрутить из «палок и коровьих лепешек» на proxmox + ceph + прочем — сутками ковыряться, без гарантий результата и надежности работы.
При этом я Proxmox намного больше уважаю чем тот-же OpenStack например (хотя это и несколько разные вещи) — как минимум для своих задач работает вменяемо.
Суммируя — да, многим нравится возможность поставить High-End технологию вместо того чтобы иметь развлечения с «опенсорсом»
В чем «цимес»?
Цена платформы публичная что я вижу — около $4,500 (newegg, amazon и другие). Откуда 3700? На сайтах где налоги штата не учитываются? Ну так тогда и конфиг что в статье можно купить сильно дешевле.
Да, кому потребуется больше производительность и потратить тысячи на 3-4 больше долларов готовы — хороший вариант тоже, согласен. Но статья — про наиболее эффективный вариант «доллар на единицу производительности / макс. цена»
…
И кто тут вредные советы дает? :)
Мелланокс на один порт получается в полтора раза дешевле Nexus.
Вот первые попавшиеся (я точно брал мелланоксы дешевле 5$k)
http://www.newegg.com/Product/Product.aspx?Item=N82E16833736041
http://www.newegg.com/Product/Product.aspx?Item=N82E16833423083&cm_re=3524X-_-33-423-083-_-Product
Да, для CE надо будет заменить SSD и сделать ребилд нода — займет минут 15. Если один SSD был. В чем проблема?
Для коммерческих версий это сделано намного быстрее быстрее и удобнее, ввиду другого принципа работы с дисками (о чем в статье пишется).
По поводу «приключений» — там надо снять задачу (это делается за 5 секунд), человека попросили выдать вывод команды ( «progress_monitor_cli -fetchall» ) но он не ответил. Есть такая фраза — ССБ («сам себе буратино»).
При этом никаких потерь данных и прочего, даже при том что человек сделал неправильные действия.
Точно есть лаборатория у Navica Data (контакт — Sergey Bogolyubov <s.bogolyubov@navicadata.ru> )
AHV и ESXi используют одинаковый формат хранения данных на дисковой системе, у нас даже поддерживается автоматический DR между AHV <-> ESXi
Поэтому наш AHV, хотя и базируется на KVM, но намного более безопасен и «вычищен».
Сама идея втыкать в USB порты серверов / нодов не очень архитектурно красивая.
Если требуется пробрасывать USB то намного лучше использовать что-то вроде http://www.digi.com/products/usb-and-serial-connectivity/usb-over-ip-hubs/anywhereusb
Стенды безусловно есть.
Замена SSD легитимная и документированная процедура.
Все вопросы в общем-то имеют ответы в «библии Нутаникс».
1) горячие блоки данных всегда локализуются (если есть место на SSD локальных). холодные блоки данных (SATA уровень) нет смысла локализовывать — latency сети меньше чем latency SATA дисков
Для CE поддерживается RF2 (2 копии данных на кластере), одна из них собственно будет локализовываться вслед за VM (например файл сервером в вашем случае)
Если места локально не хватает — используется доступ по сети к «соседним» SSD и SATA.
2) Нутаникс не гоняет бесконечно «туда-сюда» данные, ему достаточно содавать одну реплику (горячую) локально и вторую «где-то на сетевых узлах».
3) Сложный вопрос — формально для RF2 кушается ~50% (две копии), но у нас есть встроенное сжатие и дедупликация (в CE тоже) которые обычно имеют 1.7-2.5 коээфицициент. По итогу — виртуально очень часто «не съедается ничего».
Для EC-X работает другая математика, но на 3-4 нода EC-X имеет мало смысла.
4) Кластер всегда пытается перестроиться и восстановить количество реплик. Если есть 4 узла (поддерживаемый максимум для CE) и достаточно места на дисках, то можно «потерять» один узел со всеми дисками, произойдет «ребилд» кластера, и далее еще один узел например выдержит отказ.
Взрослые версии Nutanix выдерживают множественный одновременный и неоднократный отказ оборудования без потери данных и контроля над облаком.
5) Нет, не переходят — у нас честный кластер (в основе Нутаникс используются NoSQL / BigData технологии), кластер 2 узла — это аварийная ситуация. Работать будет, но отказа еще одного узла не выдержит — это split-brain ситуация. Поэтому если нужно резервирование дополнительное — делайте кластер из 4-х узлов или покупайте коммерческий Нутаникс (который умеет RF3 — т.е. выдерживает отказ двух и более узлов одновременно)
Дальше мы уже обсудим конкретику.
1500 за 3 сервера?
За эти деньги можно взять «сильно более лудшие» SSD, памяти по 128… И суммарная производительность — порвет твин на тряпки.
Ибо виртуализация крайне редко упирается в процессор нынче, но память и IOPS намного более важно.
А вот процессоры — более чем good enough. Особенно для лабы / test&dev / SMB.
2)… не забываем добавлять «по совершенно нерепрезентативным данным одной компании, ввиду того что у них WD дисков очень мало, но они тупо экстраполировали данные»
Nutanix — многопоточная архитектура, даже iSCSI мы превратили в многопоточный (у нас отдельный iSCSI поток на каждый виртуальный диск для нашего гипервизора)
Так что в общем-то от LACP некий (достаточно существенный) толк будет.
У нас предусмотрены различные режимы резервации — можно целиком хост (как spare), или только память (best effort).
Это все автоматически работает.
Можно так-же выставить приоритеты HA для VM, так-же как для части вообще отключить HA (если они второстепенные)
Диски 2TB WD далеко не худшие (по тем же данным от битблейз, которые при этом весьма субьективны ввиду того что они их эксплуатируют тоннами засовывая в один корпус), в статье прямо пишут что просто не получается закупать большие партии.
По CPU с твинами — так не стесняйтесь приводить свои варианты, посмотрим насколько «почти столько же».
А то даже (опять-же по ссылке) пишут что очень довольны теми процессорами что мы рекомендовали:
«Part of STH’s hosting cluster is actually a number of 1U Intel Xeon D-1540 servers so the Xeon D-1540 and D-1541 we are well aware of. The performance of the parts is overall excellent so long as you can handle lower single thread performance and do not need more RAM.»
У нас на такой конфигурации очень много «клиентов» по миру — собственно на форуме народ делится наиболее ходовыми конфигурациями.
Например для test & dev конторы ставят. Много кто дома собирает (благо для инженера в США / EU вполне подьемные деньги). SMB. И тд.
http://next.nutanix.com/t5/Discussion-Forum/bd-p/Discussion
Ну а сочувствовать работнику VMware по поводу того что ему не хочется сносить ESXi… А мы-то тут причем?