Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 24
Мне вспоминается аттракцион неслыханной щедрости от EMC, мол, ScaleIO можно качать бесплатно.
Я вроде его даже и скачал но упёрся в системные требования, которые были запредельны чтобы просто посмотреть.
Что-то изменилось, всё за деньги сейчас?
Я вроде его даже и скачал но упёрся в системные требования, которые были запредельны чтобы просто посмотреть.
Что-то изменилось, всё за деньги сейчас?
Да изменилось
Теперь не просто за деньги, а за железки онли…
Есть пакеты в сливках, можно поставить, но все стремно
А в какие требования уперлись? В кол-во нод и дисков +10g?
если хотите скорость (кучу кIOPS) то 10G обязательно, 1(2)Gb -хватит для режима RFCache.
К железу как раз не требовательно, для увеличения кол-ва нод подойдут бу сервера поколение 55-56xx стоимостью 20-30КР. Коммутаторы тоже простые Ethernet не FC.
Кроссплатформенность покрывает все варианты unix систем +MS +esx+xen
В том то и фишка что можно собрать из того что есть и вкладывать немного.
Но про это хотел рассказать во 2 части, если у людей бюджет интерес.
К железу как раз не требовательно, для увеличения кол-ва нод подойдут бу сервера поколение 55-56xx стоимостью 20-30КР. Коммутаторы тоже простые Ethernet не FC.
Кроссплатформенность покрывает все варианты unix систем +MS +esx+xen
В том то и фишка что можно собрать из того что есть и вкладывать немного.
Но про это хотел рассказать во 2 части, если у людей бюджет интерес.
А в какие требования уперлись? В кол-во нод и дисков +10g?
Ну да, вроде в это, давно было дело.
А что сейчас есть из бесплатного? В последний раз я использовал какое-то свободное ПО от индусов, название которого уже не помню, но оно вполне прилично работало. Года три назад по нему были статьи на Хабре с хорошими отзывами.
Спасибо за статью.
У starwind со сплитбрейнами не сталкивались?
ScaleIO уже нет смысла показывать в статьях, он не желец, нельзя купить, хоть и хотелось бы… Лично мне присматривается система nutanix, больше адекватного пока не присмотрел, но ещё ищу
Ceph это поделка и не более того пока что, без lts, без стабильность, с потерей файлов…
Из за сплитбрейна и перешел на ScaleIO там есть пара тибрекеров которые решают кто мастер MDM. У старвинда при проблемах на уработанных серверах не с сетью, а с рэйдами (рейд развалился, но сеть работает) были проблемы выбора — кто главный. При окончательном глюке приходилось убирать репликации и искать какой img позволял пересчитать сигнатуру без форматирования и с него реплицировал на соседние ноды.
На новых серверах работает аккуратно, а когда два из трех начинают глючит, тут без гемороев не обойтись.
ScaleIO купить нельзя, только вместе с железом, но даже новые версии открыты для скачивания (почему не знаю, только для скачивания нужно зарегистрироваться на EMC).
ScaleIO действительно хороший продукт, основной плюс — самолечится и количество отказавшего оборудования может быть большое, главное не одновременно — но это тоже регулируется архитектурой FS.
Но тренд ухода на программно -аппаратные комплексы везде, видно так производителям проще впаривать и обслуживать (кол-во вариантов причин сбоев резко уменьшается).
Программный только на свой страх и риск (или как тестирование перед закупкой железа ПАК). К тому же ScaleIO и без лицензии имеет тот же функционал, только без техподдержки.
Но повторюсь в второй части, если будет интерес опишу краткий словарь ( с примерами )как развернуть за день систему Linux-лоху.
В августе дособеру All-Flash pool 10G (доехали SSD и 10G Net) и опишу результат и затраты.
nutanix — не плохо, но если не хочется ломать существующий кластер Vmware, то не вариант.
Пусть народ простит, но я люблю 4V (Vmware, Veeam, VxFlexOS, Vodka), в отличии от остального еще никогда не подводили :)
На новых серверах работает аккуратно, а когда два из трех начинают глючит, тут без гемороев не обойтись.
ScaleIO купить нельзя, только вместе с железом, но даже новые версии открыты для скачивания (почему не знаю, только для скачивания нужно зарегистрироваться на EMC).
ScaleIO действительно хороший продукт, основной плюс — самолечится и количество отказавшего оборудования может быть большое, главное не одновременно — но это тоже регулируется архитектурой FS.
Но тренд ухода на программно -аппаратные комплексы везде, видно так производителям проще впаривать и обслуживать (кол-во вариантов причин сбоев резко уменьшается).
Программный только на свой страх и риск (или как тестирование перед закупкой железа ПАК). К тому же ScaleIO и без лицензии имеет тот же функционал, только без техподдержки.
Но повторюсь в второй части, если будет интерес опишу краткий словарь ( с примерами )как развернуть за день систему Linux-лоху.
В августе дособеру All-Flash pool 10G (доехали SSD и 10G Net) и опишу результат и затраты.
nutanix — не плохо, но если не хочется ломать существующий кластер Vmware, то не вариант.
Пусть народ простит, но я люблю 4V (Vmware, Veeam, VxFlexOS, Vodka), в отличии от остального еще никогда не подводили :)
Я прям сейчас в поисках решений SDS и поэтому ваши ответы мне очень сильно помогают в выборе
Скачивать нельзя вроде уже, если нет покупки-подписки, я не нашел откуда, кроме FTP открытого), там версия 2,5, и то кажется именно 2,5 не вся
А не подскажете, по прежнему ScleIO бесплатен и не требует активации на 3-4 ноды?
Мне нужен SDS для Proxmox, но внедрять Gluster и Ceph идеи так себе, нужна система сильно проще и надежнее, да и быстрее, поэтому ScleIO смотрел серьезно, все понравилось в ней вроде
10GB обязательны для любой SDS сейчас, с моими текущими Nexus, которые взял БУ могу сделать и 40GB(80 в итого), железо старое
И не подскажете, как ScaleIO живет с бедблоками?
Спасибо огромное за ответы!!!
Скачивать нельзя вроде уже, если нет покупки-подписки, я не нашел откуда, кроме FTP открытого), там версия 2,5, и то кажется именно 2,5 не вся
А не подскажете, по прежнему ScleIO бесплатен и не требует активации на 3-4 ноды?
Мне нужен SDS для Proxmox, но внедрять Gluster и Ceph идеи так себе, нужна система сильно проще и надежнее, да и быстрее, поэтому ScleIO смотрел серьезно, все понравилось в ней вроде
10GB обязательны для любой SDS сейчас, с моими текущими Nexus, которые взял БУ могу сделать и 40GB(80 в итого), железо старое
И не подскажете, как ScaleIO живет с бедблоками?
Спасибо огромное за ответы!!!
У меня подписка кончилась (44-ФЗ :(), но допуск к обновлениям даже 3.01. остался, ранее они его закрывали, сейчас почему то нет.
ScаleIO бесплатен даже за 100 нод, без ключа работает также.
Proxmox (онже debian) не помню кажется нет в списке совместимого- но надо точно смотреть, выйду на работу гляну кажется НЕТ www.dell.com/community/ScaleIO/ScaleIO-for-Debian-Linux/td-p/7035485
10G рекомендуют — у меня в продакшене 1G пока, идет переход на 10G.
Бэдблоки беда как и партиции на дисках, перед сборкой я бы рекомендовал диагностами отбраковать даже предаварийные диски и убрать все партиции дисков.
Даже если диск пока жив — он будет снижать скорость за счет обхода битых секторов, по факту информация реплицируется только 1 раз — как зеркало и одновременный выход в момент ребильда еще какого то диска опасен. При отказе диска систем начинает интенсивно писать на все диски пула на всех нодах и не факт что битый диск получателя это переживет.
ScаleIO бесплатен даже за 100 нод, без ключа работает также.
Proxmox (онже debian) не помню кажется нет в списке совместимого- но надо точно смотреть, выйду на работу гляну кажется НЕТ www.dell.com/community/ScaleIO/ScaleIO-for-Debian-Linux/td-p/7035485
10G рекомендуют — у меня в продакшене 1G пока, идет переход на 10G.
Бэдблоки беда как и партиции на дисках, перед сборкой я бы рекомендовал диагностами отбраковать даже предаварийные диски и убрать все партиции дисков.
Даже если диск пока жив — он будет снижать скорость за счет обхода битых секторов, по факту информация реплицируется только 1 раз — как зеркало и одновременный выход в момент ребильда еще какого то диска опасен. При отказе диска систем начинает интенсивно писать на все диски пула на всех нодах и не факт что битый диск получателя это переживет.
Тоже возникла похожая задача.
По ней возник вопрос буду раз если сможет кто ответить.
Сервер Supermicro SuperServer SYS-2029U-E1CRTP на 24 диска.
Его планируется использовать как ноду в кластере под VSAN
На нем планируется сделать 4 дисковые группы по 5 SSD по 1.6 ТБ и 1 SSD NVME 800 ГБ
У сервера стоит Backplane BPN-SAS3-216EL1-N4 который позволяет сделать эту конфигурацию. У Backplane 1 Expander Daughter Card.
Вопрос можно ли к Expander Daughter Card подключить 2 HBA адаптера?
Для более полной утилизации пропускной способности SSD?
По ней возник вопрос буду раз если сможет кто ответить.
Сервер Supermicro SuperServer SYS-2029U-E1CRTP на 24 диска.
Его планируется использовать как ноду в кластере под VSAN
На нем планируется сделать 4 дисковые группы по 5 SSD по 1.6 ТБ и 1 SSD NVME 800 ГБ
У сервера стоит Backplane BPN-SAS3-216EL1-N4 который позволяет сделать эту конфигурацию. У Backplane 1 Expander Daughter Card.
Вопрос можно ли к Expander Daughter Card подключить 2 HBA адаптера?
Для более полной утилизации пропускной способности SSD?
2 HBA адаптера? Зачем, если не делать каскада то 1 контроллера 12G хватит за глаза
и кажетcя2-й разъем на Backplane как раз для каскада, а не второго HBA.
SuperServer SYS-2029U-E1CRTP позволяет еще больше губу раскатать на производительность за счет Intel® Optane™ DC Persistent Memory (процы 2-й генерации от 4215 и выше) вместо SSD NVME 800 ГБ.Но сетку нужно будет типа 25G и выше.
Но что то путное я лучше собрал бы не на supermicro :), дохнуть чаше чем бренды — я за 20 лет насмотрелся, дольше всех отжил Сименс — умер не физически, а морально(он сейчас фуджи), а российские на базе супермикро дохли постоянно -5 лет предел.
и кажетcя2-й разъем на Backplane как раз для каскада, а не второго HBA.
SuperServer SYS-2029U-E1CRTP позволяет еще больше губу раскатать на производительность за счет Intel® Optane™ DC Persistent Memory (процы 2-й генерации от 4215 и выше) вместо SSD NVME 800 ГБ.Но сетку нужно будет типа 25G и выше.
Но что то путное я лучше собрал бы не на supermicro :), дохнуть чаше чем бренды — я за 20 лет насмотрелся, дольше всех отжил Сименс — умер не физически, а морально(он сейчас фуджи), а российские на базе супермикро дохли постоянно -5 лет предел.
Но что то путное я лучше собрал бы не на supermicro :)
Я бы тоже. Но такое ТЗ. )
Сетка будут 10G.
1 контроллера 12G хватит за глаза
А не упруться 4 дисковые группы с SSD дисками и SSD кешем в контроллер сидящий на pci-e 8x?.. Современным дискам pci-e 4x хватает но в упор.
при 10G что то много хотите массивов SSD — тогда уж 25G
Про кэш SSD для SSD томов не понял зачем, кэшируют обычно SAS HDD?
Про пропускную способность нужно уточнить какие массивы хотите, при HBA только RAID 1 или 0, про RAID контроллеры там можно и 5 и 50 и 6 и 60, но даже для организации более чем двух томов нужны контроллеры с памятью.
И так информация к размышлению:
По записи последовательной (от быстрых к медленным):
Intel® Optane™ DC Persistent Memory 3x от -> U.2 SSD 3000Mb-> SAS SSD 1000-2000MB ->SATA SSD 500Mb.
Если нужна скорость то можно вместо 4х SATA SSD — один SAS SSD
А если очень быстрое то Intel® Optane™ DC Persistent Memory, но процы должны быть gen2 от 4215 или 5222 ( но ПО Vmware EntPlus), для U.2 SSD Backplane другая чем SAS
Как вариант разных массивов при одном контроллере платы pci-exp то m.2 (правда большинство m2 DWPD <1) пойдут по другой шине чем контроллер.
Про кэш SSD для SSD томов не понял зачем, кэшируют обычно SAS HDD?
Про пропускную способность нужно уточнить какие массивы хотите, при HBA только RAID 1 или 0, про RAID контроллеры там можно и 5 и 50 и 6 и 60, но даже для организации более чем двух томов нужны контроллеры с памятью.
И так информация к размышлению:
По записи последовательной (от быстрых к медленным):
Intel® Optane™ DC Persistent Memory 3x от -> U.2 SSD 3000Mb-> SAS SSD 1000-2000MB ->SATA SSD 500Mb.
Если нужна скорость то можно вместо 4х SATA SSD — один SAS SSD
А если очень быстрое то Intel® Optane™ DC Persistent Memory, но процы должны быть gen2 от 4215 или 5222 ( но ПО Vmware EntPlus), для U.2 SSD Backplane другая чем SAS
Как вариант разных массивов при одном контроллере платы pci-exp то m.2 (правда большинство m2 DWPD <1) пойдут по другой шине чем контроллер.
Думал, как бы попросить, а тут…
Спасибо огромное!!!
Спасибо огромное!!!
будет доступно для скачивания неделю, в качестве рекламы данного софта :)
3.0.0.1_134 еще не пробовал
2.0.1.4 который у меня в продакшене, выложу чуть позже.
3.0.0.1_134 еще не пробовал
2.0.1.4 который у меня в продакшене, выложу чуть позже.
2.0 есть в свободном
ftp.ufanet.ru/pub/scaleio/Ubuntu/2.5.0.254/Ubuntu16.04
но документация и прочее — просто огромнейшее спасибо!!!
ftp.ufanet.ru/pub/scaleio/Ubuntu/2.5.0.254/Ubuntu16.04
но документация и прочее — просто огромнейшее спасибо!!!
День добрый!
извините за навязчивость
не появилось версии поновее?
Спасибо за ваш труд и любой ответ!
извините за навязчивость
не появилось версии поновее?
Спасибо за ваш труд и любой ответ!
VxFlex_OS_3.0.1.1_113_Complete_Software.zip 5,8 Gb
как загрузится на мегу скину ссылку
как загрузится на мегу скину ссылку
спасибо огромное
за время использования с чем сталкивались, с какими проблемами?
бэдблоки научился он обходить-чексуммить?
за время использования с чем сталкивались, с какими проблемами?
бэдблоки научился он обходить-чексуммить?
Судя по матрице для esxi 6.7 в качестве только sdc (подойдут нормальные пропатченые 2.6.1. версии — не первые релизы как предложенный), приложенная версия доступна была для скачивания — поскольку первый выпуск, все правленые уже закрыты.
Недавно было аварийное отключение света в выходной, скайло даже без повершута выжил и штатно был запущен- живучий (я про версию 2.0)
В 3 версии вроде отказались от sds под windows.
Вышла 3.5 под новым названием
PowerFlex 3.5 Build 468 Complete Software Download
Но доступ к ней у меня уже закрыт.
Недавно было аварийное отключение света в выходной, скайло даже без повершута выжил и штатно был запущен- живучий (я про версию 2.0)
В 3 версии вроде отказались от sds под windows.
Вышла 3.5 под новым названием
PowerFlex 3.5 Build 468 Complete Software Download
Но доступ к ней у меня уже закрыт.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Опыт использования Starwind VSAN и EMC ScaleIO (VxFlexOS) + шпаргалка по мини Enterprise СХД (1 часть)