Red Hat нацеливает «Gluster» на EMC/VMware

    Компания Red Hat анонсировала покупку Gluster — разработчика открытого ПО для облачных систем хранения данных. Программное обеспечение Gluster дополнит стек облачных продуктов Red Hat, таких как CloudForms и OpenShift, обеспечив их гибкость и масштабируемость.

    Red Hat покупает «cloud storage» Gluster. Зачем?
    Не так давно я писал про то, что Red Hat объявляет войну VMware на «облачном» фронте и вот, кажется, первые её проявления.

    Среди подобных новостей о покупке Gluster очень много общих слов и очень мало анализа того, зачем Red Hat сделала эту покупку и как она может отразиться на рынке облачных вычислений. Пришлось думать самому. :-) Я собрал информацию из различных источников и надеюсь, что смогу немного прояснить ситуацию.

    Как повлияет эта покупка на рынок cloud?
    Чтобы понять, зачем Red Hat купила Gluster, производителя «cloud storage», нужно понимать зачем вообще нужны cloud. Основная причина внедрения облачных вычислений — желание снизить затраты на IT. А если более точно — эффективно их использовать, т.е. получить общую низкую стоимость вычислительных ресурсов. Но чтобы добиться низкой стоимости облачных вычислений, необходимо чтобы и все компоненты, из которых состоит «облако» были доступны по низкой цене.

    И сегодня почти всё для создания «облака» можно купить сравнительно дёшево — ведь их собирают из стандартных x86-серверов, а в качестве ПО, зачастую, используют Open Source. Подождите, я ведь сказал «почти всё»? Когда вы собираете собственное «облако», вы берете x86-серверы, сетевое оборудование — это стоит достаточно дёшево. А потом? А потом понимаете, что необходимо ещё где-то хранить обрабатываемые данные. К сожалению, как раз системы хранения (далее — СХД) сегодня стоят ощутимых денег и является ценовым «бутылочным горлышком», которое не позволяет получить выгоду от облачных вычислений в полной мере.

    Почему это происходит? Да потому что производители железа тоже хотят получать сверхприбыли зарабатывать. А один из крупнейших игроков рынка СХД — EMC является, совершенно случайно, владельцем VMware. Той самой компании, которая доминирует на рынке виртуализации. Впрочем, и у IBM, и у HP, и у Sun/Oracle тоже есть свои СХД, которые нужно продавать. Чтобы вы могли оценить, о каких суммах идёт речь — совокупная доля поставок EMC, HP и IBM на российский рынок СХД составляет около 80% (источник). Вот и получается, что крупным поставщикам железа выгодны облачные вычисления, из-за того, что только у них есть специализированное оборудование для крупных СХД. Цифры из отчёта IDC:
    В то же время показатель CAGR расходов предприятий на системы хранения в частных «облаках» составит 28,9%. К 2015 году, общемировые расходы на системы хранения данных в общественных и частных облачных системах достигнут $22,6 млрд.

    По прогнозам IDC, российский рынок СХД продолжит развиваться достаточно быстрыми темпами, причем сегмент внешних устройств хранения в денежном выражении вырастет за пять лет почти на 75%.
    Для справки — доля EMC на рынке СХД России чуть менее 40%, а VMware, «дочка» EMC, занимает около 80% рынка виртуализации (это «в мире», отдельно по России цифр не нашёл). Самое время вспомнить, как в одном из моих предыдущих постов (посвящённых как раз ценовому вопросу), представители EMC убеждали считать не по-отдельности стоимость услуг, софта и железа, а только вместе:
    Рассмотрение цены только платформы виртуализации в отрыве от стоимости железа, всей обвязки (резервное копирование, безопасность, сетевая инфраструктура и т.д.) и стоимости лицензий на прикладной софт лишено сколько нибудь практического смысла.
    Каждый, кто хочет собрать собственный cloud, начинает с подсчёта того, сколько в итоге это будет стоить. И если с ПО, серверами и сетевым оборудованием всё более-менее ясно, то с СХД совсем наоборот. Например, цена может значительно измениться, если вы выбрали «не правильную» программную платформу. ;-) И именно СХД является сегодня тем препятствием, которое сдерживает массовое применение облачных вычислений.

    Представители Red Hat не однократно заявляли, что виртуализация не должна стоить дорого. Поэтому, на мой взгляд, покупка Gluster является попыткой снизить стоимость хранения данных — самой дорогой части облачных вычислений. И наверняка это не понравится EMC/VMware. ;-)

    А что же такое Gluster?
    Компания Gluster стала известна благодаря своей файловой системе — GlusterFS, предназначенной для NAS-хранилищ и распространяемой как Open Source (GPLv3). GlusterFS способна обрабатывать массивы ёмкостью до нескольких петабайт, при этом, компоненты массива могут быть на значительном расстоянии друг от друга — объединение их между собой происходит по протоколам Infiniband RDMA или TCP/IP. Gluster называют «лидирующем поставщиком горизонтально масштабируемых Open Source-решений для хранилищ». Один из сотрудников красиво сказал:
    Мы ставили цель быть как Red Hat в области СХД, а стали СХД для Red Hat.
    Продукты Gluster отлично вписываются в «облачную стратегию» Red Hat и служат важным элементом для CloudForms и OpenShift, но кроме этого, они открывают перед Red Hat возможности по выходу на рынок управления неструктурированным данными. Нужно отметить, что хотя компания Red Hat не участвует в проекте OpenStack, поддержка Gluster для этой облачной платформы продолжится, а исходный код продуктов останется открыт. (Впрочем, код продуктов Red Hat всегда был и остаётся открытым.)

    А как же Global File System?
    У Red Hat уже есть одна разработка в области файловых систем и СХД — Global File System. GFS чаще всего работает в составе Red Hat Cluster Suite и позволяет нескольким серверам одновременно осуществлять чтение и запись в единую совместную файловую систему в сети SAN. Не смотря на слово «global» в названии, эта файловая система предназначена, в первую очередь, для отказоустойчивых кластеров (HA, High Availability) и, строго говоря, разрабатывалась в то время, когда ещё никто не задумывался про облачные вычисления и столь масштабные развёртывания.

    Кстати, у GFS интересная история. Развитие этой ФС началось в 1995 году в университете Миннесоты. Она была написана для ОС IRIX от SGI, а в 1998 году портирована на Linux. Примерно в то же время исходный код ФС был открыт. Но после перехода (~2000 год) разработки к компании Sistina Software, GFS стала развиваться как проприетарный продукт. Независимые разработчики форкнули ФС, назвав новый проект OpenGFS, но просуществовал он не долго — Red Hat выкупила копанию Sistina в 2003 году и снова открыла весь код под лицензией GPL.

    А что данная покупка значит для самой Red Hat?
    За последние несколько лет изменился фокус бизнеса Red Hat — если раньше открытые решения использовались на отдельных серверах, критически важных для бизнеса, то теперь это целые датацентры. Особенно это становится заметно на примере OVA, куда приходят всё больше сервис провайдеров и компаний, напрямую связанных с облачными вычислениями.

    Кстати, в пользу вектора «снижения стоимости для ЦОД» говорит и тот факт, что буквально на днях Red Hat заявила о сертификации RHEL для Open Compute Project. Напомню, что Open Compute Project был запущен компанией Facebook с целью выработать алгоритмы эффективного и экономичного масштабирования крупных ЦОД.

    У Red Hat есть своя виртуализация (KVM), IaaS (CloudForms) и PaaS (OpenShift), с покупкой Gluster будет закрыто «белое пятно» в области СХД. Открытое ПО сегодня, становится стандартом де-факто для построения облачных вычислений. Все крупнейшие cloud-хостинги работают именно на OpenSource-продуктах (что позволяет снизить расходы на порядки), так что нет ничего удивительного, что Red Hat видит для себя огромные перспективы на этом рынке.

    Хочется верить, что так же как появление GFS стало важным шагом для использования Linux в критически-важных системах, так и GlusterFS откроет новую страницу в применении Linux в ЦОД и cloud-вычислениях. Она, не только не имеет достойных «промышленных» альтернатив (как, в своё время, GFS), но и позволяет кардинально снизить стоимость «облачного» хранения данных.

    Комментарии 33

      +6
      GlusterFS весьма интересная и имеет хороший потенциал. Главная её особенность в том, что там нету нод с метаданными, а следовательно отсуствует бутылочное горлышко.
      Сама система имеет так называемые трансляторы: репликация, страйп, кеши, и.т.д. — в общем можно настроить под свои нужды так, что бы работало лучшим образом.

      Надеюсь Red Hat вложит в неё приличное кол-во ресурсов и её доработают для работы с мелкими файлами, а так же повысят стабильность как таковую.
        0
        Когда пользовал при падении ноды реставрация больших файлов была очень долгой ;( и машины простаивали, вроде хотели допилить в последних версиях, но ред хат купила с тех пор.
          0
          А у меня на одной ноде вообще 5ТБ файлов обнулились
          0
          И документацию, документацию пусть доделают нормально.
          А то сейчас этот ваш Гластер практически на ощупь приходится поднимать.
          +1
          Это вполне может привести к традиционному «ответу» EMC — покупки ею компании RedHat…
            +3
            Маловероятно, капитализация RH уже 10 миллиардов (у EMC — 50), так что это будет очень нелегко, да и акционеры EMC не дадут согласия на такой шаг.
              0
              Может быть, средства позволяют. Но будем надеяться, что этого не произойдёт.
                +3
                Я запостил туже ссылку на секунду раньше. ;-)
                Только я сомневаюсь, что средства позволяют. Причин несколько:
                1) Обычно покупки совершаются по схеме «капитализация + годовой оборот за несколько лет», т.е. понадобится не меньше 15 миллиардов (red hat «по дешёвке» не отдадут.)
                2) Сколько свободных средств у EMC не известно, во времена финансового кризиса, банки большую сумму не дадут.
                3) Покупка компаний, занимающихся СПО — громадный риск. Вероятность того, что после приобретения разбегутся разработчики (составляющие основную ценность СПО-компаний), совсем не нулевая. ;-)
              +2
              Не знаю как там сейчас, но саппорт и сервис у Gluster был на высоте. Всегда вовремя перезванивали, интересовались, как дела с моим деплойментом, окружением. Постоянно интересовались что добавить, что улучшить? Можно было с системными архитекторами напрямую поговорить!
              Жаль не подошло по скорости :( Очень и очень приятная софтина и кантора!
                +1
                И щас перезванивают ;-)
                0
                Почему RH купили Gluster очевидно. Они уже приняли решение утопить свое не самое удачное детище Red Hat Cluster Suite.

                Есть еще, на мой взгляд, очень перспективный openstack.org (IaaS). В бэкинге у него Dell и SUSE. Набирает обороты сейчас.
                  0
                  … даже не знаю, как ответить. Пожалуй, просто перечислю несколько фактов:
                  1) Задачи, для которых используют GlusterFS и RH Cluster Suite, практически не пересекаются.
                  2) Red Hat Cluster Suite вполне удачное детище, используемое очень многими.
                  3) Gluster (т.е теперь RH) участвует в проекте OpenStack.
                  4) В «бэкинге» у OpenStack не только Dell и SUSE, но и ещё множество компаний, например, этот проект активно поддерживает Canonical (Ubuntu).
                  5) Последняя версия Fedora включает в себя «OpenStack tools configure»
                  6) OpenStack был перспективен и «набирал обороты», когда его двигал Вивек Кундра, теперь он ушёл и будущее проекта не столь безоблачно.
                  … и т.д. и т.п.
                    0
                    Мистер Туман

                    1) Gluster будет только частью стека, очевидно.
                    2) Spacewalk финансово тоже удачное детище. Это не делает его хорошим. И в Редхете эти 2 факта понимают.
                    3) Читайте номер один.
                    4) Ну да. Взял просто 2 компании с которыми об этом говорил.
                    5) Это замечательно! Вообще очевидно что это значит.
                    6) Не понимаю. То есть Вивек круче коммюнити и энтерпрайса которые это бэкают?

                      0
                      1) Gluster будет частью другого стека.
                      2) А Novell, засунув Spacewalk в SUSE Manager, решила работать с «не хорошим» продуктом? :-)
                      3) Gluster остаётся важной частью cloud, в том числе OpenStack.

                      6) Не Вивек Кундра, а должность, которую он занимал. Да, круче. Когда ты решаешь, кому отдать 80 миллиардов долларов (утрирую) — ты круче и комьюнити и энтерпрайза. Поэтому я и говорю, что без административной поддержки, развитие проекта может идти не такими быстрыми темпами.
                        0
                        1) Да — это же хорошо? Прогрес на лицо.

                        2) Вы счиаете что SUSE приняло много правильных решений за последние 10 лет? У них разве что инсталлер классный (был). Spacewalk мертв — это продукт с которым даже в редхете кроме сейлзов никто работать не хочет. :-(

                        6) На Борту NASA. Собственно я понимаю что именно через них Вивек поддерживал опенстэк?
                          0
                          2) Ага, понял. OpenStack в Suse выбрали, потому что он перспективен, а Spacewalk, потому что в Suse не много правильных решений за последние 10 лет. :-)

                          6) Скорее наоборот, NASA нашли, через кого можно продавить OpenStack. По крайней мере, с технической точки зрения в этом IaaS нет ничего особенного, а когда проект столь активно начал набирать сторонников… это наводит на определённые мысли. ;-)
                            0
                            Ваши колкости затупились на втором reply.

                            2) Что вы все в одну бочку то катите? Сами удачно разделили свои замечания. Да, неправильно со спейсволком поступили (кто знает суть дела не может не согласится). А с OpenStack правильно. Хотя бы в том плане что они его поддерживают на стадии когда это классный и современный (так и лезет добавить — своевременный) продукт.

                            6) Ну теперь совсем меня доканали. То есть теперь не Вивек главный а НАСА главная? Вы там решитесь. Я вам впорос задал что б узнать что то новое. А ваш интеллект куда-то рассплылся в смаилике.

                            Есть в ОпенStack особенное. Он совсем опен сурс. С самого начала и c самой многосторонней поддержкой. И без каких либо but or maybe.
                              0
                              Да, неправильно со спейсволком поступили (кто знает суть дела не может не согласится).
                              А расскажите суть дела — очень интересно. Можно даже отдельным постом. Если лениво — просто пруфлинки. Признаюсь честно, учитывая сколько белиберды вы написали в своём первом комментарии тут, не рассчитываю получить сколько-нибудь ценной информации.

                              То есть теперь не Вивек главный а НАСА главная?
                              Что тут не понятно то? Первоначально проект разрабатывался в NASA, потом они подружились с Кундра, и благодаря ему, получили возможность использовать административный ресурс.

                              Есть в ОпенStack особенное. Он совсем опен сурс. С самого начала и c самой многосторонней поддержкой. И без каких либо but or maybe.
                              Ну вот, очередной пример того, что вы «плаваете» в вопросе. С самого своего начала OpenStack упрекали в том, что проект не является «вендор-независимым» и что всё ключевые решения по его развитию принимали сотрудники всего пары компаний. После месяцев припераний по этому поводу, всё же было принято решение (всего месяц назад!!) сделать проект более открытым. (подробности)
                  0
                  Было бы очень неплохо, если бы они его допилили до нормального состояния. А то вещь интересная, но при определённых условиях сильно прожорливая.
                    0
                    В текущем состоянии glusterfs не может использоваться как универсальное хранилище данных. То есть под любые типы хранимой информации. Например как хранилище изображений для нагруженного веб-сервиса еще более-менее тянет(и то без своей репликации), а вот хран для php-файлов уже никак(много-много мелкого файла). Скорость падает катастрофически.
                    Cтоит включить репликацию(а она на уровне файлов, так как gluster — это по сути демон объединяющий диски с традиционными fs) и все затормаживается еще раза в 2-3.
                    Мне gluster очень нравится. Из всего с чем я работал, за исключением GPFS, это одна из лучших распределенных файловых систем.
                    И есть мнение, что если gluster доведут до ума — перенесут в ядро+сделают свою локальную fs и тогда репликацию можно будет реализовать блоками, то можно будет праздновать появление полноценного конкурента айбиэмовской системе.

                    В общем ждем GFS+Gluster = полноценная быстрая распределенная реплицируемая легко расширяемая фс.

                    • НЛО прилетело и опубликовало эту надпись здесь
                        0
                        О, очередной ниосилятор. :-) Тысячи компаний по всему миру используют продукты Red Hat и довольны (Кстати, JBoss от RH уже пятый год подряд занимает первое место в рейтинге удовлетворённости клиентов.), но всегда найдётся кто-нибудь, у кого «всё валится из рук».

                        Если профнепригоден — иди винду админить. :-D
                        • НЛО прилетело и опубликовало эту надпись здесь
                            0
                            Ну а я 5 лет проработал в крупнейшем европейском датацентре, так что кое-что понимаю и про GFS и про КVM и про много что ещё. И все там отлично работает в продакшене, если ты бы не поставил — это твои личные трудности.

                            ps: JBoss тут при том, что это тоже продукт RH и тоже отличного качества.
                            • НЛО прилетело и опубликовало эту надпись здесь
                          • НЛО прилетело и опубликовало эту надпись здесь
                          +1
                          За последние два года перепробовал все кластерные файлухи.
                          То что написано здесь — www.pentarh.com/wp/2008/07/04/cluster-filesystems/ — абсолютно верно.
                          Но я не понимаю Вашего категорического неприятия гластера.
                          У любого продукта есть своя ниша.

                          У меня, в конкретной узкой нише прижился только glusterfs.
                          Используется он как агрегатор-раздатчик серверов/дисков. Отказоустойчивость сделана на drbd/heartbeat. Хорошо работает только в связке с файловым кэшем ОС. Чем больше памяти на сервере тем лучше. После перезапуска очень ощутимые тормоза пока кэш заполняется.
                          В продакшене больше года, пару раз расширялся на лету. ПОКА сильных нареканий нет. Но только пока. У меня нет данных, как оно себя будет вести при увеличении кол-ва серверов.
                          Сделано так не от хорошей жизни… не у всех есть бюджет на десяткокилобаксовые стораджи и не менее килобаксовые выплаты ibm-у за их, безуословно хорошую фс.

                          Каждые полгода приходится возвращаться к теме выбора фс под очередное хранилище… больное место.
                          Были еще надежды на pohmelfs… надо кстати глянуть как там дела обстоят.
                          • НЛО прилетело и опубликовало эту надпись здесь
                              0
                              >За последние два года перепробовал все кластерные файлухи.

                              Пользуясь случаем, — можно услышать отзыв о sheepdog?
                                0
                                sheepdog заточен под kvm и виртуальные машины, потому прошел сильно мимо моей выборки тестируемых фс.
                                Меня в первую очередь интересовали posix-совместимые фс, или как минимум те, у которых была хоть какая-то posix-совместимость. обусловлено это архитектурой существующих проектов.
                                Но спасибо что указали на неё, всегда интересно пощупать что-то новое.
                                  0
                                  Это новое будет в Proxmox2 — новом убийце vmware :) — поэтому очень профильная для данной статьи система.
                              +1
                              Большое кол-во мелких фалйлов — это не для гластера, я это еще в первом своем посте написал. А вот отдача средних файлов 100Кб-100Мб — вполне себе шуршит, с оговорками конечно же.
                              Поправка, не только над ext3. работает на любой posix-совместимой ФС.
                              А какая удачнее? Из всех что я пробовал — только гластер более менее и заработал. Остальные вообще в опе были.

                              GPFS — прелесть. Когда я её тестировал — просто рыдал навзрыд, как же она хороша.
                              И я бы с радостью её купил, тока денег на неё недают. А сам столько не зарабатываю -)
                              Можно конечно и втихую её юзать, но это чревато.
                                –1
                                GlusterFS — «cloud storage»?
                                OMG. Да он уже после 10 узлов уходит в отказ. Какой там cloud.

                                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                Самое читаемое