Комментарии 39
А RDF-хранилища (типа jena, virtuoso) не приходилось устанавливать? Сейчас в госструктурах появились требования к открытым данным, а там RDF — популярный стандарт.
По поводу RDF поспрашивал коллег – у нас опыта внедрений нет, равно как и запросов пока не было. Но мы тщательно присмотримся, спасибо.
Просто есть российская проприетарная система. Интересно было бы сравнить в плане внедрения.
А есть ли статистика по обратной помощи сообществу? Такие крупные внедрения явно сталкиваются с багами железа и софта, которые явно чинятся :) Осуществляется ли бэкпортирование наработок и как они возвращаеюся обратно в комьюнити?
Да, мы всегда делимся опытом с комьюнити. Как правило, на крупных внедрениях общаемся напрямую с с разработчиками продуктов. Например, ряд доработок, требовавшихся для работы функций аутентификации пользователей (в том числе по смарткартам), делал сам ALT. Это всё вошло в следующий релиз. Как ни странно, был еще опыт доработки Цитриксом своего reciever для работы под *nix на одном из таких проектов. В целом — если не считать масштаба, вполне штатный процесс. Заканчивается это тем, что внутри компании остаётся обученная первая линия поддержки, которая иногда, конечно, придумывает обходы багов, чтобы не стучать во вторую линию (к нам или производителю), но чаще — внятно описывает баги.
MS, IBM, HP, Одноклассники
Этот ряд выглядит немного странно. Может тогда Mail.ru, а не одноклассники?
Александр, объясните, почему когда я указал при регистрации на семинар, что работаю в ИТ компании ваши маркетологи (в частности Филатова Виктория) прислали мне отказ?
Это нормально, да?
Это нормально, да?
>можно соединить блочное хранение с гипервизором и получить на выходе компактную систему из двух трех серверов
Не могли бы Вы уточнить, что опробовано для этого? Теоретически Proxmox способен на такое «из коробки» с ceph ( система на трёх+ серверах), но работает ли это на практике, если используется в одной из виртуалок средненагруженная база данных?
И кстати, спасибо за статью. Получился прямо Манифест опенсурсного ПО.
Не могли бы Вы уточнить, что опробовано для этого? Теоретически Proxmox способен на такое «из коробки» с ceph ( система на трёх+ серверах), но работает ли это на практике, если используется в одной из виртуалок средненагруженная база данных?
И кстати, спасибо за статью. Получился прямо Манифест опенсурсного ПО.
Да, действительно, можно реализовать такую систему на Proxmox, например. Возможность работы высоконагруженной БД будет зависеть, тем не менее, от правильного сайзинга серверов. Какие поставить диски, например. Обязательно нужно предусмотреть SSD для журналов и правильно выбрать дисковый контроллер в серверы (как показывает практика, не все они одинаково хороши). А процессоры сейчас уже настолько производительные, что вряд ли станут узким местом.
Несмотря на то, что коллега-автор поста в предыдущем ответе рекомендует грамотно спроектировать дисковую подсистему, из собственного практического опыта использования ceph в качестве хранилища частного облака я бы рекомендовал в первую очередь грамотно спроектировать сетевую подсистему. В нашем случае тестовый проект мы прекратили, потому что на площадке, где его начинали, не было возможности использования чего-либо быстрее 1GbE. Так как хранилище распределённое, на операциях записи всё упёрлось в скорость сетки.
Так что рекомендую подумать о 10GbE или — маленький лайфхак — об Infiniband QDR: на eBay HCA можно купить баксов за 100-150 (последняя цена — двухпортовые), а коммутаторы на 32 порта — от $800. Да, всё б\у, но два коммутатора на проект и по два HCA в сервер вопрос надежности решают отлично, а цена остаётся несравнимой со стоимостью Ethernet. Скорость, кстати, у infiniband qdr — 40Gbit\s.
Ceph только недавно начали допиливать до возможности использования нативного infiniband (со всеми плюшками в виде исчезающе низких задержек и при этом высокой скорости), но даже ethernet over infiniband дает скорости, сравнимые с 10GbE при существенно более низкой цене. Без использования быстрой сетки не советую использовать это решение на практике.
Но это лирика. В целом всё работает хорошо. Мы использовали как HDD, так и SSD, в конце-концов остановились на SSD-only хранилище — объемы и стоимости SSD уже достаточно низки, чтобы их можно было использовать, а ceph пул с тремя копиями даёт достаточную надежность. Из странных косяков: периодически «пачкались» несколько pg — placement group, при этом если выдать команду их «починить» — они нормально восстанавливаются. До следующего появления статуса «health HEALTH_WARN 1 pgs inconsistent; 1 scrub errors».
А! И очень важный момент! Необходимо тщательно следить за тем, чтобы диски в пулах не переполнялись. Т.е. если объем диска начинает заканчиваться, необходимо либо убрать часть данных, либо подключить новый диск. Если вы получите disk full (или даже disk near full в некоторых случаях), это будет означать немереное количество геморроя на восстановление доступа к данным (повторюсь — если у вас нет свободного диска, чтобы воткнуть в кластер, и места для него в физической железке), а пока будете восстанавливать — все операции на запись будут приостановлены.
Так что рекомендую подумать о 10GbE или — маленький лайфхак — об Infiniband QDR: на eBay HCA можно купить баксов за 100-150 (последняя цена — двухпортовые), а коммутаторы на 32 порта — от $800. Да, всё б\у, но два коммутатора на проект и по два HCA в сервер вопрос надежности решают отлично, а цена остаётся несравнимой со стоимостью Ethernet. Скорость, кстати, у infiniband qdr — 40Gbit\s.
Ceph только недавно начали допиливать до возможности использования нативного infiniband (со всеми плюшками в виде исчезающе низких задержек и при этом высокой скорости), но даже ethernet over infiniband дает скорости, сравнимые с 10GbE при существенно более низкой цене. Без использования быстрой сетки не советую использовать это решение на практике.
Но это лирика. В целом всё работает хорошо. Мы использовали как HDD, так и SSD, в конце-концов остановились на SSD-only хранилище — объемы и стоимости SSD уже достаточно низки, чтобы их можно было использовать, а ceph пул с тремя копиями даёт достаточную надежность. Из странных косяков: периодически «пачкались» несколько pg — placement group, при этом если выдать команду их «починить» — они нормально восстанавливаются. До следующего появления статуса «health HEALTH_WARN 1 pgs inconsistent; 1 scrub errors».
А! И очень важный момент! Необходимо тщательно следить за тем, чтобы диски в пулах не переполнялись. Т.е. если объем диска начинает заканчиваться, необходимо либо убрать часть данных, либо подключить новый диск. Если вы получите disk full (или даже disk near full в некоторых случаях), это будет означать немереное количество геморроя на восстановление доступа к данным (повторюсь — если у вас нет свободного диска, чтобы воткнуть в кластер, и места для него в физической железке), а пока будете восстанавливать — все операции на запись будут приостановлены.
Подтверждаю, пользоваться ceph можно, но:
1.Следить за местом, так как даже при указании 98% заполнения диска osd может обвалиться из-за фактического переполнения диска. Иногда требуется затюнить лимиты в ос на количество открытых файлов.
2. Скорость в 1Gb — очень сдерживающий фактор, особенно это ощущается, когда хранилище перестраивается. Т.е. 10Gb минимум, если у вас данные активно используются в хранилище.
3. Да, точно, глюки с pg есть, раз в месяц находились.
Все равно от ceph впечатления остаются очень хорошие, если к нему подойти с пониманием ;-)))
1.Следить за местом, так как даже при указании 98% заполнения диска osd может обвалиться из-за фактического переполнения диска. Иногда требуется затюнить лимиты в ос на количество открытых файлов.
2. Скорость в 1Gb — очень сдерживающий фактор, особенно это ощущается, когда хранилище перестраивается. Т.е. 10Gb минимум, если у вас данные активно используются в хранилище.
3. Да, точно, глюки с pg есть, раз в месяц находились.
Все равно от ceph впечатления остаются очень хорошие, если к нему подойти с пониманием ;-)))
А как с офисным пакетом на стандартных рабочих станциях? Много проблем было?
У нас чаще всего крупный заказчик использует свою собственную систему документооборота, плюс мы ставим LibreOffice и шаблоны для подготовки быстрой отчетности. Крупных проблем не было, но есть отдельные заказчики, у кого много макросов, либо есть документы со сложной вёрсткой — там нужно переделывать. Обычные же пользователи не всегда осознают, что что-то вообще поменялось.
Спасибо, полезно!
Скажите пожалуйста, а почему на серверах не распространяете окружение Debian или Ubuntu? Его можно очень легко стандартизировать, и гораздо проще дешевле сопровождать, чем перечисленное в статье.
Скажите пожалуйста, а почему на серверах не распространяете окружение Debian или Ubuntu? Его можно очень легко стандартизировать, и гораздо проще дешевле сопровождать, чем перечисленное в статье.
К примеру, я получал на тот же вопрос такой ответ: срок поддержки. Debian поддерживает свои серверные системы неизвестно в течении какого срока. У Ubuntu есть LTS, к примеру. А у Debian:
— Debian 5.0.0 был изначально выпущен 14 Февраля 2009
— Выпуск обновлений безопасности был прекращён 6 февраля 2012
Debian 6 «кончился» 31 мая 2014, реанимировался неофициально до 2016-го года — срок поддержки 2-5 лет получается, тоже немного.
А у меня есть системы на Lenny. И на Etch. Вообще без поддержки. Что будет с 7 и 8 — неизвестно. Хотя Debian мне нравится гораздо больше чем Centos.
— Debian 5.0.0 был изначально выпущен 14 Февраля 2009
— Выпуск обновлений безопасности был прекращён 6 февраля 2012
Debian 6 «кончился» 31 мая 2014, реанимировался неофициально до 2016-го года — срок поддержки 2-5 лет получается, тоже немного.
А у меня есть системы на Lenny. И на Etch. Вообще без поддержки. Что будет с 7 и 8 — неизвестно. Хотя Debian мне нравится гораздо больше чем Centos.
Интересно.
При этом, Debian — самая стабильная ОСь. Де-факто. И поддержкой можно заниматься без «центральной организации», ведь поддержкой занимается сообщество, а не компания.
При этом, Debian — самая стабильная ОСь. Де-факто. И поддержкой можно заниматься без «центральной организации», ведь поддержкой занимается сообщество, а не компания.
С какого это перепугу сообщество? Там всё конкретно и адресно. У каждого пакета есть мантайнер. Надоест ему поддерживать пять версий на десяти архитектурах — и всё. А ему надоест рано или поздно. Даже на двух архитектурах надоест. Это же очень серьёзная работа. И так выпуск новых версий затягивается.
Эм… а что вы понимаете под термином «поддержка»?
Кстати, за 20 лет развития ОС Debian фейлов не приключалось. В отличие от микрософтовской.
Кстати, за 20 лет развития ОС Debian фейлов не приключалось. В отличие от микрософтовской.
Обновления.
И как не может быть фейлов, если за эти 20 лет каких только проблем не обнаружено. Ну сами подумайте. Ставим мы заказчику систему, и говорим — «а через три года она может быть будет работать, а может быть нет, и ничего поделать нельзя кроме перестановки операционной системы и перетестирования всего софта». Пример — lenny, perl, Moose 1. Wheezy — из коробки ставится только Moose2. Надо всё переписывать, перетестировать, ловить баги заново. Либо надо на безопасность накласть и надеяться что ничего не случится с древним дырявым дистрибутивом.
И как не может быть фейлов, если за эти 20 лет каких только проблем не обнаружено. Ну сами подумайте. Ставим мы заказчику систему, и говорим — «а через три года она может быть будет работать, а может быть нет, и ничего поделать нельзя кроме перестановки операционной системы и перетестирования всего софта». Пример — lenny, perl, Moose 1. Wheezy — из коробки ставится только Moose2. Надо всё переписывать, перетестировать, ловить баги заново. Либо надо на безопасность накласть и надеяться что ничего не случится с древним дырявым дистрибутивом.
Про Ubuntu: Это система в первую очередь для десктопов, в силу специфики комьюнити.
Debian: очень медленно обновляется. И не похоже, что его сопровождать проще и дешевле, чем centos.
Debian: очень медленно обновляется. И не похоже, что его сопровождать проще и дешевле, чем centos.
Аргумент с медленным обновлением как раз не очень и аргумент. Тот же windows 2000, 2003 до сих пор в ходу. И если принять как факт, что срок поддержки в десять лет — это нормально для дистрибутива, то обновление раз в два года вообще не проблема, разве что проблема с другой формулировкой — «слишком часто».
Почему KVM, а не Xen? Обычно он фигурирует на третьей строчке по распространённости гипервизоров.
Александр, а почему в списке проектов на сайте Крок'а нет проектов, связанных с opensource? В категории «Мониторинг и управление ИТ-инфраструктурой» только известные проприетарные решения, в категории «Виртуализация и облачные вычисления» — только VmWare. Где всё то, о чём Вы написали?
Подождём ответа, но подозреваю, что в реальности это из-за того, что у opensource-решений нет рибейтов и рекламных бюджетов. Которые выделяются на определённых условиях. Ну, и всегда приятно помимо внедрения продать еще и лицензии. :)
Официальный ответ коллеги из маркетинга: «Действительно до недавнего времени акцент был на общеизвестных вендорах. Это связано с тем, что ppen-sourse решения были достаточно незрелыми, чтобы можно было их часто внедрять и говорить о них, сейчас же тенденции меняются, в том числе получая подпитку политикой, завязанной на санкции. Open-sourse решения стали более зрелыми, достойными соперниками. Потому все больше open-sourse вендоров появляются в портфеле решений КРОК в разделе Партнеры.
И мы в процессе создания информационных материалов, листовок и Success Story, где расскажем о самих интересных проектах.»
И мы в процессе создания информационных материалов, листовок и Success Story, где расскажем о самих интересных проектах.»
«И очень приятно, что какие-то люди из сообщества, которые нам ничего не должны, вместе с нами ночами ищут баги… Кажется, из спортивного интереса. Или потому, что это был их код. Или просто потому, что могут. И это волшебно.»
Прекрасно, зарабатывать большие деньги на Опенсорсе — это очень хорошо.
Как я понимаю, делая 2000 проектов и 200 из них на миллион долларов, вы активно поддерживаете OpenSource — спонсируете разработчиков и проекты.
Очень интересно, можно назвать какие проекты спонсировали?
Прекрасно, зарабатывать большие деньги на Опенсорсе — это очень хорошо.
Как я понимаю, делая 2000 проектов и 200 из них на миллион долларов, вы активно поддерживаете OpenSource — спонсируете разработчиков и проекты.
Очень интересно, можно назвать какие проекты спонсировали?
Мы зарабатываем на решении задач заказчиков, а не на использовании ПО. Мне хочется верить, что открытое ПО разрабатывается для использования по назначению. И ставить барьер «зарабатываешь — плати» неправильно. Мы не спонсируем проекты, но уже не первый раз разработчики решений получают существенные суммы за поддержку. К примеру, для одной из ОС в рамках недавнего проекта эта сумма составила их полугодовой бюджет.
что я проверял на практике, в том числе и в больших компаниях и могу рекомендовать, основываясь на своём опыте или опыте коллег из своего отдела
Не в обиду, но вы либо очень круты лично, либо у вас очень большой отдел )
У нас люди специализируются на паре/тройке технологий из списка годами, и все равно не достигают полного дзена, а у вас по сути перечислено все более или менее популярное open source ПО в мире )
Расскажите для каких задач использовали InfiniDB? На каких объемах данных? Ваше мнение о БД?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как мы внедряем Open source в госкомпаниях и крупной коммерции России