Комментарии 45
необходимо докупать годовую подписку на пакет X-packУже мимо.
вместе с сырыми данным хранятся эти же данные разбитые на поля и всевозможные добавленные поля и геометкиСырые данные хранить не обязательно
Реклама splunk так себе получилась :)
необходимо докупать годовую подписку на пакет X-pack
Уже мимо.
No, Elastic X-Pack is not going to be open source – according to Elastic themselves
www.flax.co.uk/blog/2018/03/02/no-elastic-x-pack-not-going-open-source-according-elastic
2.1 Limited License. Subject to the terms and conditions of Section 2.2 of
this Agreement, Elastic hereby grants to You, AT NO CHARGE and for so long as
you are not in breach of any provision of this Agreement, a limited,
non-exclusive, non-transferable, fully paid up royalty free right and license
to the Commercial Software in Source Code format, without the right to grant
or authorize sublicenses, to prepare Derivative Works of the Commercial
Software, provided You (i) do not hack the licensing mechanism, or otherwise
circumvent the intended limitations on the use of Elastic Software to enable
features other than Basic Features and Functions or those features You are
entitled to as part of a Subscription, and (ii) use the resulting object code
only for reasonable testing purposes.
лицензия дает право на использование X-Pack в продашкне бесплатно. Что еще нужно бизнесу?
Да, возможность использовать X-Pack бесплатно есть, но там также ограничен функционал.
По этой ссылке можно посмотреть типы подписок и их функциональное наполнение: www.elastic.co/subscriptions
Информация по пробному 30-доступу и управлению лицензиями на X-Pack
www.elastic.co/guide/en/x-pack/current/license-management.html
www.elastic.co/guide/en/x-pack/current/license-expiration.html
По этой ссылке можно посмотреть типы подписок и их функциональное наполнение: www.elastic.co/subscriptions
Информация по пробному 30-доступу и управлению лицензиями на X-Pack
www.elastic.co/guide/en/x-pack/current/license-management.html
www.elastic.co/guide/en/x-pack/current/license-expiration.html
Например, Security. Ради него хотели было купить X-Pack, но они хотят что-то типа $5000 за сервер.
Там в ссылке приведенной в первом комментарии есть ответ
> If the code of X-Pack is open, does that mean it's all free?
> No. Many features in X-Pack are free, such as monitoring, tile maps, Grok Debugger, and Search Profiler. Some features in X-Pack are paid, and require a license that comes with a Gold or Platinum subscription.
В GitHub там теперь две лицензии зашиты в исходном коде.
> If the code of X-Pack is open, does that mean it's all free?
> No. Many features in X-Pack are free, such as monitoring, tile maps, Grok Debugger, and Search Profiler. Some features in X-Pack are paid, and require a license that comes with a Gold or Platinum subscription.
В GitHub там теперь две лицензии зашиты в исходном коде.
AlexKulakov вот вы постоянно говорите про дешевле, выгоднее. А сами на прямой вопрос вам о прайсинге по объему данных не удосужились ответить.
Ну во-первых там прямого вопроса не было. Во-вторых цены на Splunk в открытом доступе на сайте:
www.splunk.com/en_us/products/pricing/calculator.html
www.splunk.com/en_us/products/pricing/calculator.html
Мдас, возвращаясь к моему микропроекту запущенному на шару на опенсорс ЕЛКе с объемом порядка 1.5-2Гб в день ваш Спланк втсанет в дополнительные 3К-4К в год. С очень недоказанными преимуществами. При объеме данных в 100Гб-1Тб в день люди очень нервничают наверное замечая ваш Спланк ценник :-)
Люди — возможно, компании, которым нужен результат и которые готовы считать TCO и принимать решения взвешено — покупают.
www.splunk.com/en_us/customers.html (89 из Fortune 100)
www.splunk.com/en_us/customers.html (89 из Fortune 100)
Вы не по адресу лапшу вешаете. Если взять эти 100 компаний я вам зуб даю что 100 из них окажется используют Эластик! И не потому что он круче, а потому что такие компании используют до хренища всего. И когда вы пытаетесь это выставить как доказательство качества, извините — это не оно. Я работал более 10 лет в 1С и мы тоже сильно нервничали когда конкуренты тыкали потенциальным клиентам своими списками, которые просто были кусками списков наших клиентов. Так что я давно понял что подобные списки не говорят практически ни о чем. Большие киты используют много всего и порой не считают реальных денег, а считают размер откатов. Как вам такая постановка вопроса? :-) Извините, ничего личного. Просто это хабр, а не мэйл.ру. Тут как бы гики. Хотим технически обоснованных мнений. Да, не мы ваша целевая аудитория. Но, раз уж вы в наш монастырь, то видимо наше мнение для вас не безразлично. Потрудитесь поработать и подготовить аргументацию получше.
Работал и с тем и с другим на очень больших выборках.
ELK непросто ест больше ресурсов: он их сжирает в разы(!) больше.
На моих задача получалось соотношение: 1 инстанс splunk равен 3-4ем EL по производительности.
Субъективно splunk сильно проще и гибче настраивается.
Фатальным недостатком этого закрытого решения — космическая цена. Особенно для крупных компаний с большим объемом данных
Splunk и ELK решают одну задачу, в тексте статьи мы выделили ключевые отличия, на которые, на наш взгляд, стоит обратить внимания при выборе продукта.
И также хотим в формате открытого диалога увидеть дополнительно что-то еще от участников Хабр-сообщества, которые имеют опыт работы со Splunk и ELK.
И также хотим в формате открытого диалога увидеть дополнительно что-то еще от участников Хабр-сообщества, которые имеют опыт работы со Splunk и ELK.
Надо было подойти с более технической стороны что ль… Сравнили бы скорость обработки при одинаковых объемах данных. В общем хочется видеть цифры, а не сплошной текст без фактов.
«в тексте статьи мы выделили ключевые отличия» — только по мнению менеджера. Без взгляда с другой стороны. Сколько данных лопатит? как быстро ищет, находит-ли? А при количестве логов в 10-20-50-100 ТБ? А найти строчку в логе годовой давности?
Как проталкиваются решения руководству, мы знаем, но нам с ним работать еще.
Как проталкиваются решения руководству, мы знаем, но нам с ним работать еще.
Собираем на ELK 200Гб в сутки. Чтобы кластер не логал, приходится хранить данные для поиска только за последние 3-4 месяца. Остальное в бэкапы сливаем, иначе ноды умирают. Мы бы и рады переехать на Splunk, но бюджеты не позволяют.
Опять же, субъективно, но единственное преимущество ELK — бесплатность. Были бы деньги, ушли бы на Splunk.
Опять же, субъективно, но единственное преимущество ELK — бесплатность. Были бы деньги, ушли бы на Splunk.
А можно конфиг в студию? сколько нод в Эластике? Кибане? Логстэше? в каком хранилище и на каких дисках лежат данные? Просто интересно. Мне кажется задача должна решаться нормальным горизонтальным масштабированием.
Честно говоря непонятно кому статья адресована, если бизнеслюдям, то возникает куча вопросов. Если разрабам то тоже куча вопросов:
а по мне неубедительно получилось. Пропаганда и не более, а хотелось бы объективной статистики:
Хотелось бы в цифрах и реальных примерах увидеть ибо пока это пропаганда наркотиков(появляется зависимость от продукта за который нужно платить).
тут нужно поверить наслово?
Я конечно возможно чего-то не понял, но автомап никто не отменял, да возможны косяки но все же:
JSON (англ. JavaScript Object Notation, обычно произносится как /ˈdʒeɪsən/ JAY-sən [2]) — текстовый формат обмена данными, основанный на JavaScript. Как и многие другие текстовые форматы, JSON легко читается людьми. Я бы не стал называть его языком. Lucene пром стандарт что в ELTK, что в SOLR. Раз уж приводить сравнения, я бы взял пару примеров на Lucene vs ваш язык.
с 2006 года слышу про риски из-за опен сорса. За это время стабильный Apple objective-c заменил на swift заставив народ переучиваться. Sun был с потрохами куплен и большинство продуктов перешло в опенсорс и никаких особых траблов не вышло.
что цена проекта складывается далеко не только из стоимости лицензии, но и из множества других затрат, например:
• Стоимость оборудования;
• ЗП сотрудников;
• Затраты на внедрение и интеграцию;
• Расходы на дополнительные фичи;
• Расходы на поддержку;
• Плата за риски;
• И тд.
Зачастую может оказаться так, что затраты на лицензию проприентарных решений, частично или полностью окупаются за счет сокращения других статей затрат по сравнению с open source.
а по мне неубедительно получилось. Пропаганда и не более, а хотелось бы объективной статистики:
- загрузили данные x(тут ссылка ни гитхаб) — в эластике весят Y, в вашем продукте Z. Конфигурация эластика была XX, конфигурация вашего продукта ZZ.
- Количество умеющих продукт ELTK, количество умеющих splunk, средняя зарплата первой группы и второй
- посчитать все затраты на дополнительные фичи не просто словами, а цифирками
- стоимость поддержки первого и второго вообще непонятно как измерить. Но раз уж это в статье есть хотелось бы понимать разницу где сплюньк выигрывает. Для меня неочевидно
- О каких рисках может идти речь если это все опен сорсно стоит и развивается. Можно конечно сказать что eltk 1.0 вышел 4 года назад когда splunk в 2006. Но как разрабу мне уже приходилось к примеру сталкиваться 2 раза по работе с еластиком и ни разу с вашим продуктом
Все это может увеличить требуемое место для хранения на дисках до 10 раз по сравнению со Splunk, который хранит только сжатые сырые данные, а вся остальная информация прикрепляется только в процессе поиска. Да и вообще, если взять и поставить параллельно Splunk и ELK, то для нормальной работы ELK потребует гораздо больше ресурсов чем Splunk.
Хотелось бы в цифрах и реальных примерах увидеть ибо пока это пропаганда наркотиков(появляется зависимость от продукта за который нужно платить).
Помимо очевидных затрат на оборудование существуют неявные затраты или, так называемая, упущенная выгода за время внедрения системы. Если сравнивать процесс развертывания и требуемые ресурсы: временные, человеческие или технологические, то Splunk заметно выигрывает у ELK.
тут нужно поверить наслово?
С точки зрения загрузки данных, ElasticSearch требует определения правил разбиения, идентификации всех полей, разделения данных до их загрузки. То есть вы должны знать о данных все, до того, как их загрузите в систему. Иначе придется менять структуру данных с помощью довольно сложных запросов JSON. Это существенно тормозит процесс. В Splunk можно загружать абсолютно любые данные, изначально он определит у них только 3 параметра: host, source и sourcetype, а далее можно выделять поля и изменять их в любой момент времени, когда вы поймете что именно вам нужно от этих данных.
Я конечно возможно чего-то не понял, но автомап никто не отменял, да возможны косяки но все же:
By default, Elasticsearch provides automatic index and mapping when data is added under an index that has not been created before. In other words, data can be added into Elasticsearch without the index and the mappings being defined a priori. This is quite convenient since Elasticsearch automatically adapts to the data being fed to it — moreover, if certain entries have extra fields, Elasticsearch schema-less nature allows them to be indexed without any issues.
В работе ELK используются разные языки: Lucene для текстового поиска, JSON для разделения данных на объекты и Timelion для работы с временными рядами.
JSON (англ. JavaScript Object Notation, обычно произносится как /ˈdʒeɪsən/ JAY-sən [2]) — текстовый формат обмена данными, основанный на JavaScript. Как и многие другие текстовые форматы, JSON легко читается людьми. Я бы не стал называть его языком. Lucene пром стандарт что в ELTK, что в SOLR. Раз уж приводить сравнения, я бы взял пару примеров на Lucene vs ваш язык.
Опора на три разных предприятия с открытым исходным кодом для одного решения несет значительный операционный и юридический риск для компании.
с 2006 года слышу про риски из-за опен сорса. За это время стабильный Apple objective-c заменил на swift заставив народ переучиваться. Sun был с потрохами куплен и большинство продуктов перешло в опенсорс и никаких особых траблов не вышло.
В Splunk цена за лицензию рассчитывается из количества гигабайтов данных, загруженных в день, независимо от количества узлов или пользователей. Покупая любую по размеру лицензию, вы покупаете сразу весь встроенный функционал, возможность использовать бесплатно большую (более 1000) базу приложений и инструкций-документаций. Также есть бесплатная лицензия, которая позволяет загружать до 500 мб в день, но имеет несколько функциональных ограничений.
- а динамика цен за гиг как-то менялась с 2006 года? откуда знать что лицензия сегодня стоила x, а завтра станет 5*x.
- Опять таки на каждый операционный гиг нужно закладывать соответствующую маржу в договоре с клиентом, дабы расходы на лицензию не были больше чем доходы. Предположим что один день я загрузил 1 гиг, второй день 10 гигов, а потом весь месяц 0, почем лицензия для меня?
Я конечно возможно чего-то не понял, но автомап никто не отменял, да возможны косяки но все же
Если у вас только одно поле LogMessage, то по нему постоиться Full-Tech-Search индекс, а если это Apache, то нужно выделить все нужные Fields, чтобы иметь возможность искать по ним. В случае Splunk — все в основном это просто _raw log message, а дальше при помощи SPL и в Search Time можно выделять поля для построения отчетов.
Таких примером много. Если у вас CSV — то его просто можно загрузить в Splunk, и просто начать по нему строить отчеты. ELK потребует разбивку по полям, если хочется использовать этот документ в отчетах.
В общем, Splunk по настоящему Schema-less.
JSON
Думаю, что имелось в ввиду JSON-based Query Language (https://www.elastic.co/guide/en/elasticsearch/reference/current/_introducing_the_query_language.html)
а динамика цен за гиг как-то менялась с 2006 года? откуда знать что лицензия сегодня стоила x, а завтра станет 5*x.
Думаю, что в лицензии Splunk есть какая-то строка о том, что цена в следующем году не может вырости больше чем на 5%. Многие компании требовали бы этого.
Опять таки на каждый операционный гиг нужно закладывать соответствующую маржу в договоре с клиентом, дабы расходы на лицензию не были больше чем доходы. Предположим что один день я загрузил 1 гиг, второй день 10 гигов, а потом весь месяц 0, почем лицензия для меня?
На сколько я помню Splunk позволяет это. Если только в один день у вас 10 гигов, а во все остальные 1 гиг — это не будет нарушением лицензии, и Splunk будет продолжать работать.
Думаю, что в лицензии Splunk есть какая-то строка о том, что цена в следующем году не может вырости больше чем на 5%. Многие компании требовали бы этого.
На следующий год может просто измениться лицензионная политика и перекроиться тарифы :) И если в 2006 году платили за условных 10-гиг 10$, то через год один дополнительный гиг может стоить + 10$. Заменят байты в строки, ядра, память, обновление до новой версии или ещё что-то придумают. Проходили такой путь уже со многими поставщиками.
И тогда компания закроется через пару лет, так как потеряет в доверии и репутации. Оно им надо?
VMWare и Cisco, например, живее всех живых, хотя каждые несколько лет что-то меняют в лицензионной политике и почти всегда не в пользу клиентов.
Всегда все что-то меняют (мир вообще изменчив), но вы то писали про значительные изменения в лицензировании, которых еще не наблюдалось.
habr в помощь. У Cisco широкий спектр продуктов и лицензионная политика изменяется более точечно. И каждый раз при закупке приходится изучать: что же они придумали с лицензиями на данный продукт+софт за последнее время?
Есть вариант купить Perpetual License и не обновлять контракт, что позволит пользоваться одной и той же версией Splunk хоть пожизненно, если купленных GB хватит.
Интереснее было бы прочитать то же самое, но на примере реальных данных и конкретного кейса. Например, загрузили 200Гб данных в Splunk и ELK и собрались решать такую-то задачу, в Splunk она решается так, а в ELK так, столько-то времени было потрачено там и там. Ну и в этом же духе. А факты без подтверждения выглядят бледновато.
Для меня лично, Вы сравниваете 2 совершенно разные системы и упускаете одно важное преимущество ELK.
ELK — это standalone система.
Наш клиент, к примеру, строго отказывается от всех облачных решений. Все сервера должны располагаться в закрытой корпоративной сети. Именно поэтому мы до сих пор не перешли на New Relic.
ELK — это standalone система.
Наш клиент, к примеру, строго отказывается от всех облачных решений. Все сервера должны располагаться в закрытой корпоративной сети. Именно поэтому мы до сих пор не перешли на New Relic.
Интересно, что же вы используете вместо New Relic?
Я не нашел ему адекватной замены. Используем zabbix + ELK + sentry.
Недавно Elastic выкупили одного из производителей Application Performance Monitoring системы и опубликовали код на github
Splunk также standalone, и прекрасно живет за фаерволом.
Поддерживаю:
живет on-premise и на обычном железе и на виртуальном если надо.
docs.splunk.com/Documentation/Splunk/7.1.0/Capacity/Referencehardware
живет on-premise и на обычном железе и на виртуальном если надо.
docs.splunk.com/Documentation/Splunk/7.1.0/Capacity/Referencehardware
Тяжкая тема для сравнения. Нормально сравнить можно только сравнивая side by side команды поисковые и визуализации/аналитики которые к ним идут, но это получается очень геморно.
Я работая в MSS SOC просто счастлив, что все уже готово и мне не нужно упарываться с тюнингом платформы как для команд предобработки данных так и для добавления всяких секурити данных новых. У нас и на Спланк то целая команда, а так еще и толпу девелоперов содержать. Опять же найти человека с Security skill set + Splunk реально, найти developer который будет расширять ELK + security ваааще не реально (я имею в виду безопасность корповую).
Решите у себя строить SIEM и скорее всего у вас будет такая туча проблем бизнес-ИБ характера что еще и платформой заниматься не захочется. Разве что может одно исключение, если вдруг у вас работает единорог который это все уже несколько лет делал в другом месте, в смысле пилил ELK для ИБ.
Я работая в MSS SOC просто счастлив, что все уже готово и мне не нужно упарываться с тюнингом платформы как для команд предобработки данных так и для добавления всяких секурити данных новых. У нас и на Спланк то целая команда, а так еще и толпу девелоперов содержать. Опять же найти человека с Security skill set + Splunk реально, найти developer который будет расширять ELK + security ваааще не реально (я имею в виду безопасность корповую).
Решите у себя строить SIEM и скорее всего у вас будет такая туча проблем бизнес-ИБ характера что еще и платформой заниматься не захочется. Разве что может одно исключение, если вдруг у вас работает единорог который это все уже несколько лет делал в другом месте, в смысле пилил ELK для ИБ.
Что-то я не понял вообще чем Splunk лучше. У меня небольшой, но реальный и свежий пример использования ELK. Все запустилось с первого, ну ладно, со второго раза. В любом случае за неделю я выкатил в продакшн кастомное решение с кастомным парсером кастомного приложения, при том что логи представляют собой мултилайн венегрет. Все просто и все опенсорс. Работает уже неделю на двух микроинстансах на гугл клауд. Один инстанс под Logstash второй под Elasitc+Kibana+Kibana. Думаю перекинуть логстэш на вторую машину, поскольку нагрузка микроскопическая. Поэтому тезис про ресурсоемкость не понимаю. Вполне возможно что вы в чем-то правы, но без примеров и кейсов, какое-то шапкозакидательство. Типа: «Мы знаем что оно лучше! Ура товарищи!» Не убедительно и не интересно. От слова СОВСЕМ.
из моего опыта работы с обоими системами:
И то и другие на больших объемах данных (сотни ГБ в день) требует настройки человеком, понимающим, что там внутри, но с ELK это происходит уже на меньших объемах, в силу особенностей elasticsearch, иначе все начинает тормозить. С другой стороны, обычно легче найти человека с опытом elasticsearch, чтобы он сделал все как надо.
Спланк из коробки очень хорошо умеет извлекать из логов ключи-значения, интерфейс, поисковая строка и возможности в целом более интеллектуальны, отточены за многие годы существования системы. Стоит ли оно запрашиваемых денег — совсем отдельный вопрос.
На мой взгляд, Кибана до сих пор страшно сырая. Elasticsearch отличный продукт, но требует понимания.
И то и другие на больших объемах данных (сотни ГБ в день) требует настройки человеком, понимающим, что там внутри, но с ELK это происходит уже на меньших объемах, в силу особенностей elasticsearch, иначе все начинает тормозить. С другой стороны, обычно легче найти человека с опытом elasticsearch, чтобы он сделал все как надо.
Спланк из коробки очень хорошо умеет извлекать из логов ключи-значения, интерфейс, поисковая строка и возможности в целом более интеллектуальны, отточены за многие годы существования системы. Стоит ли оно запрашиваемых денег — совсем отдельный вопрос.
На мой взгляд, Кибана до сих пор страшно сырая. Elasticsearch отличный продукт, но требует понимания.
Согласен. Почитав другие комменты, народ сходится в том что на больших объемах Спланк эффективнее. Но как вы и сказали, есть два вопроса, которые остаются открытыми? стоимость специалистов и стоимость лицензии. Поскольку индустрия и в частности железо становятся все быстрее и дешевле, думаю во многих случаях дешевле нарастить кластер чем купить лицензию.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
SPLUNK VS ELK?