Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 60
только вот стоит этот Splunk как реактивный самолет.
Отнюдь. По сравнению с конкурентами (HP-Arcsight Logger, IBM QRadar Logger, LogLogic и т.п.) Splunk стоит весьма недорого.
есть опенсорс альтернативы, см мой комментарии ниже.
Я в курсе. Отлично, что они существуют и удовлетворяют чьим-то запросам. Увы, им еще очень далеко до профессиональных инструментов. Как по количеству «понимаемых» форматов и поддерживаемых транспортов, так и по возможностям аналитики, как ретроспективной, так и перспективной. Я уж молчу, если вдруг потребуется тегирование и макро-корреляция. Ну и если «пять килобаксов» это считается уже дорого, то лучше и не знать, сколько стоят мною названные инструменты :)
да 5 килобаксов дорого за нескольго гигабайт, особенно когда нужно сотни гигабайт в день.
Я и слов то таких не знаю, тегирование и макро-корреляция. Обьясните пожалуйста что это такое.
Я и слов то таких не знаю, тегирование и макро-корреляция. Обьясните пожалуйста что это такое.
Нельзя о стоимости таких вещей рассуждать бытовыми категориями, не домой же покупать. Исключительно пользой для бизнеса, в терминах ROI и TCO, как бы банально это ни звучало. Эппл обрабатывает Спланком около 120Тб/сутки, например, представь себе ценник.
opensource продукты ничем не хуже коммерческих а иногда даже и лучще.
Хотелось бы посмотреть на white-paper про Apple как они это делают, какие плагины используют и сколько железа на это тратится. Я предполагаю что на таких обьемах у них чтото посерьезнее должно быть типа Hadoop и MapReduce.
Хотелось бы посмотреть на white-paper про Apple как они это делают, какие плагины используют и сколько железа на это тратится. Я предполагаю что на таких обьемах у них чтото посерьезнее должно быть типа Hadoop и MapReduce.
Никто не говорит, что вообще все опенсорц решения хуже. Довольно часто бывает наоборот. Речь про данную конкретную тему и инструменты.
Да и вообще, довольно глупо спорить opensource vs commercial, потому что это отнюдь не противоборствующие стороны. Сегодня это чаще симбиоз.
Взять тот же спланк. Там 96% системы — питоновские скрипты и как раз тот самый map reduce. Закрыто только небольшое ядро. Такой вот «опенсорц».
Да и вообще, довольно глупо спорить opensource vs commercial, потому что это отнюдь не противоборствующие стороны. Сегодня это чаще симбиоз.
Взять тот же спланк. Там 96% системы — питоновские скрипты и как раз тот самый map reduce. Закрыто только небольшое ядро. Такой вот «опенсорц».
конечно, взять опенсорс и дописать чтото своё и продавать.
я помню знаменитый симбиос freebsd и win98 tcp/ip stack. Наверно самый красноречивый из тех что я знаю
ах да еще.
симбиоз подразумевает взаимовыгодное сотрудничество, хотел бы я знать, что дал Splunk обратно комьюнити.
Получается както симбиоз в одну сторону.
симбиоз подразумевает взаимовыгодное сотрудничество, хотел бы я знать, что дал Splunk обратно комьюнити.
Получается както симбиоз в одну сторону.
Откуда мне знать, что Splunk кому отдал? Спроси у них.
Твой сарказм совсем не по адресу и выдает в тебе либо незрелого школьника с еще нерастраченным максимализмом, либо просто человека с узким мышлением и взглядами.
Начнем с того, что коммерческие компании пллатят деньги людям, которые потом в свободное (а чаще еще и в рабочее) пишут opensouce-приложения.
Продолжим с конкретным примером — linux kernel. Кто же коммитит в ядро? Есть отчет от Linux Foundation за 2012 год, в котором сказано:
Общий вклад «чистых» энтузиастов, которые просто писали код в свободное время составляет 17.9%. Всё остальное в linux-ядре написано коммерческими компаниями. Почитай отчет, там интересно много написано.
Твой сарказм совсем не по адресу и выдает в тебе либо незрелого школьника с еще нерастраченным максимализмом, либо просто человека с узким мышлением и взглядами.
Начнем с того, что коммерческие компании пллатят деньги людям, которые потом в свободное (а чаще еще и в рабочее) пишут opensouce-приложения.
Продолжим с конкретным примером — linux kernel. Кто же коммитит в ядро? Есть отчет от Linux Foundation за 2012 год, в котором сказано:
It is worth noting that, even if one assumes that all of the “unknown” contributors were working on their own time, over 75% of all kernel development is demonstrably done by developers who are being paid for their work.
Общий вклад «чистых» энтузиастов, которые просто писали код в свободное время составляет 17.9%. Всё остальное в linux-ядре написано коммерческими компаниями. Почитай отчет, там интересно много написано.
я все не могу избавится от ощущения что пил с Вами на бруденшафт.
Пойду уроки учить чтоли, пока чтото во мне еще не выдало Вам чегото.
Пойду уроки учить чтоли, пока чтото во мне еще не выдало Вам чегото.
Кто такой бруденшафт? По Русскому точно неуд стабильно, судя по всему :)
стыдно дяденька такого не знать.
ru.wikipedia.org/wiki/%D0%91%D1%80%D1%83%D0%B4%D0%B5%D1%80%D1%88%D0%B0%D1%84%D1%82
стыдно
ru.wikipedia.org/wiki/%D0%91%D1%80%D1%83%D0%B4%D0%B5%D1%80%D1%88%D0%B0%D1%84%D1%82
стыдно
опечатка извиняюсь
А вот это действительно стыдно. Нет, не опечатка, конечно же.
у вас случайно нет профайла на линкедин. Я вам пришлю приглашение, договоримся и продолжим наш спор за бутылочкой вина. Вы кстати какое предпочитаете?
Есть. Свои Имя-Фамилию я не скрываю, все написано в профиле. Алкоголь не употребляю.
я вам отправил приглашение через линкедин
accepted
как оказывается я совсем не школьник, вернее школьник но не совсем Ж)
Однако закомплексованность подростковая еще не отпускает, суд по всему ) Я не верю, что у твоего работодателя нет возможность приобрести коммерческое решение под задачу. Тут несколько вариантов:
1) Задача реально не интересна никому, кроме тебя и, может, пары коллег. Печаль. Но понятно.
2) Задача интересна руководству/бизнесу, но ты не нашел в себе силы пойти и убедить, что нужен такой-то продукт за столько денег. Даже не попытался, посчитал на калькуляторе, разделил на свою ЗП и испугался. Нарыл опенсурц и ковырял его неделями, вроде взлетело, ты и успокоился. Печаль.
3) Задача интересна руководству/бизнесу, но ты не сумел их убедить, что нужно купить. Грубо говоря, был послан и ушел искать «альтернативы». Далее см. п2.
1) Задача реально не интересна никому, кроме тебя и, может, пары коллег. Печаль. Но понятно.
2) Задача интересна руководству/бизнесу, но ты не нашел в себе силы пойти и убедить, что нужен такой-то продукт за столько денег. Даже не попытался, посчитал на калькуляторе, разделил на свою ЗП и испугался. Нарыл опенсурц и ковырял его неделями, вроде взлетело, ты и успокоился. Печаль.
3) Задача интересна руководству/бизнесу, но ты не сумел их убедить, что нужно купить. Грубо говоря, был послан и ушел искать «альтернативы». Далее см. п2.
Можно иронизировать сколько угодно, особенно основываясь на неверных фактах и слухах. Только вот смысла в этом немного.
спасибо почитал с большим интересом. где я могу почитать про реализацию спланка для эппл, ведь такое количество логов не шутка анализировать. И что спланк вернул обратно в опенсорс комьюнити в рамках " симбиоза"?
Про реализацию спланка для эппл спроси у спланка. Ты умеешь читать? Я уже написал, что я не сотрудник спланка, вообще не имею к этой компании никакого отношения. Просто знаком с их продуктом по роду деятельности.
удивительное совпадение, я тоже знаком. Вот потому и говорю, что хороший продукт, но дорогой ИМХО. И написал какие есть опенсорс альтернативы, может кому полезно будет посмотреть альтернативные решения. А вот теперь тут в коментах сначала небольшой холиварчик получился, уже даже на личности перешли. Мне это даже нравится в силу моего незаконченного среднего образования и тоннельного видения вместе с недалеким умом.
Что скажешь про ядро linux? Тут и туннельного хватит, чтобы увидеть, кмк.
тунельное зрение говорит: опенсорс хорошо, спланк дорого.
Ты продолжаешь судить о стоимости, исходя из личных бытовых соображений. Для кого дорого? Для каких задач дорого? Сколько будет «недорого»? Сколько будет «охренеть как дорого»? Основы рыночной экономики еще не проходили? Закон спроса и предложения, например?
нету у меня бытовых соображений. один шкурный интерес
Ты владелец компании и считаешь, что с точки зрения возврата инвестиций, вложения в коммерческий продукт Splunk имеют неоправданные риски? Выскажи наконец свои соображения, мне интересно послушать.
Пока же это выглядит так:
— 5 килобаксов, ололо, это ж 10 айфонов! Это ж почти лада гранта! За какой-то софт! Да я за винду 140 баксов не отдам никогда и игрушку на телефон не куплю за 3 бакса, можно ж скачать с трекера или 4pda! Какой дурак покупает, не знаю.
Пока же это выглядит так:
— 5 килобаксов, ололо, это ж 10 айфонов! Это ж почти лада гранта! За какой-то софт! Да я за винду 140 баксов не отдам никогда и игрушку на телефон не куплю за 3 бакса, можно ж скачать с трекера или 4pda! Какой дурак покупает, не знаю.
я в свое время делал некоторое исследование, splunk выглядит как вылизанный продукт, и казалось бы решение out-of-the-box, хотя и своими особенностями. Решено было не идти на поводу и построить все вокруг elasticsearch ибо комьюнити и все достаточно прозрачно. Именно комьюнити не хватает коммерческим продуктам особенно дорогим, вы бы посмотрели форумы где ребята общаются по поводу BigIP F5.
Вот уж чем не является спланк, так это out-of-the-box продуктом. Это платформа, на базе которой уже можно строить что угодно, от BI до SIEM. Ну и насчет community у дорогих и коммерческих тоже мимо. Посмотри на коммьюнити Cisco или MS. Да даже у оракла нехилое коммьюнити. И у спланка оно есть, народ весьма активно обменивается парсерами, кастомными виджетами, и вообще, помогает друг дружке. У того же Arcsight, который один из самых старых и дорогих из всех, тоже есть отличное коммьюнити. Просто эти community скрыты от не-пользователей, вход только для клиентов, поэтому оценить ты их, увы, не сможешь. Это не есть гуд, но это не повод говорить, что их не существует. Пример с F5 не показателен, ну что там можно обсуждать у балансировщика? Да и у коммерческих продуктов бОльшая часть «обсуждений» скрыта в базах знаний и переписке саппорта Tier1-2-3 и наружу не выносится, за ненадобностью.
нет, почему.
У меня есть на спланк комьюнити аккаунт, работал я с ним. Конечно не Яблоко, но тоже было что в спланк засунуть, знаю про что говорю. Вы меня/других убеждаете что это не так, но позвольте с вами не согласится.
У вас хороший продукт качественный, платформа, но комьюнити любого коммерческого продукта проигрывает к сожалению. Обсуждения не имеет смысла скрывать, если только там непрофессионализм и решения костыль на костыле. Коммерческий продукт не гарантирует безопасность и качество, к сожалению.
У меня есть на спланк комьюнити аккаунт, работал я с ним. Конечно не Яблоко, но тоже было что в спланк засунуть, знаю про что говорю. Вы меня/других убеждаете что это не так, но позвольте с вами не согласится.
У вас хороший продукт качественный, платформа, но комьюнити любого коммерческого продукта проигрывает к сожалению. Обсуждения не имеет смысла скрывать, если только там непрофессионализм и решения костыль на костыле. Коммерческий продукт не гарантирует безопасность и качество, к сожалению.
У меня нет никакого продукта, ты меня с кем-то путаешь. Я просто поболтать зашел и к спланку не имею никакого отношения.
Никто не гарантирует безопасность. А вот качество и, что важнее, качественную поддержку в рамках четких SLA, может обеспечить только коммерческая компания.
Кроме того, у коммерческих компаний простая и понятная общая цель — зарабатывание бабла. Поэтому и стимулы другие. И поэтому же коммерческая компания с большей вероятностью выберет коммерческое ПО от другой коммерческой компании, чем доверит свой бизнес энтузиастам. Так устроен сегодняшний мир.
Никто не гарантирует безопасность. А вот качество и, что важнее, качественную поддержку в рамках четких SLA, может обеспечить только коммерческая компания.
Кроме того, у коммерческих компаний простая и понятная общая цель — зарабатывание бабла. Поэтому и стимулы другие. И поэтому же коммерческая компания с большей вероятностью выберет коммерческое ПО от другой коммерческой компании, чем доверит свой бизнес энтузиастам. Так устроен сегодняшний мир.
кажется, до 500 тыс. строк в день — бесплатно.
и это не значит, что оно игнорирует дальше. просто останавливается и говорит «продолжу завтра».
многим хватит.
и это не значит, что оно игнорирует дальше. просто останавливается и говорит «продолжу завтра».
многим хватит.
Занятная компания Splunk. Собеседовался я туда не так давно. Если кому интересно, могу рассказать.
о! очень интересно, расскажите пожалуйста
я просто смотрю на рынок, какое то ненормальное ценообразование… как у Splunk так и конкурентов…
я просто смотрю на рынок, какое то ненормальное ценообразование… как у Splunk так и конкурентов…
Расскажите, конечно. Интервью — это всегда полезно.
Что не так с ценообразованием?
>Splunk Enterprise pricing in North America starts at U.S. $6,000 for a 500 megabyte-per-day perpetual license, including first year support,
у меня больше от 500 до 800 мегов в день логов
сжатыми от 80 до 150 в день… но splunk не считает сжатые логи
откуда столько? ну поскольку у меня не миллионы пользователей но и не 100 в сутки -)
я хочу парсить access.log и парсить debug application log и еще кучу error логов
у меня реально нет 6000 баксов… и раньше был на сайте ценник который говорил что для моего объема логов мне понадобится чуть ли не 15000 баксов…
>or U.S. $2,000 per year for a term license including support.
понимаете, я могу платить максимум 50-100 баксов в месяц за сервис который принесет мне.КОНКРЕТНУЮ прибыль
но не 200 баксов в месяц… хотя, пока писал пост, подумал, да фиг с ним… надо ставить уже и платить бабос =)
у меня больше от 500 до 800 мегов в день логов
сжатыми от 80 до 150 в день… но splunk не считает сжатые логи
откуда столько? ну поскольку у меня не миллионы пользователей но и не 100 в сутки -)
я хочу парсить access.log и парсить debug application log и еще кучу error логов
у меня реально нет 6000 баксов… и раньше был на сайте ценник который говорил что для моего объема логов мне понадобится чуть ли не 15000 баксов…
>or U.S. $2,000 per year for a term license including support.
понимаете, я могу платить максимум 50-100 баксов в месяц за сервис который принесет мне.КОНКРЕТНУЮ прибыль
но не 200 баксов в месяц… хотя, пока писал пост, подумал, да фиг с ним… надо ставить уже и платить бабос =)
Какая задача стоит? Может Спланк и ему подобные и не нужен вовсе?
Кстати, у HP-Arcsight бесплатная версия Logger'а позволяет 750Мб/сутки обрабатывать. Это если нужен лог-менеджмент для гетерогенных сред.
Если нужен SIEM, то можно начать с opensource-версии AlienVault . Он и лог-менеджмент, и зачатки SIEM имеет. У них есть и платная версия, с сильно расширенными возможностями.
Кстати, у HP-Arcsight бесплатная версия Logger'а позволяет 750Мб/сутки обрабатывать. Это если нужен лог-менеджмент для гетерогенных сред.
Если нужен SIEM, то можно начать с opensource-версии AlienVault . Он и лог-менеджмент, и зачатки SIEM имеет. У них есть и платная версия, с сильно расширенными возможностями.
Ссылка на Arcsight Logger
h20392.www2.hp.com/portal/swdepot/displayProductInfo.do?productNumber=ASLOGGER1
h20392.www2.hp.com/portal/swdepot/displayProductInfo.do?productNumber=ASLOGGER1
задач пока на самом деле всего две
1) трекинг ошибок и alert'ы
2) дебаг логов по саппорт тикетам
спасибо на ссылку на AlienVault не знал про него
1) трекинг ошибок и alert'ы
2) дебаг логов по саппорт тикетам
спасибо на ссылку на AlienVault не знал про него
а о каких системах идет речь? Ошибки и алерты от кого? Какие логи дебажить?
у меня не SIEM ;)
1) трекинг ошибок это error log от php и django в который сливаются ВСЕ ошибки
2) алерты это когда ошибок с определенными сигнатурами становится больше чем сколько то за определенный период
3) дебаг логов это достаточно детальные логи записи действий пользователя на сайте… со стороны приложения
1) трекинг ошибок это error log от php и django в который сливаются ВСЕ ошибки
2) алерты это когда ошибок с определенными сигнатурами становится больше чем сколько то за определенный период
3) дебаг логов это достаточно детальные логи записи действий пользователя на сайте… со стороны приложения
Понятно, что не SIEM у тебя ) Он строится поверх log management'а.
Под твои задачи Splunk подходит отлично, надо сказать. Попробуй с ними пообщаться, у спланка есть целых три русскоговорящих сотрудника. Правда сидят они все в Лондоне. Они сейчас начинают бурную активность на российском рынке, им нужны пополнять портфель реализованных проектов, а это значит, что можно рассчитывать на скидку, 15-20%, думаю, не меньше. Ну и подумай, покупая перманентную лицензию платишь один раз, она потом навсегда с тобой. Дальше сам считай, за какое время окупится это вложение, тебе виднее изнутри.
Параллельно никто не мешает потестить указанные выше AlienVault и бесплатный Арксайт, также как и опенсорцные утилиты, указанные ниже.
Под твои задачи Splunk подходит отлично, надо сказать. Попробуй с ними пообщаться, у спланка есть целых три русскоговорящих сотрудника. Правда сидят они все в Лондоне. Они сейчас начинают бурную активность на российском рынке, им нужны пополнять портфель реализованных проектов, а это значит, что можно рассчитывать на скидку, 15-20%, думаю, не меньше. Ну и подумай, покупая перманентную лицензию платишь один раз, она потом навсегда с тобой. Дальше сам считай, за какое время окупится это вложение, тебе виднее изнутри.
Параллельно никто не мешает потестить указанные выше AlienVault и бесплатный Арксайт, также как и опенсорцные утилиты, указанные ниже.
logstash у меня валится после 1-2 дней работы стабильно…
мне это не нравится =)
splunk для меня действительно самое лучшее решение =)
но уперлось в трафик
если бы перманентная лицензия просто считалась бы как 1к баксов за 1гиг логов в день, это было бы очень круто… а там какая то экспотенциальная зависимость которая меня как жадного российского халявщика пугает =)
я четко понимаю что для банка например или для телекома в миллионном городе цены которые озвучивает спланк подъемны вполне
мне это не нравится =)
splunk для меня действительно самое лучшее решение =)
но уперлось в трафик
если бы перманентная лицензия просто считалась бы как 1к баксов за 1гиг логов в день, это было бы очень круто… а там какая то экспотенциальная зависимость которая меня как жадного российского халявщика пугает =)
я четко понимаю что для банка например или для телекома в миллионном городе цены которые озвучивает спланк подъемны вполне
Кто, мы? Мы не используем.
О, шит. Простите, не заметил.
Если кому интересно есть опегсорс альтернативы.
Погуглите по поводу связки logstash+ elasticsearch+kibana или graylog + elastiucsearch.
Также есть вариант напрямую писать туда из syslog, omelasticsearch называется.
Надеюсь этот комментарий будет полезен, особенно у кого нет 5кбаксов за несколько гигабайт логов в день.
Погуглите по поводу связки logstash+ elasticsearch+kibana или graylog + elastiucsearch.
Также есть вариант напрямую писать туда из syslog, omelasticsearch называется.
Надеюсь этот комментарий будет полезен, особенно у кого нет 5кбаксов за несколько гигабайт логов в день.
«но и это настаиваемо» :-)
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Пример использование Splunk для анализа логов