Приручаем Graylog2 — визуализированный и функциональный сервер лог-файлов

[avedun]

Уберите пожалуйста под кат. Спасибо.

[sn00p]

Простите, что именно убрать, кат у меня есть, без него не дает публиковать.

[avedun]

Пролистывал первую страницу и материал на ней был размещен целиком среди других материалов. Сейчас проверил — действительно продолжение под катом. Может какой временный сбой? Прошу прощение если зря побеспокоил.

[avedun]

Пролистывал первую страницу и материал на ней был размещен целиком среди других материалов. Сейчас проверил — действительно продолжение под катом. Может какой временный сбой? Прошу прощение если зря побеспокоил.

[ajev]

Стоит, наверно добавить, что проект бесплатный.

[sn00p]

Спасибо, добавили.

[egorF]

Использую graylog на нескольких продакшнах — оч. доволен.

[timukas]

А graylog умеет «кушать» многострочные логи? Т.е. один ивент может состоять и нескольких подряд идущих строк.

[egorF]

У него совершенно другая идеология, там нет строк.

[timukas]

Ясно, утром буду ставить и смотреть что это за зверь.

[sn00p]

Умеет. С помощью GELF. Там по ссылкам есть расширения и коннекторы для нескольких языков.

[timukas]

Спасибо,

[EugeneBond]

По ключевому слову объединяем поток логов с нескольких хостов, на stream можно повесить алерты и сделать так, чтобы эти алерты приходили кому-нибудь на почту.

для nagios плагин не писали случайно? или может есть простой путь дергать данные из стрима из-вне?

[Aleksi]

Считайте, что feature request на API принят. ;)

[EugeneBond]

Спасибо. Буду следить за проектом…

[sn00p]

У нас заббикс ))) Можно много способов придумать. Навскидку: парсить письма от грейлога, пересылать дальше в syslog-ng с хитрым конфигом.

[EugeneBond]

можно и из монги напрямую данные вытаскивать. или еще какое-то извращение придумать. но это будет либо костыль, либо жесткая зависимость…

хочется максимально прямого решения.

кстати, обнаружил update статьи от автора, что монги в ближайшее время не станет… вот и пример из жизни…

[EugeneBond]

а, пардон, с автором статьи и говорю )))

[icCE]

а причина? почему не станет монги и что будет потом?

[kyookineko]

да останется там MongoDB, просто текст сообщений будет храниться не в ней а в ElasticSearch!
неужели долго в первоисточник сходить?

[icCE]

Нет не долго, просто в дороге.

[kyookineko]

В общем MongoDB останется только для каунтеров, настроек и прочей мелочи, все сообщения перекидывают в ElasticSearch и обещают «huge performance increase» :)

По словам автора: «MongoDB is still great for storing the other stuff, but using it for the log messages seems to have been a mistake»

[AndreyDmitriev]

Насколько я понимаю, graylog — он только для Linux. А есть ли что-нибудь подобное для Windows? Я вот знаю только Datagram SysLog Server, но он не совсем бесплатный.

[sn00p]

К сожалению, я совсем не разбираюсь в Windows, как и в продуктах для этой операционки. Меня хватает только на самые простые задачи.
Тут java и rails, они, в принципе, кроссплатформенные. Осталось запинать хранилище, оно может и на другой машине крутится ))) Вопрос с производительностью такой связки оставим открытым. Скорее данное решение не будет работать или будет неэффективным.

[Aleksi]

В Graylog2 нет ничего платформо-зависимого: сборщик логов написан на Java, веб-интерфейс – на Ruby on Rails, MongoDB и ElasticSearch тоже себя тоже себя отлично чувствуют на Windows. Ну и UDP, по которому летят логи, вполне себе кроссплатформенный.

[EugeneBond]

про удп хорошо сказал! (сори, не удержался)

[TeiSinTai]

Есть трансляция сообщений EventLog Windows в сторону *nix по протоколу Syslog. Проверял — работает. Так что можно спокойно поднять Graylog в виртуалке, направить в его сторону логи со своих серверов при помощи этой службы EvtSys, и радоваться. Думаю, так.

[AndreyDmitriev]

Спасибо, любопытная штука. То, что Graylog в виртуалке можно поднять, это понятно, просто хотелось обойтись без этого. По условиям моей задачки полтора десятка Windows компьютеров гонят свои логи в централизованное хранилище в обход встроенного EventLog. Сейчас работает несложная самописная система, которой пользоваться не очень удобно и хочется некоторого легкого, но удобного решения для сбора, просмотра, анализа и хранения информации. С другой стороны из Java/Ruby/ElasticSearch под Windows может получиться довольно тяжеловесная связка. Впрочем надо будет попробовать.

[kyookineko]

А вот AMQP функционал у него кто-нибудь пробовал? Мне как раз бы пригодился логгер, кормящийся из AMQP очередей!

[Aleksi]

Леннарт разрабатывал его для XING'а, они им пользуются.

[Aleksi]

Ну вот, пока писал статью, разработчик анонсировал…

Эта страница стала существенным источником переходов на сайт проекта. По сути, анонс новой версии с отходом от MongoDB – ответ на этот пост. :)

[sn00p]

Неожиданно! )) Кстати, Александр Титов (он же где-то у вас работает, если я не ошибаюсь) нам про DevOps много интересного рассказывал. Вот сначала мы поставили chef, теперь и другие продукты ))

[osminog]

немного оффтопик: и как вам эти продукты?

[sn00p]

Мы решили, что это нам подходит и как мы без этого жили раньше непонятно ))) Разработчики нас поддерживают, им тоже нравится и удобно. В планах на следующий год активное развитие и использование данных технологий.
Вы приезжайте к нам на codefest.ru, у вас интересные доклады, дают пищу для ума ))