Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 27
tail -f access.log не?
скорее
смысл в подсветке, как я понимаю, но с самописными костылями.
grc | tail -f access.logсмысл в подсветке, как я понимаю, но с самописными костылями.
Не только. Первоначальная мысль была в подсчете количества запросов в секунду и времени обработки каждого запроса. Потом были добавлены процент загрузки и подсвечены боты. Также удобно наблюдать за определенными адресами. По определенному шаблону наблюдаю за обращениями к новым запросам и статусами ответов, перенаправлений, стутусом удаления страницы и других ошибок.
дожили…
И не говори…
стутус был последним перышком, сломавшим спину верблюда.
стутус был последним перышком, сломавшим спину верблюда.
А что не так? Чересчур по-хипстерски? Можно рассмотреть вариант на awk.
cat log | grep 'что надо' > предмет_для_изучения
sort, uniq, sed, awk для большей детализации.
Это не по хипстерски, это детский сад.
Не публикуй такое.
sort, uniq, sed, awk для большей детализации.
Это не по хипстерски, это детский сад.
Не публикуй такое.
Не совпадает с условиями задачи же. А задача у человека была «смотреть матрицу». Ну и cat log это то ещё средство… особенно в случае с неротируемым логом эдак за недельку (видал и поболее, всякое бывает). А кому-то без ELK жизнь не мила. На всякий шуруп свой молоток на пхп напишем. :)
На втором мониторе у меня сейчас постоянно такая лента идет. Специально искать по логам «не зная что» ни времени нет ни желания. А когда что то постоянно течет глаз зам выхватывает из потока нестандартные запросы и адреса. На мой взгляд скорость реакции на многие вещи возросла многократно. Недавно к примеру заметил активность. То ли парсер, то ли новая поисковая система, делала десятки запрово в секунду чем сильно напрягала сервер. Проблема быстро была устранена.
И да, почему cat log | grep 'что надо' вместо grep 'что надо' log и почему такое можно публиковать?
Что за детский сад?
Учится конечно нужно, и важно, но голову включать тоже стоит. Не стоит писать такие вещи.
> 100 запросов в секунду тоже глазами смотреть?
а > 1000?
a > 10000?
Учится конечно нужно, и важно, но голову включать тоже стоит. Не стоит писать такие вещи.
> 100 запросов в секунду тоже глазами смотреть?
а > 1000?
a > 10000?
Обычно задача стоит выдернуть из потока запросов требующих внимание. У меня такие попадались в форме нестандартных статусов или некорректных адресов. На вывод можно применить фильтра | grep 404 и более внимательно изучить.
Боги… За что…
> 100 запросов в секунду тоже глазами смотреть?Да, а в чем проблема? Постойте-ка, неужели ни автор, ни люди в комментариях не знают про специализированные утилиты для работы с журналом, вроде lnav, и goaccess, или об утилитах, предназначенных для удобной работы с текстовыми файлами, которые и разукрасят их, и отфильтруют в реальном времени, вроде multitail, или хотя бы об утилитах, предназначенных для фильтрования вывода в реальном времени, вроде peco/percol/fzf?
а > 1000?
a > 10000?
Есть еще одна причина. При анализе нужно было анализировать русскоязычные сайты. Руссифицировать это в самом логе не смог, не нашел решения. Такой скрипт остался достаточно быстрым и простым решением.
Я бы предложил обратить внимание на goaccess. Вот там удобно в реальном времени смотреть кто портит жизнь вашему веб серверу.
А не было желания задуматься — почему HostnameLookups по умолчанию выключен?
Предполагаю это увеличивает ресурсы нужные для работы. Если они незначительные можно ими пренебречь. Количество поймынных с помощью этой функции багов с лихвой компенсирует ресурсы затраченные на запрос к ДНС серверу. К тому же в любой момент можно вернуться к исходным настройкам когда станет понятно что исправлять нам нечего.
А еще есть apachetop
А у него как с русскоязычными адресами? Больше много русских имен сайтов и их отображение в логах апача удручает. Такая же ситуация со многими инструментами. Но вынужден признать потихоньку ситуация исправляется, все больше инструментов русские адреса сайтов отображают корректно. Отчасти отображение русских имен было основной причиной этого скрипта.
Если просто нагрузку смотреть то я предпочитаю logstalgia
можно по ssh tail -f сделать и завернуть выдачу в logstalgia и смотреть на своей машине.
можно по ssh tail -f сделать и завернуть выдачу в logstalgia и смотреть на своей машине.
Может еще более хипстерский, но и более красивый вариант: ставите piwik, настраиваете отправку логов в него и имеете очень удобный настраиваемый дэшборд реального времени + возможность аналитики.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Просмотр запросов к веб серверу apache в реальном времени