Подробная статистика запросов из логов

    Недавно был пост о сборе статистики в Google App Engine. Вот один из рецептов, который я использую для подобных целей:

    #!/bin/bash
    appcfg.py --num_days=10 request_logs code/ today.txt
    visitors -A -m 50 -T --time-delta 10 --trails --prefix http://toptuby.appspot.com/ today.txt > today.html
    firefox today.html

    Так получается и показывается в браузере статистика за последние 10 дней для приложения toptuby.appspot.com

    appcfg.py позволяет скачивать логи сервера. В примере выше они помещаются в файл today.txt. Эти логи потом анализируются минималистичным анализатором логов visitors. Указывается что надо учитывать все логи, максимальное количество полей в таблицах, сдвиг по времени, и то что нужно показывать типичные переходы внутри сайта. В результате получается страница html, которую можно посмотреть в любом браузере (все графики и диаграмы делаются при помощи элементов html). На сайте программы есть пример отчета. Больше о параметрах и appcfg.py, и visitors можно узнать просто набрав их в коммандной строке без параметров.

    Таким образом, за один прием можно получать актуальную статистику, включая то, как ведут себя роботы. appcfg.py не имеет ограничение на 1000 запросов — доводилось скачивать логи и более 5000 записей, но это занимает время. Visitors генерирует отчеты по количеству уникальных посетителей в день, переходам из Google, внешним ссылкам, браузерам, операционным системам, роботам и еще около дюжины.

    Недостаток visitors в том, что под Windows ее надо собирать из исходников на C (я это там так и не делал). Под Linux собирается на ура, в убунтовском репозитории тоже имеется. На удивление утилита не упоминается на странице Википедии о веб-анализаторах. С таким подходом можно пользоваться всеми, что упомянуты там как «logfile-based».

    Если кто-то пользуется интересными анализаторами логов, что нет в списки в Википедии — маякните в комментариях.
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 1

      +1
      Есть достаточно интересный анализатор под винду: Microsoft Log Parser
      Поддерживает достаточно большое кол-во входных и выходных форматов данных.
      Однако не обновлялся с 2004 г. (последняя версия 2.0)
      Веб-логи, правда, я им анализировать не пробовал.

      Only users with full accounts can post comments. Log in, please.