А ты знаешь, сколько геморроя содержит в себе перекидывание из syslog-ng в redis? По-моему, вполне глупое занятие, пока что mongo справляется. Из тех логов, которые нам нужны, у них всего 200-400 записей в секунду в штатном режиме. Это немного.
Интересно. Сегодня тестировал — получил в среднем 15-20 тысяч записей в секунду (пишем в facility local5 фразу «This is test»), но при этом получил проблему в монге — writelock наступает уже на 50-70 тысячах, и некоторое количество записей дропается.
По 500 млн — проверю обязательно, спасибо. У меня всего 2G capped, должно хватить.
Не пробовали ли Вы в качестве базы данных использовать что-нибудь типа mongodb (в ветке syslog-ng 3.3)?
По идее, первый и основной плюс — отсутствие необходимости в logrotate при использовании capped collections.
Плюс ещё и шардинг из коробки — удобно при необходимости держать и анализировать большое количество логов. У меня это пока что это только на стадии планирования, так что по поводу быстродействия ничего не скажу.
Эх. Вот рассчитан данный скрипт на небольшой объём данных. В этих целях откройте для себя duplicity (который ещё и шифровать умеет для передачи по каналам типа ftp и хранения в S3)
Если можно верить ману (в чём я иногда сомневаюсь):
It can be used to enlarge or shrink an unmounted file
system located on device. If the filesystem is mounted, it can
be used to expand the size of the mounted filesystem, assuming
the kernel supports on-line resizing. (As of this writing, the
Linux 2.6 kernel supports on-line resize for filesystems mounted
using ext3 and ext4.).
Конечно же, здесь понимается «уменьшение ФС». Раздел уменьшать можно в некоторых случаях. К примеру, в LVM это lvreduce (что может повредить существующей ФС).
Ну ZFS и не является файловой системой в классическом понятии этого термина. Там просто можно ограничить и динамически изменять максимально доступное пространство для ФС внутри пула (кстати, насчёт уменьшения не уверен, просто не проверял).
Так это ж круто! Как раз пиво «I`m feeling lucky». Буквально недавно была такая идея при заказе пиццы — ингридиенты выбираются рандомно. Заодно избавляемся от необходимости мучительного выбора.
По 500 млн — проверю обязательно, спасибо. У меня всего 2G capped, должно хватить.
По идее, первый и основной плюс — отсутствие необходимости в logrotate при использовании capped collections.
Плюс ещё и шардинг из коробки — удобно при необходимости держать и анализировать большое количество логов. У меня это пока что это только на стадии планирования, так что по поводу быстродействия ничего не скажу.
С Xbox360 всё достаточно просто, а вот в Playstation Network далеко не всё можно купить. Приходится именно что заказывать диски.
It can be used to enlarge or shrink an unmounted file
system located on device. If the filesystem is mounted, it can
be used to expand the size of the mounted filesystem, assuming
the kernel supports on-line resizing. (As of this writing, the
Linux 2.6 kernel supports on-line resize for filesystems mounted
using ext3 and ext4.).