NikitaTratorov Oct 16 2011 at 13:19

Активная защита FreeBSD на основе логов, sh и cron

6 min

9.9K

*nix*

From sandbox

+29

Comments 54

JukeBox Oct 16 2011 at 13:42

Для этого есть fail2ban

+26

NikitaTratorov Oct 16 2011 at 20:51

А можно комментарии практикующих пользователей услышать по этой программе?

JukeBox Oct 17 2011 at 01:33

Я использую на всех серверах-в зависимости от попадания в логах каких-от записей, Ip блочатся на фаерволле. Использую для антибрутфорса ssh и asterisk. 5 неудачных попыток и в бан. Правда если попыток много за короткое время, то пока fail2ban родит и заблочит, бот успеет еще раз 30-40 поломится. Сообщения о бане присылает на почту вместе с whois информацией о Ip, с которого шла атака.

Nastradamus Oct 17 2011 at 12:35

Изучение принципов работы fail2ban и настройка заняли у меня полдня, а потом нужные правила писал за 10 минут каждое — регексы там очень удобны и упрощены до предела всякими словами-патернами.

charon Oct 17 2011 at 13:53

я пробовал пользоваться. На слабом ВПСе забирал слишком много ресурсов, но в принципе работал хорошо. Сейчас ограничился защитой на уровне iptables — разрешено 3 подключения к порту в 120 секунд. Для меня этого вполне достаточно.

Zord Oct 16 2011 at 22:52

Рекомендую SshGuard www.sshguard.net
Смотрит в прямом эфире, кто пытается авторизоваться и блочит в зависимости от настроек
Я, например, блочу в случае 3 ошибок в течение 1 секунды

philpirj Oct 17 2011 at 02:21

А если раз в секунду, но с 10к разных адресов?

Zord Oct 17 2011 at 17:42

Логи говорят, что такого не происходит )
Долбятся по нескольку раз с 1 ip

crea7or Oct 16 2011 at 13:57

А ipfw потом шевелиться будет? Записей-то можно получить огого после такого.

major Oct 16 2011 at 14:56

ipfw table 1 add xxx
использовать надо. Тогда точно тормозов не будет.

AstonMartin Oct 16 2011 at 15:23

Праивльнее, конечно же, заносить адреса в таблицы ipfw.

NikitaTratorov Oct 16 2011 at 20:45

Про таблицы я не подумал, т.к. не так хорошо знаю ipfw, но на моем сервере он шевелился даже при 3-4 тысячах правил без затруднений. Хотя и нагрузки на нем не те, чтобы я мог об этом Вам что-то сказать.

UFO just landed and posted this here

erley Oct 16 2011 at 15:04

Посмотрите на /usr/ports/security/bruteblock в портах, похоже что он делает практически то же самое.
Кстати, для добавления deny правил в ipfw грамотнее использовать таблицы, что bruteblock и делает.
Пользуюсь им сам уже много лет, никаких нареканий нет.

crea7or Oct 16 2011 at 15:08

А что лучше, он или fail2ban? Я вот как раз решаю что использовать.

erley Oct 16 2011 at 15:23

Не знаю, не пользовался fail2ban.
Попался когда-то под руку bruteblock, он настраивается легко и гибко. Неприхотлив, из зависимостей кажется перл только. Если сильно долбят снаружи то нагрузка пойдёт на ipfw в основном, так что типичную нагрузку эта связка должна держать. Вроде ничего больше и не нужно…
Альтернативы даже не смотрел, но за bruteblock могу сказать по своему реальному опыту — работает железно и никогда не подводил.

erley Oct 16 2011 at 15:28

Вот блин, сейчас посмотрел, он оказывается на чистом С написан, так что там даже и перл не нужен :) Чёрт побери, мне это нравится…

Assargin Oct 16 2011 at 17:46

trusted_net='192.168.'

А я бы и локальной сетке не доверял, если уж полноценно подходить к защите корпоративной информации. Ладно там раз-другой неудачно кто-то пароль ввел, но если начнется брут из локалки, сознательный или кто-нибудь чего-нибудь подцепит — ваш скрипт ему мешать не будет, как я понял из беглого его просмотра.

NikitaTratorov Oct 16 2011 at 20:42

Я ей тоже не доверяю, но делаю допущение, т.к. все компы защищены корпоративным DrWeb. Кроме того, не хочется лишний раз беспокоить директора, который вдруг не увидит свою почту.
Это очень слабое место, но при использовании sh, мне кажется, иначе не поступить. Разве только начинать писать конкурента bruteblock.

Спасибо за подсказку, я изучу bruteblock.

Пока писал, пришло в голову: можно для доверенных подсетей сделать другой порог срабатывания. Т.е. дать им немного больше попыток ошибиться, чем внешним пользователям.

NikitaTratorov Oct 16 2011 at 23:04

Коллеги, а вот я столкнулся с такой ситуацией, когда в логи попадает имя хоста с пробелом, это полностью парализует скрипт, т.к. пробел — есть разделитесь для {print $n}. Кто-нибудь в курсе, как такое поведение злоумышленника отработано в предложенных программах?

bruteblock

fail2ban

SshGuard

Пример:

2011-10-12 16:06:42 auth_login authenticator failed for host104-147-static.34-88-b.business.telecomitalia.it (windows) [88.34.147.104]: 535 Incorrect authentication data

prox Oct 17 2011 at 00:04

The Full DNS name for internal domain can contain letters (a-z, A-Z), numbers (0-9), and hyphens, but not spaces.

# dig -x 88.34.147.104 +short
host104-147-static.34-88-b.business.telecomitalia.it.
# host 88.34.147.104
104.147.34.88.in-addr.arpa domain name pointer host104-147-static.34-88-b.business.telecomitalia.it.

скорей всего Exim так пишет лог

MakeInstall Oct 17 2011 at 08:06

Я делал похожие вещи для своего сервера. Но потом сервер начал тупить. Решилось командой EXIT в конце скрипта.

и еще, это не самый производительный вариант парсить логи.
сегодня ваш лог весить 40Мб а завтра 1Гб.

Особенно использование «cat /tmp/auth.log | grep „Did not receive identification string“ |»

тут достаточно использовать один grep.

Запустите два разных скрипта с cat и без cat так time ./script.sh. Очень заметно на больших логах.

ToxoT Oct 17 2011 at 08:34

Вопрос в рациональности анализа логов остается, можно сэкономить кучу нервов и сил если:
1)ССШ зафаерволить (открыть только с определенных адресов)
2) аналогично произвести с админкой веба ограничив доступ с определенных адресов(если такая имеется) .htaccess

В любом случае скрипт это хорошо, но опять же это будет хорошо работать при низкой интенсивности брутфорса.

Nastradamus Oct 17 2011 at 12:24

У меня всегда недопонимание, когда я слышу о таком подходе. А если с телефона надо зайти? А если админ в отпуске (в другом городе, стране)?

ToxoT Oct 17 2011 at 12:43

VPN для этого и придумали. В конце концов в отпуске должен быть заместитель, который может решить текущие задачи ;)

Nastradamus Oct 17 2011 at 13:00

А если VPN тоже будут брутфорсить? )

ToxoT Oct 17 2011 at 14:05

это менее вероятно. Например OpenVPN попробуйте)

Nastradamus Oct 17 2011 at 14:12

По своему опыту: увы, vpn не со всеми домашними провайдерами работает. Это касается как и OpenVPN, так и pptp/l2tp.
Я так недавно не смог подключиться к офисному pptp из отеля в отпуске.

ToxoT Oct 17 2011 at 16:53

pptp требует умного ната, т.к используются протокол GRE, в большинстве сошо-роутерах может одновременно только 1 сессия pptp существовать.
С опенвпн все просто — ставишь его на порт 443(если ваш провайдер не зверь и он не режет/проксируется https то все будет ок.

Nastradamus Oct 17 2011 at 17:40

Спасибо. Годный совет, кстати. Надо попробовать.

beliakov Oct 17 2011 at 16:29

Port knocking

ToxoT Oct 17 2011 at 16:54

Вариант, но это опять же костыли. Еще есть такой момент что если для кнока использовать UDP порты то количество попыток «достучатся» заметно увеличивается)

leave Oct 17 2011 at 13:00

#!/bin/sh

у вас во фряхе баш дефолтным шеллом?

Ну и фраза «подобрать пароль к exim», извиние, порвала в клочья.

FSA Oct 17 2011 at 13:09

#!/bin/sh — вполне нормально для FreeBSD. Никакой это не bash.

leave Oct 17 2011 at 13:24

ooops, не доглядел. Действительно, скрипт сишелловый. А сначала показалось почему-то, что на баше :)

NikitaTratorov Oct 18 2011 at 10:31

Я использую эту строку, ибо mc в таком случае подсвечивает синтаксис.

charon Oct 17 2011 at 13:56

ИМХО, описанное решение — это слегка overkill для большинства систем. Наверняка среди россыпи фрёвых фаерволов есть такой, который позволяет ограничивать количество подключений к порту каким-то стандартным правилом, и этого будет вполне достаточно.

ToxoT Oct 17 2011 at 22:30

да, на PF можно настроить ограничения по кол-ву соединений в минуту(если неошибаюсь) + также можно заносить провинившихся в отдельную таблицу, но опять же придется использовать крон чтобы список применялся, что не всегда уместно делать.

Dyr Oct 18 2011 at 17:38

>но опять же придется использовать крон чтобы список применялся,
Не надо там такого извращения, в таблице и на правило. Вот чтобы очищать таблицу от устаревших правил да, надо дополнительно ставить либо pfguard, либо руками.

Tedor Oct 17 2011 at 16:01

Здесь еще не упоминалась замечательная програмка sshit, которая очень легко конфигурится, и которую использую на домашнем сервере уже не первый год.

zloidemon Oct 18 2011 at 17:28

pipe pipe pipe… Блин меня убивает такой код… Научись наконец awk и правильным использованием пайпов :)

NikitaTratorov Oct 24 2011 at 23:32

А Вы не могли бы привести свой пример замены awk для конкретного случая, например для websec.sh в блоке «Вылавливаем спецов по нарушению RFC»?

zloidemon Oct 24 2011 at 23:57

Этого должно хватить :)

fgrep "request without hostname" /tmp/${cur_log_file} |awk 'sub("]", " ");{print $8}' | sort | uniq -c

int_0x80 Oct 23 2011 at 14:28

Меня смущает cat всего файла, да еще и каждую минуту!

Я бы использовал tail -f logfile | script.sh &

NikitaTratorov Oct 24 2011 at 23:29

Поэтому разрастающиеся логи ротируются каждую минуту в отдельную папочку с текущей датой. Это в самом начале скрипта:

# копируем логи

cat ${cur_log_dir}/${cur_log_file} > /tmp/${cur_log_file}

# очищаем исходный логфайл

cat /dev/null > ${cur_log_dir}/${cur_log_file}

# обновляем архивный логфайл

cat /tmp/${cur_log_file} >> ${log_file}

tail же выдаст только последнюю часть файла, а не все события за период. В этом случае смысл скрипта пропадает.

zloidemon Oct 24 2011 at 23:58

А вообще тут я бы рекомендовал использовать fifo и работать c данными уже из него.

int_0x80 Oct 25 2011 at 00:12

Ок, попробую ответить развернуто.

У Вас на каждый тип проверки перечитывается файл (cat | grep «type»)

При использовании tail -f |
наш скрипт обрабатывает лог построчно:

#!/bin/sh

while read mon day time domain pname msg; do
тут можно разбирать, что в наших переменных
например $msg — текст сообщения, $time — время и тд, думаю Вы поняли смысл
done

Такой подход значительно экономнее и нагляднее. К тому же, он актуальнее, работа начинается как только появилась новая строка в логе.

И такая архитектура избавит Вас от необходимости как-то дополнительно подготавливать (ротировать) файлы

NikitaTratorov Oct 25 2011 at 01:14

Что ж, все понятно. Осталось придумать, как следить, чтобы сервис был постоянно запущен. Кажется, с этим будут сложности, также как и при запуске после ребута.

int_0x80 Oct 25 2011 at 01:18

О, совсем нет.
script.sh & и процес работает в фоне. А while read настолько прост, что никогда не падает сам ;)

NikitaTratorov Oct 25 2011 at 01:26

Стоит обратить внимание. Спасибо.

seaji Sep 25 2013 at 13:18

Сделал примерно похожий скрипт по анализу логов и бану через ipfw
Если его запускать «руками» работает отлично
При запуске через крон отказывается работать.
Долгие копания привели к тому, что я выяснил, что при запуске через крон grep возвращает ноль, а руками — нормальную цифру
Ни кто не знает в чем может быть проблема?
Команда вот такая

/bin/ps aux | /usr/bin/grep httpd | /usr/bin/wc -l

Это я по количеству процессов httpd определяю активность на сайтах

не работает именно /usr/bin/grep и только при запуске через крон

NikitaTratorov Sep 26 2013 at 09:24

Ларчик открывается просто:
— делаете файл sh, куда пишите свой скрипт
— пишите в крон строку на его запуск

NikitaTratorov Sep 26 2013 at 09:26

А может надо в кавычки взять греп-строку?

seaji Sep 26 2013 at 17:01

скрипт /root/apachecount.sh
Содержимое:
/bin/ps aux | /usr/bin/grep httpd | /usr/bin/wc -l > /root/apachecount.txt
запуск через /etc/crontab от имени рута
Через крон пишет всегда 1
Руками пишет всегда нормальную цифру
httpd пробовал писать и с двойными кавычками и с одинарными и без ковычек

Show the best of all time