В этом случае CrowdSec работает точно так же как Fail2ban, анализируя логи на сервере. Что касается нагрузки на сервер, ты прав. Но большее использование CPU - это жертва в обмен на отсутсвие риска блокировки обычных пользователей, что критически важно для eCommerce. CrowdSeс не допускает такой риск, предлагая заполнить капчу.
type: http
name: http_default # this must match with the registered plugin in the profile log_level: info # Options include: trace, debug, info, warn, error, off
format: | {"chat_id": "YOUR_CHAT_ID", "text": "{{- range . -}} {{- range .Decisions -}} ?☠️ {{.Value}} wird für {{.Duration}} geblockt aufgrund von {{.Scenario}}. {{end -}} {{end -}}"}'
url: "https://api.telegram.org/YOUR_BOT_TOKEN/sendMessage" # plugin will make requests to this url. Eg value https://www.example.com/
method: POST # eg either of "POST", "GET", "PUT" and other http verbs is valid value.
headers: Content-Type: application/json
Конечно. Вы можете полностью отключить систему от внешнего мира и зацепить ее на работу с локальной репутационной БД IP-адресов, которую сформируете сами. Мы этот момент прописали в FAQ.
Конечно будем, планы по созданию Windows-версии были у нас с самого начала. Главный вопрос: когда. И тут, к сожалению, точных сроков нет. Проект совсем молодой, мы только-только выкатили версию 1.0.0 и работа по портированию на Windows маячит где-то далеко на горизонте. Когда будут какие-то конкретные сроки, мы о них расскажем на нашем сайте и в блоге. Единственное, что можем сказать точно, это то, что порт под Windows будет разрабатываться только после окончания текущей разработки под Debian.
Вопрос конечно же насущный и, само собой, мы его проработали еще на стадии запуска проекта. Тема борьбы с добавлением IP-адресов неугодных сайтов и сервисов, на самом деле, достойна отдельной статьи, может быть мы ее в ближайшее время и напишем. Пока же наиболее полно этот вопрос освещен в нашем FAQ вот тут, раздел «poisoning & false positives».
Вообще масштабный бан по айпи с помощью такого распределенного блэклиста опасен в первую очередь законопослушным пользователям. По принципу «лес рубят — щепки летят».
В сторону: Все эти меры напоминают борьбу правоохранителей с гражданским огнестрельным оружием. Мол, от этого преступность снижается (только она не снижается — бандит ствол всегда достанет, плевать, есть закон, нет закона).
Так и тут — бот и злоумышленник, попав под бан, тупо сменит айпишник или подсеть. А что делать простому смертному, которого забанили «под шумок»?
Поскольку мы рассматриваем комментарии в пакетном режиме, этот момент рассматривается чуть раньше в этом новом пакете ответов. Действительно, наша цель — высушить IP-пулы плохих парней. На самом деле у нас уже есть некоторые случаи использования, где 3000 или даже 9000 IP-адресов, делающих начинку кредитной карты для 1-го и http DDoS для последнего, были заблокированы менее чем за минуту. На самом деле очень немногие домашние сети или конечные пользователи должны быть заблокированы, и если это так, то они могут быстро разбанировать и знать, что у них дома есть взломанная машина. Они могут легально (по крайней мере, во многих странах) нести ответственность за то, что было сделано с их IP-адресом.
И я даже не исключаю ситуации: человек покупает виртуалку с публичным айпишником и обнаруживает, что айпишник в бане. А это просто предыдущий владелец айпишника ЦП хостил и наркотой барыжил. И вот попробуй докажи, что ты не верблюд?
На самом деле, если человек арендует VPS или сервер в центре данных с IP, он, скорее всего, установит новую ОС и никому не будет угрожать. Затем IP будет автоматически отключен в течение 72 часов.
На инструмент будем посмотреть, а глобальные бан-листы пугают-с.
На самом деле, вы можете использовать его как энжин поведения и не сообщать об IP, который пытается взломать вас, если это кажется слишком страшным. Вы в любом случае получите чертовски fail2бан на стероидах.
P.S. Всё это, разумеется, моё IMHO.
И мы ценим все ваши отзывы. Они очень изучены и выслушаны нашей командой. Приносим извинения за задержку между вашими комментариями и нашими ответами. Это не потому, что мы не заинтересованы, просто наш процесс перевода немного сложен. Спасибо за терпение
Пользуясь шаредным(общим) ип адресом вам придется нести ответственность и последствия за любые плохие действия этого ип — ип общий и ответственность тоже, помойму все логично. Пользование этим адресом услуга которую вы купили (у хостера, или интернет провайдера) не нравится — не покупайте!
Администраторы должны очищать скомпрометированные машины, а не просто указывать пальцем на тех, кто защищается от попыток взлома. Нашей целью является значительное замедление атакеров, а не администраторов или пользователей.
Вот этого я до конца не понял. Вроде бы и fail2ban вполне справляется, плюс динамически очищается от старых записей. Но возможно кому-то этот инструмент будет удобнее, особенно если есть возможность развернуть серверную часть у себя(из статьи могу сделать вывод что есть), и использовать только для своих серверов...
Fail2ban слишком медленный для некоторых случаев использования, не может быть централизованным между серверами и не может быть развязан (обнаружить здесь, исправить там), наряду с десятком других точек. Он не совместим с IPV6, главный разработчик не может реально найти время, чтобы модернизировать его до следующего уровня, и т.д. Как уже было сказано выше, мы также производим самоочистку. Все IP, которые были замечены и никого не атаковали за последние 72H, снова признаны чистыми.
Вы можете просто использовать поведенческий энжин, а не репутационный, если хотите. Вы даже можете использовать функцию, которая воспроизводит старые логи в энжине, чтобы посмотреть, что происходит в зависимости от сценария, который вы хотите использовать. Вы можете использовать его, как инструмент криминалистики, если считаете нужным. Это зависит от вас.
BDI
Вы можете запросить нашу базу данных таким же автоматизированным способом, если считаете это необходимым. На самом деле мне нравится эта идея, и я передам ее команде разработчиков. Сам наблюдай за своим IP и будь уведомлен, если он попадет в рыбную сеть, большое спасибо.
Tangeman
Тот же самый IP-адрес совпадает с проблемой NAT, ответ на которую приведен выше.
Подмена TCP-соединений в публичных сетях довольно сложна и не является частым, за исключением уровня BGP, который мы не рассматриваем. UDP (где подмена легко выполняется) не проталкивает IP-адреса в базу данных. CrowdSec не пытается решить проблему с DrDOS, потому что это сделает вещи ненадежными.
McStrauth
Пункты 1-4 были подробно рассмотрены ранее в комментариях.
P.S. Даже ещё проще! Что-то произошло и ваш IP числится в БД коллективного иммунитета, как неблагонадёжный. И все, кто эту БД использует, отказываются с вами взаимодействовать...
Не уверен, что понял вопрос: Если вы имеете в виду, что не смогли разблокировать себя из-за того, что ваш IP заблокирован, то вы можете просто использовать веб-браузер на вашем телефоне. Но наш unban формуляр не мешает никому получить к нему доступ. Мы не указываем пальцем, мы (и все администраторы) знаем, что IP-адреса (в IPV4) могут использоваться многими. Блокирование IP не бросает тень на конкретного пользователя или компанию. Но администраторы все равно должны что-то с этим делать. Для вас, для корпорации, по юридическим причинам и т.д
Doronin77
Время разбанирования одного и того же IP растет с каждым запросом. Кроме того, это не может быть автоматизировано из-за Капчи. (Хотя я не уверен, что вы имеете в виду именно это). Но у меня есть лучший ответ, мы не можем позволить себе курировать его вручную, так что мы умно-автоматизируем. Если мы потерпим неудачу в этом, любой может использовать наше программное обеспечение (MIT), чтобы сделать свою собственную версию.
Следовательно, мы добровольно обязаны сделать качественную работу в этом направлении.
Revertis
На самом деле CrowdSec отличается от них по многим пунктам: Во-первых, его написали на языке Golang, который намного быстрее, чем Python (для fail2ban). Он рассоединен (вы можете определить в одном месте, исправить в другом), он многослойный (IP, пользователь, сессия, бизнес-логика и т.д.), вы можете внести свой вклад непосредственно на хабе, чтобы поделиться с другими людьми. Это соединяет и репутацию, и поведение. Он использует YAML и Grok для разработки читаемого, многоступенчатого сценария, и т.д. Есть еще дюжина пунктов, но это вполне логично, так как мы сравниваем системы, которые родились в разное время, для разных целей. Мы запишем полный видеофильм для таких экспертов, как вы, чтобы глубже познакомиться с программным обеспечением. Наша документация уже может дать много указаний.
Ещё раз повторю многократно высказанное в разных местах дискуссии. Я – порядочный пользователь, сижу за NAT провайдера. В сети этого же провайдера развлекается мамкин хакер, о котором я даже не подозреваю. Я правильно понял, что для меня – порядочного человека, которому просто надо работу работать – процесс разбанивания будет всё более и более утомительным?
Нет, на самом деле, как было сказано выше, это чрезвычайно простой процесс: Вы будете направлены на веб-страницу, где вы вводите IP-адрес для разбанивания.
Тем не менее, владелец сети за этой точкой NAT должен что-то сделать с этим, иначе когда-нибудь IP будет снова запрещен. Мы также рекомендуем нашим пользователям не банить, по возможности, чтобы избежать этих проблем. Желательно посылать Captcha или 2FA запрос клиентам, использующим IP, который потенциально скомпрометирован.
Второй вопрос – как я пойму, что у меня ничего не работает именно потому, что сработал этот ваш коллективный иммунитет? И как мне, обычному юзеру, искать, где мне надо себя разбанить, чтобы нужное мне заработало?
IP-адрес будет автоматически разбанирован в течение 72 часов, если от этого IP-адреса больше не исходит агрессия.
Основной механизм, вероятно, будет исходить от HTTP-соединений. Вероятность того, что ваш IP будет запрещен глобально на всех сервисах инфраструктуры, является низкой, потому что это навредит бизнесу того, кто навязывает такую политику.
На веб-уровне мы будем информировать (насколько это возможно) визиторов о причинах их запрета и о том, как их удалить. Для других протоколов, скажем, если кто-то мешает вашему IP-адресу делать DNS-запросы или SMTP-транзакции, администратор точки NAT должен будет проверить, какая машина была скомпрометирована и очистить ее.
Позже, мы собираемся иметь баунсеры (компоненты, работающие с опасными IP), которые будут напрямую перебрасывать юзеров за скомпрометированным IP на веб-страницу.
Третий вопрос – что помешает кучке сговорившихся и соображающих в предметной области людей держать в перманентном бане неугодного им провайдера? Даже без всяких сложных материй, а чисто из желания «чисто по приколу» в силу мерзости натуры и недалёкости ума. Каковая недалёкость, увы, не мешает здорово разбираться в предметной области, увы.
Ну, у нас есть достаточно развитая система, которая заботится об отравлении/poisoning (то, что вы описываете) и ложных срабатываниях (false positives). Проще и короче говоря, до карантинного периода длительностью в 6 месяцев никакие сигналы от ненадежных персон не принимаются во внимание. Если они составили точную отчетность за 6 месяцев, соотнесенную с нашей собственной приманкой и/или другими доверенными лицами, то они поднимаются, потенциально, на первый ранг, доверия. Если они ложно сигнализируют об IP, они теряют ранг. Наша приманкa коррелирует сигналы, в целях проверки.
Кроме того, список «канареек», надежных IP-адресов, составляется для того, чтобы не стрелять законных и чистых актеров.
И последнее, но не менее важное, мы скоро начнем обучать искусственный интеллект (artificial intelligence) обнаруживать отравления и аномальные сообщения (среди прочего). В крайнем случае (но вряд ли) администратор может связаться с нами и обсудить с нами этот вопрос.
Чем в таком случае предложенное решение отличается от Роскомнадзора с его ковровыми блокировками всех, кто под руку подвернулся? Ну, кроме масштабов, разве что.
Я не знаком. Наша цель — во что бы то ни стало не цензура, а защита всех, кто хочет, чтобы его защищали.
Здравствуйте,
Мы настоятельно рекомендуем пользователям всегда принимать «мягкое» средство (softest remedy), вот почему.
Любой IP может быть использован для предоставления доступа большому количеству пользователей. Подумайте о большой корпоративной сети, позволяющей 35 000 пользователям, например, путешествовать по сети через 4 прокси-сервера. Если вы запретите один IP, вы можете заблокировать некоторых из 34 999 легитимных пользователей, чтобы остановить одного хакера, и это будет чрезмерно. Также, некоторые IP-адреса используются CGNAT (Carrier Grid Nat) или в переменных IP-пулах. Пользователи, стоящие за этими IP, не всегда одинаковы, и блокировка IP не является ни реальным вариантом, ни эффективным средством.
Чтобы избежать этих проблем, CrowdSec использует несколько механизмов: Один из них заключается в том, что IP-адрес должен храниться в нашей базе данных только в течение 72 часов. Если этот IP не показал никаких признаков дальнейшей агрессивности с этим периодом, мы считаем, что он был очищен, или что это был переменный IP, и он удален из блок-листа.
Вы можете выбрать, как пользователь, более разумный способ, чем просто сброс соединения с вашим файерволом.
Если вы защищаете вашу домашнюю сеть от сканирования, это никому не повредит, если вы запретите этот IP в вашем брандмауэре. Но если вы, к примеру, запустили веб-сайт электронной коммерции, вы должны быть более осторожны. В зависимости от того, какую технологию Вы используете, Вы можете послать капчу, сократить права пользователей, послать мобильную аутентификацию, замедлить соединение и т.д. Баунсеры приходят во всех формах, чтобы охватить много различных случаев использования, выбрать их мудро, и, пожалуйста, используйте наименее агрессивные средства, которые будут держать ваши активы в безопасности.
Все эти темы подробно описаны в нашем FAQ. Было бы немного сложно объяснить все это в комментариях к статье. Извините, что FAQ пока не доступен на русском языке. Может быть, когда-нибудь член сообщества поможет нам в этом.
Но вкратце, чтобы избежать отравлений и ложноположительных результатов, у нас есть система, называемая Consensus (Консенсус). Она включает в себя рейтинг доверия (trust rank), сеть приманок (honeypot network) и список канареек (canaries) — список IP-адресов, которые считаются безопасными и никогда не должны быть запрещены.
Спасибо вам. Рады, что CrowdSec вас заинтeресовал! Наш баунсер traefik можно найти здесь: https://github.com/fbonalair/traefik-crowdsec-bouncer. Envoy пока еще нет, но посмотрите наш хаб, там собраны другие баунсеры https://hub.crowdsec.net/browse/#bouncers
Для репортов есть Metabase, интеграция prometheus, а также наша Консоль https://app.crowdsec.net/
В этом случае CrowdSec работает точно так же как Fail2ban, анализируя логи на сервере. Что касается нагрузки на сервер, ты прав. Но большее использование CPU - это жертва в обмен на отсутсвие риска блокировки обычных пользователей, что критически важно для eCommerce. CrowdSeс не допускает такой риск, предлагая заполнить капчу.
Cпасибо! Такая функция уже есть:
Вот конфигурация
Подробнее здесь: https://docs.crowdsec.net/docs/notification_plugins/http
Поскольку мы рассматриваем комментарии в пакетном режиме, этот момент рассматривается чуть раньше в этом новом пакете ответов. Действительно, наша цель — высушить IP-пулы плохих парней. На самом деле у нас уже есть некоторые случаи использования, где 3000 или даже 9000 IP-адресов, делающих начинку кредитной карты для 1-го и http DDoS для последнего, были заблокированы менее чем за минуту. На самом деле очень немногие домашние сети или конечные пользователи должны быть заблокированы, и если это так, то они могут быстро разбанировать и знать, что у них дома есть взломанная машина. Они могут легально (по крайней мере, во многих странах) нести ответственность за то, что было сделано с их IP-адресом.
На самом деле, если человек арендует VPS или сервер в центре данных с IP, он, скорее всего, установит новую ОС и никому не будет угрожать. Затем IP будет автоматически отключен в течение 72 часов.
На самом деле, вы можете использовать его как энжин поведения и не сообщать об IP, который пытается взломать вас, если это кажется слишком страшным. Вы в любом случае получите чертовски fail2бан на стероидах.
И мы ценим все ваши отзывы. Они очень изучены и выслушаны нашей командой. Приносим извинения за задержку между вашими комментариями и нашими ответами. Это не потому, что мы не заинтересованы, просто наш процесс перевода немного сложен. Спасибо за терпение
Нет, вы не можете, проверьте пожалуйста объяснения выше.
Администраторы должны очищать скомпрометированные машины, а не просто указывать пальцем на тех, кто защищается от попыток взлома. Нашей целью является значительное замедление атакеров, а не администраторов или пользователей.
Fail2ban слишком медленный для некоторых случаев использования, не может быть централизованным между серверами и не может быть развязан (обнаружить здесь, исправить там), наряду с десятком других точек. Он не совместим с IPV6, главный разработчик не может реально найти время, чтобы модернизировать его до следующего уровня, и т.д. Как уже было сказано выше, мы также производим самоочистку. Все IP, которые были замечены и никого не атаковали за последние 72H, снова признаны чистыми.
Вы можете просто использовать поведенческий энжин, а не репутационный, если хотите. Вы даже можете использовать функцию, которая воспроизводит старые логи в энжине, чтобы посмотреть, что происходит в зависимости от сценария, который вы хотите использовать. Вы можете использовать его, как инструмент криминалистики, если считаете нужным. Это зависит от вас.
Вы можете запросить нашу базу данных таким же автоматизированным способом, если считаете это необходимым. На самом деле мне нравится эта идея, и я передам ее команде разработчиков. Сам наблюдай за своим IP и будь уведомлен, если он попадет в рыбную сеть, большое спасибо.
Тот же самый IP-адрес совпадает с проблемой NAT, ответ на которую приведен выше.
Подмена TCP-соединений в публичных сетях довольно сложна и не является частым, за исключением уровня BGP, который мы не рассматриваем. UDP (где подмена легко выполняется) не проталкивает IP-адреса в базу данных. CrowdSec не пытается решить проблему с DrDOS, потому что это сделает вещи ненадежными.
Пункты 1-4 были подробно рассмотрены ранее в комментариях.
Не уверен, что понял вопрос: Если вы имеете в виду, что не смогли разблокировать себя из-за того, что ваш IP заблокирован, то вы можете просто использовать веб-браузер на вашем телефоне. Но наш unban формуляр не мешает никому получить к нему доступ. Мы не указываем пальцем, мы (и все администраторы) знаем, что IP-адреса (в IPV4) могут использоваться многими. Блокирование IP не бросает тень на конкретного пользователя или компанию. Но администраторы все равно должны что-то с этим делать. Для вас, для корпорации, по юридическим причинам и т.д
Время разбанирования одного и того же IP растет с каждым запросом. Кроме того, это не может быть автоматизировано из-за Капчи. (Хотя я не уверен, что вы имеете в виду именно это). Но у меня есть лучший ответ, мы не можем позволить себе курировать его вручную, так что мы умно-автоматизируем. Если мы потерпим неудачу в этом, любой может использовать наше программное обеспечение (MIT), чтобы сделать свою собственную версию.
Следовательно, мы добровольно обязаны сделать качественную работу в этом направлении.
На самом деле CrowdSec отличается от них по многим пунктам: Во-первых, его написали на языке Golang, который намного быстрее, чем Python (для fail2ban). Он рассоединен (вы можете определить в одном месте, исправить в другом), он многослойный (IP, пользователь, сессия, бизнес-логика и т.д.), вы можете внести свой вклад непосредственно на хабе, чтобы поделиться с другими людьми. Это соединяет и репутацию, и поведение. Он использует YAML и Grok для разработки читаемого, многоступенчатого сценария, и т.д. Есть еще дюжина пунктов, но это вполне логично, так как мы сравниваем системы, которые родились в разное время, для разных целей. Мы запишем полный видеофильм для таких экспертов, как вы, чтобы глубже познакомиться с программным обеспечением. Наша документация уже может дать много указаний.
Нет, на самом деле, как было сказано выше, это чрезвычайно простой процесс: Вы будете направлены на веб-страницу, где вы вводите IP-адрес для разбанивания.
Тем не менее, владелец сети за этой точкой NAT должен что-то сделать с этим, иначе когда-нибудь IP будет снова запрещен. Мы также рекомендуем нашим пользователям не банить, по возможности, чтобы избежать этих проблем. Желательно посылать Captcha или 2FA запрос клиентам, использующим IP, который потенциально скомпрометирован.
IP-адрес будет автоматически разбанирован в течение 72 часов, если от этого IP-адреса больше не исходит агрессия.
Основной механизм, вероятно, будет исходить от HTTP-соединений. Вероятность того, что ваш IP будет запрещен глобально на всех сервисах инфраструктуры, является низкой, потому что это навредит бизнесу того, кто навязывает такую политику.
На веб-уровне мы будем информировать (насколько это возможно) визиторов о причинах их запрета и о том, как их удалить. Для других протоколов, скажем, если кто-то мешает вашему IP-адресу делать DNS-запросы или SMTP-транзакции, администратор точки NAT должен будет проверить, какая машина была скомпрометирована и очистить ее.
Позже, мы собираемся иметь баунсеры (компоненты, работающие с опасными IP), которые будут напрямую перебрасывать юзеров за скомпрометированным IP на веб-страницу.
Ну, у нас есть достаточно развитая система, которая заботится об отравлении/poisoning (то, что вы описываете) и ложных срабатываниях (false positives). Проще и короче говоря, до карантинного периода длительностью в 6 месяцев никакие сигналы от ненадежных персон не принимаются во внимание. Если они составили точную отчетность за 6 месяцев, соотнесенную с нашей собственной приманкой и/или другими доверенными лицами, то они поднимаются, потенциально, на первый ранг, доверия. Если они ложно сигнализируют об IP, они теряют ранг. Наша приманкa коррелирует сигналы, в целях проверки.
Кроме того, список «канареек», надежных IP-адресов, составляется для того, чтобы не стрелять законных и чистых актеров.
И последнее, но не менее важное, мы скоро начнем обучать искусственный интеллект (artificial intelligence) обнаруживать отравления и аномальные сообщения (среди прочего). В крайнем случае (но вряд ли) администратор может связаться с нами и обсудить с нами этот вопрос.
Я не знаком. Наша цель — во что бы то ни стало не цензура, а защита всех, кто хочет, чтобы его защищали.
FAQ Site: crowdsec.net/faq
Мы настоятельно рекомендуем пользователям всегда принимать «мягкое» средство (softest remedy), вот почему.
Любой IP может быть использован для предоставления доступа большому количеству пользователей. Подумайте о большой корпоративной сети, позволяющей 35 000 пользователям, например, путешествовать по сети через 4 прокси-сервера. Если вы запретите один IP, вы можете заблокировать некоторых из 34 999 легитимных пользователей, чтобы остановить одного хакера, и это будет чрезмерно. Также, некоторые IP-адреса используются CGNAT (Carrier Grid Nat) или в переменных IP-пулах. Пользователи, стоящие за этими IP, не всегда одинаковы, и блокировка IP не является ни реальным вариантом, ни эффективным средством.
Чтобы избежать этих проблем, CrowdSec использует несколько механизмов: Один из них заключается в том, что IP-адрес должен храниться в нашей базе данных только в течение 72 часов. Если этот IP не показал никаких признаков дальнейшей агрессивности с этим периодом, мы считаем, что он был очищен, или что это был переменный IP, и он удален из блок-листа.
Вы можете выбрать, как пользователь, более разумный способ, чем просто сброс соединения с вашим файерволом.
Если вы защищаете вашу домашнюю сеть от сканирования, это никому не повредит, если вы запретите этот IP в вашем брандмауэре. Но если вы, к примеру, запустили веб-сайт электронной коммерции, вы должны быть более осторожны. В зависимости от того, какую технологию Вы используете, Вы можете послать капчу, сократить права пользователей, послать мобильную аутентификацию, замедлить соединение и т.д. Баунсеры приходят во всех формах, чтобы охватить много различных случаев использования, выбрать их мудро, и, пожалуйста, используйте наименее агрессивные средства, которые будут держать ваши активы в безопасности.
FAQ Site: crowdsec.net/faq
Но вкратце, чтобы избежать отравлений и ложноположительных результатов, у нас есть система, называемая Consensus (Консенсус). Она включает в себя рейтинг доверия (trust rank), сеть приманок (honeypot network) и список канареек (canaries) — список IP-адресов, которые считаются безопасными и никогда не должны быть запрещены.