CrowdSec — современная альтернатива Fail2Ban и коллективный иммунитет для Интернета


    CrowdSec

    Инструмент Fail2Ban хорошо известен админам. Программа анализирует логи на сервере и подсчитывает количество попыток доступа с конкретных IP-адресов по указанным протоколам. В случае нарушения правила данный IP-адрес блокируется на заданный отрезок времени. Например, джейл для авторизации по SSH включён с дефолтными настройками 5 попыток авторизации за 10 минут, после чего происходит бан IP-адреса на 10 минут. Отличный способ отфильтровать мусорный трафик от разных сканеров и защита от DDoS.

    Fail2Ban и SSHGuard — лучшие инструменты в своей области. Однако новый опенсорсный проект CrowdSec представляется интересной альтернативой. Это локальная замена Fail2Ban, а потенциально нечто большее — глобальная база репутации IP-адресов типа иммунной системы интернета.

    CrowdSec позиционирует себя как «движок для автоматизации безопасности», использующий локальные правила для детектирования IP, а также общую базу вредоносных IP, которая составляется силами сообщества.



    Разработчики CrowdSec называют следующие ключевые особенности:

    • обнаружение атак и реагирование на всех уровнях (логи могут лежать в любом месте);
    • простота в установке и обслуживании (установка с визардом в консоли);

      git clone https://github.com/crowdsecurity/crowdsec/releases/latest

      sudo ./wizard.sh -i


      Установка CrowdSec. Визард в консоли помогает выбрать и предлагает, какие демоны/логи нужно мониторить, хотя возможна и последующая настройка через обычные конфиги
    • интеграция с другими компонентами (чтение логов и автоматическая блокировка нарушителей на уровне CDN);
    • общий доступ (опционально): метаданные можно отправлять в центральный API, так что данные о вредоносных IP-адресах получат все пользователи. Нужно подчеркнуть, что это опциональная фича, и никто не заставляет передавать метаданные в общий доступ;
    • лёгкий вес: автономная работа, минимум оперативной памяти и CPU;
    • возможность обработки «холодных» логов (из архива) для своеобразной симуляции;
    • предустановленные панели мониторинга.

    Важно отметить, что за разработкой стоит французская компания, а не американская, что по нынешним временам является плюсом для приватности. Даже если выбрать вариант «коллективной работы» и делиться собранными данными, отправляются только три параметра: метка времени, IP-адреса нарушителей и политика, которую они нарушили.

    Ещё один интересный момент — инструмент написан на языке программирования Go.

    С архитектурной точки зрения система состоит из трёх основных компонентов:

    • постоянно работающая служба CrowdSec, которая отслеживает логи, атаки и т. д.;
    • инструмент командной строки, интерфейс для взаимодействия со службой;
    • модули интеграции (bouncers) с другими инструментами типа Cloudflare для реального обеспечения блокировки.

    Вот как выглядит архитектура программы из документации:



    На данный момент разработано пять модулей интеграции (bouncers):
    cs-cloudflare-blocker, cs-custom-blocker (пользовательские сценарии), cs-netfilter-blocker, cs-nginx-blocker и cs-wordpress-blocker. Например, модуль для Nginx сверяет каждый неизвестный IP-адрес с базой данных, прежде чем веб-сервер ответит на запрос или выдаст ошибку 403. Модуль Netfilter просто «добавляет» вредоносные IP-адреса в чёрный список nftables/ipset.

    Для простоты настройки на сайте собраны коллекции и конфигурации.

    Коллекции — это, по сути, просто наборы парсеров и сценариев для разных ситуаций. Например, в коллекцию Nginx входит парсер логов nginx-logs и базовые http-сценарии для определения типичных вредоносных ботов (агрессивный краулинг, сканирование/пробирование портов, чёрный список user-agent'ов, а также определение попыток проведения атаки path traversal).

    Полный список коллекций:


    Один из вариантов работы с CrowdSec — через консольную программу cscli:

    cscli metrics

    Эта команда выдаёт основные метрики о работе парсеров, объёме обработанных логов, количестве обнаруженных и заблокированных угроз по каждой коллекции (перечень коллекций см. выше).

    Следующая команда выводит список хостов с указанием причин, почему их забанили, кодом страны, идентификатором автономной сети (AS), количеством нарушений и другой информацией.

    cscli ban list



    Консольная утилита cscli поддерживает большой список команд и параметров для подключения/удаления конфигураций, добавления новых правил блокировки и др.

    Но кроме cscli, конфигурацию можно изменить и традиционным способом, путём редактирования текстового файла в формате YAML:

    vi /etc/crowdsec/config/profiles.yaml

    Естественно, кастомные сценарии тоже поддерживаются.

    Что делает этот инструмент больше похожим на платформу, чем на утилиту, так это его многочисленные интеграции с другими инструментами. По крайней мере, разработчики программы ставят ставку именно на это и хотят построить бизнес на этой платформе. Они говорят о «глобальной платформе IP-репутаций» и «поведенческом движке безопасности».

    Сейчас компания пытается предложить пользователям платный доступ к «облачному API» и базе данных с репутацией IP-адресов, которая составляется совместными усилиями. При этом поставщики информации в эту базу освобождаются от оплаты, а платят только чистые потребители, которые не хотят делиться информацией из своих логов. Планируется два тарифных плана: premium и enterprise с услугами по поддержке, специальными служебными инструментами (типа развёртывания системы на несколько локаций из одного центрального места), применением дата-майнинга и машинного обучения (обнаружение тенденций в глобальных данных), более продвинутом анализе холодных логов (форензика, криминалистика, расследования — хотя данное направление бизнеса в Европе затруднено из-за закона GDPR).

    В любом случае опенсорсный инструмент выпускается под свободной лицензией MIT, так что коммерческие планы разработчиков никак не мешают сообществу использовать его и модифицировать под свои нужды.



    Разработчики обращают внимание, что программа пока в бета-версии, но никаких проблем на продакшне ни у кого не возникало. Они также говорят, что программа на Go элементарно портируется на другие платформы вроде Windows и Mac.

    По итогу сейчас это добротный опенсорсный инструмент, который можно использовать в качестве альтернативы старому доброму Fail2Ban. А со временем он может превратиться в нечто большее. Разработчики ставят цель в создании своеобразного «коллективного иммунитета», когда клетки организма (серверы) коллективно защищаются от атак, словно иммунная система.



    На правах рекламы


    Виртуальные серверы с защитой от DDoS-атак и новейшим железом, серверы размещены в одном из лучших российских дата-центров — DataPro. Всё это про наши эпичные серверы. Максимальная конфигурация — 128 ядер CPU, 512 ГБ RAM, 4000 ГБ NVMe! Поспешите заказать.

    VDSina.ru хостинг серверов
    Серверы в Москве и Амстердаме

    Comments 61

      +2
      Особенно актуально в связи с переходом на IPv6 — вирусняк/взлом с использованием твоего адреса в качестве прокси, и до конца своих дней вводи капчу
        0
        Наверняка будут механизмы обжалования и исключения из списков. Как и сейчас с black list IP.
          +1

          Ага, механизм настолько прекрасный, что проще IP поменять чем обжаловать

          0
          Здравствуйте,
          Наш раздел FAQ подробно описывает этот пункт в главе «Unbanning yourself».
          Для того, чтобы разблокировать себя, вы можете зайти на веб-страницу и ввести свой IP. На этой веб-странице, капча избегает автоматического дебанирования с помощью ботов / скриптов. В первый раз, когда этот IP будет снят, он будет удален из нашей базы данных в течение 24 часов. Но в том случае, если этот IP будет снова замечен и включен в нашу базу данных, дебанирование будет проведено во второй раз в течение 5 дней. В третий раз, период перезагрузки будет еще длиннее. Поэтому для хакера, пытающегося постоянно вручную дебанировать IP-адреса, которые он использует для атаки, будет очень утомительным процессом.

          FAQ Site: crowdsec.net/faq
            0
            Ещё раз повторю многократно высказанное в разных местах дискуссии. Я – порядочный пользователь, сижу за NAT провайдера. В сети этого же провайдера развлекается мамкин хакер, о котором я даже не подозреваю. Я правильно понял, что для меня – порядочного человека, которому просто надо работу работать – процесс разбанивания будет всё более и более утомительным?

            Второй вопрос – как я пойму, что у меня ничего не работает именно потому, что сработал этот ваш коллективный иммунитет? И как мне, обычному юзеру, искать, где мне надо себя разбанить, чтобы нужное мне заработало?

            Третий вопрос – что помешает кучке сговорившихся и соображающих в предметной области людей держать в перманентном бане неугодного им провайдера? Даже без всяких сложных материй, а чисто из желания «чисто по приколу» в силу мерзости натуры и недалёкости ума. Каковая недалёкость, увы, не мешает здорово разбираться в предметной области, увы.

            Чем в таком случае предложенное решение отличается от Роскомнадзора с его ковровыми блокировками всех, кто под руку подвернулся? Ну, кроме масштабов, разве что.

            И да, не надо мне советовать сменить провайдера – не всегда это возможно.
              +1
              Ответом на эти вопросы будет то, что описанная в статье система не особо отличается от fail2ban или Denyhosts. На миллионах серверов они уже стоят. У вас возникали из-за этого проблемы?
                +1

                Она принципиально отличается тем, что 3-й стороной можно залочить любую неугодную сеть/подсеть на серверах использующих данный сервис. И в реальной жизни репутация агентов и т.п. никак не спасает. Весь вопрос в желании и в наборе критической массы.

                  0
                  У Denyhosts была возможность скачивать некую базу айпишников для бана, и сабмитить свои.
                  0
                  Revertis
                  На самом деле CrowdSec отличается от них по многим пунктам: Во-первых, его написали на языке Golang, который намного быстрее, чем Python (для fail2ban). Он рассоединен (вы можете определить в одном месте, исправить в другом), он многослойный (IP, пользователь, сессия, бизнес-логика и т.д.), вы можете внести свой вклад непосредственно на хабе, чтобы поделиться с другими людьми. Это соединяет и репутацию, и поведение. Он использует YAML и Grok для разработки читаемого, многоступенчатого сценария, и т.д. Есть еще дюжина пунктов, но это вполне логично, так как мы сравниваем системы, которые родились в разное время, для разных целей. Мы запишем полный видеофильм для таких экспертов, как вы, чтобы глубже познакомиться с программным обеспечением. Наша документация уже может дать много указаний.
                    0
                    Ну я как бы не утверждал, что это полные аналоги. Просто говорил, что система с централизованным сбором атакующих айпишников и подписка на них всех членов сети уже была в Denyhosts.
                    0
                    Есть нюанс, однако.
                    С fail2ban наш общий ip банит один, целевой для мамкиных какиров, сервер — и наши шансы пересечься есть, но немного. С crowdsec это может быть куча серверов и шансы пострадать пропорционально выше.
                    0
                    McStrauth:

                    Ещё раз повторю многократно высказанное в разных местах дискуссии. Я – порядочный пользователь, сижу за NAT провайдера. В сети этого же провайдера развлекается мамкин хакер, о котором я даже не подозреваю. Я правильно понял, что для меня – порядочного человека, которому просто надо работу работать – процесс разбанивания будет всё более и более утомительным?

                    Нет, на самом деле, как было сказано выше, это чрезвычайно простой процесс: Вы будете направлены на веб-страницу, где вы вводите IP-адрес для разбанивания.
                    Тем не менее, владелец сети за этой точкой NAT должен что-то сделать с этим, иначе когда-нибудь IP будет снова запрещен. Мы также рекомендуем нашим пользователям не банить, по возможности, чтобы избежать этих проблем. Желательно посылать Captcha или 2FA запрос клиентам, использующим IP, который потенциально скомпрометирован.

                    Второй вопрос – как я пойму, что у меня ничего не работает именно потому, что сработал этот ваш коллективный иммунитет? И как мне, обычному юзеру, искать, где мне надо себя разбанить, чтобы нужное мне заработало?

                    IP-адрес будет автоматически разбанирован в течение 72 часов, если от этого IP-адреса больше не исходит агрессия.
                    Основной механизм, вероятно, будет исходить от HTTP-соединений. Вероятность того, что ваш IP будет запрещен глобально на всех сервисах инфраструктуры, является низкой, потому что это навредит бизнесу того, кто навязывает такую политику.
                    На веб-уровне мы будем информировать (насколько это возможно) визиторов о причинах их запрета и о том, как их удалить. Для других протоколов, скажем, если кто-то мешает вашему IP-адресу делать DNS-запросы или SMTP-транзакции, администратор точки NAT должен будет проверить, какая машина была скомпрометирована и очистить ее.
                    Позже, мы собираемся иметь баунсеры (компоненты, работающие с опасными IP), которые будут напрямую перебрасывать юзеров за скомпрометированным IP на веб-страницу.

                    Третий вопрос – что помешает кучке сговорившихся и соображающих в предметной области людей держать в перманентном бане неугодного им провайдера? Даже без всяких сложных материй, а чисто из желания «чисто по приколу» в силу мерзости натуры и недалёкости ума. Каковая недалёкость, увы, не мешает здорово разбираться в предметной области, увы.

                    Ну, у нас есть достаточно развитая система, которая заботится об отравлении/poisoning (то, что вы описываете) и ложных срабатываниях (false positives). Проще и короче говоря, до карантинного периода длительностью в 6 месяцев никакие сигналы от ненадежных персон не принимаются во внимание. Если они составили точную отчетность за 6 месяцев, соотнесенную с нашей собственной приманкой и/или другими доверенными лицами, то они поднимаются, потенциально, на первый ранг, доверия. Если они ложно сигнализируют об IP, они теряют ранг. Наша приманкa коррелирует сигналы, в целях проверки.

                    Кроме того, список «канареек», надежных IP-адресов, составляется для того, чтобы не стрелять законных и чистых актеров.
                    И последнее, но не менее важное, мы скоро начнем обучать искусственный интеллект (artificial intelligence) обнаруживать отравления и аномальные сообщения (среди прочего). В крайнем случае (но вряд ли) администратор может связаться с нами и обсудить с нами этот вопрос.

                    Чем в таком случае предложенное решение отличается от Роскомнадзора с его ковровыми блокировками всех, кто под руку подвернулся? Ну, кроме масштабов, разве что.

                    Я не знаком. Наша цель — во что бы то ни стало не цензура, а защита всех, кто хочет, чтобы его защищали.
                      0

                      возьмите у провайдера статичный IP адрес и не имейте проблем с использованием общего IP с горе-пользователями этого провайдера

                      0
                      Сомневаюсь, все что Вы описали легко поддаётся автоматизации. Кто мешает разработать алгоритм учитывающий Ваши тайминги. Что впрочем уже сейчас и делается.
                        0
                        Doronin77
                        Время разбанирования одного и того же IP растет с каждым запросом. Кроме того, это не может быть автоматизировано из-за Капчи. (Хотя я не уверен, что вы имеете в виду именно это). Но у меня есть лучший ответ, мы не можем позволить себе курировать его вручную, так что мы умно-автоматизируем. Если мы потерпим неудачу в этом, любой может использовать наше программное обеспечение (MIT), чтобы сделать свою собственную версию.
                        Следовательно, мы добровольно обязаны сделать качественную работу в этом направлении.
                          0
                          Капча уже давно поддаётся автоматизации, есть много сервисов которые позволяют любую капчу распознать и ввести в скрипте. Понятно что в этих сервисах распознавание и ввод капчи выполняют живые люди за очень небольшую денежку. Чтобы создавать подобные проекты хорошо бы знать, как сейчас реально работают с брутфорсом. Потому-что автоподстройка под тайминги программ блокировки используется уже очень давно, как и пулы IP адресов, которые позволяют сократить время.
                    +4
                    Не раскрыт (или я упустил) ключевой момент – насколько этот так называемый «коллективный иммунитет» защищён от манипуляций?

                    Для аналогии вспоминаем времена, когда почтовики попадали – часто на ровном месте – в базы всяких SpamHouse, SpamCop и прочих. И потом приходилось долго и упорно доказывать, что ты не верблюд, чтобы почта ходила. А некоторые из этих инструментов прямо предлагали платное исключение из своих чёрных списков.
                      0
                      Так это ни куда не делось. Если рунет сегмент не сильно зависит от этих списков, то штаты и европа зависят чуть более чем полностью. И в некоторых случаях ситуация доходит до абсурда — черный список есть, а домен описания черного списка с формой удаления из него протух пару лет назад
                        0
                        Это да, но это – только часть проблемы.

                        1. Вы попадаете в чёрный список. При этом вы ничего не знаете о том, что вы в него попали.
                        2. Вы обнаруживаете, что что-то идёт не так. Почта перестала ходить как-то странно. Или подключиться куда-то не получается, причём тоже как-то странно.
                        3. Вы тратите время на попытки понять, что же именно и где покривилось. Причём начнёте-то вы с себя – всякие маршрутизации, настройки всего и вся, и прочая, и прочая.
                        4. И вот, наконец, вы добрались до вывода, что вы внезапно – по совершенно неизвестной вам причине – попали вон в тот чёрный список (а это ж ещё знать надо о его существовании).
                        5. Пусть даже форма удаления есть и работает. Но как вы объясните «коллективному иммунитету», что это не вы, а какой-то неведомый вам кто-то пытался что-то нехорошее сделать с неведомым вам чем-то, но по несчастной случайности вы с этим кем-то делите один IP и нужное вам делит с этим неведомым вам чем-то один IP? А время, меж тем, не стоит на месте...


                        А если этот коллективный иммунитет будет всех разбанивать по первому требованию, то толку с него, скажем прямо, будет немного.

                        Я потому и спрашиваю про защиту от манипуляций. И пока вижу только один ответ – не пользоваться коллективным иммунитетом. Но тогда зачем всё это?

                        P.S. Даже ещё проще! Что-то произошло и ваш IP числится в БД коллективного иммунитета, как неблагонадёжный. И все, кто эту БД использует, отказываются с вами взаимодействовать. Это как если бы рыжая Манька попыталась обмануть приличного человека и в анналах так бы и записали – всё, рыжая Манька обманщица. И все смотрят – ага, вот она рыжая, и звать Машей. Всё, гнать в три шеи! А то, что это всё было на другом конце земного диска и далеко не факт, что та Манька такая уж и обманщица, а тот человек так уж и приличен. И вообще, вам совершенно неизвестно, что там было и было ли, но – раз рыжая и раз Маша, то всё, нафиг, ибо так написано в коллективной БД.
                          0
                          по несчастной случайности вы с этим кем-то делите один IP

                          Это в лучшем случае — тут хоть что-то можно сделать. Но есть ещё IP spoofing, и тут уже ничего поделать нельзя.

                            0
                            Tangeman
                            Тот же самый IP-адрес совпадает с проблемой NAT, ответ на которую приведен выше.
                            Подмена TCP-соединений в публичных сетях довольно сложна и не является частым, за исключением уровня BGP, который мы не рассматриваем. UDP (где подмена легко выполняется) не проталкивает IP-адреса в базу данных. CrowdSec не пытается решить проблему с DrDOS, потому что это сделает вещи ненадежными.
                            0

                            Да это все понятно. Я написал насчет этого:


                            Для аналогии вспоминаем времена, когда почтовики попадали – часто на ровном месте – в базы всяких SpamHouse, SpamCop и прочих

                            Эти времена если и прошли то только в рунет сегменте интернета, а в штатах и Европе "умные" черные списки все еще цветут и пахнут

                              +1
                              В случае почтовых чёрных списков п.1-4 можно достаточно легко отслеживать. Пока у нас был собственный почтовик, после нескольких попаданий на баракуду(вроде) я просто накидал скрипт который по расписанию тестирует попадание в наиболее распространённые блэклисты(10 списков) айпишников почтовика и наших офисов(метод проверки есть на вики, статья DNSBL). Так что проблем это доставляло по минимуму — у всех 10 списков был интерфейс для удаления IP из списка, у самых популярных списков удаление шло достаточно быстро. Хотя и не всегда…

                              В случае же сервиса из статьи, надеюсь можно будет настроить при каком числе банов(а так же за какой период, и по какой причине) айпишника в базе банить его на моём сервере «по списку». Тогда, возможно, всё будет не так и страшно. Конечно админу всё нужно будет настроить, но и криво настроенный fail2ban может хозяина в баню отправить навечно. Т.е. опять всё упрётся в компетентность и степень паранойи админа конкретного сервера :). В конце концов, и DNSBL можно правильно готовить — не блокировать сходу, а весовой коэффициент «спам» для письма подымать.

                              Так как у сервиса предполагается в том числе и коммерческая подписка, полагаю форма отбеливания IP тоже должна [будет] присутствовать, ну и проверка своих IP по списку(может даже бесплатно). Насколько бездумно «коллективный иммунитет» будет разбанивать — сейчас можно только гадать. Ну и остаётся надеяться что владельцы и разработчики этого сервиса учтут известные проблемы DNSBL, и придумают как снизить возможный вред от них.

                              Но тогда зачем всё это?

                              Вот этого я до конца не понял. Вроде бы и fail2ban вполне справляется, плюс динамически очищается от старых записей. Но возможно кому-то этот инструмент будет удобнее, особенно если есть возможность развернуть серверную часть у себя(из статьи могу сделать вывод что есть), и использовать только для своих серверов. Тогда все свои сервера будут блокировать плохие IP ещё до того как с них доберутся до каждого из серверов. Но насколько это востребовано сказать не могу. Мне пока не приходит в голову для чего это могло бы пригодиться конкретно мне.
                                0
                                BDI
                                Вы можете запросить нашу базу данных таким же автоматизированным способом, если считаете это необходимым. На самом деле мне нравится эта идея, и я передам ее команде разработчиков. Сам наблюдай за своим IP и будь уведомлен, если он попадет в рыбную сеть, большое спасибо.
                                  +1
                                  BDI
                                  Вот этого я до конца не понял. Вроде бы и fail2ban вполне справляется, плюс динамически очищается от старых записей. Но возможно кому-то этот инструмент будет удобнее, особенно если есть возможность развернуть серверную часть у себя(из статьи могу сделать вывод что есть), и использовать только для своих серверов...

                                  Fail2ban слишком медленный для некоторых случаев использования, не может быть централизованным между серверами и не может быть развязан (обнаружить здесь, исправить там), наряду с десятком других точек. Он не совместим с IPV6, главный разработчик не может реально найти время, чтобы модернизировать его до следующего уровня, и т.д. Как уже было сказано выше, мы также производим самоочистку. Все IP, которые были замечены и никого не атаковали за последние 72H, снова признаны чистыми.
                                  Вы можете просто использовать поведенческий энжин, а не репутационный, если хотите. Вы даже можете использовать функцию, которая воспроизводит старые логи в энжине, чтобы посмотреть, что происходит в зависимости от сценария, который вы хотите использовать. Вы можете использовать его, как инструмент криминалистики, если считаете нужным. Это зависит от вас.

                                  0

                                  Я писал выше, что у почтовых черныъ списков иногда все довольно бредово может быть. Я реально был удивлен насколько часто используются в англоязычном сегменте инета различные говно блеклисты. Иногда в принципе нет формы удаления. Иногда сам список есть, а домен с описанием списка и с формой удаления протух пару лет назад (разделегирован). Иногда что-то другое, но не менее "веселое".

                                    0

                                    я травмирован от fail2ban с момента, когда влетел на полной скорости в один из его багов (он тупо не защищал по нескольким протоколам — и tcp/udp, причем был ишью в баг трекере). И по факту он для ПУБЛИЧНЫХ сервисов не нужен. Гораздо лучше работают rate limiting и прочие механизм на уровне самих сервисов (прикладной уровень).


                                    Я уж не говорю о том, что f2b не защищает от ДоСа, тут нужно использовать другие механизмы. Вроде Qrator. А блокировки по IP в случае превышения попыток входа (неверный пассворд) — это пахнет детсадом.

                                    +1
                                    Пользуясь шаредным(общим) ип адресом вам придется нести ответственность и последствия за любые плохие действия этого ип — ип общий и ответственность тоже, помойму все логично. Пользование этим адресом услуга которую вы купили (у хостера, или интернет провайдера) не нравится — не покупайте!

                                    Если для вас это важно — то вы найдете способы обеспечить себе доступ, от всяких прокси и впнов если вы частное лицо, до аренды внешних ип адресов вашей организацией.

                                    Владельцы сервисов и серверов в интернете ограничивают доступ к своим сервисам и серверам так как они считают нужными, если сервис/сервер вас забанил то вы можете жаловаться владельцу или уходить к конкуренту, выбор за вами.

                                    Если ваша почтовый ип попал в блек-лист а вы об этом не знаете — значит это для вас не критично, после пары таких инцидентов вы уже будете вкурсе об сервисах типа mxtoolbox и аналогичных, поьзоватся там бесплатным планом или может даже платным с алертами и тд.

                                    Хостеры которые дорожат репутацией своих ип строят/покупают целые системы агрегации данных с разных блеклистов, всяких «гугл сейф бровзинг» и тд, тратят время и деньги чтобы мониторить и пресекать зловредную активность со своих ип адресов и тем самым обеспечить качественный сервис своим клиентам.
                                      0
                                      MechanID
                                      Пользуясь шаредным(общим) ип адресом вам придется нести ответственность и последствия за любые плохие действия этого ип — ип общий и ответственность тоже, помойму все логично. Пользование этим адресом услуга которую вы купили (у хостера, или интернет провайдера) не нравится — не покупайте!

                                      Администраторы должны очищать скомпрометированные машины, а не просто указывать пальцем на тех, кто защищается от попыток взлома. Нашей целью является значительное замедление атакеров, а не администраторов или пользователей.
                                        0
                                        CrowdSec
                                        Вы серьйозно думаете что администраторы провайдеров и телекомов у которых сотни тысяч абонентов в крупных городах будут ходить по квартирам абонентов и чистить их компы от вирусов? как вы это себе представляете?
                                        Я восемь лет работаю в хостинге, я вижу откуда ддосят/брутфорсят/атакуют наши сервисы — это 90% диапазоны сетей телекомов с домашними пользователями. Мы не баним подсетями, мы по возможности использем IDP чтобы защищать свои сервисы, если мы баним адреса то на время — часы, сутки, но не месяцы.
                                        Обратный пример — у нас тысячи VPS и Dedicated серверов, мы реагируем на абузы, мониторим аномалии трафика(исхоядщие от нас ддосы) мы мониторим диапазоны наших сетей на предмет попадания в блеклисты, по возможности партнеримся с блеклистами и тд — это большая команда как сисадминов так и просто клиентской поддержки работающая 24/7, для такойже оперативной работы при хотябы на порядок большем количистве пользователей — нужны уже сотни если не тысячи человек. Ессно этого в обчных телекомах нигде нет и не будет.
                                          0

                                          Аккаунт CrowdSec явно из Европы (Франции?) (т.к. пользуются переводчиком). Они живут в совершенно другой информационно-административной среде.


                                          Им будет очень тяжело нас понять, и это нормально. Боюсь, они просто не поймут вашу иронию или сарказм.

                                            0
                                            Так интернет он общий для всех, у нас стоят сервера в датацентрах США, Англии, Нидерландов — проблемы(атаки) везде одинаковые, неповерю что в Франции или где либо еще в Европе интернет другой и таких проблем там нет.
                                              0

                                              Вы правы. Просто объяснять что-то прекраснодушным европейцам сложно. Терпите ;)

                                        0
                                        1. Купить выделенный ip у провайдера не всегда возможно, этой услуги может не быть в принципе.
                                        2. Vpn и прокси чаще уходят в бан, даже собственноручно поднятые; выклянчить у хостера новый ip только потому что он что-то где-то не того — вопрос индивидуальный.
                                        3. Не все достаточно продвинутые (и не всегда блокировка очевидна, например сервер рубит подключение на фаерволле) чтобы правильно распознать и сделать определенные телодвижения.
                                        4. Можно быть белым и пушистым и угодить в блеклист. У меня были случаи, когда прилетала абуза со спамхауса чуть ли не с годовалой задержкой.
                                        5. В этом плане хостеры обычно мониторят общепринятый abuse@, он же вписан в whois.

                                          0
                                          Если к VPN привязан статический IP, как он уйдёт в бан, кроме как по вине владельца.
                                            0
                                            Зависит от паранойи владельца ресурса. Увидит он, что много банов с такой-то подсети (тем более, если она явно принадлежит какому нибудь хостингу), забанит всю эту подсеть.
                                            Такой вариант возможен.
                                        0
                                        Все эти темы подробно описаны в нашем FAQ. Было бы немного сложно объяснить все это в комментариях к статье. Извините, что FAQ пока не доступен на русском языке. Может быть, когда-нибудь член сообщества поможет нам в этом.
                                        Но вкратце, чтобы избежать отравлений и ложноположительных результатов, у нас есть система, называемая Consensus (Консенсус). Она включает в себя рейтинг доверия (trust rank), сеть приманок (honeypot network) и список канареек (canaries) — список IP-адресов, которые считаются безопасными и никогда не должны быть запрещены. Подробнее об этом можно прочитать в нашем FAQ.

                                        На нашем сайте есть форма unban (с cooldown и каптчей, чтобы избежать злоупотреблений), а IP-адреса, которые очищаются администраторами, автоматически удаляются из консенсус БД (database) каждые 72 часа.

                                        FAQ Site: crowdsec.net/faq
                                          0
                                          Все эти темы подробно описаны в нашем FAQ. Было бы немного сложно объяснить все это в комментариях к статье. Извините, что FAQ пока не доступен на русском языке. Может быть, когда-нибудь член сообщества поможет нам в этом.

                                          Но вкратце, чтобы избежать отравлений и ложноположительных результатов, у нас есть система, называемая Consensus (Консенсус). Она включает в себя рейтинг доверия (trust rank), сеть приманок (honeypot network) и список канареек (canaries) — список IP-адресов, которые считаются безопасными и никогда не должны быть запрещены.
                                            0
                                            McStrauth
                                            Пункты 1-4 были подробно рассмотрены ранее в комментариях.
                                            P.S. Даже ещё проще! Что-то произошло и ваш IP числится в БД коллективного иммунитета, как неблагонадёжный. И все, кто эту БД использует, отказываются с вами взаимодействовать...

                                            Не уверен, что понял вопрос: Если вы имеете в виду, что не смогли разблокировать себя из-за того, что ваш IP заблокирован, то вы можете просто использовать веб-браузер на вашем телефоне. Но наш unban формуляр не мешает никому получить к нему доступ. Мы не указываем пальцем, мы (и все администраторы) знаем, что IP-адреса (в IPV4) могут использоваться многими. Блокирование IP не бросает тень на конкретного пользователя или компанию. Но администраторы все равно должны что-то с этим делать. Для вас, для корпорации, по юридическим причинам и т.д
                                              0

                                              Да уж, эти spamcop и spamhaus и сейчас докучают. Мы написали пару мониторингов попадания в некоторые блэк-листы. Как только стреляет алерт, мы бежим просить делист из блэк-листа, в который попали.
                                              Но в отличии от нескольких наших "больных" блэклистов, где делист можно получить сразу, спам-коп банит на долго и почта реально не идёт.

                                              0
                                              Здравствуйте,
                                              Чтобы избежать устаревших данных, мы удаляем все IP-адреса из БД (database), которые не были замечены пользовательской сетью (user network) по истечении 72 часов.
                                              Сеть достаточно заселена, чтобы увидеть, возвращается ли какой-либо IP по истечении такого периода времени, и продлить запрет ещё на 72 часа.

                                              FAQ Site: crowdsec.net/faq
                                              0
                                              Здравствуйте,
                                              Раздел FAQ по этому поводу называется “Poisoning & False positives (aka Consensus)”.
                                              Резюмируя, Crowdsec использует рейтинг доверия — Trust rank — для своих юзеров. Кроме того, реализуется приманка для двойной проверки отчетов, а также список IP-адресов, которые считаются безопасными и никогда не должны быть запрещены, последний называется канарейками (= канарейки в шахтах, которые использовались для обнаружения утечек газа).

                                              FAQ Site: crowdsec.net/faq
                                                0
                                                Здравствуйте,
                                                Раздел FAQ по этому поводу называется “Poisoning & False positives (aka Consensus)”.
                                                Резюмируя, Crowdsec использует рейтинг доверия — Trust rank — для своих юзеров. Кроме того, реализуется приманка для двойной проверки отчетов, а также список IP-адресов, которые считаются безопасными и никогда не должны быть запрещены, последний называется канарейками (= канарейки в шахтах, которые использовались для обнаружения утечек газа).

                                                FAQ Site: crowdsec.net/faq
                                                  0
                                                  Здравствуйте,
                                                  Раздел FAQ по этому поводу называется “Poisoning & False positives (aka Consensus)”.
                                                  Резюмируя, Crowdsec использует рейтинг доверия — Trust rank — для своих юзеров. Кроме того, реализуется приманка для двойной проверки отчетов, а также список IP-адресов, которые считаются безопасными и никогда не должны быть запрещены, последний называется канарейками (= канарейки в шахтах, которые использовались для обнаружения утечек газа).

                                                  FAQ Site: crowdsec.net/faq
                                                  +2
                                                  Интересно как решается вопрос с пользователями сидящими за NATом. Один нагадил и все страдают?
                                                    0
                                                    И еще IP VPS, VDS хостингов. Они же переходят из рук в руки.
                                                      +2
                                                      Здравствуйте,
                                                      Мы настоятельно рекомендуем пользователям всегда принимать «мягкое» средство (softest remedy), вот почему.

                                                      Любой IP может быть использован для предоставления доступа большому количеству пользователей. Подумайте о большой корпоративной сети, позволяющей 35 000 пользователям, например, путешествовать по сети через 4 прокси-сервера. Если вы запретите один IP, вы можете заблокировать некоторых из 34 999 легитимных пользователей, чтобы остановить одного хакера, и это будет чрезмерно. Также, некоторые IP-адреса используются CGNAT (Carrier Grid Nat) или в переменных IP-пулах. Пользователи, стоящие за этими IP, не всегда одинаковы, и блокировка IP не является ни реальным вариантом, ни эффективным средством.

                                                      Чтобы избежать этих проблем, CrowdSec использует несколько механизмов: Один из них заключается в том, что IP-адрес должен храниться в нашей базе данных только в течение 72 часов. Если этот IP не показал никаких признаков дальнейшей агрессивности с этим периодом, мы считаем, что он был очищен, или что это был переменный IP, и он удален из блок-листа.
                                                      Вы можете выбрать, как пользователь, более разумный способ, чем просто сброс соединения с вашим файерволом.

                                                      Если вы защищаете вашу домашнюю сеть от сканирования, это никому не повредит, если вы запретите этот IP в вашем брандмауэре. Но если вы, к примеру, запустили веб-сайт электронной коммерции, вы должны быть более осторожны. В зависимости от того, какую технологию Вы используете, Вы можете послать капчу, сократить права пользователей, послать мобильную аутентификацию, замедлить соединение и т.д. Баунсеры приходят во всех формах, чтобы охватить много различных случаев использования, выбрать их мудро, и, пожалуйста, используйте наименее агрессивные средства, которые будут держать ваши активы в безопасности.

                                                      FAQ Site: crowdsec.net/faq
                                                      –1

                                                      На вид штука интересная, но как писали выше коллеги есть ряд вопросов. Для себя поставил в to do закинуть эту штуку в песочницу и поиграть с ней, а там видно будет.

                                                        +1
                                                        Спасибо, мы будем рады помочь. Не колеблетесь прийти побеседовать на нашем «Гиттере» (Gitter) или «Дискурсе»(Discourse).

                                                        FAQ Site: crowdsec.net/faq
                                                        +1

                                                        Стремная штука. Подозреваю, что если чатик на 5-10 админов более менее трафиковых проектов сговорится, и начнёт синхронно репортить неугодных им, как ddosеров, то жертвы будут улетать по всему миру в бан только так.

                                                          +1
                                                          Т.е. теперь можно кого угодно «забанить по ip» на всех сайтах-пользователей этого сервиса. Удобно!
                                                            0
                                                            savostin
                                                            Т.е. теперь можно кого угодно «забанить по ip» на всех сайтах-пользователей этого сервиса. Удобно!

                                                            Нет, вы не можете, проверьте пожалуйста объяснения выше.
                                                            0

                                                            Вообще масштабный бан по айпи с помощью такого распределенного блэклиста опасен в первую очередь законопослушным пользователям. По принципу "лес рубят — щепки летят".


                                                            В сторону: Все эти меры напоминают борьбу правоохранителей с гражданским огнестрельным оружием. Мол, от этого преступность снижается (только она не снижается — бандит ствол всегда достанет, плевать, есть закон, нет закона).


                                                            Так и тут — бот и злоумышленник, попав под бан, тупо сменит айпишник или подсеть. А что делать простому смертному, которого забанили "под шумок"?


                                                            И я даже не исключаю ситуации: человек покупает виртуалку с публичным айпишником и обнаруживает, что айпишник в бане. А это просто предыдущий владелец айпишника ЦП хостил и наркотой барыжил. И вот попробуй докажи, что ты не верблюд?


                                                            И даже не так: попробуй, докажи что ты не верблюд, если таких заявок на разбан миллион, и 99% из них поданы от таки злоумышленников, маскирующихся под добропорядочных?


                                                            На инструмент будем посмотреть, а глобальные бан-листы пугают-с.


                                                            P.S. Всё это, разумеется, моё IMHO.

                                                              0
                                                              Arris
                                                              Вообще масштабный бан по айпи с помощью такого распределенного блэклиста опасен в первую очередь законопослушным пользователям. По принципу «лес рубят — щепки летят».
                                                              В сторону: Все эти меры напоминают борьбу правоохранителей с гражданским огнестрельным оружием. Мол, от этого преступность снижается (только она не снижается — бандит ствол всегда достанет, плевать, есть закон, нет закона).
                                                              Так и тут — бот и злоумышленник, попав под бан, тупо сменит айпишник или подсеть. А что делать простому смертному, которого забанили «под шумок»?

                                                              Поскольку мы рассматриваем комментарии в пакетном режиме, этот момент рассматривается чуть раньше в этом новом пакете ответов. Действительно, наша цель — высушить IP-пулы плохих парней. На самом деле у нас уже есть некоторые случаи использования, где 3000 или даже 9000 IP-адресов, делающих начинку кредитной карты для 1-го и http DDoS для последнего, были заблокированы менее чем за минуту. На самом деле очень немногие домашние сети или конечные пользователи должны быть заблокированы, и если это так, то они могут быстро разбанировать и знать, что у них дома есть взломанная машина. Они могут легально (по крайней мере, во многих странах) нести ответственность за то, что было сделано с их IP-адресом.
                                                              И я даже не исключаю ситуации: человек покупает виртуалку с публичным айпишником и обнаруживает, что айпишник в бане. А это просто предыдущий владелец айпишника ЦП хостил и наркотой барыжил. И вот попробуй докажи, что ты не верблюд?

                                                              На самом деле, если человек арендует VPS или сервер в центре данных с IP, он, скорее всего, установит новую ОС и никому не будет угрожать. Затем IP будет автоматически отключен в течение 72 часов.
                                                              На инструмент будем посмотреть, а глобальные бан-листы пугают-с.

                                                              На самом деле, вы можете использовать его как энжин поведения и не сообщать об IP, который пытается взломать вас, если это кажется слишком страшным. Вы в любом случае получите чертовски fail2бан на стероидах.

                                                              P.S. Всё это, разумеется, моё IMHO.

                                                              И мы ценим все ваши отзывы. Они очень изучены и выслушаны нашей командой. Приносим извинения за задержку между вашими комментариями и нашими ответами. Это не потому, что мы не заинтересованы, просто наш процесс перевода немного сложен. Спасибо за терпение
                                                                0

                                                                Спасибо. Я думаю, вам стоит нанять специалиста в РФ с родным русским языком ;-)


                                                                Использование автопереводчиков не всегда положительно сказывается на смысле ;-)

                                                                0
                                                                Все эти меры напоминают борьбу правоохранителей с гражданским огнестрельным оружием. Мол, от этого преступность снижается (только она не снижается — бандит ствол всегда достанет, плевать, есть закон, нет закона).


                                                                Судя по убийству на почве обсуждения домашней работы в школьном родительском чате или судя по массовым дракам родителей по результату общения в том же чате:

                                                                Люди делятся не только на «бандиты vs честные граждане», когда опасность только от первых.
                                                                Есть еще люди с, гм, нестабильной психикой. И их очень много. Причем эти люди вполне себе получают водительские удостоверения (получают разрешение от врача, занимающегося головами). Ибо разборки на дорогах с травматами уже случались.

                                                                0

                                                                Вангую, что через пару лет у сервиса появится платная подписка для компаний, чтобы их адреса никогда не попадали в черные списки. Т.к. это стандартный путь всех подобных сервисов — черных списков. Главное набрать критическую массу пользователей.

                                                                  0

                                                                  мне кажется, что такие сервисы все подвержены проблеме спуфинга и "заражения" недостоверными данными, короче, по-простому — абьюза. И ничего с этим не сделаешь.
                                                                  Очередная заявка на "серебряную пулю", которая никогда не оправдается.

                                                                    0
                                                                    Сразу вспоминаются различные почтовые BL. Хорошая идея быстро приходит к вырождению и вымогательству с шантажом.
                                                                    Главный плюс подобных систем (общий центр) является их же главным минусом.
                                                                      0
                                                                      Есть F2B, там всё просто и ясно как божий день. Есть CrowdSec и человеческий фактор, далее предполагаю: начнутся манипуляции этим самым «коллективным иммунитетом», появится какая-то коммерческая модель проекта с подписками и прочим, после наращивания критической массы вопрос исключения невиновного из блэклиста станет рутиной.

                                                                      З.Ы.: комментарии разработчиков читал тут, но в теории всегда всё ништяк, а практика показывает обратное — это раз. Два — проект молодой, пока всё радостно и перспективно, а все «шишки» ещё впереди, равно как и возможная коммерциализация проекта.
                                                                        0
                                                                        глобальная база репутации IP-адресов типа иммунной системы интернета.


                                                                        Определенный смысл есть.
                                                                        Но ценность всё же значительно ниже, чем декларируется, ибо в нашем мире все устроено иначе, чем в том ламповом интернете, что был, скажем, 20 лет назад:

                                                                        При дефиците IP, когда у очень многих провайдеров ты ходишь из под NAT (у мобильных почитай у всех, а мобильный трафик — это уже много больше половины).

                                                                        При популярности Tor и публичных VPN, когда с одного адреса ломится куча народу.

                                                                        Only users with full accounts can post comments. Log in, please.