Common Event Format изнутри



    Один за одним производители программных и программно-аппаратных решений заявляют о получении сертификата, подтверждающего поддержку формата Common Event Format (CEF) компании HP ArcSight: Stonesoft, Tripwire, Citrix, Imperva, NetScout и еще несколько десятков вендоров…



    Про SIEM


    В соответствии с ежегодными отчетами Gartner, компания HP ArcSight (до сентября 2010 — ArcSight) уверенно держится в числе лидеров по разработке решений класса SIEM. Если кратко, то суть таких решений — собрать в одном месте сотни тысячи миллионы событий, генерируемых различными системами информационной безопасности, и произвести корреляционный анализ этих событий. Результатом корреляции являются инциденты безопасности, с которыми работает уже человек — администратор или оператор.

    Каждый производитель SIEM-решений в своих рекламных брошюрах обычно указывает количество поддерживаемых источников событий. К примеру, заявляется, что ArcSight ESM поддерживает 300+ устройств и приложений, а у QRadar SIEM их «всего лишь» 200+. Кто там и как считает источники — сейчас неважно, поскольку в рамках данной статьи нас будет интересовать формат событий (журналов) информационной безопасности.

    Про журналы


    Каких-либо общих требований к структуре журналов и событий ИБ пока нет. Поэтому каждый разработчик оформляет журналы так, как ему удобнее.

    Кто-то просто пишет их в текстовый файл, кто-то предоставляет возможность отправлять данные на Syslog-сервер. Одному хватает только SNMP, а другому хочется складывать все журналы в реляционную базу данных. Есть еще Microsoft с ее форматом .evt, есть CheckPoint с его OPSEC. И не забываем про SDEE.

    Про проблему


    И структура логов, и используемые для их передачи протоколы везде разные. С точки зрения интеграции с SIEM-решениями (и не только с ними), это — плохо. Потому что для унифицированной обработки логов их нужно нормализовать, т.е. привести к единому формату. В едином формате события проще хранить. Проще осуществлять поиск данных и формировать отчеты.

    Нормализация подразумевает разбор событий (parsing) и сопоставление полей (mapping). Поэтому каждый коннектор между системой ИБ и SIEM-решением представляет собой приложение, которое парсит и маппит в соответствии со своими конфигурационными настройками.
    Если у производителя SIEM нет поддержки нужного тебе продукта, значит придется выполнять конфигурационные настройки самому. Разрабатывать и тестировать регулярные выражения. Изучать структуру базы данных, осваивать SQL*Plus. Писать правила сопоставления. Грустить, в общем…

    Предложенное решение


    «Как было бы хорошо, если бы все производители систем ИБ отчуждали свои логи в понятном для всех виде» — подумали в ArcSight и в 2006 году представили на всеобщее одобрение обозрение разработанный ими формат CEF. На мой взгляд, в этом формате нет ничего сложного. Нужно выполнять всего несколько требований:

    Требование №1 — В качестве транспорта используем Syslog

    Тут, вроде бы, понятно.
    Хочу — использую протокол UDP, хочу — TCP.

    Требование №2 — Заполняем восемь обязательных полей

    Разумеется, в начале сообщения должен присутствовать традиционный syslog header
    Jan 18 11:07:53 host

    А уже за ним — префикс CEF: и набор обязательных полей, разделенных символом "|"
    CEF:Version|Device Vendor|Device Product|Device Version|Signature ID|Name|Severity|Extension

    Здесь:
    • Version — версия формата CEF
    • Device Vendor, Device Product и Device Version — эти строки однозначно идентифицируют источник событий. Не существует продуктов, у которых будет одинаковый набор этих трех значений
    • Signature ID — уникальный идентификатор типа события
    • Name — понятное человеку описание события
    • Severity — важность события (от 0 до 10)
    • Extension — см. ниже


    Требование №3 — Поле Extension заполняем в соответствии со словарем CEF

    Поле Extension — это набор пар «ключ — значение». Приведу несколько ключей из словаря:

    dmac — это Destination Mac Address (например, 00:0D:60:AF:1B:65)
    spt — это Source Port (порт от 0 до 65535)
    request — это Request URL (в случае с HTTP-request указывается URL-адрес)

    В описании формата CEF словарь приведен полностью, с указанием типа данных по каждому ключу и максимально допустимого размера.

    В конце документа приведены еще некоторые общие требования. В частности, для всего сообщения целиком должна использоваться кодировка UTF-8. Там же указаны правила оформления некоторых спецсимволов и многострочных записей.

    В итоге, оформленное в точном соответствии с форматом CEF сообщение должно выглядеть примерно так:
    May 29 15:26:33 host CEF:0|McAfee|Antivirus|5.2|100|worm successfully stopped|10|src=10.0.0.1 dst=2.1.2.2 spt=1232

    В чем выгода?


    1. Подключение нового источника событий превращается в «plug and play»
    2. Снижается нагрузка на саму SIEM-систему
    3. Производители SIEM-решений больше не меряются количеством поддерживаемых источников и уделяют больше внимания другим аспектам (юзабилити продукта, его отказоустойчивость и т.п.)
    4. И вообще, этот формат придумали не только для SIEM. Его уже применяют и в других решениях, связанных с обработкой логов.
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 15

      0
      Стандартизация логов для SIEM — это очень хорошо. Но ограничиваться передачу стандартизированных логов только по syslog, на мой взгляд, не очень правильно. Этим мы сильно сужаем круг источников событий (а как же Microsoft Windows, Microsoft SQL и многие другие источники событий ИБ?)
        0
        На первом месте — приведение логов к определенному формату.

        С помощью чего передавать логи — это уже второй вопрос. Syslog был выбран из-за простоты реализации.
        Кстати, syslog в windows реализуется с помощью бесплатного SNARE.
          +1
          Согласен про приведение логов к единому формату.

          Но привязка к единому транспорту ограничивает сферу применения стандарта CEF. Зачем ставить на windows-сервер syslog клиента, если есть несколько стандартных, причем безопасных, методов передачи логов с таких машин?

          Может производителям стоит обратить внимание на стандарт CEE (http://cee.mitre.org/).
            –1
            Бегло прочитал описание CEE.
            По-моему, CEE и CEF — одного поля ягоды, идеи очень похожие, по CEF как-то понятнее…
            Кстати, CEE тоже можно через syslog передавать.

            Но производители почему-то склоняются именно к CEF.
              0
              Вы в корне неправы.
              Можно примеры склонности к CEF?
              Почитайте презентацию Чувакина. Там азы заложены ;)
                0
                Вы в корне неправы.

                Очень серьезное заявление. Ладно бы, если я был неправ в п.1, если быть точным — п.п. 1.7 и п.п. 1.18.
                Но если «в корне», тогда пора мне переносить статью обратно в черновики…

                Можно примеры склонности к CEF?

                В начале моей статьи есть ссылки на пресс-релизы.
                Вот еще ссылка на список технологических партнеров HP ArcSight

                Почитайте презентацию Чувакина. Там азы заложены ;)

                Я извиняюсь, а кто такой доктор Чувакин и почему его презентация — это азы?
                Более того, его мнение нельзя считать непредвзятым, поскольку он работает на LogLogic (один из производителей SIEM).

                И еще. Ваш смайлик после слова «азы» как бы намекает, что я не знаком даже с азами.
                Делаю вывод, что вы — очень самоуверенный человек.
                  0
                  У вас устаревшая информация. Он в Gartner :)
                    0
                    хорошо, я исправлюсь: на момент разработки своей презентации про CEE доктор Чувакин работал в LogLogic
                    0
                    «CEF Connectors and Action Connectors are the foundation for interoperability between ArcSight and partner technologies which can be certified to benefit our joint-customers»
                    Это не склоняются именно к CEF", они используют его для интеграции. Это разные вещи. Приведу простой пример. Вам нужно (именно вам, потребность) позвонить в Штаты. Вы им предлагаете заговорить с вами на русском, или все же будете на инглише разговаривать?
                      0
                      Вы мне лучше приведите ссылку, по которой я смогу пройти и убедиться, что формат CEE поддерживает большее (чем формат CEF) количество вендоров
                        0
                        Давайте забудем про минусомет и объективно рассудим.
                        Говоря фразу «Вы в корне неправы.» я имела ввиду ваш коммент в котором я это написала а не статью. Не следует воспринимать комментарии не содержащие «о, спасибо, клево» как атаку на вас.
                        Цель статьи какая? Рассказать про CEF? Ну подготовьтесь, изучите его сначала сами, посмотрите — а какие есть проблемы у siem\sim систем в рамках типизации событий. Приведите примеры плюсов и минусов использования CEF. Посмотрите кто использует CEF и как. В данном случае вы объективно этого не понимаете. Пример — продукт компании в которой я работаю в данное время интегрирован с ArcSight. Но это не означает, что мы используем CEF.
                        Примеры? «Подключение нового источника событий превращается в «plug and play»» Вот ведь не так на практике, да?! Да, с типизацией на стороне источника, с которым интегрируемся или агента (когда в siem приходят уже нормализованные типизированные события) все намного проще становится. Можно и фильтрацию делать, и ресурсы сервера на типизацию не тратятся. И правилами корреляции по ним можно работать и методами пройтись…

                        " Его уже применяют и в других решениях, связанных с обработкой логов." Можно примеры? Просто примеры классов решений. Или вендоров. Для саморазвития. Может, я просто фразу не поняла.

                        «Вы мне лучше приведите ссылку, по которой я смогу пройти и убедиться, что формат CEE поддерживает большее (чем формат CEF) количество вендоров»
                        CEE: Tripware, Sensage
                        CEF: ArcSight
                        Это siem-ы. То что указали вы, еще раз, при всем уважении, это «CEF Connectors and Action Connectors», но не использование CEF партнерами для своих продуктов.

                        У CEF, равно как и у остальных, есть свои плюсы и минусы. Насколько я знаю из блогов, CEF хотели модифицировать, развить, так как не совсем устраивал.

                        Про udp доставку, я надеюсь, вы знаете. 100 км от мкад и там такие каналы связи «замечательные»… Про спутник — тоже. Встает сразу проблема целостности передачи. Ну а про защищенность udp я промолчу.
                          0
                          девушка, смените тон, пожалуйста
                          «подготовьтесь к алгебре как следует» — я с таким же успехом могу высказать в Ваш адрес

                          пример с MaxPatrol очень показателен в данном случае
                          спросите у программистов вашей компании, почему вместо CEF используется XML — узнаете много интересного для себя
                          заодно пусть расскажут Вам про передачу трафика Syslog с помощью протокола TCP

                          если Вы так радеете за CEE — пожалуйста
                          обращаю внимание — в цели моей статьи не входили сравнительный анализ форматов и описание их плюсов/минусов
                          как бы Вам этого не хотелось
          0
          Давно пора.
            0
            Не было ли каких-нибудь изменений в спецификации с 2009 года? В особенности есть ли какие-то изменения в жестком ограничении (как я понял) перечня наименования полей (жеский перечень + 6 кастомных строковых)?

            И как в таком случае передаются логи Windows Vista+, в которых полей очень много? Получается отдельные части событий теряются?
              0
              > Не было ли каких-нибудь изменений в спецификации с 2009 года
              Последняя версия (20) от 2013 года доступна на protect724.hp.com/docs/DOC-1072

              > И как в таком случае передаются логи Windows Vista+
              Информация по маппингу полей protect724.hp.com/docs/DOC-2914

            Only users with full accounts can post comments. Log in, please.