Palantir: как обнаружить ботнет

    В 2009 году китайская киберразведка на своей шкуре испытала мощь всевидящего ока Palantir. Аналитики из Information Warfare Monitor раскрыли крупные китайские разведывательные операции — Ghostnet и Shadow Network. (отчет)

    Вместе с компанией Edison продолжаем расследование возможностей системы Palantir.


    «Надеюсь, что немного осталось лет до того, как человеческий мозг и вычислительные машины будут тесно связаны, а получившееся партнерство будет думать так, как человеческий мозг никогда не сможет, и обрабатывать данные способами, недоступными известным нам машинам.» Сказал Джозеф Ликлайдер 56 лет назад, стартанул кафедры информационных технологий в ведущих вузах Америки и начал строить ARPANET. — «Люди будут задавать цели, формулировать гипотезы, определять критерии и выполнять оценку. Компьютеры будут делать рутинную работу чтобы расчистить путь к открытиям в технических и научных областях».

    «Взаимодополняемость человека и компьютера — не только глобальный факт. Это еще и путь к созданию успешного бизнеса. Я осознал это на собственном опыте, полученном в PayPal. В середине 2000-х наша компания, пережив крах пузыря доткомов, быстро росла, но нас тревожила одна серьезная проблема: из-за мошенничеств с кредитными картами мы теряли больше 10 миллионов долларов ежемесячно. Совершая сотни и даже тысячи переводов в минуту, мы не могли физически отслеживать каждый из них — никакая команда контролеров не в состоянии работать с подобной скоростью. Мы поступили так, как поступила бы на нашем месте любая команда инженеров: попытались найти автоматизированное решение.»
    Сказал Питер Тиль и основал Palantir.

    Под катом кейс о том, как с помощью инструмента финансовой аналитики можно вскрыть ботнет.
    Кейс «вымышленный», но на скриншотах фигурируют данные 2009 года.

    (За помощь с переводом спасибо Ворсину Алексею)



    0:00 Это видео покажет как с помощью продукта Palantir для финансовой аналитики мы можем исследовать, нефинансовые данные структурированные во времени.
    0:09 Если быть точным, то мы покажем разоблачение возможной ботнет-атаки, сделанное на основе анализа некоторого количества киберданных с помощью Palantir Finance и Palantir Goverment.
    0:16 Данными будет вся информация о подключениях отклоненных маршрутизатором за четыре дня.
    0:22 Мы увидим, как аналитик будет изучать данные и исследовать то, что выглядит подозрительно.
    0:28 Мы начнем на очень общем уровне, над всей совокупностью объектов и будем добавлять фильтры по одному, спускаясь, таким образом, вниз, шаг за шагом.
    0:35 Поле внизу будет показывать отфильтрованные объекты.
    0:41 Чтобы начать, мы распределим данные об отклоненных подключениях по портам, на которые они направлены. Мы сделаем это, используя фильтр.
    0:48 Существует много видов фильтров для исследования данных.



    0:51 Мы можем фильтровать по свойствам данных, и для этого используем фильтры слева, в верхней части экрана.
    0:54 По числовым значениям, используя гистограмму и прочие фильтры.
    0:58 По свойствам, основанным на времени, с помощью фильтров timeline.
    1:01 Мы хотим узнать, насколько много подключений было отклонено на всех портах назначения, так что мы добавим фильтр «по назначению порта».
    1:10 Фильтр «гистограмма» показывает нам распределение по портам назначения.



    1:14 По оси Х расположены разные группы портов, по оси Y мы видим сколько подключений зафиксировано в port bucket.



    1:21 Гистограмма показывает нам несколько разных вещей: во-первых, мы видим, что почти все порты были задействованы.
    1:27 Наибольшая концентрация активности, заметна в портах до 5000, что имеет смысл, так как этот отрезок включает в себя наиболее часто используемые порты, например AD порт для HTTP или порт 23 для Telnet.



    1:37 Давайте посмотрим на самый большой столбец.
    1:41 Глядя на поле внизу, мы видим что этот столбец относится к порту 1434, что имеет значение, так как этот порт используется для MS SQL, и он часто является мишенью для червя SQL slammer.



    1:51 Порты с более высокой нумерацией реже используются в легитимных целях, так что мы исследуем один из этих сегментов портов.
    1:56 Мы можем кликнуть на сегмент портов, чтобы отфильтровать результаты по объектам из этого сегмента.
    2:00 Этот сегмент может содержать несколько портов, но нам интересен только один, наиболее часто задействованный.
    2:07 Мы можем использовать «увеличение» (Zoom) – одну из функций выбора в гистограмме.
    2:09 Увеличив, мы видим, что порт 18100 ответственнен почти за все подключения.



    2:15 Мы выделим этот порт, чтобы исследовать подключения, адресованные к нему.
    2:20 Давайте посмотрим как эти подключения распределены по IP адресу.
    2:25 Мы можем добавить фильтр «категория» (category), чтобы увидеть все IP адреса, являющиеся целевыми для этого сегмента (портов).
    2:30 Мы видим, что почти все подключения адресованы одному IP.



    2:33 Мы выделим этот адрес, чтобы увидеть только связанные с ним подключения.
    2:37 Теперь мы исследуем эти подключения по времени их появления.
    2:41 Мы сделаем это, добавив фильтр «время подключения» (connection time).



    2:45 Мы можем увидеть, что вся масса подключений произошла в течение десяти часов, и количество подключений нарастало, достигло пика и со временем сошло на нет.

    2:53 Это интересный пример, мы вернемся к нему позже.
    2:56 Чтобы получить лучшее представление о данных, давайте исследуем источники этих подключений. Особенно, мы хотим увидеть такие характеристики подключений, как IP адрес и порт источника по времени подключения.
    3:07 Мы можем исследовать это с помощью фильтра «диаграмма рассеивания» (scatterplot).
    3:12 За ось X мы возьмем время, за ось Y – порт источника подключения.
    3:20 Мы можем использовать цвета как третью ось, значением будет IP адрес источника подключения.
    3:31 Это означает, что одни и те же IP адреса источников будут выделяться одним цветом.
    3:37 Мы можем увидеть здесь кое-что интересное: некоторые порты были целевыми только для небольшого количества IP адресов, что мы можем увидеть по точкам схожего цвета и расположенным только по горизонтали.



    3:47 Ряд других портов, похоже, являлся целью для всего множества IP адресов.
    3:52 Мы так же можем увидеть несколько диагональных оранжевых полос, давайте изучим их подробнее.
    4:00 То, что полосы диагональны, означает, что номер порта источника подключения постоянно увеличивался.



    4:06 То, что полосы близки по цвету означает, что подключение приходило со схожих IP адресов.
    4:09 Давайте посмотрим, сможем ли мы сконцентрироваться на них.
    4:13 Для начала, выберем полоску. Как только мы выбрали несколько номеров из полосы, мы можем добавить фильтр по IP адресу источника подключения.



    4:23 И мы видим, что все эти подключения пришли с одного IP, чего я и ожидал по цвету.



    4:29 Мы можем выделить этот IP и поместить этот фильтр поверх другого, чтобы уточнить результаты диаграммы рассеивания.
    4:35 Мы можем свернуть фильтр по категориям и увидеть диаграмму рассеивания только по этому IP адресу.



    4:41 Мы видим, что этот IP адрес, несомненно, перенацеливается на разные порты отправки, с течением времени. Это классическое поведение при сканировании портов.
    4:50 Эта работа вскрыла подозрительную активность: много разных IP циклично и через множество портов были нацелены на подключение к одному IP и одному порту за короткий промежуток времени.
    5:02 Теперь мы используем Palantir Goverment, чтобы проанализировать эти данные во времени и по географическому признаку.



    5:06 Мы создали фильтр, чтобы уплотнить подмножество данных, которые мы нашли интересными с помощью Palantir Finance. Параметрами фильтра стали объекты «подключение», нацеленные на IP адрес 25.134.141.209 и порт 18100.



    5:20 Результаты фильтра появились на графе.



    5:25 Мы можем открыть timeline и увидеть, что она схожа с той, что мы видели в Palantir Finance.
    5:30 Теперь мы перетащим эти объекты на карту, чтобы увидеть расположение IP адресов этих подключений.



    5:37 Тепловая карта с помощью цвета помогает увидеть плотность подключений.



    5:42 Мы видим, что наибольшая плотность в Китае.
    5:47 С помощью time line мы можем увидеть, как события развивались.
    5:51 Мы создаем окошко времени и двигаем его, чтобы увидеть как реагирует тепловая карта.



    5:57 Мы видим, что подключения начались в Китае, затем распространились на Японию и Индонезию, затем мы видим области в Южной Америке, Европе и Австралии.
    6:11 Наконец, когда темп подключений сходит на нет, они снова сконцентрированы в Китае и Индонезии.
    6:23 Эта timeline и схема активации довольно ясно указывает на ботнет атаку. Когда атака начинается, и все большее число компьютеров вовлекается в неё, число подключений возрастает до пика, затем постепенно снижается, так как каждый компьютер пытается выполнить разное количество подключений или подключается с разной скоростью.
    6:40 За эту рабочую сессию мы использовали Palantir Finance, чтобы исследовать большой объем данных, и успешно свели его к подмножеству данных, с помощью фильтров.
    6:49 Мы смогли увидеть несколько характеристик данных и выявили подозрительную активность.
    6:56 Результатах работы в Palantir Finance мы открыли в Palantir Goverment, который дал возможность провести географический и временной анализ, что дало возможность визуализировать то, как события развивались.
    7:05 В конечном счете, наш анализ завершился раскрытием активности, которая с высокой долей вероятности является ботнет атакой.
    7:11 Те же техники, что мы использовали при раскрытии характерных черт ботнет атаки из большого объема данных о подключении, может быть использован для выявления прочей злонамеренной активности в сети, включая narrow-не-разбери-что, извлечение данных, атаки с использованием методов социальной инженерии, и многое другое.
    7:26 Все это: комбинированное предложение Palantir Cyber, — готовое решение для борьбы с наиболее обременительными задачами в сети, встающими перед правительственными и коммерческими учреждениями.



    Еще про Palantir:





    Вместе с компанией Edison продолжаем весенний марафон публикаций.

    Я постараюсь докопаться до первоисточников IT-технологий, разобраться, как мыслили и какие концепции были в головах у первопроходцев, о чем они мечтали, каким видели мир будущего. Для чего задумывались «компьютер», «сеть», «гипертекст», «усилители интеллекта», «система коллективного решения задач», какой смысл они вкладывали в эти понятия, какими инструментами хотели добиться результата.

    Надеюсь, что эти материалы послужат вдохновением для тех, кто задается вопросом, как перейти «от Нуля к Единице» (создать что-то, чего раньше и в помине не было). Хочется, чтобы IT и «программирование» перестали быть просто «кодингом ради бабла», и напомнить, что они задумывались как рычаг, чтобы изменить методы ведения войны образование, способ совместной деятельности, мышления и коммуникации, как попытка решить мировые проблемы и ответить на вызовы, вставшие перед человечеством. Как-то так.

    0 марта. Сеймур Пейперт
    1 марта. Xerox Alto
    2 марта «Позвоните Джейк». История NIC и RFC
    3 марта Грэйс «бабуля COBOL» Хоппер
    4 марта Маргарет Гамильтон: «Пацаны, я вас на Луну отправлю»
    5 марта Хеди Ламарр. И в кино обнаженной сняться и во врага торпедой пульнуть
    7 марта Великолепная шестерка: девушки, которые термоядерный взрыв рассчитывали
    8 марта «Видеоигры, я ваш отец!»
    9 марта С днём рождения, Джеф Раскин
    14 марта Джозеф «Lick» Ликлайдер: «Интергалактическая компьютерная сеть» и «Симбиоз человека и компьютера»
    15 марта Вэнивар Буш: «Как мы можем мыслить» (As We May Think)
    16 марта С днем рождения, Ричард Столлман
    21 марта Дуглас Энгельбарт: «The Mother of All Demos». Часть 1
    • +10
    • 16,6k
    • 2
    Edison
    109,00
    Изобретаем успех: софт и стартапы
    Поддержать автора
    Поделиться публикацией

    Комментарии 2

      0
      какой ещё «AD порт»? там, вроде, 80 имелось в виду
        +1
        Вот бы эту систему, да на панамские документы натравить.

        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

        Самое читаемое