Можно поинтересоваться что за строки — сколько столбцов, каков размер строки? И не совсем уловил характеристики «железа», на котором этот впечатляющий миллион достигается.
Столбцов порядка 20, общий размер строки в пределах 1КБ
Железо, 4 ядра, 32ГБ RAM, 500ГБ HDD
Клик заточен для хранения и обработки большого числа мелких строк, поля с большим объемом тут хранить не рекомендуется.
Вставка атомарная? Т.е. если вставляешь 10.000 строк не получится ли так, что пара тысяч строк вставились, а остальные — нет?
В Клике вставка в общем случае неатомарная, и как раз может получиться такая ситуация, если нужна гарантия, то либо нужно в прикладе перепроверять и перевставлять,
либо искать другое решение.
Наверно правильнее будет использовать определение языка из Википедии как SQL-подобного: https://en.wikipedia.org/wiki/ClickHouse
• SQL support. ClickHouse supports an extended SQL-like language that includes arrays and nested data structures, approximate and URI functions, and the availability to connect an external key-value store.
Когда мы начинали использовать ClickHouse, в нем не было даже нормальной поддержки операции объединения таблиц, можно было объединять только две таблицы или два подзапроса.
Если имеется в виду вариация инкрементального анализа, то основная причина заключается в том, что при выгрузке только изменённых запросов будет анализироваться код без связи с внешними функциональными модулями, классами и программами, которые он может вызывать. Это означает, что анализ не будет полноценным, так как поведение программы может изменяться сильнее, чем это может быть проинтерпретировано только в рамках изменения — AST и CFG будут уже не те =)
Также это была более простая и надёжная реализация именно с точки зрения интеграции сервисов между собой.
Добрый день. Отвечаем по пунктам:
1. Видимо, мы неточно отразили мысль в статье (уточнили в тексте). Опыт работы с SAP уже имелся, но не столь масштабный, как требовалось в данном случае. Поэтому этот проект дал нам много новых знаний.
2. У заказчика был и есть отдел безопасности SAP, они использовали свои методы проведения аналитики и выявления потенциальных проблем, но также стали одним из основных инициаторов внедрения нашей системы.
Да, Вы правы, такой продукт существует. Он относится к категории Security Awareness.
Киберполигон же представляет собой другой класс решений. Принципиальное отличие в том, что здесь знания отрабатываются не на учебной платформе, а на эмуляции реальной инфраструктуры.
В процессе обучения инфраструктуру можно менять, взламывать, восстанавливать и т.д., то есть взаимодействовать с ней, как с настоящей.
Ничего «страшного» в таких требованиях по защите КИИ нет, они предъявляются к защите ГИС и персональных данных. Объекты КИИ — это большой пласт информационных систем, которые необходимо защищать. Аналогичные требования есть не только в России, но в других странах (например — США, Евросоюз, Китай и т.д.). Атаки на объекты КИИ, в отличии от атак на «классические» ИТ- системы, могут привести к очень серьезным последствиям, в том числе, к физическому выходу из строя оборудования, созданию угрозы жизни и здоровью людей. При этом, оценка соответствия может быть выполнена не только в рамках обязательной сертификации, но и другими способами.
1) Как было указано выше, тема SOD-конфликтов достаточно весомая и многогранная. Как говорит один наш коллега, потянет на диссертацию :) Она включает множество отдельных процессов: и анализ прав доступа на наличие конфликтов между ними и определение уровня риска, который может реализоваться в случае совмещения данных прав доступа. И принципы разграничения полномочий, включая не только конфликты в рамках одного процесса, но и кросс-функциональные конфликты. И назначение компенсационных процедур, т.е. действий, направленных на минимизацию рисков, возникающих в результате наличия конфликтующих полномочий, и т.п. Но необходимо понимать, что никакая автоматизация не будет эффективной, если в компании не выстроены эти процессы и не определены политики. Чтобы их правильно выстроить, конечно, нужны соответствующие компетенции, и здесь два варианта: либо выращивать свои, что может быть долго и дорого, либо воспользоваться помощью внешних профессиональных консультантов.
2) Принцип работы инструментов «role mining» состоит в том, чтобы проанализировать имеющиеся у сотрудников текущие права доступа и выявить совпадающие права для сотрудников одной должности или одного подразделения для дальнейшего объединения этих прав в роли. Чтобы поближе познакомиться с этой темой и посмотреть, как это работает на практике, нужно обратиться к компании-производителю решения по управлению доступом и запросить демонстрацию. Практически все существующие на рынке решения имеют в своём арсенале такой функционал. Посмотрев несколько решений, вы сможете их сравнить.
3) Да, действительно, иметь в своём штате аналитиков или технологов, занимающихся непосредственно разработкой ролевых моделей, может себе позволить достаточно крупная компания. Но на начальном этапе компании среднего размера могут запустить внутренний проект по наведению порядка в процессах управления доступом, со своим уставом/регламентом и рабочей группой, в которую войдут представители бизнеса, ИТ, безопасности и СВК. Или же можно воспользоваться услугами внешних компаний, предлагающих соответствующие сервисы.
В любом случае, чем раньше начинать эти процессы, тем лучше, пока состояние «полной неопределённости» не увеличилось в масштабах и не привело к негативным последствиям.
Ранее, в финансовой компании, мы привлекали сторонних специалистов по договору на эти работы, и это были не специализированные решения IdM/IGA, а только часть автоматизации. Но теперь, по опыту в компании-вендоре, которая разрабатывает собственное решение IGA, есть понимание, что специализированный инструмент гораздо удобнее, т.к. решает задачу комплексно, встраивается в процессы по управлению доступом и приносит результат гораздо быстрее и качественнее.
Журнал IP-пакетов, как и написано в статье, это только первая ступень диагностики и не решает абсолютно все проблемы. Мы предлагаем системный подход: от простого к сложному. Многие сразу начинают искать проблемы на канале или в компонентах софта, теряя на это время, хотя разгадка бывает банальна.
Не рассматривали возможность преобразование дерева ANTLR в свое собственное представление с использованием Listener?
С помощью листенеров дерево ANTLR перегоняется в XML, но это происходит без всяких оптимизаций, дерево трансформируется один в один — это не то, что нам нужно. Таких возможностей не рассматривали.
планируете ли вы выложить грамматику в Open Source?
День добрый. Выше, в первой части статьи, автор писал о том, что из-за постоянно меняющегося окружения невозможно построить 100% Ролевую модель. Т.е. обеспечить полностью работников необходимыми правами на долгое время. Меняются функциональные обязанности, меняется структура – это естественный процесс. Если даже предположить, что можно выстроить в моменте 100% ролевую модель, то через месяц мы обнаружим, что она уже не соответствует реалиям.
Поэтому правильным подходом будет обеспечение пользователей базовыми необходимыми правами. Причём, в зависимости от конкретной позиции и подразделения количество базовых прав может быть разным. Где-то это будет 80%, а где-то придётся остановиться на 20%. Остальные необходимые права можно оставить для запроса по отдельным заявкам.
Кроме того, сама Ролевая модель – это живой организм, который нужно поддерживать постоянно (как человек не может обходиться без пищи, он просто умрёт). Должен быть разработан отдельный процесс, который обеспечивает поддержание Ролевой модели в актуальном состоянии, в этом процессе должны быть тоже распределены роли и обязанности. Но об этом в следующей части нашей статьи. Скоро опубликуем :)
Спасибо за комментарий. Жаль, что вам так показалось, но вы сделали не вполне верные выводы по статье.
Red Teaming — это и есть учения и пришли они из военной области, поэтому и методы будут как на учениях.
Сценарий нужен больше для старта проекта и он будет изменяться в зависимости от ситуации. И согласованный сценарий, конечно, может иметь общие признаки с «армейскими учениями времен СССР».
Сценарий должен согласовываться ответственными людьми, а Blue Team не должна знать о проводимых работах. Тогда ситуации, когда все знают, откуда атакуют, не возникает (если мы говорим про классический Red Teaming).
По поводу того, что APT действуют не по playbook, — спорный вопрос.
Если рассматривать разборы атак различных APT, то они имеют общие тактики, в которых могут меняться техники, но часто даже техники повторяются.
Главная задача Red Teaming'а — это тренировка и оценка эффективности применяемых TTP Blue Team и исходя из того, что заказчик хочет получить, подбираются и методики, и сценарии и т.д.
Часто мы сталкиваемся с атаками, когда конечной целью служит один из клиентов оператора, но хакеры пытаются “завалить” всю инфраструктуру. При этом, конечно, могут пострадать и другие клиенты атакуемой инфраструктуры.
Тут двоякая ситуация.
В Ipv6 нет nat-а. Каждый чайник имеет свой IP. И часто имеет много дыр в безопасности. Соответственно, без NAT можно иметь доступ к каждому такому устройству и эксплуатировать дыры в безопасности.
Но если, действительно, за NAT все-таки будет злой бот, то могут заблокировать всех.
Если мы говорим про IoT, то возникновение первопричины блокировки устройства за NAT — его взлома — уменьшается в разы.
Столбцов порядка 20, общий размер строки в пределах 1КБ
Железо, 4 ядра, 32ГБ RAM, 500ГБ HDD
Клик заточен для хранения и обработки большого числа мелких строк, поля с большим объемом тут хранить не рекомендуется.
В Клике вставка в общем случае неатомарная, и как раз может получиться такая ситуация, если нужна гарантия, то либо нужно в прикладе перепроверять и перевставлять,
либо искать другое решение.
https://en.wikipedia.org/wiki/ClickHouse
• SQL support. ClickHouse supports an extended SQL-like language that includes arrays and nested data structures, approximate and URI functions, and the availability to connect an external key-value store.
Когда мы начинали использовать ClickHouse, в нем не было даже нормальной поддержки операции объединения таблиц, можно было объединять только две таблицы или два подзапроса.
Также это была более простая и надёжная реализация именно с точки зрения интеграции сервисов между собой.
1. Видимо, мы неточно отразили мысль в статье (уточнили в тексте). Опыт работы с SAP уже имелся, но не столь масштабный, как требовалось в данном случае. Поэтому этот проект дал нам много новых знаний.
2. У заказчика был и есть отдел безопасности SAP, они использовали свои методы проведения аналитики и выявления потенциальных проблем, но также стали одним из основных инициаторов внедрения нашей системы.
Киберполигон же представляет собой другой класс решений. Принципиальное отличие в том, что здесь знания отрабатываются не на учебной платформе, а на эмуляции реальной инфраструктуры.
В процессе обучения инфраструктуру можно менять, взламывать, восстанавливать и т.д., то есть взаимодействовать с ней, как с настоящей.
2) Принцип работы инструментов «role mining» состоит в том, чтобы проанализировать имеющиеся у сотрудников текущие права доступа и выявить совпадающие права для сотрудников одной должности или одного подразделения для дальнейшего объединения этих прав в роли. Чтобы поближе познакомиться с этой темой и посмотреть, как это работает на практике, нужно обратиться к компании-производителю решения по управлению доступом и запросить демонстрацию. Практически все существующие на рынке решения имеют в своём арсенале такой функционал. Посмотрев несколько решений, вы сможете их сравнить.
3) Да, действительно, иметь в своём штате аналитиков или технологов, занимающихся непосредственно разработкой ролевых моделей, может себе позволить достаточно крупная компания. Но на начальном этапе компании среднего размера могут запустить внутренний проект по наведению порядка в процессах управления доступом, со своим уставом/регламентом и рабочей группой, в которую войдут представители бизнеса, ИТ, безопасности и СВК. Или же можно воспользоваться услугами внешних компаний, предлагающих соответствующие сервисы.
В любом случае, чем раньше начинать эти процессы, тем лучше, пока состояние «полной неопределённости» не увеличилось в масштабах и не привело к негативным последствиям.
С помощью листенеров дерево ANTLR перегоняется в XML, но это происходит без всяких оптимизаций, дерево трансформируется один в один — это не то, что нам нужно. Таких возможностей не рассматривали.
пока не планируем, но следите за обновлениями)
Поэтому правильным подходом будет обеспечение пользователей базовыми необходимыми правами. Причём, в зависимости от конкретной позиции и подразделения количество базовых прав может быть разным. Где-то это будет 80%, а где-то придётся остановиться на 20%. Остальные необходимые права можно оставить для запроса по отдельным заявкам.
Кроме того, сама Ролевая модель – это живой организм, который нужно поддерживать постоянно (как человек не может обходиться без пищи, он просто умрёт). Должен быть разработан отдельный процесс, который обеспечивает поддержание Ролевой модели в актуальном состоянии, в этом процессе должны быть тоже распределены роли и обязанности. Но об этом в следующей части нашей статьи. Скоро опубликуем :)
Red Teaming — это и есть учения и пришли они из военной области, поэтому и методы будут как на учениях.
Сценарий нужен больше для старта проекта и он будет изменяться в зависимости от ситуации. И согласованный сценарий, конечно, может иметь общие признаки с «армейскими учениями времен СССР».
Сценарий должен согласовываться ответственными людьми, а Blue Team не должна знать о проводимых работах. Тогда ситуации, когда все знают, откуда атакуют, не возникает (если мы говорим про классический Red Teaming).
По поводу того, что APT действуют не по playbook, — спорный вопрос.
Если рассматривать разборы атак различных APT, то они имеют общие тактики, в которых могут меняться техники, но часто даже техники повторяются.
Главная задача Red Teaming'а — это тренировка и оценка эффективности применяемых TTP Blue Team и исходя из того, что заказчик хочет получить, подбираются и методики, и сценарии и т.д.
Не мешает, но вопрос в том, будет ли кто-то реализовывать такую архитектуру подключения утюгов и чайников в IPv6
В Ipv6 нет nat-а. Каждый чайник имеет свой IP. И часто имеет много дыр в безопасности. Соответственно, без NAT можно иметь доступ к каждому такому устройству и эксплуатировать дыры в безопасности.
Но если, действительно, за NAT все-таки будет злой бот, то могут заблокировать всех.
Если мы говорим про IoT, то возникновение первопричины блокировки устройства за NAT — его взлома — уменьшается в разы.