Платиновые партнеры :)
В то же время эта статья написана до того, как мы запартнерились с Лабораторией Касперского, и это далеко не единственный вендор, с которым мы сотрудничаем.
Никакой ангажированности. Если кому то в ближайшее время придет в голову повторить описанное самостоятельно, (лично я не рекомендую этого делать), он придет к схожим выводам.
Для создателей BlackArch самоцелью видимо и было создание такого монстра) Вариант для тех, кто и сам не знает, что ему нужно.
Security Lab и SIFT Workstation скорее про однородность — про то, чтобы у всех студентов были одинаковые рабочие машины. OSINT VM близка по концеции — создавалась, чтобы энтузиасты не перегорали, чтобы снизить порог вхождения в расследования.
«Дистрибутивы» на базе Windows нужны для облегчения настройки инструментария. Установка менеджеров, загрузка пакетов под Windows — подозреваю, что при самостоятельной настройке будет уйма неочевидных танцев с бубном.
CSI LINUX довольно тесно интегрирована с софтом для расследований, с ходу не скажу, как реализовать аналогичное логирование результатов самостоятельно.
Документ открывается в Word. В структуру документа (.docx) встраивается ссылка на объект, которая ведет на SMB-сервер. Когда документ открывается, Word пытается загрузить этот объект с нашего сервера. Он приходит туда и стучится, используя учетную запись пользователя, открывшего документ. В результате на сервере остается NetNTLM хеш пароля, имя учетки и IP. Это уже достаточно старая техника, кажется, впервые ее описали в 2018 году.
Даже не знаю, как развеять ваши сомнения. Могу только предложить заказать тестирование на проникновение и убедиться лично) У нас это стандартная услуга.
Насколько я знаю, на мобильных тоже через воркер. (уточню).
BSC не open source, так что код под NDA. Но, возможно вам будет полезно посмотреть StreamSaver. Она умеет скачивать файлы любого размера. В нашем облаке эта штука не использовалась (так как делает запросы на внешний ресурс), но разработчики во многом ей вдохновлялись.
Специально пошел за подробностями к ребятам, которые отвечают за эту фичу. Так долго потому что все сейчас немного заняты. Резюмирую:
1. Сейчас у нас есть возможность загрузить на сервер файл практически любого размера, загрузка идет по чанкам.
2. Скачивание файлов устроено сложнее, и реализация действительно во многом зависит от используемого браузера. Самый лучший вариант (мы реализовали его совсем недавно) с использованием File System API (пока что этим могут похвастать Chromium продукты: Chrome, Яндекс.Браузер, Opera, Edge и т.д.).
Если File System API доступно, то идет загрузка по чанкам с расшифровкой и последовательной записью на диск.
Если File System API недоступно (как в Firefox и Safari), то работает скачивание в потоке воркера. Выделяется область памяти ArrayBuffer и в нее последовательно идет запись чанков. Как только все чанки будут записаны, через конструктор new File формируется файл, затем создается url, по которому его можно скачать, и запускается загрузка средствами браузера.
3. При использовании File System API мы фактически не ограничены в объеме записываемого файла.
Если загрузка идет через воркер, то для скачивания файла требуется в два раза больше места (требуемое место = размер размер зашифрованного файла + размер расшифрованного файла). К тому же, в этой реализации сначала идет запись в оперативную память, поэтому многое зависит от конкретной операционной системы, ее поведения в процессе скачивания.
Вполне возможно, что Windows не даст скачать таким образом файл, который заметно больше объема оперативной памяти устройства. Скачать таким образом 30 ГБ на макбуке с объемом ОЗУ 16 ГБ можно точно, но мы не исследовали скачивание «экстремально» больших файлов в этом сценарии на всем парке операционных систем и в мобильных браузерах. Все таки, это не частый сценарий, так что подобные исследования остаются на будущее. Вместо этого сейчас команда сосредоточилась на десктопном клиенте, который позволит манипулировать большими файлами, не задумываясь об ограничениях браузеров.
Просто наше решение немного другого класса, нежели то, что вам нужно. К сожалению, когда делаешь упор на безопасность, чем-то приходится жертвовать.
1. Полнотекстовый поиск реализовать не получится. Он бьет по безопасности хранилища и лишает смысла всю схему шифрования, которую мы используем.
2. На данный момент в случае утери ключа можно восстановить доступ только к аккаунту, файлы будут потеряны. Однако, мы рассматриваем возможность сделать восстановление при помощи парольной фразы (как в некоторых криптокошельках) в качестве опции.
Скачивание по блокам тоже возможно, s3 поддерживает Range. Подробнее можно почитать здесь и здесь. Даже так Firefox и Safari могут дропнуть вкладку, но уже после 20-40гб. А вот в Chrome благодаря File System Access API так можно загружать загружать файлы неограниченного размера.
Что касается отображения — процесс загрузки сначала показывается в UI облака, а затем, когда файл «собран» вызывается стандартный диалог сохранения. При этом скачивание не начинается заново, так как файл уже находится на диске во временных файлах системы.
Гарду БД необходимо подключить к СУБД в ручную, а уже затем включится автоматическое сканирование и регулярный мониторинг наличия ПДн в базах. Обновил текст поста, чтобы было понятнее.
В то же время эта статья написана до того, как мы запартнерились с Лабораторией Касперского, и это далеко не единственный вендор, с которым мы сотрудничаем.
Никакой ангажированности. Если кому то в ближайшее время придет в голову повторить описанное самостоятельно, (лично я не рекомендую этого делать), он придет к схожим выводам.
Security Lab и SIFT Workstation скорее про однородность — про то, чтобы у всех студентов были одинаковые рабочие машины. OSINT VM близка по концеции — создавалась, чтобы энтузиасты не перегорали, чтобы снизить порог вхождения в расследования.
«Дистрибутивы» на базе Windows нужны для облегчения настройки инструментария. Установка менеджеров, загрузка пакетов под Windows — подозреваю, что при самостоятельной настройке будет уйма неочевидных танцев с бубном.
CSI LINUX довольно тесно интегрирована с софтом для расследований, с ходу не скажу, как реализовать аналогичное логирование результатов самостоятельно.
Эх, я ждал, что кто нибудь восстановит текст и найдет пасхалку, а вы просто так сразу с плеча и не проверив. Придется раскрыть секрет.
Пикселизация просто художественный прием, поэтому чувствительная информация на скриншотах сначала заменена на безобидную, а уже потом наложен фильтр.
BSC не open source, так что код под NDA. Но, возможно вам будет полезно посмотреть StreamSaver. Она умеет скачивать файлы любого размера. В нашем облаке эта штука не использовалась (так как делает запросы на внешний ресурс), но разработчики во многом ей вдохновлялись.
1. Сейчас у нас есть возможность загрузить на сервер файл практически любого размера, загрузка идет по чанкам.
2. Скачивание файлов устроено сложнее, и реализация действительно во многом зависит от используемого браузера. Самый лучший вариант (мы реализовали его совсем недавно) с использованием File System API (пока что этим могут похвастать Chromium продукты: Chrome, Яндекс.Браузер, Opera, Edge и т.д.).
Если File System API доступно, то идет загрузка по чанкам с расшифровкой и последовательной записью на диск.
Если File System API недоступно (как в Firefox и Safari), то работает скачивание в потоке воркера. Выделяется область памяти ArrayBuffer и в нее последовательно идет запись чанков. Как только все чанки будут записаны, через конструктор new File формируется файл, затем создается url, по которому его можно скачать, и запускается загрузка средствами браузера.
3. При использовании File System API мы фактически не ограничены в объеме записываемого файла.
Если загрузка идет через воркер, то для скачивания файла требуется в два раза больше места (требуемое место = размер размер зашифрованного файла + размер расшифрованного файла). К тому же, в этой реализации сначала идет запись в оперативную память, поэтому многое зависит от конкретной операционной системы, ее поведения в процессе скачивания.
Вполне возможно, что Windows не даст скачать таким образом файл, который заметно больше объема оперативной памяти устройства. Скачать таким образом 30 ГБ на макбуке с объемом ОЗУ 16 ГБ можно точно, но мы не исследовали скачивание «экстремально» больших файлов в этом сценарии на всем парке операционных систем и в мобильных браузерах. Все таки, это не частый сценарий, так что подобные исследования остаются на будущее. Вместо этого сейчас команда сосредоточилась на десктопном клиенте, который позволит манипулировать большими файлами, не задумываясь об ограничениях браузеров.
1. Полнотекстовый поиск реализовать не получится. Он бьет по безопасности хранилища и лишает смысла всю схему шифрования, которую мы используем.
2. На данный момент в случае утери ключа можно восстановить доступ только к аккаунту, файлы будут потеряны. Однако, мы рассматриваем возможность сделать восстановление при помощи парольной фразы (как в некоторых криптокошельках) в качестве опции.
Что касается отображения — процесс загрузки сначала показывается в UI облака, а затем, когда файл «собран» вызывается стандартный диалог сохранения. При этом скачивание не начинается заново, так как файл уже находится на диске во временных файлах системы.
Github действительно хорошая идея. Мы думаем, как это можно было бы сделать это один из вариантов.