Pull to refresh

Comments 111

Исследователи из первой части рассказа не догадались отключить собственно микросхему NAND от штатного контроллера накопителя, и подключить её к своему контроллеру, который не будет производить очистку?
Как я понял, это как раз то, про что говорят исследователи из второй части. И больше правы именно они, говоря, что стирая мы можем и ничего не стереть.
Такое ощущение, что авторы старательно разбавляли статью водой до достижения желаемого объёма. А зачем дублировать абзац в самом начале?
Хм… Получается контроллеры SSD знают о файловых системах? Может выход для гарантированного уничтожения данных использование неизвестных контроллеру ФС? Правда и само собой тогда ничего не сотрётся…
Ничего они не знают о ФС. Они просто туда-сюда перемещают блоки данных.
Тогда каким образом контроллер памяти затирает «свободную, стертую» (в терминах файловой системы) ячейку физически (уже потом), забивая ее нулями и чем эта ячейка будет отличаться от файла в ФС, просто забитого нулями?
По поводу перемещения туда-сюда: с занятой (в ФС) ячейкой делать этого не стоит, т.к. физически такое копирование (по сути запись) уменьшает ресурс флешки и поэтому такой подход оправдан только в случае только по-настоящему свободных ячеек, т.е. команда на стирание ячейки с высокого уровня может вызвать (логическое) перемещение ячейки на уже физически затертую, т.о. прошлая, все еще занятая на данный момент ячейка будет хранить данные, пока по ней не пройдется сборщик мусора и не очистит ее физически.
ИМХО получается, что знает. Не понимаю. Объясните, где я не прав?
есть такая команда — TRIM. ее посылает ОС SSD-устройству при удалении файлов, форматировании и некоторых других операциях.

грубо говоря — «мне эти блоки больше не нужны, можешь делать с ними что хочешь».

и контроллер SSD их чистит. или помечает для дальнейшей очистки. или еще что-то. в зависимости от прошивки, текущей загрузки, фазы луны и многих других вещей.
Да, спасибо, вы ответили на мой вопрос, разобрался.
Может еще кому интересно: wiki://TRIM (команда SSD)
P.S. Т.е. получается, чтобы надежно удалить данные надо сначала затирать нулями/мусором именно содержимое файла, не доводя до использования сигнала TRIM — тогда сами данные в физических ячейках будут перезаписаны или нет?
У своременных SSD при перезаписи данных нет гарантии, что данные запишутся в тот-же блок. Контроллер может записать блок куда угодно для равномерного износа ячеек памяти.
Это не совсем так. Например, Kingston SSDNow V+ SNV225-S2
Модель 2008г, чипсет Samsung YK40 (PB22-J) без поддержки TRIM, но со встроенным сборщиком мусора, который «понимает» FAT и NTFS.
В 2010г. была выпущена версия прошивки для контроллера с поддержкой TRIM.

Сейчас, разумеется, новые диски идут сразу с поддержкой TRIM.
Исключение лишь потдтверждает правило.
Для гарантированного уничтожения данных надо использовать физические методы, а не цифровую дребедень )
+ добавьте TrueCrypt, и теперь даже думать об уничтожении не надо. Диск есть, а что на нем есть какие-то данные, никто даже не докажет.
UFO just landed and posted this here
А лучше, RAID5 или даже 6.
поверьте, бывает что значительно лучше разнесенные географически железки и дублирование (RAID1) вместо потери производительности на вычислениях чексуммы raid5+…

В конечном счете вопрос цены и потенциальных возможностей… raidX внутри одного устройства не защитит от смерти контроллера, но и распределенные сетевые хранилища могут предъявлять невыполнимые требования к пропускной способности сети… истина где то рядом.
Кстати, меня давно интересует вопрос совместимости созданных RAID-ов.
Каждый из существующих RAID-контроллеров в своём формате содержит RAID-ы?
Если гикнется одно хранилище, можно ли диски переставить в другое (не такое же)?
Linux Software RAID понимает некоторые из on-disk форматов, используемых хардварными и почти-хардварными контроллерами. А именно, понимает и может полноценно использовать, даже создать, диски, сделанные Intel Storage Matrix RAID (формат imsm) и в формате SNIA DDF.

Не имею мыслей, пользует кто-нибудь этот ddf или нет. Так что, видимо, если контроллер сдох — придётся искать другой контроллер того же модельного ряда
Почему этот момент до сих пор не стандартизовали…
Так стандартизировали же! И вы посмотрите на список членов.

Вопрос только в том, реализуют они этот стандарт или нет. Вон, Intel в списке, а формат у них свой.
В общем случае нет, нельзя.

Более-менее переносится RAID 1.
Для остальных лучше иметь такой же контроллер с точно такой же прошивкой.

Ну или программный рейд. Он переносится.
лучше — на каменных перфокартах :)
Ой не лучше. На днях читал историю про то, как вывалилось из 5 рейда 2 диска одной серии практически друг за дружкой. Пока восстанавливали первый, коньки отбросил второй.
сколько раз твердили миру — диски должны быть как минимум из разных партий
Чтобы их потом невозможно было удалить! :)
    Я считаю что сеть имеет похожий Закон Мерфи: Если ты что то нашел в Интернете, то стоит это сохранить, потому как все это недолговечно, и я считаю что время хранения информации в сети (я имею ввиду статьи, сайты, файлы) от 3 до 5 лет, потом заканчиваются проплаты хостинга, редизайн сайта, закрытие форума, удаление без архивов, и та информация которая была — исчезает, и не всегда бывает так что она стала неактуальной. Но в то же время, если ты что то оставил в Интернете, статьи, контакты, и т.д. Она мгновенно может распространиться и создать тысячи дубликатов на разных ресурсах и её уже не удалить.
    А что до сохранения данных, даже если вы оставляете информацию на своем dedicated, вы передаете данные третьим лицам, а там как говориться, все зависит от данных, и насколько они важны и сколько стоят. Ведь могут приехать службы, отключить от питания дата центр под видом поиска «запрещенных» материалов, и забрать целую стойку с вашим и другими серверами до кучи :).
Не которые страницы пипаю через сервис сохранения страниц peeep.us
Пора бы уже прикрутить эту штуку намертво к закладкам Delicious.
    Классный сервис, посмотрел, спасибо!
     Я обычно все интересные страницы сохраняю в mht, чтобы одним файлом было, да и другим передавать удобнее, ведь ie есть у почти всех, а вот с maff бывают проблемы, делаю это дополнением к Firefox-у Mozilla Archive Format. Иногда вырезаю все лишнее и сохраняю как pdf, что то типа статьи со ссылкой на источник. Вот так и храню что нибудь важное и интересное. Хлопотно, зато потом удобно. В Интернете уже многого нет, что я сохранил. А иногда делаю скриншоты страниц с помощью дополнения Fire Shot, и получается некая ретрограмма на память…
Есть ли альтернативные сервисы? Хотя бы просто архивирующие страницы со всеми включениями или генерирующие компактный «веб-архив» (MHTML)?
Что мешало исследователям сначала снять дамп исследуемого диска? Для чего и используется блокиратор записи по-идее, чтобы при снятии дампа не вносить изменений в вещдок.
Я не уверен, что существуют технологии копирования физических параметров секторов диска. Особенно — твердотельного.
Как только они его включили, в нем начинаются самопроизвольные процессы.
Это скорее ответ на комментарий выше.
Я же про то, что дамп делается не с физического состояния носителя, а с логического — записанной информации. Если ФС не содержит информации об удаленных файлах — их не будет и в дампе.
Я сейчас глупость спрошу, но все таки, в целях самообразования: а команда dd не подойдет (прямой доступ к диску, покластерное копирование, raw данные и все сопутствующие пироги в виде «удаленной» информации)?
Судя по всему нет, контроллер самой флешки находится на еще более низком уровне и для него эти «физические блоки» в терминах dd имеют весьма логический смысл.
Т.е. то, что отличает собременную флешку от HDD — как раз появление еще одного уровня абстракции адресов.
Автор (не)сознательно запутывает читателей, используя понятие 'логический адрес'… контроллер не имеет права самовольно изменять содержимое логических секторов (адресация на уровне запросов к самому устройству), вне зависимости, считает ли и операционная система 'свободными' или 'занятыми', это понятия более высокого уровня и у контроллера нет никакой возможности это узнать, НО контроллер может делать предположения об этом чтобы оптимизировать размещение данных в памяти.

Другими словами, вне зависимости от того, какая файловая система установлена на SSD диске, если я записал в сектор по адресу 38254 свои данные, то именно эти данные и будут от туда успешно читаться до тех пор, пока внутренний резерв носителя не будет исчерпан и вне зависимости от того, по какому физическому адресу в какой момент времени эти данные находятся.

Конечно же технология работы с 'сырыми' данными внутри накопителя кардинально изменилась и обе половины статьи вполне себе правы. Но воспринимать все это необходимо немного с другой позиции:
* да, SSD носители позволяют сохранить часть данных уже после их реальной перезаписи
* при этом другая часть (приведены соответствующие цифры в %) может быть случайно затерта

Все остальное — это 'грязные инсинуации', возможно, с целью пролоббировать/заставить/… ввести в стандарт/сертификацию контроллеров соответствующие средства для облегчения восстановления данных (потому как средств для предотвращения доступа к данным дофига и больше) спецслужбам.
Это буря в стакане, поднятая западными криминалистами на почве «ужас-ужас, старая методика не работает!».
Создадут новую методу и всего делов.
Можно подумать, что старая методика с неба упала вместе со всем персоналом компаний Access Data и Guidance Software — основными поставщиками железа и софта в мире computer forensic
главное чтобы на производителей не оказывали давления, от этого в итоге могут потребители пострадать, например если запретят продавать накопители с какой нибудь технологией оптимизации из за того, что они потом спецслужбы будут напрягаться.
Согласен. Тут вообще без вопросов.
Хотя, тут как с программно-аппаратным шифрованием HDD от Toshiba.
Был случай — менеджер по продажам «интересно» ушел из компании, а ноутбук корпоративный остался. Диск зашифрован штатными средствами Тошибы. В сервис-центре пошли навстречу и при помощи неких «магических» штук дали доступ к информации.
никогда не складывайте все яйца в одну карзину…
везде, где это возможно, разделяйте ответственность…

т.е. например железо пусть поставляет кто то один, рабочий софт другой, средства защиты данных третий (криптоконтейнер truecrypt как пример) — так у них будет меньше возможности 'договориться'.

в данном случае, лично мне, видно, что любое готовое решение от популярных производителей будет скомпроментированно хотя бы с благими намерениями.
И никогда не стоит вестись на на рекламные трюки. В своё время коллегами для интереса был разобран жёсткий диск с биометрической защитой (отпечатки пальцов). Оказалось, что пальчики-то давали доступ только к контроллеру, работающему непосредственно с жёстким диском и поменяв контроллер на аналогичный мы могли получать доступ к важной секьюрной информации, не подлежащей распространению.
Но если записать на SSD нули до упора, все 64 Гб — на нем же другой информации больше не останется.
Вот и способ надежно удалить данные.
Лучше писать не нули, а случайные данные. Шибко умный контроллер, видя запись только нулей, может что-нибудь соптимизировать.
Соль в том, что ssd на 64 гб на самом деле содержит флешек не на 64 гб, а чуть больше. Это пользователю доступно 64 гб.

А резервная область — ну вот как ты её затрёшь? Доступ к ней определяет сам контроллер, а что ему в голову придёт — неведомо.
Перезаписать весь диск тыщу раз :)
Метод молотка будет гораздо эффективнее :)
Резервная область содержит не сами пользовательские данные, а метаданные — главным образом информацию о расположении физических блоков NAND и их соответствие с адресами логических.
cryptsetup, и уничтожение ключа эквивалентно уничтожению данных.
Во-во, непонимаю, к чему все эти крики, если можно просто шифровать все данные на накопителе. Тем более, что Intel в своих новых Sandy Bridge процессорах, вслед за VIA, добавил команды для ускорения шифрования.
Вернее было бы читать «для ускорения дешифрования» =)
Не совсем, вероятность подбора ключа ненулевая. Когда-то DES (ключ 56 бит) считался стойким, а потом за 3 дня забрутфорсили :)
Для этих целей спецслужбы планировали использовать Sony PS3. Чем это кончилось — не представляю.
Как я понял, единственный способ затереть полностью ssd — накатить образ диска, соответствующий объему устройства.
Бред какой-то выходит
1) Каким образом SSD стирает пространство от удаленных файлов? Откуда он знает какая стоит файловая система. Поддерживать все существующие файловые системы просто нереально, по крайней мере для контроллера в SSD. Если файл помечается что он удален, то он помечается в структурах файловой системы, о которых знает только сама файловая система и никакой контроллер в SSD просто не сможет знать это.
2) Как это удалить нельзя? Форматируешь диск и затем тупо создаёшь файл и начинаешь в него писать мусор до тех пор пока хватит места. Таким образом будут задействовано 99.9% всего пространства диска. (Если конечно на диске пространства не в 2 раза больше чем даётся для работы)
в SSD насколько мне известно, помимо заявленной емкости есть еще дополнительная (но скорее всего зависит от производителя и связано с тем, что SSD еще сравнительно новая технология) емкость, которая используется при выходе из строя ячеек «основной» емкости.
1. во-первых, SSD (в большинстве своём) поддерживают специальные команды, которые позволяют сообщить накопителю о том, какие области диска свободны. Плюс, полная ёмкость SSD заметно выше полезной. За счёт этого организцется ротация секторов.
2. Всё проще — низкоуровневое форматирование стирает SSD.
3. Есть специальные команды, которые позволяют физически стереть сектор или группу секторов.
Часть перевода введения для второй статьи:

Наши результаты позволяют сделать три вывода:
1. Встроенные команды достаточно эффективны, но производители порой некорректно их применяют;
2. Перезаписи всего доступного пространства дважды обычно достаточно для уничтожения данных и уменьшения вероятности восстановления;
3. Уничтожение отдельных данных способом, применяемым для жёстких дисков, не эффективен для SSD

То есть ничего страшного. Порнуху не восстановят, если форматировать :-D
Немаловажное следствие, упущенное комменаторами: если хотите что-то «стирать» с флешки/SSD — помести поверх неё шифрованный том. Заодно, в качестве бонуса по отношению к хранению на магнитных носителях, из-за эфемерности соответствия физических адресов логическим, вас не смогут спросить: «а что это у вас тут были за псевдорандомные данные?».
Как-то все на уровне мистики прямо. У меня появилось внутреннее ощущение страха от чтения этого «приключенческого романа».
Сон разума рождает чудовищ © :)
А все заметили, что в названии «Стереть нельзя восстановить» можно поставить тире в двух разных местах и получить два разных по смыслу предложения?
Я вообще то думал, что там должна быть запятая а не тире, как в одном известном мультфильме…
у меня вопрос немного другой: а как быстрее всего физически уничтожить SSD (за несколько секунд)? :-)
Скорее всего — подать высокое напряжение на каждый контакт микросхемы памяти.
*на каждую пару контактов
Наверно имелось ввиду как это сделать быстро, в случае если вам стучат в дверь с криками откройте полиция. Вам хватит пары секунд чтобы подключить какие-то провода к микросхеме и подать высокое напряжение? Думаю молоток в данном случае и правда надёжней.
TrueCrypt + импульс тока + молоток. Пусть восстанавливают на здоровье.
интересно, а традиционные «размагничиватели», давно применяемые для уничтожения данных на магнитных носителях, здесь будут иметь смысл?
а то ведь включил в розетку, сунул туда диск и готово
www.ixbt.com/storage/hddterminator.shtml
Про «Прибой» тоже интересно.
Сталкивался с девайсами уже после срабатывания «Прибоя» — печальное зрелище.
Можно смело называть «Слезы следствия»
Очень хороший девайс, очень впечатлил в своё время. Вы не в курсе, он диски с перпендикулярной записью так же хорошо пробивает, как и обычные? А то я к моменту их выхода уже перестал смотреть в этом направлении.
Увы, про перпендикуляр ничего не могу сказать.
Это не быстро. Надо открывать корпус. А на контактах могут быть предохранители, которые уберегут внутренности от проблем.

Лучше в микроволновку прожариваться. Там везде достанет.
Кстати, да — самый быстрый вариант.
Вариант повышенной надежности — молотком по NANDам и в печь (новые русские сказки) =)
На контактах точно нет предохранителей. На плате — да могут быть схемы защиты. И то не факт, что на бытовых носителях будут ставить чтото серьезное для ЭМС.
На контактах устройства. Не в самих микросхемах. По этому и написал про открывание корпуса — это время, чтобы добраться до самих модулей памяти.
В традиционном смысле предохранителей там, конечно же, нет. А вообще там на всех контактах идущих наружу, вполне могут стоять защитные диоды (например от статики), которые, совместно с тонюсенькими золотыми проводничками, идущими от ножек микросхемы к кристаллу, роль предохранителей и выполнят. Восстановить работоспособность геморройно, но чисто теоретически, вполне может быть. В зависимости от желания, бюджета и важности информации, конечно.
Скорее всего это будет мало полезно. Думаю, молотком даже эффективнее.
Быстрее всего и, скорее всего, наиболее эффективно из доступных методов — «поджарить» в микроволновке!
Рентгеновским излучением. Одна качественная засветка и там мусор вместо данных.
UFO just landed and posted this here
У меня размеры унитаза не позволяют.
Плата PCI-E x4 не очень влезет в горшок, простите.
В конце статьи не хватает отдельного абзаца «Выводы».
Я понимаю, что журналистам надо делать объем статьи, но есть люди которые не будут читать все и таких не мало.
Sergpenza — Это я говорил об computerra.ru.
А Вам отдельное спасибо, что вставили сюда статью, есть над чем подумать.
Вообще-то у SSD есть специфичные команды для полного форматирования. Можно также выполнять т.н. «низкоуровневое» форматирование. Они действительно стирают весь объём диска, спрасывают таблицы ротации секторов т.п. И просиходит такое форматирование достаточно быстро, т.к. сипользуеют операции группового стирания.
Какие-то странные специалисты в обзоре…
а линк дадите почитать?
Надо выпилить из SSD слой трансляции и перейти на Log Structured FS.

Конечно, не ради спецслужб, а чтобы упростить устройство.
Не поможет. там же несколько банков памяти, рабтающих параллельно. Плюс, механизмы контроля износа памяти. Всё равно нужна трансляция.
Ну, банки памяти особой трансляции не требуют. (трансляция не хранит состояние). А контроль износа можно переложить на ФС, хотя сейчас вроде ни одна Log Structured FS этого не делает. Возможно, есть смысл расширить систему команд ATA для доступа к счётчикам износа.
А как же YAFFS? Специальная ФС для NAND-флешек, log-structured, контролирует износ, выполняет wear levelling и т. д.
Не нашёл там специфического контроля износа. А вообще да. Именно такие FS я и имел в виду. Но YAFFS относится к старому поколению флешовых систем, у них туго с большими объёмами. Есть надежда на UBIFS и LogFS.
Контроль износа осуществляетя групповыми счётчиками и измерением времени записи данных.
Как так, а многократная перезапись мусором уже не катит?
Выше уже отвечали, что на самом деле места больше чем заявлено, так называемые резервные блоки. Вот они и могут не перезаписываться.
Но при записи мусора и последующем его стирании блоки наполняются новой информацией? Тут варианта два: или они хранят стертые данные с первой перезаписи (всегда), или заполняются вновь стёртыми, не могут же они быть бесконечны.
Зарубежные криминалисты фактически кинули в гиковскую среду очередную идею для разработки «на слабо» методики обхода (пусть даже паяльником) штатного контроллера доступа к NAND, чтобы потом снять эту методику непосредственно с рук какого-нибудь удачливого хакера.

Плюс: а как насчет методик вроде туннельной микроскопии или атомно-силового микрографа? Если в процессе чтения/записи меняются электрические параметры материала — такой прибор, возможно, сможет засечь «нули и единицы» по реакции на изменения электрического поля. Правда, микросхему придется вытравить, но это для криминалистики, думаю, проблемой не будет. Скорее проблемой будет заполучить «доказуемую» флешку как можно раньше, до выполнения полного цикла оптимизации свободного пространства.
Это из области историй о секретной лаборатории ФСБ в глухих лесах, где специально-обученные люди в скафандрах собирают воедино уничтоженные HDD и восстанавливают с них перезаписанную в 10 слоев информацию.

Наверное существует и наверное работает успешно, но для «полевых» условий метод не подходит.

Проблема получить — проблема доблестного опер.состава, а не криминалиста
Ребята, просто посчитайте:
Для съёма данных с такой флешки надо протравить и снять несколько защитных слоёв. По цене это мелочи с последующим, но нужен нехилый опыт, иначе можно легко испортить плату. Далее нужен микроскоп — это уже ощутимые деньги, как минимум несколько миллионов рублей. Допустим, что у нас есть софт, позволяющий автоматизировать сбор картинок и выделять на них из магнитных доменов или остатков электрического заряда на плавающем затворе биты и байты. После всего этого нам, наконец-то, потребуется самый неквалифицированный работник в данной компании — чел, который будет сидеть в WinHex'е и восстанавливать в ручную все данные.
То есть для всего этого нам необходим несколько людей с зарплатой не меньше полтиника в месяц ( за меньшее я не пошёл бы). То есть единоразово выкинуть несколько лямов и потом каждый год выплачивать, допустим для троих сотрудников, 150 000 * 12 = 1 800 000 рублей, чтобы они, *возможно*, нашли какие-то данные?
Зачем считать? Налогоплательщики платят.
В соответствующих подразделениях FBI целые конвейеры (привет, Генри Форд!).
Вещдок приезжает в подразделение -> Отдельный сотрудник распаковывает и заносит в журналы -> Отдельный сотрудник снимает дамп и вычисляет хэши -> Отдельный сотрудник спец.софтом (какой-нибудь Encase) ковыряет дампы/клоны/носитель -> Отдельный сотрудник оформляет найденное и пишет отчет -> Отдельный сотрудник запаковывает вещдок обратно и прилагает отчет и сопровождающие документы.

При этом есть дежурная бригада города/штата/округа, которая занимается только выездами и сбором/изъятием вещдоков.

При необходимости в цепочку добавляются другие спецы (восстановление данных, восстановление носителей, криптоанализ и т.д.)

Другое дело что в России эксперт в подразделении на все руки мастер — и на выезд сгонять, и следователю/оперу помочь найти/изъять, и исследование провести, и экспертизу написать, и в суд съездить (с зарплатками далеко не 50 тыс.руб., а дай то бог 30-ка + ненормированный рабочий день с выходными и праздниками на дежурствах). И все это зачастую «на коленке».

А касаемо независимых экспертов или спецов в коммерческих структурах — так где вы их видели в массовых количествах?
Точно знаю, что у Лукойла есть спецы и оборудование и смутно догадываюсь, что в конторах с серьезной СБ такое может практиковаться, но там это обосновано или же денег много.

Проводя параллели — никто не сомневается, что конкурентная разведка в компании нужна. Только часто вы подразделения такие в компаниях видели. На отдел маркетинга в лучшем случае сваливают, мол, мониторьте.

Это я к тому, что там, где надо — уже все посчитали и приняли решение, что такие спецы в штате нужны.
Я вне всякого сомнения так бы и сделал, только вот топик-ссылку можно публиковать при наличии хорошей судьбы от 20 и выше.
Всё, повсеместно переходим на гибрид DDR2 RAM-драйва (с торчащими наружу планками) и магнетрона. Пусть будет лимит в 8-24 Гб, зато погибнет сразу и гарантированно. Да и показатель IOPS получше, чем у SSD.
Я ничего не понял.

Так удаляются данные без следа или нет ???

Тут интересуют два момента:
1) если диск логически побился (потерялась часть данных), можно ли его восстановить, не знаю, может ли это случаться с ССД
2) если данные с диска надо удалить и диск отформатирован, записана туда порнуха с торренов, потом удалена, потом снов записана и так раз 10 — прочтут ли диск потом?
Так удаляются данные без следа или нет ???

Краткий ответ — как повезёт.

прочтут ли диск потом

Есть некая вероятность, что что-то чувствительное останется в резервной области, которую вы не можете перезаписать. Именно поэтому таков ответ на предыдущий вопрос. Как повезёт, как контроллер решит. Может там останутся несущественные данные, а может очень даже существенные. Рандом.

Именно поэтому традиционный способ «перезаписать полностью» не применим к SSD в силу наличия у них резервной области и умного контроллера, который сам решает, что куда писать.
Sign up to leave a comment.

Articles