Исследователи из первой части рассказа не догадались отключить собственно микросхему NAND от штатного контроллера накопителя, и подключить её к своему контроллеру, который не будет производить очистку?
Как я понял, это как раз то, про что говорят исследователи из второй части. И больше правы именно они, говоря, что стирая мы можем и ничего не стереть.
Хм… Получается контроллеры SSD знают о файловых системах? Может выход для гарантированного уничтожения данных использование неизвестных контроллеру ФС? Правда и само собой тогда ничего не сотрётся…
Тогда каким образом контроллер памяти затирает «свободную, стертую» (в терминах файловой системы) ячейку физически (уже потом), забивая ее нулями и чем эта ячейка будет отличаться от файла в ФС, просто забитого нулями?
По поводу перемещения туда-сюда: с занятой (в ФС) ячейкой делать этого не стоит, т.к. физически такое копирование (по сути запись) уменьшает ресурс флешки и поэтому такой подход оправдан только в случае только по-настоящему свободных ячеек, т.е. команда на стирание ячейки с высокого уровня может вызвать (логическое) перемещение ячейки на уже физически затертую, т.о. прошлая, все еще занятая на данный момент ячейка будет хранить данные, пока по ней не пройдется сборщик мусора и не очистит ее физически.
ИМХО получается, что знает. Не понимаю. Объясните, где я не прав?
есть такая команда — TRIM. ее посылает ОС SSD-устройству при удалении файлов, форматировании и некоторых других операциях.
грубо говоря — «мне эти блоки больше не нужны, можешь делать с ними что хочешь».
и контроллер SSD их чистит. или помечает для дальнейшей очистки. или еще что-то. в зависимости от прошивки, текущей загрузки, фазы луны и многих других вещей.
Да, спасибо, вы ответили на мой вопрос, разобрался.
Может еще кому интересно: wiki://TRIM (команда SSD)
P.S. Т.е. получается, чтобы надежно удалить данные надо сначала затирать нулями/мусором именно содержимое файла, не доводя до использования сигнала TRIM — тогда сами данные в физических ячейках будут перезаписаны или нет?
У своременных SSD при перезаписи данных нет гарантии, что данные запишутся в тот-же блок. Контроллер может записать блок куда угодно для равномерного износа ячеек памяти.
Это не совсем так. Например, Kingston SSDNow V+ SNV225-S2
Модель 2008г, чипсет Samsung YK40 (PB22-J) без поддержки TRIM, но со встроенным сборщиком мусора, который «понимает» FAT и NTFS.
В 2010г. была выпущена версия прошивки для контроллера с поддержкой TRIM.
Сейчас, разумеется, новые диски идут сразу с поддержкой TRIM.
поверьте, бывает что значительно лучше разнесенные географически железки и дублирование (RAID1) вместо потери производительности на вычислениях чексуммы raid5+…
В конечном счете вопрос цены и потенциальных возможностей… raidX внутри одного устройства не защитит от смерти контроллера, но и распределенные сетевые хранилища могут предъявлять невыполнимые требования к пропускной способности сети… истина где то рядом.
Кстати, меня давно интересует вопрос совместимости созданных RAID-ов.
Каждый из существующих RAID-контроллеров в своём формате содержит RAID-ы?
Если гикнется одно хранилище, можно ли диски переставить в другое (не такое же)?
Linux Software RAID понимает некоторые из on-disk форматов, используемых хардварными и почти-хардварными контроллерами. А именно, понимает и может полноценно использовать, даже создать, диски, сделанные Intel Storage Matrix RAID (формат imsm) и в формате SNIA DDF.
Не имею мыслей, пользует кто-нибудь этот ddf или нет. Так что, видимо, если контроллер сдох — придётся искать другой контроллер того же модельного ряда
Ой не лучше. На днях читал историю про то, как вывалилось из 5 рейда 2 диска одной серии практически друг за дружкой. Пока восстанавливали первый, коньки отбросил второй.
Чтобы их потом невозможно было удалить! :)
Я считаю что сеть имеет похожий Закон Мерфи: Если ты что то нашел в Интернете, то стоит это сохранить, потому как все это недолговечно, и я считаю что время хранения информации в сети (я имею ввиду статьи, сайты, файлы) от 3 до 5 лет, потом заканчиваются проплаты хостинга, редизайн сайта, закрытие форума, удаление без архивов, и та информация которая была — исчезает, и не всегда бывает так что она стала неактуальной. Но в то же время, если ты что то оставил в Интернете, статьи, контакты, и т.д. Она мгновенно может распространиться и создать тысячи дубликатов на разных ресурсах и её уже не удалить.
А что до сохранения данных, даже если вы оставляете информацию на своем dedicated, вы передаете данные третьим лицам, а там как говориться, все зависит от данных, и насколько они важны и сколько стоят. Ведь могут приехать службы, отключить от питания дата центр под видом поиска «запрещенных» материалов, и забрать целую стойку с вашим и другими серверами до кучи :).
Классный сервис, посмотрел, спасибо!
Я обычно все интересные страницы сохраняю в mht, чтобы одним файлом было, да и другим передавать удобнее, ведь ie есть у почти всех, а вот с maff бывают проблемы, делаю это дополнением к Firefox-у Mozilla Archive Format. Иногда вырезаю все лишнее и сохраняю как pdf, что то типа статьи со ссылкой на источник. Вот так и храню что нибудь важное и интересное. Хлопотно, зато потом удобно. В Интернете уже многого нет, что я сохранил. А иногда делаю скриншоты страниц с помощью дополнения Fire Shot, и получается некая ретрограмма на память…
Что мешало исследователям сначала снять дамп исследуемого диска? Для чего и используется блокиратор записи по-идее, чтобы при снятии дампа не вносить изменений в вещдок.
Это скорее ответ на комментарий выше.
Я же про то, что дамп делается не с физического состояния носителя, а с логического — записанной информации. Если ФС не содержит информации об удаленных файлах — их не будет и в дампе.
Я сейчас глупость спрошу, но все таки, в целях самообразования: а команда dd не подойдет (прямой доступ к диску, покластерное копирование, raw данные и все сопутствующие пироги в виде «удаленной» информации)?
Судя по всему нет, контроллер самой флешки находится на еще более низком уровне и для него эти «физические блоки» в терминах dd имеют весьма логический смысл.
Т.е. то, что отличает собременную флешку от HDD — как раз появление еще одного уровня абстракции адресов.
Автор (не)сознательно запутывает читателей, используя понятие 'логический адрес'… контроллер не имеет права самовольно изменять содержимое логических секторов (адресация на уровне запросов к самому устройству), вне зависимости, считает ли и операционная система 'свободными' или 'занятыми', это понятия более высокого уровня и у контроллера нет никакой возможности это узнать, НО контроллер может делать предположения об этом чтобы оптимизировать размещение данных в памяти.
Другими словами, вне зависимости от того, какая файловая система установлена на SSD диске, если я записал в сектор по адресу 38254 свои данные, то именно эти данные и будут от туда успешно читаться до тех пор, пока внутренний резерв носителя не будет исчерпан и вне зависимости от того, по какому физическому адресу в какой момент времени эти данные находятся.
Конечно же технология работы с 'сырыми' данными внутри накопителя кардинально изменилась и обе половины статьи вполне себе правы. Но воспринимать все это необходимо немного с другой позиции:
* да, SSD носители позволяют сохранить часть данных уже после их реальной перезаписи
* при этом другая часть (приведены соответствующие цифры в %) может быть случайно затерта
Все остальное — это 'грязные инсинуации', возможно, с целью пролоббировать/заставить/… ввести в стандарт/сертификацию контроллеров соответствующие средства для облегчения восстановления данных (потому как средств для предотвращения доступа к данным дофига и больше) спецслужбам.
Это буря в стакане, поднятая западными криминалистами на почве «ужас-ужас, старая методика не работает!».
Создадут новую методу и всего делов.
Можно подумать, что старая методика с неба упала вместе со всем персоналом компаний Access Data и Guidance Software — основными поставщиками железа и софта в мире computer forensic
главное чтобы на производителей не оказывали давления, от этого в итоге могут потребители пострадать, например если запретят продавать накопители с какой нибудь технологией оптимизации из за того, что они потом спецслужбы будут напрягаться.
Согласен. Тут вообще без вопросов.
Хотя, тут как с программно-аппаратным шифрованием HDD от Toshiba.
Был случай — менеджер по продажам «интересно» ушел из компании, а ноутбук корпоративный остался. Диск зашифрован штатными средствами Тошибы. В сервис-центре пошли навстречу и при помощи неких «магических» штук дали доступ к информации.
никогда не складывайте все яйца в одну карзину…
везде, где это возможно, разделяйте ответственность…
т.е. например железо пусть поставляет кто то один, рабочий софт другой, средства защиты данных третий (криптоконтейнер truecrypt как пример) — так у них будет меньше возможности 'договориться'.
в данном случае, лично мне, видно, что любое готовое решение от популярных производителей будет скомпроментированно хотя бы с благими намерениями.
И никогда не стоит вестись на на рекламные трюки. В своё время коллегами для интереса был разобран жёсткий диск с биометрической защитой (отпечатки пальцов). Оказалось, что пальчики-то давали доступ только к контроллеру, работающему непосредственно с жёстким диском и поменяв контроллер на аналогичный мы могли получать доступ к важной секьюрной информации, не подлежащей распространению.
Резервная область содержит не сами пользовательские данные, а метаданные — главным образом информацию о расположении физических блоков NAND и их соответствие с адресами логических.
Во-во, непонимаю, к чему все эти крики, если можно просто шифровать все данные на накопителе. Тем более, что Intel в своих новых Sandy Bridge процессорах, вслед за VIA, добавил команды для ускорения шифрования.
Бред какой-то выходит
1) Каким образом SSD стирает пространство от удаленных файлов? Откуда он знает какая стоит файловая система. Поддерживать все существующие файловые системы просто нереально, по крайней мере для контроллера в SSD. Если файл помечается что он удален, то он помечается в структурах файловой системы, о которых знает только сама файловая система и никакой контроллер в SSD просто не сможет знать это.
2) Как это удалить нельзя? Форматируешь диск и затем тупо создаёшь файл и начинаешь в него писать мусор до тех пор пока хватит места. Таким образом будут задействовано 99.9% всего пространства диска. (Если конечно на диске пространства не в 2 раза больше чем даётся для работы)
в SSD насколько мне известно, помимо заявленной емкости есть еще дополнительная (но скорее всего зависит от производителя и связано с тем, что SSD еще сравнительно новая технология) емкость, которая используется при выходе из строя ячеек «основной» емкости.
1. во-первых, SSD (в большинстве своём) поддерживают специальные команды, которые позволяют сообщить накопителю о том, какие области диска свободны. Плюс, полная ёмкость SSD заметно выше полезной. За счёт этого организцется ротация секторов.
2. Всё проще — низкоуровневое форматирование стирает SSD.
3. Есть специальные команды, которые позволяют физически стереть сектор или группу секторов.
Наши результаты позволяют сделать три вывода:
1. Встроенные команды достаточно эффективны, но производители порой некорректно их применяют;
2. Перезаписи всего доступного пространства дважды обычно достаточно для уничтожения данных и уменьшения вероятности восстановления;
3. Уничтожение отдельных данных способом, применяемым для жёстких дисков, не эффективен для SSD
Немаловажное следствие, упущенное комменаторами: если хотите что-то «стирать» с флешки/SSD — помести поверх неё шифрованный том. Заодно, в качестве бонуса по отношению к хранению на магнитных носителях, из-за эфемерности соответствия физических адресов логическим, вас не смогут спросить: «а что это у вас тут были за псевдорандомные данные?».
Наверно имелось ввиду как это сделать быстро, в случае если вам стучат в дверь с криками откройте полиция. Вам хватит пары секунд чтобы подключить какие-то провода к микросхеме и подать высокое напряжение? Думаю молоток в данном случае и правда надёжней.
интересно, а традиционные «размагничиватели», давно применяемые для уничтожения данных на магнитных носителях, здесь будут иметь смысл?
а то ведь включил в розетку, сунул туда диск и готово
www.ixbt.com/storage/hddterminator.shtml
Про «Прибой» тоже интересно.
Сталкивался с девайсами уже после срабатывания «Прибоя» — печальное зрелище.
Можно смело называть «Слезы следствия»
Очень хороший девайс, очень впечатлил в своё время. Вы не в курсе, он диски с перпендикулярной записью так же хорошо пробивает, как и обычные? А то я к моменту их выхода уже перестал смотреть в этом направлении.
На контактах точно нет предохранителей. На плате — да могут быть схемы защиты. И то не факт, что на бытовых носителях будут ставить чтото серьезное для ЭМС.
В традиционном смысле предохранителей там, конечно же, нет. А вообще там на всех контактах идущих наружу, вполне могут стоять защитные диоды (например от статики), которые, совместно с тонюсенькими золотыми проводничками, идущими от ножек микросхемы к кристаллу, роль предохранителей и выполнят. Восстановить работоспособность геморройно, но чисто теоретически, вполне может быть. В зависимости от желания, бюджета и важности информации, конечно.
Скорее всего это будет мало полезно. Думаю, молотком даже эффективнее.
Быстрее всего и, скорее всего, наиболее эффективно из доступных методов — «поджарить» в микроволновке!
В конце статьи не хватает отдельного абзаца «Выводы».
Я понимаю, что журналистам надо делать объем статьи, но есть люди которые не будут читать все и таких не мало.
Вообще-то у SSD есть специфичные команды для полного форматирования. Можно также выполнять т.н. «низкоуровневое» форматирование. Они действительно стирают весь объём диска, спрасывают таблицы ротации секторов т.п. И просиходит такое форматирование достаточно быстро, т.к. сипользуеют операции группового стирания.
Какие-то странные специалисты в обзоре…
Ну, банки памяти особой трансляции не требуют. (трансляция не хранит состояние). А контроль износа можно переложить на ФС, хотя сейчас вроде ни одна Log Structured FS этого не делает. Возможно, есть смысл расширить систему команд ATA для доступа к счётчикам износа.
Не нашёл там специфического контроля износа. А вообще да. Именно такие FS я и имел в виду. Но YAFFS относится к старому поколению флешовых систем, у них туго с большими объёмами. Есть надежда на UBIFS и LogFS.
Но при записи мусора и последующем его стирании блоки наполняются новой информацией? Тут варианта два: или они хранят стертые данные с первой перезаписи (всегда), или заполняются вновь стёртыми, не могут же они быть бесконечны.
Зарубежные криминалисты фактически кинули в гиковскую среду очередную идею для разработки «на слабо» методики обхода (пусть даже паяльником) штатного контроллера доступа к NAND, чтобы потом снять эту методику непосредственно с рук какого-нибудь удачливого хакера.
Плюс: а как насчет методик вроде туннельной микроскопии или атомно-силового микрографа? Если в процессе чтения/записи меняются электрические параметры материала — такой прибор, возможно, сможет засечь «нули и единицы» по реакции на изменения электрического поля. Правда, микросхему придется вытравить, но это для криминалистики, думаю, проблемой не будет. Скорее проблемой будет заполучить «доказуемую» флешку как можно раньше, до выполнения полного цикла оптимизации свободного пространства.
Это из области историй о секретной лаборатории ФСБ в глухих лесах, где специально-обученные люди в скафандрах собирают воедино уничтоженные HDD и восстанавливают с них перезаписанную в 10 слоев информацию.
Наверное существует и наверное работает успешно, но для «полевых» условий метод не подходит.
Проблема получить — проблема доблестного опер.состава, а не криминалиста
Ребята, просто посчитайте:
Для съёма данных с такой флешки надо протравить и снять несколько защитных слоёв. По цене это мелочи с последующим, но нужен нехилый опыт, иначе можно легко испортить плату. Далее нужен микроскоп — это уже ощутимые деньги, как минимум несколько миллионов рублей. Допустим, что у нас есть софт, позволяющий автоматизировать сбор картинок и выделять на них из магнитных доменов или остатков электрического заряда на плавающем затворе биты и байты. После всего этого нам, наконец-то, потребуется самый неквалифицированный работник в данной компании — чел, который будет сидеть в WinHex'е и восстанавливать в ручную все данные.
То есть для всего этого нам необходим несколько людей с зарплатой не меньше полтиника в месяц ( за меньшее я не пошёл бы). То есть единоразово выкинуть несколько лямов и потом каждый год выплачивать, допустим для троих сотрудников, 150 000 * 12 = 1 800 000 рублей, чтобы они, *возможно*, нашли какие-то данные?
Зачем считать? Налогоплательщики платят.
В соответствующих подразделениях FBI целые конвейеры (привет, Генри Форд!).
Вещдок приезжает в подразделение -> Отдельный сотрудник распаковывает и заносит в журналы -> Отдельный сотрудник снимает дамп и вычисляет хэши -> Отдельный сотрудник спец.софтом (какой-нибудь Encase) ковыряет дампы/клоны/носитель -> Отдельный сотрудник оформляет найденное и пишет отчет -> Отдельный сотрудник запаковывает вещдок обратно и прилагает отчет и сопровождающие документы.
При этом есть дежурная бригада города/штата/округа, которая занимается только выездами и сбором/изъятием вещдоков.
При необходимости в цепочку добавляются другие спецы (восстановление данных, восстановление носителей, криптоанализ и т.д.)
Другое дело что в России эксперт в подразделении на все руки мастер — и на выезд сгонять, и следователю/оперу помочь найти/изъять, и исследование провести, и экспертизу написать, и в суд съездить (с зарплатками далеко не 50 тыс.руб., а дай то бог 30-ка + ненормированный рабочий день с выходными и праздниками на дежурствах). И все это зачастую «на коленке».
А касаемо независимых экспертов или спецов в коммерческих структурах — так где вы их видели в массовых количествах?
Точно знаю, что у Лукойла есть спецы и оборудование и смутно догадываюсь, что в конторах с серьезной СБ такое может практиковаться, но там это обосновано или же денег много.
Проводя параллели — никто не сомневается, что конкурентная разведка в компании нужна. Только часто вы подразделения такие в компаниях видели. На отдел маркетинга в лучшем случае сваливают, мол, мониторьте.
Это я к тому, что там, где надо — уже все посчитали и приняли решение, что такие спецы в штате нужны.
Всё, повсеместно переходим на гибрид DDR2 RAM-драйва (с торчащими наружу планками) и магнетрона. Пусть будет лимит в 8-24 Гб, зато погибнет сразу и гарантированно. Да и показатель IOPS получше, чем у SSD.
Тут интересуют два момента:
1) если диск логически побился (потерялась часть данных), можно ли его восстановить, не знаю, может ли это случаться с ССД
2) если данные с диска надо удалить и диск отформатирован, записана туда порнуха с торренов, потом удалена, потом снов записана и так раз 10 — прочтут ли диск потом?
Есть некая вероятность, что что-то чувствительное останется в резервной области, которую вы не можете перезаписать. Именно поэтому таков ответ на предыдущий вопрос. Как повезёт, как контроллер решит. Может там останутся несущественные данные, а может очень даже существенные. Рандом.
Именно поэтому традиционный способ «перезаписать полностью» не применим к SSD в силу наличия у них резервной области и умного контроллера, который сам решает, что куда писать.
Стереть нельзя восстановить