«Неиндексируемый сайт» Unindexed невозможно найти через поисковую систему. Программа постоянно следит за поисковой выдачей, а в случае появления там — сразу удаляет всю информацию.
Автор Мэтью Ротенберг (Matthew Rothenberg) полагает, что концепция «неиндексируемых сайтов» подходит для запуска «секретных» сообществ, о которых знают только избранные пользователи. Они передают информацию через материальные носители в реальном мире и нигде в интернете не упоминают название сайта, прямо как в фильме «Бойцовский клуб».
Появление поискового бота здесь приравнивается к потере маскировки. Так сказать, «явка провалена», выражаясь языком разведки.
Конечно, можно просто запретить индексирование сайта через инструкции в файле
robots.txt, но это всё равно не гарантирует отсутствие в поисковой выдаче. Мэтью провёл эксперимент с самоудалением собственного сайта. Эксперимент продолжался 22 дня, прежде чем сайт появился в выдаче Google. Это произошло 24 февраля 2015 года в 21 ч 01 мин 14 сек. В течение нескольких мгновений он был полностью стёрт.
Автор не использовал каких-либо методов для защиты от индексации, только указал метатег NOARCHIVE, который запрещает кэширование содержимого поисковыми системами. Таким образом, после удаления сайта информацию невозможно восстановить из кэшированной копии в Google.
Содержимое сайта хранится только в оперативной памяти (используется Redis) и загружается через файл в зашифрованном разделе жёсткого диска. Этот раздел удаляется сразу после запуска сайта. Резервные копии в Redis отключены. Ну и содержимое оперативной памяти очищается, когда проверка Google даёт сигнал тревоги.
