Куда подевался старый веб? Мы прошли по 657 607 ссылкам, чтобы разобраться

В старой резервной копии базы данных 0.mk хранится 657 958 ссылок, созданных с 2009 по 2014 год, а также количество нажатий на них. В августе 2026 года мы восстановили 657 607 из этих записей в виде ссылок до 2015 года и прошли по каждой из них. Из 655 178 безопасных записей ссылок с возможностью перехода 76,7% больше не возвращало загружающуюся страницу.

Большинство из пользователей 0.mk находится в Македонии, поэтому это исследование не отражает картину для всего веба. Это большой архив того, чем в тот период делилось одно онлайн‑сообщество, в том числе сборник местных новостей, фотохостингов, форумов и популярных на то время платформ.

Основанный в 2009 году 0.mk был любительским проектом команды из трёх человек. Мы работали над ним в свободное от работы время, обычно по несколько часов в день. Спустя семнадцать лет один из нас нашёл на диске резервную копию базы данных и решил вернуть её к жизни.

Вот, как выглядели эти шесть лет создания ссылок:

Сырые записи ссылок без учёта пользователей. Всплеск за 2011 год включает один набор из 83 398 ссылок; 97,8% записей 2013 года и 99,9% записей 2014 года не добавлены к восстановленному аккаунту. Зелёная полоса в конце — это перезапуск сервиса в 2026 году.

Проверка на выживание

Краулинг охватывает все 657 607 восстановленных записей ссылок до декабря 2014 года. Мы исключили 2 429 ссылок, которые указывали на некорректные, внутренние, защищённые регистрацией или заблокированные политиками страницы. В результате осталось 655 178 исторических ссылок, которые можно подвергнуть краулингу:

Даже показатель 23,3% не отображает истинную долю выживших. Необходимость логина, припаркованный домен с кучей рекламы, «этот контент больше недоступен» — всё это считается загрузкой страницы. Даже если страница работает, это не означает, что её исходный контент всё ещё на месте.

Почему ссылок 657 607, а URL всего 494781? Различные короткие ссылки иногда указывают на один и тот же адрес. В базе 162 826 таких повторяющихся записей. При однократном учёте каждого адреса получаем 494 781 уникальных URL, из которых 492 620 можно было посетить краулингом. Только 21,3% из них загрузилось. Их доля почти не меняется при удалении повторяющихся адресов: 78,7% всё равно не загружаются.

На уровне уникальных URL 55,0% завершались сбоем на сетевом уровне после повторных попыток получить результаты из второй сети, а 23,7% возвращали ошибку HTTP. Самым частым HTTP‑результатом был 404, его возвращали 76 403 уникальных URL. Ещё 29 663 адресов возвращали 403 или 429; эти страницы не загружались для краулера, но, возможно, они блокировали автоматизированные запросы, а не отсутствовали. 403 и 429 могут означать, что сайт блокировал наш краулер, поэтому честнее будет сказать, что страницы не загрузились.

Тот же самый паттерн повторяется на уровне доменов. Из 133 605 имён хостов, которые можно посетить краулингом, только загрузку хотя бы одного URL обеспечили только 34 827. На остальных 98 778 не было ни одной.

Доля без загрузившихся страниц во всём объёме краулинга. Результаты на уровне URL учитывают все уникальные пути. Результаты на уровне хостов учитывают уникальные имена хостов.

Странные результаты 2011 года объясняются тем, что один аккаунт создал 83 398 уникальных ссылок на pelaphptutorials.com. На уровне URL не загружаются 92,5% из адресов 2011 года. Когда этот хост учитывается только один раз, то мы получаем показатель 61,7%, почти равный результатам 2010 и 2012 годов.

Годовые результаты не отражают падение активности в 2012 году. Если убрать набор из 83 398 ссылок, то показатели 2011 года упадут с 103 053 записей до 19 655; в 2012 году было 23 148. Почти все записи 2013 и 2014 годов в восстановленных данных анонимны, а три четверти их имён хостов не содержат загружающихся URL. Сырой объём ссылок не связан с кривой роста количества пользователей.

Многие из узнаваемых выживших относятся к гигантам: сервисам YouTube, Wikipedia и Google. Личные блоги, форумы, сайты местных новостей встречаются во множестве адресов, которые недоступны. В общем случае, централизованный веб справлялся с выживанием лучше, чем мелкие сайты.

Прогулка по кладбищу

База данных похожа на музей Интернета 2010-х. Вот некоторые из экспонатов с количеством указывающих на них ссылок:

Пользователи обменивались фотографиями Facebook в виде прямых ссылок на CDN; ни один из 789 уникальных URL fbcdn.net этих 835 записей не загрузился. PureVolume сейчас возвращает страницы для 633 из 653 уникальных URL, а Google Code загружает или перенаправляет 628 из 754. Исходные сервисы закрылись, но их домены отвечают. HTTP‑ответ не считается эквивалентным сохранённому контенту.

Македонский слой

Изначально 0.mk был македонским укорачивателем URL, поэтому в данных зафиксированы и записи о национальном вебе, которого частично уже не существует. Ссылки указывают на A1 Television (закрылся в 2011 году) и на газеты Utrinski Vesnik, Dnevnik и Vest, которые перестали печататься в 2017 году. Это сотни ссылок на местные новости, которые больше нельзя нигде прочесть, кроме, может быть, Internet Archive. Короткие ссылки пережили редакции новостей.

Сокровища

За семнадцать лет хранения ссылок у нас накопилось немало сокровищ:

Первая укороченная ссылка (July 14, 2009, 3:52 AM) не была манифестом или постом о запуске сервиса. Это таблица стилей CSS в чьём‑то блоге на WordPress. Получила всего два клика. Империи всегда начинаются с малого.

На второй день кто‑то укоротил localhost. 0.mk/localhost указывал на http://127.0.0.1/. Он получил два клика, каждый из которых отправлял посетителя на его собственную машину. Самый короткий URL на самый одинокий адрес.

Самая короткая ссылка указывает на самый длинный домен. На 0.mk/1 было зафиксировано 10 415 кликов; этот URL указывает на thelongestlistofthelongeststuffatthelongestdomainnameatlonglast.com — любопытный артефакт из 2000-х, которого уже не существует. В течение 17 лет четыре символа указывают на шестьдесят три.

Самый длинный укороченный нами URL состоял из 38 753 символов, это ссылка 2012 года на CodePen, в строке запроса которой буквально повторяется TRYING_THE_MAXIMUM_URL. Кто‑то нас проверял. Мы прошли проверку и сохранили её.

4 478 из наших ссылок указывают на другие укорачиватели URL: bit.ly, TinyURL, goo.gl. Короткая ссылка на короткую ссылку — удвоенная хрупкость. Google закрыла goo.gl в 2025 году, поэтому все эти ссылки представляют собой цепочки с отсутствующей серединой: наша половина по‑прежнему работает и указывает на сервис, который больше не ресолвится. Протухание ссылок в квадрате.

И один бессмертный пример: 0.mk/7, созданный 15 июля 2009 года, указывает на google.com. 95 999 кликов и число их продолжает расти. Спустя семнадцать лет и после возрождения сервиса он продолжает указывать туда же.

Почему 0.mk вернулся

К 2014 году доход от 0.mk не покрывал хостинг и трудозатраты на его поддержку. Нас постоянно заваливали спамом. Для фильтрации требовалось заниматься дальнейшей разработкой, а жалобы о недопустимом использовании кто‑то должен был читать. Команда основателей закрыла сервис.

Спустя семнадцать лет в уравнении появился ИИ. Теперь он занимается основной частью разработки, выявления спама, рассмотрения жалоб и мониторинга, чего старый проект позволить себе не мог. Благодаря этому стал возможен возврат 0.mk. Восстановленные ссылки теперь работают с edge‑машин в более чем трёхстах городах. Мы подробно писали о том, как это всё это работает.

Как мы выполняли проверку

Мы тестировали все восстановленные ссылки, созданные до 1 января 2015 года. Краулер совершал до пяти переадресаций и повторял попытки подключения из второй сети. Мы подсчитали HTTP‑ответы 2xx и 3xx при загрузке, отдельно фиксировали HTTP‑ошибки и никогда не обращались к локальным и небезопасным адресам.