Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Интернет в контейнере

IT-компании
imageНа вопрос «Как сохранить три петабайта данных?» (3 145 728 Гб) компания Sun однозначно отвечает: «Нужно поместить весь архив интернета в датацентр, располагающийся в металлическом контейнере, удобном для транспортировки».

Так и было сделано 27-го марта, когда некоммерческая организация Internet Archive и Sun договорились о перемещении всей информации архива в дата-центр (Modular Datacenter) последней компании. Кроме практически всех веб-страниц, созданных за время существования всемирной паутины, в новом архиве будет хоститься и популярная Wayback Machine, позволяющая посмотреть как тот или иной сайт выглядел в прошлом.

Несмотря на то, что сегодня архив существует на созданной специально для него архитектуре, Sun приняла решение о переносе всех данных на сервера Sun Fire x4500 (Thumper), работающих под управлением Solaris 10 OS, файловая система: ZFS. По-мнению Sun, чьему опыту можно доверять, это позволит с меньшими затратами добавлять в архив ежемесячно 100Тб, на которые «вырастает» всемирная сеть.

Между тем, на сайте Sun можно пройти виртуальную экскурсию по дата-центру в контейнере и узнать множество других, не менее занятных, фактов о Sun Modular Datacenter.

Sun via Gizmodo via ArsTechnica
Всего голосов 42: ↑40 и ↓2 +38
Просмотры 481
Комментарии 55

Internet Archive спасёт бумажные книги

Киберпанк
Некоммерческая организация Internet Archive с 1996 года ведёт летопись интернета, сохраняя копии веб-страниц, графических материалов, видео-, аудиозаписей, программного обеспечения и цифровых книг. Без сомнения, это один из самых важных проектов Сети, который ставит своей целью сохранение культурно-исторических ценностей цивилизации в эпоху недолговечных цифровых носителей.

Раньше в сферу интереса Internet Archive попадала только цифровая информация. Но сейчас они приняли решение выделить склад в Калифорнии для долговременного хранения физических копий книг. Они будут храниться в коробках по 40 книг стопками по 24 коробки (на фото) в грузовых контейнерах.

Причины такого решения не очевидны, но если подумать, то становится немного страшно за человечество.
Читать дальше →
Всего голосов 49: ↑38 и ↓11 +27
Просмотры 483
Комментарии 52

Эдвард Сноуден заявил, что АНБ взламывало сотни машин в Китае

Информационная безопасность *
Впервые с момента раскрытия своей личности как информатора о проекте PRISM Эдвард Сноуден дал часовое интервью. Сноуден смог заинтересовать гонконгское издание South China Morning Post заявлением о том, что американские разведслужбы с 2009 года производят взломы китайских компьютеров. По просьбе ньюсмейкера газета не будет раскрывать то, как было проведено интервью.

Эдвард, в частности, заявил, что АНБ произвела более 61 тыс. операций компьютерного взлома по всему миру, из них сотни были нацелены на объекты в Китае. Среди целей в Гонконге были Китайский университет Гонконга, официальные лица, предприятия и студенты города: «Мы взламываем магистральные сетевые узлы (по сути, огромные интернет-роутеры), что даёт нам доступ к коммуникациям сотен тысяч компьютеров без необходимости взлома каждого из них.»

Сноуден заявил, что он хотел продемонстрировать лицемерие правительства США, которое заявляет о том, что, в отличие от своих врагов, они лишь защищаются, и что гражданская инфраструктура не является их целью. Он считает, что для нераспространения этой информации они будут использовать любые средства, вплоть до дипломатического запугивания.
Читать дальше →
Всего голосов 79: ↑71 и ↓8 +63
Просмотры 57K
Комментарии 81

В Индии заблокировали более 30 сайтов

Законодательство в IT

Сейчас уже восстановлен доступ к некоторым из них


Ряд СМИ сообщает, что более 290 млн интернет-пользователей Индии потеряли доступ к 32 сайтам. Среди них есть важные и популярные проекты: GitHub, Pastebin, видеохостинг Vimeo, всемирно известный «Архив Интернета». Причина блокировок — использование этих сервисов пропагандой Исламского государства.

Пользователь «Твиттера» Пранеш Пракаш приводит список заблокированных ресурсов.


Читать дальше →
Всего голосов 19: ↑16 и ↓3 +13
Просмотры 10K
Комментарии 27

Роскомнадзор заблокировал Архив Интернета

Законодательство в IT
Новой жертвой блокировки в России, возможно, стал сервис Архив Интернета (Internet Archive) и расположенная на его серверах The Wayback Machine — архив копий веб-страниц.

Запись о блокировке домена и IP-адреса web.archive.org (207.241.224.26) внесена в Реестр запрещённых сайтов.

Агентство РБК сообщает, что Роскомнадзор ограничил доступ к странице archive.org/details/odinochniy, согласно решению Генпрокуратуры РФ от 16 июня на основании статьи 15.3 закона «Об информации, информационных технологиях и о защите информации». Генпрокуратура посчитала, что в публикации содержатся «призывы в массовым беспорядкам, осуществлению экстремистской деятельности, участию в массовых мероприятиях, проводимых с нарушением установленного порядка».
Читать дальше →
Всего голосов 38: ↑35 и ↓3 +32
Просмотры 22K
Комментарии 181

Справочная: “Архив Интернета” — история создания, миссия и дочерние проекты

Хранение данных *Облачные сервисы


Вероятно, на Хабре не так много пользователей, кто никогда не слышал об «Архиве Интернета» (Internet Archive), сервисе, который занимается поиском и сохранением важных для всего человечества цифровых данных, будь то интернет-странички, книги, видео или информация иного типа.

Кто управляет Интернет-архивом, когда он появился и какова его миссия? Об этом читайте в сегодняшней «Справочной».
Читать дальше →
Всего голосов 32: ↑32 и ↓0 +32
Просмотры 16K
Комментарии 6

«Прочту потом»: трудная судьба оффлайновой коллекции интернет-страничек

Open source *Программирование *Хранение данных *Софт

Есть виды софта, без которого одни люди жить не могут, а другие даже не представляют, что такое существует и кому-то вообще нужно. Для меня долгие годы такой программой был Macropool WebResearch, позволявший сохранять, читать и организовывать интернет-страницы в некое подобие оффлайновой библиотеки. Уверен, многие из читателей прекрасно обходятся коллекцией ссылок или комбинацией браузера и папки с набором сохранённых документов. Мне же хотелось бы иметь возможность хотя бы отмечать документы как "прочитанные" или "избранные", быстро переходить от одного текста к другому и не зависеть от доступности интернета или конкретного сайта. Бывает, что читать есть время ровно тогда, когда интернета нет (в дороге, например), да и ссылки, к сожалению, нередко оказываются недолговечными.

Читать дальше →
Всего голосов 68: ↑67 и ↓1 +66
Просмотры 22K
Комментарии 114

Веб-архив: импортозамещение

Информационная безопасность *Монетизация веб-сервисов *Патентование *Копирайт IT-компании
Понадобилось найти старую версию одного сайта. В Wayback Machine (https://archive.org/web/) версии от нужной даты не оказалось, и я решил поискать альтернативные архивы интернетов. В основном находились сервисы, реализующие идею «вы нам дайте URL, а мы его заархивируем» (типа уважаемого мной http://archive.md), то есть совсем не то, что было нужно в данный момент.

И тут вдруг находится искомое — http://web-arhive.ru/ Сначала порадовался за соотечественников, сделавших полезный сервис, но через несколько минут меня начали терзать смутные сомнения…
Читать дальше →
Всего голосов 56: ↑50 и ↓6 +44
Просмотры 21K
Комментарии 36

Cloudflare и Internet Archive сделают сайты доступными даже в случае проблем с хостингом

Блог компании Selectel IT-инфраструктура *IT-компании

Каждый пользователь интернета хотя бы раз сталкивался с ситуацией, когда запрошенный сайт не открывался. Случается это по разным причинам, но чаще всего проблема — в хостинге. Сбой сервера, на котором размещается сайт, приводит к частичной или полной неработоспособности ресурса.

Для того, чтобы исключить подобные проблемы в будущем, Internet Archive объединил усилия с Cloudflare. Сайты, которые обслуживаются при помощи этого сервиса, станут участниками программы Cloudflare Always Online. Эти сайты будут синхронизироваться с базой данных «Архива интернета», благодаря чему всегда будут доступны для пользователей.
Читать дальше →
Всего голосов 25: ↑25 и ↓0 +25
Просмотры 2.9K
Комментарии 3

Архивация по URL

Блог компании Timeweb Cloud Веб-дизайн *IT-инфраструктура *Восстановление данных *
Перевод


Каждый год несколько процентов материалов, на которые я ссылаюсь, исчезают навсегда. Для человека, который старается не писать без пруфов, это неприемлемо, так что я разработал собственную стратегию борьбы с битыми ссылками. Если коротко — коллекция скриптов, демонов и архивных сервисов в интернете просто берёт и бэкапит всё подряд. URLы регулярно выгружаются из логов моего браузера и статей с моего сайта. Все страницы архивируются локально и на archive.org, так что при необходимости они будут вечно доступны из нескольких независимых источников.

linkchecker регулярно проходит по моему сайту в поисках битых ссылок; все обнаруженные потери могут быть либо заменены (если адрес поменялся, но страница всё ещё существует), либо восстановлены из архива. Кроме того, мои локальные архивы криптографически датируются через блокчейн биткойна на случай, если возникнут подозрения в фальсификации.
Читать дальше →
Всего голосов 20: ↑20 и ↓0 +20
Просмотры 3.9K
Комментарии 4

На каких серверах держится Архив Интернета?

Блог компании VDSina.ru Серверное администрирование *Хранение данных *Хранилища данных *Накопители

Фото 1. Один из дата-центров Internet Archive в Сан-Франциско

Internet Archive — некоммерческая организация, которая с 1996 года сохраняет копии веб-страниц, графические материалы, видео- и аудиозаписи и программное обеспечение. Каждый может зайти в Wayback Machine и посмотреть, как выглядел Хабр в 2006 году или «Яндекс» в 1998 году, хотя загрузка архивных копий занимает около минуты (это не для реализма 90-х, а по техническим причинам, см. ниже).

Архив быстро растёт. Сейчас объём всех накопителей достиг 200 петабайт. Но Internet Archive принципиально не обращается к стороннему хостингу или облачному сервису вроде AWS. У некоммерческой организации собственные дата-центры, свои серверы и свои инженеры. Это гораздо дешевле, чем услуги AWS.
Читать дальше →
Всего голосов 95: ↑93 и ↓2 +91
Просмотры 39K
Комментарии 87

АЗАПИ хочет навечно заблокировать Internet Archive

Законодательство в IT Копирайт


Ассоциация по защите авторских прав в интернете (АЗАПИ) подала серию исков в Мосгорсуд против американской организации «Архив интернета» (Internet Archive), оператора сервиса Wayback Machine. На последнем заседании 16 августа 2019 года они потребовали навсегда заблокировать сайт archive.org на территории России, пишет «Роскомсвобода».

Претензии правообладателей связаны с тем, что в «Архиве интернета» обнаружены копии аудиокниг по серии постапокалиптических романов Дмитрия Глуховского «Метро 2033» и по детективу Дарьи Донцовой «Третий глаз алмаз». В данном процессе АЗАПИ действует в интересах издателя аудиокниг ООО «Аудиокнига».

К сожалению, процесс складывается таким образом, что Мосгорсуд может удовлетворить требования истца.
Читать дальше →
Всего голосов 67: ↑67 и ↓0 +67
Просмотры 33K
Комментарии 201

«Архив Интернета» поставил новый рекорд трафика ресурса: 60 Гбит/с в любой момент

История IT Сетевое оборудование


В начале мая 2020 года завершился процесс модернизации сетевого оборудования и систем связи для «Архива Интернета». Пропускная способность сети сервиса была увеличена на 30% до 60 Гбит/с. Это стало возможно благодаря безвозмездной финансовой поддержке ресурса со стороны мирового сообщества, включая многих сетевых энтузиастов, которые продолжают вносить свой вклад в проект.
Читать дальше →
Всего голосов 14: ↑14 и ↓0 +14
Просмотры 4K
Комментарии 3

Издатели книг подали иск против «Архива Интернета», который может его разорить

Открытые данные *Законодательство в IT

Четыре книжных издательства из США, Франции и Великобритании подали в суд на организацию «Архив Интернета». Причиной для иска стал запуск онлайн-библиотеки для помощи школьникам и студентам, которые не могут посетить обычные библиотеки из-за пандемии коронавирусной инфекции. 

Читать дальше →
Всего голосов 24: ↑23 и ↓1 +22
Просмотры 6.7K
Комментарии 106

Barclays Bank уличили в использовании «Архива Интернета» в качестве CDN

Информационная безопасность *JavaScript *Финансы в IT
image

Barclays Bank использовал цифровой архив World Wide Web, основанный «Архивом Интернета», в качестве сети доставки содержимого.
Всего голосов 18: ↑16 и ↓2 +14
Просмотры 5K
Комментарии 14

«Архив Интернета» просит издателей отозвать иск с требованием удалить 1,5 млн книг

Открытые данные *Законодательство в IT Копирайт

Руководитель некоммерческой организации «Архив Интернета» (Internet Archive) Брюстер Кале опубликовал ответ на иск четырех коммерческих издательств, обвиняющих сайт в пиратстве. Он просит компании отказаться от требования удалить цифровые копии около полутора миллионов книг с площадки проекта «Открытая библиотека».

Читать дальше →
Всего голосов 15: ↑13 и ↓2 +11
Просмотры 6.2K
Комментарии 5

Десятки научных журналов исчезли из интернета за последние 20 лет и никто их не сохранил

Хранение данных *Учебный процесс в IT

92 научных журнала по социальным и гуманитарным наукам и 84 — по естественным пропали из интернета за последние два десятилетия, поскольку издатели перестали их поддерживать, пишет ScienceMag. Потенциально это могло привести к утере полезной информации об исследованиях, проведённых публиковавшимися в этих журналах авторами. 

Читать далее
Всего голосов 21: ↑19 и ↓2 +17
Просмотры 11K
Комментарии 57

«Архив Интернета» сохраняет историю Flash-контента эмулятором Ruffle

Adobe Flash История IT Софт
image

За несколько недель до запланированного Adobe завершения поддержки Flash «Архив Интернета» объявил, что создал новую коллекцию, посвященную Flash-контенту. Это позволил сделать встроенный эмулятор Ruffle.
Всего голосов 15: ↑15 и ↓0 +15
Просмотры 4.2K
Комментарии 13

Tucows закрывает архив программ: в эпоху магазинов приложений каталог больше не нужен

История IT IT-компании

Компания Tucows сообщила о закрытии своего каталога программ. Большая часть программного обеспечения и других ресурсов, составляющих библиотеку Tucows Downloads, была передана в Архив Интернета.

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 4.1K
Комментарии 8