Компания Google провела эксперимент по сортировке 1 ПБ данных при помощи фреймворка MapReduce. Данные были представлены в виде 10 триллионов записей, каждая длиной 100 байт. Для сортировки были задействованы 4000 компьютеров. Этот беспрецедентный для такого типа задач объем данных удалось отсортировать за 6 часов 2 минуты.

В ходе эксперимента сотрудникам Google пришлось решать проблему с размещением 1 ПБ данных. Дело в том, что при каждом новом запуске сортировки, выходил из строя хотя бы один из 48 000 используемых жестких дисков. В итоге, было решено дать Google File System команду хранить по три копии каждого файла на разных жестких дисках.

Сортировка меньшего объема данных в 1 ТБ на 1000 компьютерах заняла 68 секунд. Этим самым в Google побили предыдущий рекорд по сортировке аналогичного объема данных, составляющий 209 секунд на 910 компьютерах.

Для сравнения, общий объем фотографий, хранимых в Facebook, составляет 1 ПБ, Большой Адронный Коллайдер будет производить 15 ПБ данных в год, а Google обрабатывает около 20 ПБ данных в день.

По мотивам хабратопика Машина времени в действии.



Данный скрин был сделан более года назад. Нужно было передать по локальной сети дистрибутив Half-Life 2:Deathmatch. Для данной цели был выбран протокол FTP и ПО RhinoSoftware — ServU. Однако по непонятной причине в корне FTP-сервера оказался забавный файл.
Возможно, ошибка парсинга списка файлов FTP-сервера Explorer'ом.

P.S.: Сорри за качество, это единственный скрин который сохранился с того времени.

Компьютерное издание The Tech Report в августе прошлого года начало тестирование SSD-накопителей. Цель — проверить, сколько циклов перезаписи выдержит каждый из шести экземпляров. Эксперимент продолжается до сих пор: после записи 1 петабайта в живых остались три накопителя.

Вчера инженеры из Backblaze обновили статистику по надёжности HDD. За пару дней до этого стали известны результаты ещё одного интересного эксперимента — на выживание SSD-накопителей.

Компьютерное издание The Tech Report в августе прошлого года начало тестирование SSD-накопителей. Цель — проверить, сколько циклов перезаписи выдержит каждый из шести экземпляров. Эксперимент шёл целый год: после записи 1 петабайта в живых осталось три накопителя, а после 1,5 петабайта осталось два.