Как стать автором
Обновить

Комментарии 96

Прочитал, что-то даже не знаю как реагировать.
Проходить мимо, вестимо…
Всего лишь красный корпус, а как стильно выглядит.
Там вообще-то в комментариях к той странице есть куча новых фотографий. Странно, что вы выложили такое старье.

ps: сорри, не совсем туда )
Я думал они на лентах все хранят и роботизированное хранилище типа как тут на фото ru.wikipedia.org/wiki/%D0%A1%D1%82%D1%80%D0%B8%D0%BC%D0%B5%D1%80#.D0.9B.D0.B5.D0.BD.D1.82.D0.BE.D1.87.D0.BD.D0.B0.D1.8F_.D0.B1.D0.B8.D0.B1.D0.BB.D0.B8.D0.BE.D1.82.D0.B5.D0.BA.D0.B0
Интересно бы узнать кто реально пользуется такими хранилищами в датацентрах? Или возможно там только всякие крупные банки логи транзакций архивируют? Но тогда откуда такой объем опять же будет.
При использовании этого типа хранения вряд-ли возможно пользоваться таким сервисом, как «Машина времени».
> — Вместимость: 650 терабайт / стойку;

На самом деле такая вместимость далека от рекордной, и в целом решение такое… ну на сегодня совсем не выдающееся по параметрам емкости и энергоэффективности. Я так понимаю, что основная цель была не емкость, а дешевизна хранения. В этом случае — да, наверное, достижение. Но тогда стоило бы именно на стоимсоти гигабайта заостриться.
Потому что емкости в полтора петабайта на стойку 42U уже вполне широкодоступное и «серийное» в индустрии решение, если оно кому-то необходимо.
Можно немного пруфлинков?
Про других другие расскажут, я расскажу с чем сам знаком:
NetApp DS4486 — полка на 48 дисков 3TB SATA в 4U
www.techcolumnist.com/wp/2012/07/03/netapp-ds4486-shelf-released-in-june/

При примерно 2500 «правильных» GiB на диске «3TB» и 10 полках в 42U, получается 2500 * 48 * 10 = 1.2 PB на стойку.

Другой вариант у того же вендора в моделях E-series, бывшие LSI/Engenio, есть дисковая полка на 60 дисков в те же 4U E5400.
www.netapp.com/us/products/storage-systems/e5400/e5400-product-comparison.html

При том же расчете получается 1,5 PB, причем это, отмечу, именно двоичных, а не десятичных петабайта, на таких объемах разница уже весьма существенную роль играет.
1. Кому дорого, вам?
2. Цены бывают разные. Там приведены — самые высокие из возможных. В реальной жизни они ниже. Сильно.
3. Вы знаете цены на устройства PetaBox? Или с чем именно сравниваем? с домашними торрентокачалками?
Я про приведенные вами устройства. Как правило любые специализированные NAS и SAN стоят дороже чем то из чего собран PetaBox. Плюс можно собрать аналогичные по плотности устройства из доступных на рынке деталей.
Собрать — можно. Работать — вряд-ли :)
Старый миф. Все работает. Причем с аналогичной надежностью.
Вы хотите об этом поговорить? ;)
Я уже рассказывал тут про самосборные рековые сервера :) Вон в гугле в фейсбуке и прочих уже давно поняли, что критерий надежности 50/50 сломается или нет.

И в случае если у вас есть критичный к сбоям бизнес и мало денег. То лучше купить две дешевых железяки и положить одну в зип. Чем купить одну крутую и не иметь зипа.
Вы на гугл и фейсбучик не кивайте. Лучше сходите у amarao спросите чего, как там у них их DRBD поживает.

Гугл и фейсбук могут купить себе разработчиков, которые им за полгода сядут и напишут новый линукс, а вы — нет. И не стоит пример гугла приводить, пока вы сами не гугл. Это не масштабируется.
Причем тут новый linux? Существующие в данный момент компоненты достаточно надежны для таких задач. У меня есть собранный на коленке NAS и он работает уже третий год. И не чихает. Можно подумать, что если вы купили у вот этих вот людей то решение сразу приобрело +100500 к надежности. Ничего подобного. Вы просто перенесли ответственность за решение на вендора и не более.
Я понимаю, что вы хотите о наболевшем поговорить, но, извините, я не психолог :)
У нас с вами разные подходы. Вы теоретик, и конструктор «НАСов на коленках», а я практик, и делаю решения для компаний, у которых сутки простоя стоят как вся ваша зарплата за 10 лет. Вы можете быть оптимистом, а я вынужден быть пессимистом, мне свои яйца жалко, извините за прямоту ;)

К тому же «пессимист — это хорошо информированный оптимист», как говорят, а я достаточно хорошо информирован в этой области, уже не первый десяток лет всем этим занимаюсь, и всякого насмотрелся.
Вы теоретик, и конструктор «НАСов на коленках», а я практик, и делаю решения для компаний, у которых сутки простоя стоят как вся ваша зарплата за 10 лет.

Ни что меня так не умиляет как когда мне говорят, что я теоретик :)

делаю решения для компаний, у которых сутки простоя стоят как вся ваша зарплата за 10 лет.

Это совсем другой класс задач. Я думаю вы и сами отлично это понимаете. Тут можно хоть решения на коленке ставить. Что у них в целом и продемонстрировано.

НЛО прилетело и опубликовало эту надпись здесь
А это потому, что у них цели разные.
DS4486 это «емкость во что бы то ни стало», а MetroCluster — «надежность во что бы то ни стало», а это плохо сочетающиеся между собой в одном решении принципы. Полка с SATA дисками, включенными в тандемный конструктив, на 3TB, это негодное решение для обеспечения максимально возможной доступности хранения данных (но вполне подходящее для максимальной емкости хранения), поэтому, собсно.
В общем DS4486 это очень узконишевой продукт, вот для таких задач, как в топике, и не более.
НЛО прилетело и опубликовало эту надпись здесь
Еще можно энергоэффективность посчитать. Полка DS6600 потребляет в полной набивке 1,22kW и тепловыделяет 4180 BTU, соответственно будет 12,2kW на стойку из 10 полок и 41800 BTU тепла. DS4486, полагаю, того же порядка цифры.

У показанного выше при всего 100TB на стойку — аж 6kW,
Но, строго говоря, это нельзя сравнивать в лоб, так как выше примеры — чистое хранилище, а у archive-org это скорее grid какой-то, у них, как я понимаю, каждый блок имеет свой процессор, что, при задаче высокоплотного хранения, безумно избыточно (собственно очень плохие показатели энергоэффективности это демонстрируют), но, видимо, они как-то архитектурно построили вот именно что grid, а не просто хранилище, и что-то этим интересного достигают. И вот именно про последнее было бы более всего интересно почитать.
Не силен в сей сфере, но тоже обратил внимание на выходы мыши/клавы/ЛПТ/КОМ/видюхи. Соглашусь, что это ну очень не оптимально для такого рода хранения данных.
Ну, я думаю — данное решение — оптимальное соотношение цена/качество.
«качество» чего? ;)
Нагрузку с хабра выдерживает обычный десктоп с обычным дефолтным апачем, даже без nginx'а сверху.

(«выдерживает» — громко сказано, её просто не заметно).
Что-то вроде этого я и имел ввиду. Странная фраза от имени хостинговой компании.
Да просто к слову пришлось. Повышают цитируемость (странно, что без ссылки).
Зная этого уважаемого провайдера, могу предположить, что не выдержит
а хабраэффект тогда откуда появился?
Как клон slashdot-эффекта. Там да, могут много кого прийти. Но уж точно не на сайты с статикой. Проблемы вообще могут быть только у пользователей с динамикой, то есть там, где серьёзное приложение крутится. А на статику — большинство современных серверов и софта на них может отдавать статику со скоростью среды.
Картинки конечно же статика, но даже их просмотры временами могут создавать нагрузку. Особенно, когда одну и туже картинку начинает запрашивать бот в несколько тысяч раз одновременно. Это уже получается подобие дос-атаки.
Мы как-то с программистом поспорили на тему «завалит ли он с помощью ab мне апач на домашней машине», Не завалил. Хотя мне пришлось ради теста закрыть один из трёх запущенных браузеров и гимп. Остались thunderbird, opera, ff, mypaint, krusader, deluge, smplayer с недосмотренным кином, всякая мелочь вроде пары десятков открытых консолей. Ну и там в уголке ютился апач, обрабатывавший запросы со скоростью среды.

Очевидно, что с гигабита на фулфилд мои 100мбит завалятся в пол-пинка. Но вот говорить о том, что современный браузер не способен отдать пару тысяч картинок в секунду — это чушь и глупость.

Минимальный же набор телодвижений позволит её (нагрузку) на статике выдерживать до тех пор, пока канал терпит.

Все, кто рассказывает о том, как им сервер статикой в 2к запросов в секунду завалили, либо ютятся на мелком VDS'е, либо имеют руки из задницы.
Отчасти от кривых скриптов :).
Меня всегда умиляет как люди сравнивают несильно обозначенные величины.
Сравните: отдать сервером одну картинку или заход на sUpeR-Puper-nEw-curved-hand-made-CMS, которая каждый раз между запросом клиента и возвратом контента произведет расчет погоды на марсе исходя их его IP и курса доллара?
А они это делают, поверьте. А потом говорят, что хостер говно, ресурсы ограничил, редиска, что житья нет совсем.
Не совсем IT, но так же часто смешно сравнивают:
— Я заправляю машину раз в три дня, у меня нормальный расход?
— Что-то многовато, я раз в три дня заправляю!!!
И больше НИКАКИХ данных.
ошибка во втором примере: сравнение раз в неделю и раз в три дня.
А, если не секрет, за счёт чего у интернет-архива доход?
archive.org/about/faqs.php#31
What is the nonprofit status of the Internet Archive? Where does its funding come from?

The Internet Archive is a 501(с)(3) nonprofit organization. It receives in-kind and financial donations from a variety of sources, including, but not limited to: Alexa Internet, the Kahle/Austin Foundation, the Alfred P. Sloan Foundation, the William and Flora Hewlett Foundation, and you.
Понятно)
Может кто знает как хотя бы окупается, ни то что зарабатывает всё это дело?
Некоммерческая организация. Очевидно же: им Госдеп США платит, чтобы иметь контроль над новейшей мировой историей.
Вертикальное расположение розеток вдоль всей высоты стойки — практично.
Вы упомянули транспортный контейнер. Только его размер 20х8х8 футов, а не метров. Он так и называется, 20-футовый контейнер.
Чортовы имперцы! ;)
Ну тогда еще в вдогонку — название компании которая разработала контейнер правильно пишется SUN, а не SAN.
А еще этому контейнеру уже далеко не один год, он совсем-совсем не новинка. А у нас выпускаются функциональные аналоги, предназначенные для наших широт (например с тамбуром для севера). Я работал в компании, которая эти контейнеры-серверные выпускала.
И кто в основном покупает такие контейнеры?

Если это не секрет, как решалась проблема охлаждения/отопления?
Ну, в частности, Комус купил себе такой. Охлаждение решалось 3мя кондиционерами, 2 в рабочем режиме, один в оперативном резерве. Кондиционеры снимались для передвижения и устанавливались на новом месте. Довольно быстро. С обогревом справляется сам датацентр — контейнер утеплен, а тепловыделение не маленькое. Первоначальный обогрев можно сделать тепловой пушкой быстро и просто.
Покупают в основном те, у кого нет места на полноценный датацентр или нужен недорогой резервный датацентр, или невозможно получить нужную площадь или мощность в центре города (с энергоснабжением очень часто проблемы). Такой контейнер можно поставить грубо говоря на заднем дворе под навес.
Производство и сертификация их — непростое дело. Но посильное. У Sun все круто — водяное охлаждение, плотность упаковки, но очень дорого и срок изготовления на заказ (а в наличии как понимаете их не бывает) — от 3х месяцев. Плюс не все заказы принимаются. Ну и не всегда их вариант пригоден — открывать вот так контейнер при -30 на улице и высокой влажности я бы не стал, а что делать, если сервер нужно обслужить, заменить, добавить?
Мне кажется что в Сановском варианте не очень здорово именно водяное охлаждение. Необходимость наличия воды — само по себе является проблемой (где брать, куда отводить), ну а при отрицательных температурах становится еще одной головной болью.
Кондиционеры — большой плюс к мобильности, но опять же, нужен зимний пакет и дополнительная нагрузка на сеть.
Собственно меня интересует такой тривиальный вопрос, если контейнер делается в том числе и для северных широт, можно ли организовать охлаждение естественным образом за счет вентиляции?
Летом, понятно, пусть работают кондиционеры, но зимой-то что мешает, образно выражаясь «открыть форточку»? Очень интересно было бы узнать почему так не делают.
Не могу вам этого сказать. я этим проектом не занимался, знаю о нем постольку -поскольку выступал фотографом для него, а вообще я руководил другим направлением.
"… А знаешь как они там в Париже называют четвертьфунтовый чизбургер?
— Что, они не называют его четвертьфунтовый чизбуогер?
— У них метрическая система, они вообще ни… я не понимают что это такое четверть фунта.
— И как же они его зовут?
— Они зовут его «Королевский чизбургер».
— «Королевский чизбургер»?
— Да, вот так." © pulp fiction
Да ладно вам, диагональ монитора все равно же в дюймах меряете.
54 советских сантиметра!
Да что там мониторы. Если верить классикам, то уже в постреволюционное время даже фиговый дворовый механик не мог найти плашек именно на 7/8" :)
А вот с этим надо быть осторожнее. Есть тут у нас в сибирской глубинке здание, которое построили канадцы. Построили под ключ. Все здорово. Но со временем эксплуатации выясняются не очень приятные нюансы.
Подвесной потолок типа армстронг, стандартный для офисных зданий, в нашей стране имеет сетку 0.6х0.6м, в свою очередь американский стандарт 0.5х1.0м. Ладно бы просто плитки потолка. Но в потолок встроены светильники. Светильники часто перегорают, так как параметры нашего напряжения далеки от стандартов северно-американского континента.
Приходят электрики, что они видят. В светильнике 3 лампы дневного света, и вся внутренняя начинка рассчитана на 3 лампы. У нас такой начинки ни где нет. Только на 2 лампы, так как в наших светильниках устанавливают по 4 лампы.
Представляете какой геморрой имеют электрики при перегорании чего-то там в светильнике? И это только светильники.
Вместительность контейнера 20х8х8 метров

Футов, не метров. Вы сами то представляете себе такой контейнер в метрах?)
Ага контейнер с высотой потолков 8 метров впечатляет, не меньше серверных стоек :)
НЛО прилетело и опубликовало эту надпись здесь
По лентам непоищешь, эта информация должна быть не только сохранена, а и доступна для быстрого чтения.
Ну, вообще говоря, «по лентам» прекрасно ищется поиском по индексу, который создается на дисках софтом копирования, а потом уже считывается нужный кусок с нужной кассеты.
И сколько займёт считывание и генерация одной страницы? :)
Это вы меня спрашиваете? Я-то откуда знаю. Вы спросили «как ищется?» — ищется вот так.
Дело в том, что мало просто найти где находится информация, её нужно отобразить. Для этого нужно получить данные с архива, и для веба это неприменимо. Более того индекс может занимать довольно большой процент памяти.
НЛО прилетело и опубликовало эту надпись здесь
Автор, по поводу „всё это храниться“ — tsya.ru.
Фотки интересные.
tsya.ru слишком сложно, проще проверять «что делает? хранится». В «делает» нет мягкого знака, значит и в «хранится» нет.
Спасибо, очепятался, сразу исправить не мог, хотя заметил после публикации, но из-за отрицательной кармы требовало, чтоб убрал рубрику ИТ-инфраструктура, а убирать как-то было жаль, но сейчас карма восстановилась и исправил :)

Именно это правило самое удобное, если вопрос «что делать?» можно поставить — мягкий знак ставится, а если можно задать вопрос «что делает?» — тогда нет.

Ох уж этот русский язык :)
Скорее даже так :)


Первую картинку я знаю. А это откуда?
it crowd


Интересная у вас реклама.
simplix, да мы работаем в основном на украинском рынке, но продвигаем нашу нидерландскую площадку, так как там качественно. Вы наверное считаете, что если провайдер украинский, то должна быть украинская локация серверов?

Она у нас есть, просто на ней остались только трафикогенераторы, всех клиентов, которые генерируют в пределах 100 Мбит / с трафика или которые способны оплатить более качественный гигабит мы перевели на нидерландские серверы, потому что там недорого, качественнее и надежнее, последние 2 пункта превосходят украинскую локацию на порядок. До такого качества Интернет-каналов увы Украине еще расти и расти, как минимум лет 5-10. Но самое главное — там хорошее законодательство, последние события в Украине заставили задуматься, а стоит ли в Украине вообще размещать серверы, мы приняли решение, что не стоит… Куда безопаснее иметь пиринг в UA-IX из Нидерландов.

Что касается «выдержим» и «надежный». То надежность нашего сервера с сайтом никак не влияет на качество услуг для других абонентов, тем более, что наш сервер расположен в Украине и его время от времени атакуют. Есть такое понятие, как Хабраэффект, я не знаю сколько просмотров картинок будет одновременно, если будет 1000 запросов — может быть проблема, потому это и указал.
Картинки конечно же статика, но даже их просмотры временами могут создавать нагрузку. Особенно, когда одну и туже картинку начинает запрашивать бот в несколько тысяч раз одновременно. Это уже получается подобие дос-атаки.
Моё замечание конструктивное и касается только откровенных ляпов в рекламе. Фраза «надеюсь выдержим» несовместима с надёжностью, можно было сразу разместить картинки в Нидерландах и не делать себе антирекламу этой фразой (чуть выше уже пошутили по этому поводу). А название компании, дословно «Украинский хостинг», логически несовместимо с Голландией. Разумеется, это никак не влияет на качество.
Дело не в локации картинок, а в том, что сервер с нашим сайтом, куда я поместил картинки, не настроен под сверхнагрузку (на него обычно не поступает много запросов, наш сайт не столь популярен) и если боты обнаружив картинки на Хабре создадут кучу одновременных запросов или посетители самого Хабра — то может быть проблема, хотя и маловероятна конечно.

На счет "«Украинский хостинг», логически несовместимо с Голландией" — мы предоставляем услуги в Нидерландах в том числе для украинских пользователей, а не только для пользователей в РФ и других русскоговорящих стран, так что логику найти можно, хотя в 2009 году серверы были только в Украине. Теперь мы работаем в Нидерландах, а завтра может быть начнем сотрудничать с США. Но тем не менее мы будем продолжать быть ориентированными на украинскую аудиторию, платить в Украине налоги и т.п.
Странно конечно. Арендую 2 сервера в украине с гигабитом. Каналы от укртелекома. Гигабит используется почти круглосуточно! В чем тогда проблема у вас с каналом на украине?

По поводу Хабраэффект. Неужели это что-то страшное? На любой из моих серверов идет гораздо больше запросов чем посещаемость хабра.
НЛО прилетело и опубликовало эту надпись здесь
100+ ТБ — это… эээ… Это ж мало до жути.
В 45U можно накидать 30 JBOD'ов по 16 дисков. Это на 2 ТБ дисках получится 480ТБ. В RAID1/репликации по сети — 240 ТБ.
Вы явно порядками ошиблись. Речь идёт о 10 Петабайтах ( 10000 [десять тысяч] терабайт ).
Ну ым. Увидел уже, что реальная ёмкость — 650 ТБ на стойку. И непонятно, двукратное ли там резервирование.
Планировали же 100ТБ+ — это мало.
Сейчас дисками по 4TB можно легко набить стойку почти петабайтом (или полупетабайтом, если по 2TB) дисков без всяких изобретений и придумываний — так что на сегодняшний день ничем таким гениальным эта разработка уже не выглядит.

И опять же, я рассчитываю, что к одному серверу подключается только 2 JBOD'a.

В общем я всё это к тому, что восторг эта статья может вызвать только у тех, кто совсем не следит за рынком.
Надо еще разобраться как они считают. Т.е. вот эти 650ТБ это чистые байты на винтах или же с учетом резервирования, дублирования или что там еще. Если чистые, то — да мало. А если уже с учетом избыточности, то наверное ок.
НЛО прилетело и опубликовало эту надпись здесь
24 диска на 4 юнита норма для серверов с 2006 года, сейчас норма 45, но есть решения на 60+ винтов. Одним из таких решений является СХД BitBlaze. Производится в России! “Грязный” объем массива 240Тб при использовании 4Тб дисков, или 2,4 Тб на стойку! Промо сайтик BitBlaze.ru, на данный момент проц Xeon E5 2600.
Сам себя не похвалишь — никто не заметит :)
В начале статьи маленькая ошибка, которая может ввести вас в заблуждение. На самом деле, они заархивировали 10'000'000'000'000'000й байт, то есть, степени двойки тут ни при чём.
Напрашивается применение магнитной ленты для хранения таких объемов. Если это архив, то 99.99% информации лежит статично. Можно было бы иметь горячий резерв винтов, куда по запросу выгружать информацию и работать с ней. Недавно статья была на хабре, IBM 35 TB на пленку поместили, цена хранения байта данных сильно бы упала.

[humor]
> «Машина времени»: 2,4 петабайт;
А зачем им столько Макаревича?
[/humor]
archive.org это такой интернет-сайт. расскажите нам всем — как пользоваться лентами в таком случае?
Какой вы скучный и неинтересный.

> The Internet Archive, a 501©(3) non-profit, is building a digital library of Internet sites and other cultural artifacts in digital form. Like a paper library, we provide free access to researchers, historians, scholars, and the general public.

Архив существует на гранты и частные пожертвования, в случае нехватки финансирования, хранение данных на лентах будет приемлемым решением, ибо цена в многие разы дешевле. А дальше как и в обычной библиотеке, получили информацию, записали на несколько лент, каталогизировали и отправили в фонды. В случае запроса пользователя, данная информация извлекается, записывается на быстрый носитель информации, проводится проверка, в случае необходимости перезапись и обратно храниться на полке. Тот, кто ищет эту информацию может и подождать. Автоматизация процесса сократит время выборки информации в лучшем случае до десятков минут или пары часов, что согласитесь приемлемо.

Через 10 лет объем хранимых данных возрастет в 10-100 раз, если линейно плодить сервера, то рядом придется разместить маленькую электростанцию. Энергопотребление в случае хранения на пленках не сильно растет от объема хранилища.
а если распечатать архив — то это будет может быть даже ещё дешевле…

arhchive.org это _онлайн_ хранилище. хорошо тем что есть мгновенный доступ к информации. то что вы описываете делает библиотека конгресса США
НЛО прилетело и опубликовало эту надпись здесь
держать такое количество информации в одном месте? Может, лучше брать пример с Google — там пропадание десятка городов с поверхности планеты не отразится на контенте.
Зарегистрируйтесь на Хабре , чтобы оставить комментарий