Как стать автором
Обновить

Комментарии 78

А еще можно кластер из Nokia телефонов сделать — для Symbian ведь есть web-сервер.
Ну дык cloud computing к этому и идет. Единая среда из всего вычислительного оборудования. Телефоны, холодильники, телевизоры, приставки, компьютеры. Интеграция — тру.
НЛО прилетело и опубликовало эту надпись здесь
Зато об охлаждении можно не думать:)
так и представляется новость: «Хладокомбинат №2 открыл новый дата-центр на базе суперсовременных холодильников Бирюса-3000. Суммарная мощность достигла 1,5 Петафлопс, а хранилище позволяет разместить до 1 Петабайта данных и 15 тонн мяса.»
И далее новости, хладокомбинат продает вяленое мясо=)
А в качестве сисадмина вычцентра Хладокомбината — дядя Вася-холодильщик. Пришел с похмелюги и вставил всем клиентам по самые некуда.
А какааая идея… Датацентр на хладокомбинате.
Хладкомбинат может сдавать свои площади владельцам датацентров — оборудование будет жить вечно =)
и пахнуть копченостями=) вкусняша!
А вдруг это склад холодильников?)
кластер из ps3 рулит и бибикает ^_^
PS3 к сожалению не даёт доступа и к 80% производительной мощности своих процессоров из под Linux'а.
А какое название?
Ощущается реальная нехватка актуальных материалов по кластерным технологиям… А мне как раз предстоит чудовищной стоимости кластер строить… Эхх :(
Я бы тоже не прочь пополнить коллекцию мануалов хорошей докой по развертыванию кластеров.
Согласен, я бы у себя развернул кластер из 300 машин =), а то стоят ночью пылятся.
в чем проблема? через AD на каждую ставиться клиент MPI с автозапуском — вот вам и кластер)
а на маках всех есть клиент, XGrid кажется называется, надо просто иметь много маков в офисе )
По вычислительным кластерам есть много в сети, но на английском.
Хорошая книга, которая помогла мне разобраться «Heiko Bauke: Cluster Computing», но она на немецком.
К сожалению из немецкого знаю только некоторые слова из репертуара рамштайна)
А вот с английским, были у меня какие-то мануалы, но невнятные. Получше не находил. Хотя может и не искал…
Читатели — писателям.
Совет №34. Не строй кластеры чудовищной стоимости. Строй кластеры доступной стоимости.
главное, не гонитесь за дешевизной и не стройте кластер на архитектуре ARM :)
По мануалам не скажу, но ради прикола поднимал на работе вечерком кластер из 20+ машин. ОСью была Parallel Knoppix LiveCD. Машины грузились по сети с нее и становились нодами кластера…

Там все интуитивно понятно, и маны не понадобились.
О! А вот это интересно. Я в Linux не сильно. Скажем есть программка, которая делалась под Linux, потом ее портировали под Win. Потом в ней появилась поддержка многоядерности и после включения её обсчет ускорился в три раза на четырех ядерном камне. Это под Win.

Как для прикладного софта такой кластер выглядит? Я понимаю, что вопрос ламерский. Как один мощный комп? Или нужен специально «заточенные» софт для работы на таком кластере? Тоесть если я запущу на четырех PC ноды и запущу эту софтинку — она заметит это?
А к чему тег lamp к обзору?
Ну, к тому, что на таком домашнем кластере, многие бы захотели развернуть связку LAMP (Linux+Apache+Mysql+PHP) и получить мощный (непотопляемый) Хост-сервер:)
Ах, Вы про этот ламп… Тогда уже L.A.M.P. (гекк где-то рядом ;) )
Подумалось про одну нехорошую ассоциацию… Из той-же оперы. А-ля денвер для никсов.
Это который LAMPP(XAMPP)? А почему нехорошая ассоциация? Для продакшена он наверное действительно не нужен, но для разработки очень удобная вещь, особенно для командной. Все дружно поставили XAMPP или LAMPP в зависимости от ОС, и никаких проблем — у всех проекты работает одинаково, нет ситуации, что кто-то забыл поставить какой-то модуль или что-то еще.
Хотя Денвер действительно сомнительная вещь.
// Для продакшена он наверное действительно не нужен
Вот именно. Ставит те-же апач+пхп+мускуль.
Мне в наслество попадали три сервера с lampp, после реинстала системы и установки тех-же apache+php+mysql работоспособность увеличивалась процентов на 30. Сейчас стоят себе жужжат, да и пользователи говорят, мол быстрей стало…
А какое преимущество, помимо относительной отказоустойчивости, по сравнению с обычным компьютером за те же деньги?
А вы сейчас можете приобрести за 1000$ обычный сервер с 20-тью процессорами Pentium III — 1.2GHz?
На мой взгляд 20-тью процессорный сервер обеспечит устойчивый (практически непотопляемый) Хостинг, с примерно от 500 до 1000 одновременно работающих на сервере пользователями!
И о таком Хостинге мечтают многие сайто-строители, включая наверно и создателей «Хабра»:)
// с примерно от 500 до 1000 одновременно работающих на сервере пользователями!
Хм… У меня 2-х процессорник с такими нагрузками довольно неплохо справляется…
Я так прикинул, по минимуму, наверно ошибся:)
А потом: во первых смотря какие пользователи, и чем они будут заниматься на сервере:)

А на скольких пользователях у вас 2-х процессорник начинает захлебываться?
Могу сказать, что на 900+ (хостинг) ему уже заметно тяжело… Честно говоря больше 915 корневых виртуал-хостов (в каждом может находится еще до 20 отдельных) я не добавлял.
Ну это примерно около 2.5-3к «оригинальных» доменов. Хотя могу и ошибатся (может и больше), ибо около полутора года админил этот тазик.
Зачем мне 20, когда 1 по мощности не намного хуже, но при этом в 3-4 раза дешевле?

Я к тому, что с одной стороны, большое число независимых вычислительных блоков — преимущество: при выходе одного из строя, остальные не пострадают. С другой стороны, так ли часто это будет происходить? А мороки в обслуживании 20 серверов больше, чем при обслуживании одного.
Я никак не въезжаю:(
А где Вы можете приобрести, в 3-4 раза дешевле 1000$ = т.е. всего за 300$, обычный сервер с 20-тью процессорами примерно равными Pentium III — 1.2GHz?

Ну, можно наверно, с большой натяжкой сравнить распространенные сейчас, 2-х процессорные сервера, включающие четырехъядерные Intel® Xeon с частотой 3.2GHz
= т.е. всего 8-ядер по 3.2GHz, но цена такого сервера начинается минимум от 4000$
Там не Pentium III, а ARM. Хоть частота и одинаковая, разница в производительности большая.
Вы хотите сказать, что RISC-процессор
Marvell Sheeva — 1.2GHz с архитектурой ARM не сможет даже сравниться с
Intel Pentium III — 1.2GHz с архитектурой Intel x86, которые являются CISC-процессорами с RISC-ядром (т.е. заведомо более замороченным и медленным способом обработки команд в процессоре)?

И у вас есть сравнительные тесты?
Не сможет. ARM9 имеет очень простую архитектуру, в следствии чего и обрел популярность, а также потребляет очень мало энергии.
Я с вами согласен, что ARM-процессоры имеют простую архитектуру, но простая архитектура вовсе не означает низкое быстродействие.

Пока нет тестов для Marvell Sheeva — 1.2GHz, но есть косвенные данные, например что
«быстродействие ARM Cortex-A8 будет составлять до 2000 MIPS (миллионов операций в секунду), а этого более чем достаточно для работы с самыми разными прикладными приложениями – просмотра видео, воспроизведения музыки и игр. Потребляемая мощность нового кристалла будет составлять менее 300 мВт – это очень хороший показатель. При изготовлении Cortex-A8 используется 65 нм технологический процесс.»
= Источник: www.1001soft.com/mobile-news/2300.html

Для сравнения быстродействие Intel Atom N270 — 1.6GHz = 4000 MIPS, и здесь нужно учесть, что Intel Atom — 1.6GHz имеет более продвинутую архитектуру чем Intel Pentium III — 1.2GHz, соответственно последний примерно будет выдавать = 2500 MIPS, не намного больше чем ARM-процессоры!

Еще косвенно можно получить представление из статьи: «Marvell Shiva: 2 ГГц чипы с TDP всего 2 Вт», рассказывающая о семействе процессоров Marvell Shiva:
«Shiva объединяет архитектуру ARM и 65-нм техпроцесс и, по мнению разработчиков, представляет собой оптимальный вариант сочетания цены и функциональности…
Новая серия SoC-микросхем включает три модели, 88F6180, 88F6192 и 88F6281, последняя из которых может похвастаться работой на тактовой частоте 2 ГГц при потребляемой мощности менее 2 Вт.»


Но, все эти теоретические построения конечно могут рухнуть при столкновении с реальной задачей.
А реальность например такова, что компания Apple выбрала процессоры ARM-архитектуры для использования в своих смартфонах iPhone и плеерах iPod Touch, на которых активно используется как интернет-серфинг, так и различные игры. И 600-MHz ARM-процессора для этих устройств вполне хватает.

По поводу сравнения ARM и Intel_x86 архитектур этим летом произошел некий заочный спор между Apple и Intel, предлагаю с ним ознакомиться:

1. «Хороший Интернет только с Intel?» — октябрь 2008:
«В iPhone, как сказал вице-президент Intel по мобильному направлению, Шейн Уолл, возникают проблемы при запуске ряда приложений для работы в Internet.
Хотя на самом деле, в недостатках iPhone нужно упрекать не Apple, а производителя его процессора – ARM, британскую фирму, так как не только у Apple, но и у других производителей мобильных устройств связи возникают проблемы с тем, что их смартфоны, созданные на архитектуре ARM, обладают недостаточной производительностью, как заметил Панкадж Кедиа, директор Intel по ультрамобильным экосистемам...»


!!! Интересный факт: в мае 2008 представитель Intel проговорился, что Apple готовит планшетный ПК на базе процессора Intel Atom (см.: «Intel: Apple готовит планшетный компьютер на базе чипсета Atom!»), а в октябре 2008 представители Intel стали наезжать на процессоры ARM. Это не потому ли, что прототип планшетника Apple на Intel Atom все же не пойдет в серию, а вместо него будет выпущен планшет на базе процессора ARM!?

2. «Intel извинилась за критику процессора ARM» — октябрь 2008:
«Корпорации Intel сегодня пришлось извиняться за излишнюю откровенность своих топ-менеджеров, которые основной бедой коммуникатора iPhone назвали медленный процессор ARM...»
Да ARM на мобильном рынке хороши и здорово укрепились, потому что:
— У них отличное соотношение производительность/энергопотребление.
— Они очень маленькие и просты в разводке.
— Они не такие сложные в программировании, как те же MIPS и т.д.

А еще на базе ARM делают множество SoC. Например чипы для WiFi, Wimax.

Только штука в том, что мерятся MIPS'ами — не корректно, это раз. Во-вторых ARM не такие монстроозные. Ранее они были все in order execution, без блока предсказания ветвлений, с коротким конвеером. Многое было принесено в жертву энергопотреблению. И потому, в реальных задачах ARM может жестко «слить» даже P3. Например видеокодирование. В реляционных БД, или например memcached важна быстрая выборка из памяти, плюс хорошая работа с кешем (и зачастую чем больше кэш, тем лучше). Всем этим ARM не может (или не мог похвастатся).

Просто может случится ситуация, когда сервер из 20 таких ARMов, будет проигрывать двум четырехядерным Xeon начального уровня. Плюс вы же не объедините два процессора на одной плате, по этому необходимо по процессорной единице на платку, итого:
— Перфоманс пенальти при коммуникации единиц друг с другом (через ethernet).
— Перфоманс пенальти при обращении к небыстрой NAND памяти.

Ну и т.д. :) Есть к чему придратся. Сам же я наверное таки закажу этот кит, очень интересно.
НЛО прилетело и опубликовало эту надпись здесь
Про Cortex A8:
While ceding some software compatibility, netbooks based on i.MX515 should offer longer battery life, says Freescale. Performance may also lag a bit behind Atom-based systems, as Freescale is claiming 2100 Dhrystone MIPS (DMIPS) for a 1GHz netbook. Intel's top netbook chip, the N270, usually turns in about 4000 DMIPS, when clocked at 1.6GHz.
откуда известны данные по производительности этого процессора?

у такого кластера из 20 процессоров производительность относительно одной машинки дай бог утроится, и то сильно зависит от приложения. а последний обзац, где суммируются мегагерцы, вообще комментировать не хочется
Но, все таки же производительность относительно одной машинки — утроится, как вы сами же заметили!
И теперь значит, если быть честными, давайте уж сравнивать ваши обычные 3 компьютера с таким одним 20-ти процессорным:
И по стоимости ваши обычные 3 компьютера явно проиграют:)
А по энергопотреблению тоже проиграют?
во-первых, 3 моих стоят как раз тыщу баксов
во-вторых, в силу больших скорости и объёма оперативной памяти и меньшего количества обмена данными по низкоскоростным интерфейсам кластер из трёх таких компьютеров на большинстве задач покажет лучшую производительность. возможно, на армах удастся как-то исправить положение с помошью специфичных для платформы оптимизаций на уровне ассемблера вроде условного выполнения (addeq, jnle и т.п.), но это только на узком классе задач
НЛО прилетело и опубликовало эту надпись здесь
Тематика Greenpc. Евроньюс смотрите — у меня ощущение, что любой продукт с зеленым листочкам имеет право на успех в Старом Свете.
НЛО прилетело и опубликовало эту надпись здесь
У домашнего хостинга, как и у хостинга местного провайдера ключевым недостатком является не производительность, а ширина канала. Поэтому фраза «Тут конечно можно будет даже и домашним хостинг провайдером стать» — далека от истины.
Конечно с вами нельзя не согласиться!
Ну, это типо шутки:)))
а, это у меня сочетание «))))» отфильтровалось под вечер :)
Вообще то этот «блок питания» является DDK. Вам никто не мешает купить чипы рассыпухой, сделать свою плату под свои блейды и делать свои корпуса. В закупке сами чипы будут в двое дешевле чем DDK.
Спасибо за совет.
Я уже таки побежал покупать чипов Marvell Sheeva и мастерить свою мат. плату:)))

Может быть если бы я был Стивом Возняком, я бы так и сделал.
А сейчас мне придется уповать на китайские конторы типа Asus и т.д. :(
Как раз после той новости подумал что было б неплохо делать блейды для домашних пользователей. Вроде того что воткнул плату и у тя в системе появился второй проц, + 2Гб рамы и видюхи стали в CF/SLI. Но похоже сейчас о таком рано даже мечтать, т.к. вендоры не стремятся сделать удобно пользователям.
Какой смысл забивать ценное место в стойке слабым железом?
Наоборот — туда втыкают мощные железки а юзеру раздают уже ресурсы в виде vps/could/saas
Вот те нано!:-)
Ну все, беру… Остается только сделать двадцать дырок для розеток в стене и обвязать в виде ромашки витой парой.
всё замечательно и суперздорово.

только вот пункт номер 1:
надёжность любой системы обратно пропорциональна количеству деталей. Банально вероятность выхода из строя гораздо больше у многокомпонентной системы, чем у монолитной. Учитывая что запчасти для минисервера берутся класса ПК, а не серверов, то MTBF будет значительно меньше.

пункт номер 2:
для совмещения в один работающий кластер 20 машинок нужна будет спец платформа, заточенная под конкретные(!) задачи, а не выдаваемая абстрактному пользователю. Производительность же максимальная будет максимальная, когда на 20 машинках будет крутиться 20 задач. Сложить мегагерцы буквально, обычным сложением, для выполнения кучи задач практически невозможно. Эффективное использование будет только на уровне выдавания отдельной машине пользователю целиком.

Так что это всё возможно только 1) для домашних «игр» и 2) для узкозаточенных специальных задач. (например, урезанных веб-серверов)
1. Вам не предлагают делать многокомпонентную систему. Тут случай немного другой: например 5 серверов с вебмордой, при падении одного сервера, 4 продолжают отдавать контент в нужной мере.

2. Согласен, но если нужна числодробилка, например запуск 20 потоков видеокодирования параллельно — это наш выбор :)
резервирование 5 к 1… немного избыточно, не считаете? )

да, для числодробилки самое оно. спорить не буду. Но много ли вы знаете софта, которым можно вот так реализовать? скорее всего это будут рукописные утилиты, а это уже отдельная история.
1. С одной стороны да! Но это же кластер, а значит работающие сервера будут хоть как-то работать. А теперь представим систему из 2-х сервером и они оба отключаются. Ведь это тоже должно о чем-то говорить! Кстати гугловцы же выбрали множество серверов вместо одного сильного и ничего… не жалуются на то, что у них каждый час по несколько серверов «вылетают»

Я не говорил, что это не будет работать )
У гугловцев система с кучей мелких задач по своей специфике. Для поисковой системы — самое оно. Для крупных БД — тоже. Для обработки видеопотоков и т.д. Но это всё требует специального софта. Просто собрать кластер — не проблема. Как его применить — это вопрос!
Если вы умеете разбивать любую задачу на кучу однотипных средней тяжести — вам честь и хвала. Но пока есть проблемы даже с разбиением и обратной сборкой на уровне процессора — где казалось бы достаточно однотипных задач будет.

Положить абсолютно любую задачу на кластер — невозможно.
Сейчас я не говорю о проблематике именно с этим решением. Это глобальная проблема.
Как показывает опыт, очень многие действительно вычислительно-громоздкие программы умеют работать в режиме кластера.
Просто для таких задач делать программу без поддержки кластера недальновидно.

Правда дома (кроме видеокодирования) обычно такие задачи не стоят.
Вы только представьте — как у вас дома, под столом, сможет жить «Башенка» в которой поместится целый кластер из 20-ти серверов

Коворкинг-центр для серверочков :)
Приделайте к этому серверу PoE и будет счастье :)
Использование для вебсервера таких желяк полный пред. А вот как девайс обрабатывающий данные с каких-то контроллеров, веб камер, прин сервер — очень хорошее решение.
З.Ы. PoE там бы пригодился.
>> Неужто нельзя было бы сделать его в виде маленького «Лезвия» — «Blade-сервера» для серверной стойки!
Зато теперь серверную стойку может заменить простой размножитель :)
Простите за занудство, но если «100-ни и 1000-чи» заменить на «сотни и тысячи», то будет и правильней и даже компактней :)
Прикольно. А по сравнению с CUDA, например, это лучше или хуже?
Не наводит эта картинка никого ни на какие мысли? Не надо ломиться в давно открытые двери. :-)

А где html? Ну ладно.
f.ipc2u.ru/files/products/34954/PICOe-6612lvds.jpg
А смысл? Производительность ARM принципиально ниже современных x86.
Учитывая, что за ту же $1000 можно собрать три-четыре Atom/VIA/Geode на частотах >1GHz и памятью каждого ~1GB, то можно получить более производительную систему. А один жалкий Core2Duo на паре-тройке гигагерц покажет ту же производительность, при приципиально меньшей сложности и бОльших возможностях. Короче, очень сомнительно с точки зрения целесообразности.

Да ну перестаньте, ARM`ы ничем не слабее уж AMD Geode`ов точно (которые кстати не дотягивают до частоты 1GHz) :)
А по сравнению с Intel Atom и VIA Nano они будут максимум отставать в половину мощности:
Intel Atom N270 — 1.6GHz = 4000 MIPS
Intel Pentium III — 1.2GHz = 2500 MIPS
ARM Cortex-A8 (65 нм) до 2000 MIPS
Хрень. «до 2000 MIPS» это на предельной частоте за счёт весьма своеобразной системы команд ARM. MIPS'ами разные архитектуры процессоры мерить — неблагодраное дело. Плюс, эти цифры — пиковая производительность. Например Pentim3 исполняет В СРЕДНЕМ больше двух команд за такт. Atom — три. А вот 2000 MIPS на 1 GHz для Cortex — ПИКОВАЯ производительность на некоторых комнадах. Чувствуете разницу между пиковой производительностью и средним количеством команд на такт? Если считать производительность P3 по той же методике, то на командах с косвенной индексой адресацией получим целый ваго мипсов. Вот только, это — отдельные команды, а не производительность процессора.
Эффективный многоуровневый кэш, эффективная работа с невыровнеными данными, предвыборка команд, предсказание ветвлений, переименование регистров, несколько целочисленных блоков — всего этого нет в ARM. На прикладных задачах, при равной частоте ARM проигрывает современным x86 почти на порядок. Вокруг Cortex-A8 и иже с ними раздуто много шумихи, но дальше прототипов дело пока не идёт. Полный интернет чудо-нетбуков на Cortex показывающих соизмеримую с x86 производительность, но я пока что не видел ни одного сравнения их на серверной платформе на серьёзных задачах. Одно дело странички в браузере открывать и Full HD играть и совсем другое дело — Web/файловы/баз данных сервер.
Поставь дома вместо одного унитаза десяток маленьких.
>(наверно до 10 — 20 одновременных сессий, а это ~ до 10 тысяч посетителей в день)
у нас в 20 сессий помещается 30-40 тысяч в день am.ua
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации