Команда Microsoft Research побила мировой рекорд по сортировке

[antaries]

На фотке Чак Норрис, да?

[TheShock]

Чак Норрис минуснул тебя на -20 за такое оскорбление

[antaries]

Боюсь, это не предел. Так что да, ляпнул, так ляпнул. )

[Lisio]

Смотрите-ка, живой еще.

[namespace]

Отличные комментарии по теме «Сортировки»! Отличный юмор! Отличный Хабр!

[Error_403_Forbidden]

В присутствии Чака Норриса алгоритм сортировки работает в 40 раз быстрее.

[GreyCat]

Несмотря на то, что товарищ похож много на кого (тут коллеги уже предложили версии и про Чака, и про Брюса Шнайера, и даже зачем-то Марка Руссиновича вспомнили), на самом деле это относительно неизвестный широкой публике Джереми Элсон, занимающийся тихонько параллельными вычислениями еще со времен Microsoft Virtual Earth.

Ваш К.О.

[rocket]

А если устремить количество дисков и серверов к бесконечности — можно ли достигнуть ещё более лучших результатов при прежних алгоритмах?

[DjPhoeniX]

Думаю, тут всё упрётся в пропускную способность одной из составных частей — жёсткие диски, сеть, память… Хотя запас, думаю, ещё есть.

[sdramare]

Ну насколько закон Амдала позволит, я думаю.

[stalkers]

Как-то «обычные компьютеры из магазина» слабо соотносится с кластером из 250 машин, пусть даже и собранным из этих самых обычных компьютеров, нет? Я просто не в теме, но интересно — разве категория Daytona не должна отображать результаты, которых сможет добиться обычный юзер на обычном компьютере, а не на запредельно мощном железе?

[biz]

А что Вам мешает купить в магазине 250 серверов или ПК и собрать из них кластер? (кроме финансов конечно)

[Caravus]

Ну даже при условии что это будут 1U сервера, это потребует ОЧЕНЬ много места, хорошую вентиляцию (хотя бы), много электричества, сетевого оборудования, проводов и т.д.

[biz]

В любом случае никто не обещал условий реализации в рамках квартиры. Сказано только про оборудование которое можно купить в свободной продаже.

А 250 с серверов это уже небольшой ДЦ — действительно. Около 10 стоек, учитывая инфраструктуру и не 100%ую плотность размещения

[GreyCat]

Это вы как-то сильно загнули. Стандарт для 1U — порядка 37-40 серверов в стойке — то есть 7 стоек.

[biz]

ну это зависит от охлаждения — это больше 10кВт на стойку, далеко не стандартный ДЦ.

+ для коммутации понадобится куча сетевого оборудования которое может занять не одну даже стойку. С округлением не меньше 10 )

[GreyCat]

Для коммутации требуется по одному 48-портовому свичу на стойку. Занимает 1-1.5-2 юнита.

Впрочем, к обсуждаемому топику это все вряд ли относится: я с трудом могу сказать, что даже 10 гигабит сейчас заняли сколько-нибудь часто встречающееся и доступное положение. До сих пор мейнстрим все-таки «гигабитные порты, транк из n*10-гигабит для интерконнектов». Вендоров, у кого есть доступные 48-портовые 10-гигабитные свичи можно пересчитать по пальцам (например, Niagara), стоит оно относительно космических денег. У тех же Cisco, поправьте меня, если я ошибаюсь, 10-гигабитные свичи будут на порядок более громоздкие, дорогие и в стоять будут в отдельных стойках фактически.

[SychevIgor]

когда говорят, что кластеры собираются из доступных компонентов, не имеют ввиду из мусора. Эти компоненты не должны быть штучными самое главное. Партии от 1000 единиц какого либо элемента, уже наверное будут считаться доступными.

[ivan2kh]

Our cluster’s computers are a mix of HP and Dell sys-tems with a range of RAM (24GB to 96GB) and CPUs (2 to 12 cores). The compute nodes had a single local
disk, used only for operating system files. Storage nodes had one operating system disk plus between 5 and 16 FDS data disks used for sort data. These disks had a
range of capabilities: primarily (78%) 10K RPM dual-port SAS disks, but with some 22%) 7,200 RPM SATA disks. Each computer is networked using 10G (10 giga-bit/sec) Ethernet connected in a full-bisection-bandwidth CLOS network [5]. The interconnect is 22×Blade G8264 switches, each of which has 64×10G Ethernet ports. Most computers had a dual-port 10G NIC (an In-tel X520 or HP NC522SFP), though some of the storage nodes used only a single port. All computers run Win-dows Server 2008 R2 SP1.

Говорят, что высокий результат в соревновании был обеспечен в основном высокоскоростной сетью, то есть благодаря 10G.

[ANtlord]

У меня на все это нашлось только слово. «Круто!»

[int_index]

Так беден ваш словарный запас?

[nZeus]

Это называется лаконичность… или даже лапидарность.

[eugenius_nsk]

Помнится, Ильф и Петров это называли по-другому.

[gricom]

А почему результат в Indy получился меньше, чем в Daytona, если там нет ограничений по железу?

[jinxal]

Указан старый рекорд для Daytona — 1353 Гб. А ребята сделали 1401 Гб на Indy. Сколько у них получилось бы на Daytona можно только гадать )

[jinxal]

То есть они побили Daytona, совершенно не предпологая это делать )

[kuber]

1353 Гбайт это прошлогодний рекорд установленный Калифорнийским университетом

[Monnoroch]

А я когда увидел название топика почему-то представил зал, полный китайцев рабочих, сортирующих миллионы распечатанных листков с цифрами :)

[davinchi]

А сеть сортировки про одновременность думает иначе: ru.wikipedia.org/wiki/Сеть_сортировки

[taliban]

И причем тут сеть сортировки?

[bachin]

"… в котором необходимо за минуту прочитать с диска и сортировать как можно большее число записей и сохранить результат в файл..."

Простите, с одного диска и в один файл?

[ComodoHacker]

>команда Microsoft Research использовала сетевую файловую систему

Интересно, какую? Неужели CIFS?

[ComodoHacker]

То есть протокол конечно же.

[nsinreal]

Огорчился, прочитав топик. Ожидал увидеть какой-нибудь новый хитрый алгоритм сортировки

[dmitriid]

Зачем же огорчаться? Тут радоваться надо, что нынешние сети позволяют работать с данными, как с локальными и не натыкаться на ограничения Map/Reduce.

[Zelgadis]

Тогда зачем нужен erlang если как не писать на нем Map/Reduce?

[NULL_byte]

Молодцы