Комментарии 7
Но когда протокол InfiniBand был внедрен на Hadoop, он показал меньшую производительность, по сравнению с показателями InfiniBand в среде суперкомпьютеров.
Так логично, если поверх него гонять IP пакеты. IPoIB имеет в раз 8 больше задержки на типичных сценариях использования хадупа.
Вот куда все java программы на InfiniBand будут двигаться
Весь инфинибэнд пропитан понтами и баблом на 100500%. Если конфигурация вида «пять серваков с коммутатором» не вызывает ни у кого никаких эмоций, то конфигурация «пять серверов с infiniband и infiniband-коммутатор» вызывает трепет и зарезание костов.
TL;DR; даже если вы сделаете InfiniBand себе в продакшене, то у вас всё время будет не хватать денег на лаборатории и стенды. И все будут его ненавидеть, потому что каждый новый порт — это дорого.
В то же самое время лабораторию можно собрать на неуправляемом хламе за копейки и иметь очень похожую коммутацию.
Не подскажете, сколько стоит неуправляемый infiniband-коммутатор на 12 портов? Я вот нашёл БУшный 1G catalyst за $12. Новый — $80. На этом можно собрать приличную лабу.
А теперь, барабанная дробь, бушный ib-свитч на 12 портов: $400. За Б/У. цена различается на полтора порядка. И эти «полтора порядка» будут преследовать всех и всегда. Либо заливать всё деньгами, либо «а на лаборатории денег нет».
TL;DR; даже если вы сделаете InfiniBand себе в продакшене, то у вас всё время будет не хватать денег на лаборатории и стенды. И все будут его ненавидеть, потому что каждый новый порт — это дорого.
В то же самое время лабораторию можно собрать на неуправляемом хламе за копейки и иметь очень похожую коммутацию.
Не подскажете, сколько стоит неуправляемый infiniband-коммутатор на 12 портов? Я вот нашёл БУшный 1G catalyst за $12. Новый — $80. На этом можно собрать приличную лабу.
А теперь, барабанная дробь, бушный ib-свитч на 12 портов: $400. За Б/У. цена различается на полтора порядка. И эти «полтора порядка» будут преследовать всех и всегда. Либо заливать всё деньгами, либо «а на лаборатории денег нет».
Тоже первым делом на новом месте спросил коллег: почему для кластера хранения куплен б.у. IB-коммутатор, вместо 10G-ethernet коммутатора с низкими задержками (cut-through, сразу вспомнил нексусы/аристы)? Ответили: таких коммутаторов б.у. нету, а новые стоят ещё дороже чем IB. Сам не считал по деньгам, но видя GPL на нексусы, склонен доверять.
Или же и 1G/10G store-and-forward мыльниц хватает в т.ч. для задач хранения (Ceph) с их задержками? Для хадупа то думаю хватит, задержки некритичны, а вот на что большее способны 12/80$?
ceph необъятен по областям применения. На шпинделях можно хоть голубиной почтой пакеты гонять. На SSD всё чуть интереснее — ceph'а на чистом lo-тесте на быстрых DC-grade SSD при записи на единичную SSD (то есть «самое быстрое что может быть») получались цифры latency примерно такие:
avg = 0.63 ms 99.9% < 1.14 ms max = 8.25 ms
Т.е. быстрее, чем 630 мкс не будет, а в реальных инсталляциях — 0.63+0.63 + net_latency. Так что не очень ощутимо.
На NVME оно с одной стороны быстрее, с другой стороны, пики latency там всё равно очень ощутимые, так что latency коммутатора не самый острый фактор, imho.
avg = 0.63 ms 99.9% < 1.14 ms max = 8.25 ms
Т.е. быстрее, чем 630 мкс не будет, а в реальных инсталляциях — 0.63+0.63 + net_latency. Так что не очень ощутимо.
На NVME оно с одной стороны быстрее, с другой стороны, пики latency там всё равно очень ощутимые, так что latency коммутатора не самый острый фактор, imho.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Есть ли будущее у InfiniBand на Hadoop?