Comments 15
. Проведя время в интернете, я пришёл к выводу, что большинство пользователей, даже тех, кто знаком с сетями и их настройкой, просто просто боятся слова InfiniBand. Для них это что-то сложное, используемое мегакорпорациями для создания суперсетей для суперкомпьютеров.
нет. Он просто мертвенький родился, как и FCoE
Но сейчас мы не будем углубляться в эту тему. Сегодня я лишь хотел показать, что каждый может легко и недорого настроить сеть для домашней лаборатории или для производственных нужд небольшой компании
Абсолютно не зачем в 2024 году, при наличии свободного 25\100 обычного ethernet с RDMA
Infiniband широко используется и активно развивается, имеет определенные преимущества перед Ethernet в своей области, просто он разрабатывался и применяется не для простой передачи файлов между компами.
Пока для дома коммутаторы 40-100G дорогие, даже не каждая компания готова на такие расходы, а коммутары Infiniband намного дешевле продаются, но мало кто умеет их "готовить")
Ну-ну... Коммутатор 250 000 рублей, две карточки, каждыя по 120 000... Кабели по 15 000...
Все хорошо для домашней внутренней сети...
И да, у меня на прошлой работе была сеть на IB аж на 40 серверов, прввда под линух, под CEPH. Коммутаторы почти те же, но на 22 порта.
Гораздо дешевле, "для дома" - 10G ethernet. Тоже RDMA.
Причем, замечу, что IP-o-IB это совсем не ethernet - отсутствие мультикаста и многих вещей сильно доставляют головной боли. Вроде бы и IP, но вот мультикаст - отсутствие возможности сделать кучу простых вещей в плане фабрики виртуалок простым добавлением виртуальных коммутаторов - нужно уходить на VXLAN и марштутизацию с OSPF.
Именно. Свитч под десятку стоит копейки. Карты по 50-60 евро, если простигосподи bcm487xx. Если интел - чуть дороже. И охапку DACов за еду.
Зачем "дома" 40? Не каждая серверная имеет 40 блджад. Да и 10 далеко не каждая и не во всех серверах. Какие то забивания гвоздей микроскопом.
Гораздо дешевле, "для дома" - 10G ethernet. Тоже RDMA.
120$ за свежий вариант, 87$ за минимальный комплект (2dac + карты + свич). Как раз небольшую статью о бюджетной сети 10 гигабит для дома.
Где же вы такие цены взяли? Да, за последние пару лет они здорово выросли в цене, но даже сейчас, на том же авито можно взять is5022 чуть дешевле 25k, а карты по ~5k за штуку. Всё что упомянуто в статье не выпускается уже чёрт знает сколько лет, так что описанное исключительно вторичный рынок :)
Другое дело что покупать коммутатор для двух машин вообще не очень объяснимая идея, а chain, к большому сожалению, работает (если мне не изменяет память) на Connect-X5 и выше. Но это уже действительно немного другие цены :(
Тут раскритиковали автора, противопоставляя IB <> Ethernet.
Прикинем цены на 40 Гб/с IB:
Карточки на али стоят ~3-4 тыр (два канала на карточку)
коммутатор на озоне ~25 тыр
Кабели 1-1.5 тыр за шт.
Отнюдь не убойно. Примерно столько же, как 10 Гб/с Ethernet.
Но главное другое. Когда нужно организовать вычислительный кластер для счета, например CFD, IB заменить трудно. Собственно под такого рода задачи IB и разрабатывали.
Скажем 8 нод по 36 ядер (2х18 зионов) и 256-512 Гб ОЗУ на ноду. Нода обойдется около 100 тыр. Может несильно побольше.
Реально даже в домашних условиях.
Там больше при эксплуатации проблем: шум и потребление энергии. Но для даже маленькой фирмы реально.
Я не в курсе, может быть и (до)обучение AI можно делать на таком кластере. В любом случае дешевле, чем одна NVIDIA TESLA H800 за 3.5 млн.
Когда нужно организовать вычислительный кластер для счета, например CFD
Типичная задача для дома, понимаю :D
Задача не типичная. Но по деньгам и затраченным усилиям в пределах реального. Хотя для дома дело не в деньгах даже, а в шуме и нагреве. У меня стоит пара таких компов, в десктопных корпусах. Если сделать всё правильно, то шум вполне умеренный.
А фирма поставить такую стойку вполне может. Там, правда, будет другие трудности, но это тема далеко за пределами темы этого топика.
В любом случае, автору спасибо за толковую статью.
Карточки на али стоят ~3-4 тыр (два канала на карточку)
коммутатор на озоне ~25 тыр
Кабели 1-1.5 тыр за шт.
Извиняюсь, а можно ссцылки? Что-то никак у немя не получается за двухканальную IB карточку 3-4 тыщщы.
https://aliexpress.ru/item/1005006044139873.html
Если и впрямь интересуетесь — есть смысл поискать в магазине, там есть разные варианты. Конечно, такие цены на подержанные или восстановленные.
Совет: Искать на али лучше не поиском али, а внешним. Гуглом или яндексом.
Типа: "бла-бла на aliexpress.ru"
InfiniBand в Windows — это просто