Комментарии 35
НЛО прилетело и опубликовало эту надпись здесь
Обратите внимание, модули надо брать родные по 15.000 рублей или заказывать в НАГе с указанием, чтобы их прошили под эту модель – иначе он их не увидит
на линуксе проблема решаема
автор метода — amarao
+1
ага. но мы если заказываем DAC, просто говорим в какие устройства он будет вставлен и модули прошивают верно. Потом у нас выделенные сервера, мы не контролируем ОС клиента — надо что бы все работало из коробочки.
+1
Зачем так сложно, если в Linux можно включить соответствующую опцию модуля:
options ixgbe allow_unsupported_sfp=1
options ixgbe allow_unsupported_sfp=1
+1
ixgbe <> e1000
0
А по ссылке что написано:
rmmod ixgbe
modprobe ixgbe
?
Более того, я скачал архив с драйвером по ссылке из блогпоста господина amarao и, что я там увидел? А увидел я там опцию, про которую писал комментарием выше:
IXGBE_PARAM(allow_unsupported_sfp, «Allow unsupported and untested „
“SFP+ modules on 82599 based adapters, default 0 = Disable»);
У адаптера Intel X520-DA2 контроллер как раз таки Intel 82599EN.
Правда, вполне возможно, в 2010 году этой опции не было, и требовалось патчить код ядра.
rmmod ixgbe
modprobe ixgbe
?
Более того, я скачал архив с драйвером по ссылке из блогпоста господина amarao и, что я там увидел? А увидел я там опцию, про которую писал комментарием выше:
IXGBE_PARAM(allow_unsupported_sfp, «Allow unsupported and untested „
“SFP+ modules on 82599 based adapters, default 0 = Disable»);
У адаптера Intel X520-DA2 контроллер как раз таки Intel 82599EN.
Правда, вполне возможно, в 2010 году этой опции не было, и требовалось патчить код ядра.
0
А по ссылке что написано
недоглядел, да.
Правда, вполне возможно, в 2010 году этой опции не было, и требовалось патчить код ядра.
похоже, что не было, да.
скачал 2.0.84.9 от конца июля 2010-го года(по дате поста), грепнул:
[21:16:05] someuser@somehostname /tmp/ixgbe-2.0.84.9 $ grep -r allow_unsupported_sfp * [21:16:18] someuser@somehostname /tmp/ixgbe-2.0.84.9 $
0
Не понял где в вашем конфигураторе на сайте выбрать 10GbE внешний канал. Скажите, это возможно?
0
Не заметно как в смету включена стоимость модулей SFP+ — для коммутатора и карточек?
+1
> Мы наблюдали, как строили кластеры на старых карточках Инфинибэнд и прочих нетрадиционных решениях. По результатам наблюдений мы отказались от этих вариантов и не рекомендуем их использовать нашим клиентам.
А можете рассказать, почему вам не нравятся решения на Инфинибэнд? Спасибо
А можете рассказать, почему вам не нравятся решения на Инфинибэнд? Спасибо
+1
Мне вот тоже любопытно, когда решения на инфинибенд стали нетрадиционными.
0
мне очень нравятся решения на ИБ — когда в их составе есть свежий Меланоксовский свитч с купленной лицензией и гарантией 4 часа на сайте. Но боюсь это выйдет за бюджет обычного решения — спрос будет маленький из-за цены вопроса в пересчете на порт.
+1
> на старых карточках Инфинибэнд
Думаю проблема может быть в наличии драйверов для старых карточек в новых Windows.
Думаю проблема может быть в наличии драйверов для старых карточек в новых Windows.
0
потому что мы не можем дать гарантию что все будет работать как ожидается. Коммутаторы без гарантии, без сервиса, без обслуживания — что-то может пойти не так, мы не готовы брать отвественность и предалагать это как услугу.
На коло нам приносили, делали на ИБ — это пожалуйста.
На коло нам приносили, делали на ИБ — это пожалуйста.
0
Если можно, раскройте подробнее мысль, пожалуйста. Что может работать «не так»? В смысле, я подозреваю, что «что-то может», но вот вы говорите «мы наблюдали и не рекомендуем» — поделитесь, если можно, что именно бывало не так? Чтобы понимать…
Просто с учётом того, что новый (в заводской упаковке запечатанный) 36-портовый коммутатор Mellanox Infiniband IS5025 можно купить баксов за $600-800 уже с доставкой, а карточки — за $20-25, кабель примерно столько же, то гарантийный сервис особо не нужен. Их можно привезти несколько штук. Сгорел один — поставили другой. Более того, ещё и fault tolerance конфигурацию соорудить на 18 нод. Плюс RDMA здесь же — что, скажем, для подсистемы хранения может быть очень полезно. Плюс 32Gbit/s эффективных, а не 10. Плюс изначально меньшие latency.
Я не отрицаю, что для «больших» серьёзных проектов с десятками коммутаторов это, возможно, неправильно, но для начала, или в расчёте на соответствующую аудиторию, или же построив решение с серьёзным резервированием (что получается практически на порядок дешевле, чем если брать современное оборудование на той же технологии) — почему нет? Вот отсюда и вопрос вам, раз у вас есть опыт наблюдения. Поделитесь, пожалуйста, с чем есть риск столкнуться.
Просто с учётом того, что новый (в заводской упаковке запечатанный) 36-портовый коммутатор Mellanox Infiniband IS5025 можно купить баксов за $600-800 уже с доставкой, а карточки — за $20-25, кабель примерно столько же, то гарантийный сервис особо не нужен. Их можно привезти несколько штук. Сгорел один — поставили другой. Более того, ещё и fault tolerance конфигурацию соорудить на 18 нод. Плюс RDMA здесь же — что, скажем, для подсистемы хранения может быть очень полезно. Плюс 32Gbit/s эффективных, а не 10. Плюс изначально меньшие latency.
Я не отрицаю, что для «больших» серьёзных проектов с десятками коммутаторов это, возможно, неправильно, но для начала, или в расчёте на соответствующую аудиторию, или же построив решение с серьёзным резервированием (что получается практически на порядок дешевле, чем если брать современное оборудование на той же технологии) — почему нет? Вот отсюда и вопрос вам, раз у вас есть опыт наблюдения. Поделитесь, пожалуйста, с чем есть риск столкнуться.
+2
Не увидел, как организовано резервирование коммутатора?
+1
один запасной стоит в стойке, если случится авария — его быстро включат. Если приложение ответственное, мы можем поставить 2 разных коммутатора и клиент с помощью MPIO или иной технологии поставит трафик. Цена будет x2 по сравнению с одним портом.
Можно делать файловер на гигабите, можно еще как.
Можно делать файловер на гигабите, можно еще как.
0
вообще все можно сделать, если клиент просит 10G циски в стэке — мы сделаем, не проблема. Если задача позволяет взять второй коммутатор или более надежную систему и бюджет позволяет — все реализуется. Но топик про недорогие решения.
0
НЛО прилетело и опубликовало эту надпись здесь
Спасибо за наводку на SNR-S2970-12X. Для маленьких бюджетных кластеров самое то. Приходилось Netgear 8/12 портовые использовать, а они только 10GBASE-T бывают.
+1
Если в SNR воткнуть 4 сервера, сервер 1 будет лить на 2 свои 8 гигабит, то сможет ли 3 на 4 пролить столько же?
0
да, у коммуатора 240Гбит матрица переключений — это для него семечки.
0
не могли бы вы ответить и на мой вопрос выше? http://habrahabr.ru/company/hostkey/blog/264931/#comment_8540205
0
Еще можно купить б\у материнку на ебее с 10Гб портами. Буквально недавно видел двухсокетовую за 250$, два порта 10GbE, и два SAS порта.
0
можно. а можно потом обнаружить, что есть некая существенная причина почему ее продали не ебее — причем пока она приедет в РФ, сделку уже нельзя будет откатить. ;)
если системно таришся на ебее и в германии есть человек который будет смотреть все купленное там на работоспособность, то это неплохой вариант. а если это не так, то я бы всегда задавал вопрос — почему это оказалость на ebay? Мой опыт — 30-40% оборудования текущего поколения которое там удавалось взять, имело некоторые особенности эксплутации или было просто мертвым. К тому моменту как это попадало в РФ, можно было только расслабиться по этому поводу.
если системно таришся на ебее и в германии есть человек который будет смотреть все купленное там на работоспособность, то это неплохой вариант. а если это не так, то я бы всегда задавал вопрос — почему это оказалость на ebay? Мой опыт — 30-40% оборудования текущего поколения которое там удавалось взять, имело некоторые особенности эксплутации или было просто мертвым. К тому моменту как это попадало в РФ, можно было только расслабиться по этому поводу.
0
Не так все страшно. Я бы сказал почти вообще не страшно :)
Часто (как и в озвученном мной случае) продают партию оказавшейся ненужной после апгрейда. Обычно тут и цену меньше ставят что бы быстрее продать. Там продавали 10-ок 2011v2 плат.
Если статус товара на ебее used but fully worked, то неработоспособные варианты отсылаем обратно. Тут лучше выбирать продавцов с возвратом причем за их счет. И ебей гарантией возврата.
Почта сейчас работает быстро. Я даже получая товар через посредника успеваю получать и проверять.
Если у ебея гарантия кончилась то есть еще пайпал.
Еще смотрим на рейтинг продавцов.
Часто (как и в озвученном мной случае) продают партию оказавшейся ненужной после апгрейда. Обычно тут и цену меньше ставят что бы быстрее продать. Там продавали 10-ок 2011v2 плат.
Если статус товара на ебее used but fully worked, то неработоспособные варианты отсылаем обратно. Тут лучше выбирать продавцов с возвратом причем за их счет. И ебей гарантией возврата.
Почта сейчас работает быстро. Я даже получая товар через посредника успеваю получать и проверять.
Если у ебея гарантия кончилась то есть еще пайпал.
Еще смотрим на рейтинг продавцов.
+1
э… я там наверно штук 30 зелени года 3 назад потратил на комплектуху, немного разбираюсь в колбасных обрезках.
очень мало желающих отправлять в РФ + стоимость пересылки делает затею бессмысленной. Мы там даже перестали отсматривать, все что надо тут есть на авито и значительно дешевле. например матери на 2011v1 можно взять по 10000-7000р, а на 1366 в районе 5, сразу все проверить и не морочиться.
с 10 крупными платами можно запросто пойти на таможню их декларировать + оплачивать НДС и пошлину, мне вот время дороже.
впрочем пост не про это, давайте не будем развивать тему. 10Г для частных проектов как правило ни к чему, а если контора платит — то на ебее покупать не получится.
очень мало желающих отправлять в РФ + стоимость пересылки делает затею бессмысленной. Мы там даже перестали отсматривать, все что надо тут есть на авито и значительно дешевле. например матери на 2011v1 можно взять по 10000-7000р, а на 1366 в районе 5, сразу все проверить и не морочиться.
с 10 крупными платами можно запросто пойти на таможню их декларировать + оплачивать НДС и пошлину, мне вот время дороже.
впрочем пост не про это, давайте не будем развивать тему. 10Г для частных проектов как правило ни к чему, а если контора платит — то на ебее покупать не получится.
0
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Недорогая 10GbE инфраструктура для кластеров