Comments 75
Безумец! Мне нравится, продолжай...
Торт!
Огонь, поздравляю с удачей! Тут мысль сразу:
Конец 3 квартала, на грустных щах Альтман с Хуангом попивают пивко. Смотрят падение выручки, один другого спрашивает: -"почему так?" -"рано или поздно это должно было случиться, сказки о невозможном нельзя стирать вечно"))))
До переделки системы охлаждения я видел примерно такие температуры:
Простой: около 60 °C
Нагрузка: до 90 °C
После этого:
Простой: около 9 °C
Полная нагрузка: около 60 °C
А точно ли от 50 градусов перепада между простоем и нагрузкой вместо 30 железу будет лучше в долгосрочной перспективе?
Конечно. Это же очевидно. Карта охлаждается лучше, не нагревается выше 60 под полной нагрузкой. Для электроники это плюс.
Ну это на оверклокерских форумах ходят поверья что чем ниже любой ценой тем лучше, а если копнуть глубже, то вообще не очевидно. Электронике по большому счету вообще пофиг 60 или 80, если это в рабочих пределах. Выше не оч - запаса нет. А тепловое сжатие/расширение как раз тем больше чем больше перепад. Риск микротрещин всяких повышается
Да не очень то и пофиг. Надо смотреть, где именно эти 60 - на кристалле или на радиаторе. Есть такая штука - термосопротивление. Оно есть между кристаллом и подложкой, подложкой и теплораспределяющей пластиной, пластиной и радиатором, радиатором и средой. То есть, грубо говоря, если на кристалле 60, то на подложке будет 50, на пластине 40, на радиаторе 30. А если у вас 60 на радиаторе, тогда на кристалле будет уже 90, что не совсем гуд.
А микротрещин, по идее, не стоит бояться если диапазон температур попадает в рабочий. Самый узкий, коммерческий грейд - это обычно 0...+70 градусов. То есть, перепад 70 градусов для микросхемы вполне норм.
В данном случае, насколько я понимаю, речь про кристалл. 60 на радиаторе перебор, согласен
А микротрещин, по идее, не стоит бояться если диапазон температур попадает в рабочий. Самый узкий, коммерческий грейд - это обычно 0...+70 градусов. То есть, перепад 70 градусов для микросхемы вполне норм.
Тут есть одна тонкость. Этот диапазон подразумевает что она может нормально работать при любом значении из него, но рассчитан то на более менее типичные условия эксплуатации - большой перепад, от грубо говоря комнатной температуры до температуры под нагрузкой и обратно получается либо плавным либо редким при включении/выключении. А в рабочем состоянии при типичном охлаждении перепад от скачущей нагрузки пара десятков. Никто не рассчитвает что температура будет скакать туда-сюда десятки раз ежеминутно на все 70 от того что пользователь туда жидкий азот льет. Особенно в эпоху хрупких бессвинцовых припоев и прочего
Нет не пофиг, возьмите датащит от любого транзистора и посмотрите диаграммы от температуры, там наглядно видно.
Более того, тут есть момент который еще хуже чем перепады - охлаждая видеокарту до 9 градусов при окружающей комнатной, обязательно появится конденсат, и система топикстартера в любом случае долго не проживет.
Не появится. Вспоминаем школьную физику. Конденсат появляется когда холодное тело обдувают теплым воздухом. Когда наоборот - конденсат не появляется.
Значит кондиционер в моем автомобиле работает вопреки законам школьной физики. Пойду за нобелевкой
Нет, кондиционер работает как надо, это просто вы неграмотный. Так что на нобелевку я бы не рассчитывал.
на вас выпадает конденсат при обдуве кондиционером? О.о
Почему на мне? Даже интересно с помощью каких логических рассуждений вы могли придти к такому заключению
Потому что видеокарту обдувают холодным воздухом, вся влага из которого уже выпала на испарителе кондиционера.
А вокруг вакуум, да?
Вокруг давление ниже. Не делайте откровенной фигни типа "с одной стороны на карту дует холодный воздуха, а с другой стороны теплый от кулера" и конденсату неоткуда появиться
Так я то и фигни и не делаю. Мы обсуждаем то что на фото - стоящую под потолком в комнате, активно пополняемой через открытое прямо перед стойкой окно с улицы теплым воздухом, открытую коробку, на которую дует труба с холодным воздухом, охлаждая систему только с одной стороны до температуры сильно ниже точки росы, и что с ней будет в процессе и что будет после прекращения подачи сухого холодного воздуха.
Конденсат локализован в кондиционере, откуда он преспокойно штатной трубкой выводится вовне. Это та самая вода, которая капает на прохожих со стен домов, если там висят внешние блоки кондеев. Так что в этой конкретной схеме конденсат хотя и появляется, но на работу видеоподсистемы ПК влияния не оказывает.
9 градусов это ниже точки росы при типичной комнатной температуре, вопрос насколько сухой воздух подается от кондиционера и насколько она сдвигается. Ну и конденсат то будет образовываться там, где охлажденная карта с теплым воздухом соприкасается. Например с обратной стороны. А самый отстой произойдет в момент выключения всего этого добра, потому что карта какое то время будет холодной, а обдуваться начнет только теплым воздухом со всех сторон.
Это если она будет соприкасаться с теплым воздухом, или с воздухом, не прошедшим охлаждение в кондиционере (то есть с влажным). По виду фоток в статье, у постера рубашка контура охлаждения сантиметров на 5 отстоит от корпуса со всех сторон - неоткуда там взяться конденсату на внутрянке, а уж если контур хоть немного герметичен (то есть замкнут с допустимым небольшим объемом сообщения с внешней средой), то и конденсат, однажды быв выдавлен охлаждением, больше не сможет образоваться из-за отсутствия достаточного количества парол воды во внутреннем контуре.
Хорошо если так, но мне из фотки не понятно наличие там герметичности, выглядит как будто просто труба дует на видеокарты в открытой коробке. Да и даже если она закрытая - три вентилятора на выдув (на выдув же?) явно находятся поверх довольно большого вентиляционного отверстия во всю стенку, следовательно при полном выключении вопрос соприкосновения холодных карт с теплым влажным воздухом остается открытым
Точка росы зависит от влажности в комнате, а не от дренажной трубки на полу
Конденсат локализован в кондиционере, откуда он преспокойно штатной трубкой выводится
Или не выводиться... и вплоть да ледяной крошки летит на электронику...
Все таки оно не работает в постоянном режиме простой - нагрев, так что если бы такая проблема реально имела место быть - все бы боялись лишний раз включать свои карты - она же когда не работает будет комнатной температуры.
90 градусов однозначно приводит к постепенной деградации и кристалла, и остальной обвязки + сбрасывает частоты
все бы боялись лишний раз включать свои карты - она же когда не работает будет комнатной температуры.
Про это я писал в ветке выше - всю систему целиком включаете редко, поэтому максимальный перепад от комнатной до пика будет условно два раза в день, а если сабж сервер то и того реже. А вот нагрузка туда сюда пляшет постоянно ежесекундно, но температура то при этом плясать будет не от комнатной - вследствие инерции радиатора и автоматического регулирования скорости активного охлаждения (и, следовательно, снижения его эффективности в простое) диапазон уже
90 градусов однозначно
С тем что 90 многовато я не спорю. Речь про то, что охлаждение с фанатизмом тоже вызывает вопросы.
Тут критичен не сам перепад, а скорость изменения температуры. Массивный медный радиатор прогревается достаточно плавно и сглаживает скачки. Пока кристалл не улетает за пределы девяноста градусов, кремнию ничего критичного не угрожает
Меня больше смущает, что он выхлоп кондиционера вдул на карты, а из кондиционера воздух выходит очень влажный, прям очень и если им сразу дуть на карты может получиться не очень.
Так нейросети мир и захватят, дорабатывая железо, на котором они запущены :)
Что по токенам в итоге получилось? Не вижу в статье цифр после разгона
Пока мы на этапе когда они заставляют мясных увлечённо и вить им уютные гнёздышки.
прирост по префилл в два раза. я сломал себе тут программный стек для запуска LLM, поэтому вернусь с результатами через пару дней, когда все починю.
Вангую что префилл в tensor split по-прежнему уныл и по-прежнему утыкается в PCIe.
Спасибо
Вопрос, если у вас одна карта на х8 потому что линий на мамке не хватает, а ещё 4 на х16, что мешает выделить ту что х8 под prefill и получить лучшее из двух миров - префилл будет крутиться на одной карте, а генерация ответа на остальных, при потере скорости на остальных в ~11% против полной полосы во всех направлениях (Gen1 или Gen2, но х16 на всех картах)?
Так вроде как автор и ответил в тексте почему:
Другой вариант — tensor split.
Здесь одна большая операция распределяется между несколькими GPU одновременно. Вычислительная нагрузка распределяется эффективнее.Количество обменов между видеокартами одновременно резко растет.
да, дело в количестве линий процессоров. у меня два xeon, и каждый может в сумме дать 16+16+8, это максимум( насчет распределения этапов по картам - мысль интересная - попробую)
В той конфигурации, что описывает автор, вынести промпт процессинг на одну выделенную видеокарту физически невозможно
на моей машине из 5х manli cmp90hx заводится rejoin 15 и 16. Эксплойт этот для gen 2 регистров существует уже пару месяцев, не понятно что именно автор изобрёл. А так да, стенд эстетичный получился)
почитайте внимательнее. у меня не завелось ничего из того что есть в интернетах. сами регистры да, изобрел не я, а вот способ при котором они были записаны, плюс х16 против заявления другого автора х4, плюс подтверждение что оно работает не только на словах
До автора все патчи гоняли Gen2 максимум на четырех линиях. Он допаял конденсаторы до честных шестнадцати линий и подобрал точный порядок инициализации с FLR-сбросом. Без этого драйвер просто падал на старте или вис на переобучении линка
то что агенты уже могут "ломать" начинает думаю многих напрягать)
Где можно купить несколько переделанных таким образом майнинговых карт со скидкой относительно оригинальных?
А толку искать сразу готовое? лучше купить и самому сделать. Единственное - цены уже повысились и адекватно купить с рук такие карты может не получиться, либо продадут уже испытанную и не пригодную для таких манипуляций карту.
на данный момент такие модификации насколько я знаю делаю только я. люди модифицируют 50hx для игр, но чтобы такое делали с 90 я не знаю. напишите в телеграм
А тесты модели на Gen2? :)
Снимаю шляпу перед упорством с пайкой конденсаторов на все шестнадцать линий
Мало кто полезет с паяльником допаивать обвязку на пяти майнинговых огрызках ради прибавки скорости в тензор-сплите
У меня на моей рабочей станции стоят 5060ti (pci-e v4 x4) + 5070ti (pci-e v4 x16), все под Windows. Тоже экспериментировал с layer split vs tensor split - в моем случае при tensor split существенно выше decode, но обнаружил другую проблему: если делать что-то, что задействует видеокарту параллельно (т.е смотреть ютуб например), скорость падает до 8tps, поэтому в итоге остановился на layer split, он медленнее, но зато можно в этот момент на компе что-то делать без ущерба для скорости decode.
По умолчанию у той же llama.cpp - layer split. Tensor split у нее считается experimental
Может не увидел в статье. Уточните, пожалуйста, сколько суммарно Вт забирает из сети сервер?
Или общее tdp всех нагруженных компонентов
Рад что у тебя все получилось. Я тоже думал об этом, но у меня нет отдельного помещения для реализации. Хотя я прям много иишкой и не пользуюсь, но лишним не было бы точно.
Это просто прекрасно... как же давно я не получал такого удовольствия и восторга от прочтения технической статьи на хабре. @iatethelogsты просто герой, такие как ты, упертые исследователи не знающие понятия невозможно, не дают потерять надежду в этом безумном мире))
нужно продолжать, это очень круто)
повторяется история "cmp 170hx" когда карты скупили не энтузиасты ИИ а барыги/перекупы (((
Часть 3. Кремний взломал кремний, или как я стал автором первого в мире подтвержденного PCIe GEN2 X16 для CMP90HX