За перевернутый футпринт и монтаж WQFN проволочками сразу лойс!
Расстановка компонентов и трассировка платы пока выполняются вручную. Для этих этапов я не нашёл подходящего применения ИИ
А как же quilter? Даже есть бесплатные прогоны. Правда там получается ну очень инопланетная расстановка компонентов и нормально это работает только для 4-слоек с очень низкой плотностью, но всё же
Извините, но это индусслоп. Был бы оригинал - окей, но переводить такое как-то неуважительно к аудитории даже. Вся суть: чувак взял готовый одноплатник, готовый дисплей, готовый контроллер аккумулятора, соединил, напечатал корпус на 3д принтере, получил что-то среднее между моноблоком и ранним беспроводным телефоном по внешнему виду.
Проект вот ну максимально не выдающийся, как с точки зрения своей сути так и усилий автора. Ну единственный момент где нужна была хоть какая-то работа и подумать это дизайн корпуса и всё. Остальное - тривиально, на уровне кружка старшей школы.
Циклические рассуждения и стопор генерации почти 100% проблема в памяти, но какой именно (VRAM, кэш GPU, RAM) - вопрос открытый. Драйвер тоже исключать не стоит, хотя если вина в нём, проблема вероятно проявилась бы у кого-то ещё и гуглилась.
Ваш субъективный вывод это абсолютный бред. Окей, я не исключаю что проблема в видеокарте, возможно, но вот эта потенциальная причина
через линии PCIe уже проходят паразитные токи — утечки на уровне самого кристалла GPU
отборная шизофрения. Я надеюсь что вы хотя бы в школе не прогуливали физику, про университетский курс цифровых устройств молчу вообще. Для начала ядро GPU и PCI-e работают на разном напряжении, утечка между ними это дохлый кристалл сразу. Далее, контроллер PCI-e в кристалле это наименее нагруженный и сложный блок и, чисто статистически, последний кандидат на источник проблем. Ну и напоследок, даже если мы предположим какие-то там фантастические паразитные уровни создает видеокарта на PCI-e, то у вас от этого будут проблемы НА ВСЕЙ ШИНЕ: SSD, чипсет, что там ещё висит.
Удивительно, что в комментах никто ещё не указал на это
Блин, это пока самая low effort статья про домашний "суперкомпьютер". Типа надо купить проц, мать и память, хотя бы 64 гига - отлично, замечательно, ладно точные модели но можно было хотя бы примерно сказать о какой платформе идет речь? Десктоп? HEDT/Рабочая станция? Б/У серверное?
Если брать серверное, то найти плату с 4, а иногда более, x16 разъемами не такое сложное дело. Это намного лучше чем страдать с райзерами и бифуркацией.
По поводу дисков, мое мнение, но если человек собирает такое, то у него наверняка дома где-то уже стоит NAS на пару (десятков) ТБ, хватит одного или двух SSD под систему.
Брать видеокарты AMD под вычисления - осуждаю. LLM на них гоняться то будет, но запускать любые другие HPC вычисления - много боли.
FP4 и даже BF16 вообще никакой роли не играют для моделей в квантах. По ценам 32 сейчас на али с pcie адаптером 50-60к. Там больше проблема в том что не поддерживаются штуки типа flash attention, их конечно портировали умельцы, но это значит нужно использовать форки движков для инференса, возможно навайбкоженные.
Во-первых есть ВУЗы с весьма большими территориями, во-вторых, когда я учился, мы остались без лаб по соткам, потому что в ВУЗ их не поставить, а кооперироваться с опсосами и при этом проводить вне ВУЗа - ещё геморрнее по бюрократии.
Имелось в виду не радиоволны (их теория кстати была разработана до того как экспериментально обнаружили), а проводное электричество и его эффекты. Там что такое напряжение, электромагнит, статическое электричество.
Ну, так себе идеи. Во-первых, "скрытые параметры" это и есть допущение о том что мы чего-то не знаем или не воспринимаем. Во-вторых, электричество и было открыто вслепую, у нас нет органов для восприятия электрических или магнитных полей напрямую, только по косвенным эффектам.
Удлинители купил Bykski B-EXJ-50 и то пришлось стачивать накатку, у большинства, что смотрел, диаметр с накаткой 18 мм, а толщина акрила - 17. Вот такая экономия от китайцев. На первой фотке фитинг под шланг 10/13.
У автора в статье уже новая версия с вырезами, я сначала тоже хотел на ЧПУ друга сделать вырезы, но потом подумал что смысл, будет же хуже охлад VRM.
Там не поддерживается bf16 (работает через эмуляцию) и nvfp4 (вообще не работает). На практике считать всё будет в fp32, но это не особо играет роль, основной упор в ПСП. По производительности в LLM чуть слабее 5070ti если не брать в расчет модели с упором в вычисления типа ультракомпактных в весах nvfp4.
Решение — тонкий водоблок с интегрированной пластиной
Ох и ужасная эта штука, напишу подробнее про свой опыт как доберусь до написания своей статьи про домашний сервак с двумя такими карточками на воде. Если буду апгрейдить до 4, то скорее всего лучше будет изготовить кастомный блок, чем брать ещё таких.
Насчет движка, используете мейнлайн llama.cpp? Я пробовал AmesianX/TurboQuant, там публикуются готовые сборки под v100, плюс есть турбоквант, рабочий для gemma4. Хотя на одну v100 16 gb влезает gemma-4 12b qat с 96к кеша в... fp16. Даёт порядка 40-60 т/с, пока самое адекватное по скорости/качеству для небольших объемов VRAM, что я нашёл.
Ну вот Gemma 4 и gpt-oss-120b такие себе конкуренты в этом весе, а то что по скорости генерации при активных 55B параметрах обходит по скорости генерации Kimi 2.6 с 32B активных - уже интересно.
Уже прикольнее, но почему десктопная платформа то блин?! Взять б/у зион или эпук будет не дороже, зато будет больше линий PCI-e и больше каналов памяти, что может помочь при оффлоаде на CPU.
По поводу выбора 2 V100 на 32, а не будет ли выгоднее взять 4 V100 16Gb и бекплейн на 4 ГПУ? По текущим ценам с али это будет где-то на 10-15к дешевле, видеопамяти столько же, но ядер в 2 раза больше.
не на майнерском, не на серверном или не на HEDT, а именно на пользовательском железе.
мало PCI-e слотов
А ещё линий PCI-e. Внимание вопрос - зачем жрать кактус? У вас получается что DDR5 целых 192 Гб, зато два канала - всего ~60 ГБ/с пропускной способности. Причем сейчас оперативка такая стоит под 200к если не больше.
Берём с али хуанан под epyc, сам б/у epyc 7xx2, ещё б/у ddr4 2400 восьмиканальную. Всё удовольствие обойдется в менее чем 100к. На 2400 уже будет ~150 ГБ/с, если удастся разогнать можно и все 200 ГБ/с. Есть конечно нюансы с архитектурой контроллера памяти, но всё же. Ещё бонусом целых 128 линий PCI-e 4.0, для перебрасывания данными между видеокартами быстрее будет только NVLink.
С одной стороны да, с другой, ну не Китай же, где компартия может закидывать деньгами всех ради независимости в электронике, как-то мотивировать подрядчиков приходится, тут пынямать надо.
Вообще с таким бюджетом не запустить производство простых, блин, гальванических изоляторов - надо сильно постараться. По датам похоже что они увидели сумму контракта, почуяли легкие деньги, ну а чо, заказать производство где-нибудь в TSMC или GF, микруха простая, выйдет дешево, а потом санкции сначала в 18-м, чтоб совсем добить случится 22-й ну и вот произошёл ОЙ.
НИИЭТ по запросу дает отладки, с возвратом потом. На экспоэлектронике на стенде сказали что пока в серию не пустили, видимо из-за правок, ожидают в конце лета, а не Q1 этого года как на сайте. Так что может осенью будет у дистрибьюторов.
За перевернутый футпринт и монтаж WQFN проволочками сразу лойс!
А как же quilter? Даже есть бесплатные прогоны. Правда там получается ну очень инопланетная расстановка компонентов и нормально это работает только для 4-слоек с очень низкой плотностью, но всё же
Скрытый текст
Извините, но это индусслоп. Был бы оригинал - окей, но переводить такое как-то неуважительно к аудитории даже. Вся суть: чувак взял готовый одноплатник, готовый дисплей, готовый контроллер аккумулятора, соединил, напечатал корпус на 3д принтере, получил что-то среднее между моноблоком и ранним беспроводным телефоном по внешнему виду.
Проект вот ну максимально не выдающийся, как с точки зрения своей сути так и усилий автора. Ну единственный момент где нужна была хоть какая-то работа и подумать это дизайн корпуса и всё. Остальное - тривиально, на уровне кружка старшей школы.
Циклические рассуждения и стопор генерации почти 100% проблема в памяти, но какой именно (VRAM, кэш GPU, RAM) - вопрос открытый. Драйвер тоже исключать не стоит, хотя если вина в нём, проблема вероятно проявилась бы у кого-то ещё и гуглилась.
Ваш субъективный вывод это абсолютный бред. Окей, я не исключаю что проблема в видеокарте, возможно, но вот эта потенциальная причина
отборная шизофрения. Я надеюсь что вы хотя бы в школе не прогуливали физику, про университетский курс цифровых устройств молчу вообще. Для начала ядро GPU и PCI-e работают на разном напряжении, утечка между ними это дохлый кристалл сразу. Далее, контроллер PCI-e в кристалле это наименее нагруженный и сложный блок и, чисто статистически, последний кандидат на источник проблем. Ну и напоследок, даже если мы предположим какие-то там фантастические паразитные уровни создает видеокарта на PCI-e, то у вас от этого будут проблемы НА ВСЕЙ ШИНЕ: SSD, чипсет, что там ещё висит.
Удивительно, что в комментах никто ещё не указал на это
Блин, это пока самая low effort статья про домашний "суперкомпьютер". Типа надо купить проц, мать и память, хотя бы 64 гига - отлично, замечательно, ладно точные модели но можно было хотя бы примерно сказать о какой платформе идет речь? Десктоп? HEDT/Рабочая станция? Б/У серверное?
Если брать серверное, то найти плату с 4, а иногда более, x16 разъемами не такое сложное дело. Это намного лучше чем страдать с райзерами и бифуркацией.
По поводу дисков, мое мнение, но если человек собирает такое, то у него наверняка дома где-то уже стоит NAS на пару (десятков) ТБ, хватит одного или двух SSD под систему.
Брать видеокарты AMD под вычисления - осуждаю. LLM на них гоняться то будет, но запускать любые другие HPC вычисления - много боли.
FP4 и даже BF16 вообще никакой роли не играют для моделей в квантах. По ценам 32 сейчас на али с pcie адаптером 50-60к. Там больше проблема в том что не поддерживаются штуки типа flash attention, их конечно портировали умельцы, но это значит нужно использовать форки движков для инференса, возможно навайбкоженные.
Во-первых есть ВУЗы с весьма большими территориями, во-вторых, когда я учился, мы остались без лаб по соткам, потому что в ВУЗ их не поставить, а кооперироваться с опсосами и при этом проводить вне ВУЗа - ещё геморрнее по бюрократии.
Имелось в виду не радиоволны (их теория кстати была разработана до того как экспериментально обнаружили), а проводное электричество и его эффекты. Там что такое напряжение, электромагнит, статическое электричество.
Ну, так себе идеи. Во-первых, "скрытые параметры" это и есть допущение о том что мы чего-то не знаем или не воспринимаем. Во-вторых, электричество и было открыто вслепую, у нас нет органов для восприятия электрических или магнитных полей напрямую, только по косвенным эффектам.
Небольшое визуальное пособие по теме:
Скрытый текст
Удлинители купил Bykski B-EXJ-50 и то пришлось стачивать накатку, у большинства, что смотрел, диаметр с накаткой 18 мм, а толщина акрила - 17. Вот такая экономия от китайцев. На первой фотке фитинг под шланг 10/13.
У автора в статье уже новая версия с вырезами, я сначала тоже хотел на ЧПУ друга сделать вырезы, но потом подумал что смысл, будет же хуже охлад VRM.
Нельзя, китайские острова есть только на 4 карты и стоят от 60к, а чтоб было 128 это нужна 32 гб версия v100, которая идёт где-то 45-55к за штуку.
На 8 карт в теории можно найти б/у сервак dell, hp или супермикро, но я бы не надеялся что это будет дёшево.
Там не поддерживается bf16 (работает через эмуляцию) и nvfp4 (вообще не работает). На практике считать всё будет в fp32, но это не особо играет роль, основной упор в ПСП. По производительности в LLM чуть слабее 5070ti если не брать в расчет модели с упором в вычисления типа ультракомпактных в весах nvfp4.
Ох и ужасная эта штука, напишу подробнее про свой опыт как доберусь до написания своей статьи про домашний сервак с двумя такими карточками на воде. Если буду апгрейдить до 4, то скорее всего лучше будет изготовить кастомный блок, чем брать ещё таких.
Насчет движка, используете мейнлайн llama.cpp? Я пробовал AmesianX/TurboQuant, там публикуются готовые сборки под v100, плюс есть турбоквант, рабочий для gemma4. Хотя на одну v100 16 gb влезает gemma-4 12b qat с 96к кеша в... fp16. Даёт порядка 40-60 т/с, пока самое адекватное по скорости/качеству для небольших объемов VRAM, что я нашёл.
Ну вот Gemma 4 и gpt-oss-120b такие себе конкуренты в этом весе, а то что по скорости генерации при активных 55B параметрах обходит по скорости генерации Kimi 2.6 с 32B активных - уже интересно.
Ещё забыли там добавить что у питона сервера деградировали
С али, прям сейчас в процессе сборки:
HUANANZHI H12D 8D - 35к
Epyc 7452 - 13к
4x16GB DDR4 2400 - 19к
Всё с учетом пошлин. Есть supermicro какие-то чуть дороже.
Уже прикольнее, но почему десктопная платформа то блин?! Взять б/у зион или эпук будет не дороже, зато будет больше линий PCI-e и больше каналов памяти, что может помочь при оффлоаде на CPU.
По поводу выбора 2 V100 на 32, а не будет ли выгоднее взять 4 V100 16Gb и бекплейн на 4 ГПУ? По текущим ценам с али это будет где-то на 10-15к дешевле, видеопамяти столько же, но ядер в 2 раза больше.
А ещё линий PCI-e. Внимание вопрос - зачем жрать кактус? У вас получается что DDR5 целых 192 Гб, зато два канала - всего ~60 ГБ/с пропускной способности. Причем сейчас оперативка такая стоит под 200к если не больше.
Берём с али хуанан под epyc, сам б/у epyc 7xx2, ещё б/у ddr4 2400 восьмиканальную. Всё удовольствие обойдется в менее чем 100к. На 2400 уже будет ~150 ГБ/с, если удастся разогнать можно и все 200 ГБ/с. Есть конечно нюансы с архитектурой контроллера памяти, но всё же. Ещё бонусом целых 128 линий PCI-e 4.0, для перебрасывания данными между видеокартами быстрее будет только NVLink.
С одной стороны да, с другой, ну не Китай же, где компартия может закидывать деньгами всех ради независимости в электронике, как-то мотивировать подрядчиков приходится, тут пынямать надо.
Вообще с таким бюджетом не запустить производство простых, блин, гальванических изоляторов - надо сильно постараться. По датам похоже что они увидели сумму контракта, почуяли легкие деньги, ну а чо, заказать производство где-нибудь в TSMC или GF, микруха простая, выйдет дешево, а потом санкции сначала в 18-м, чтоб совсем добить случится 22-й ну и вот произошёл ОЙ.
НИИЭТ по запросу дает отладки, с возвратом потом. На экспоэлектронике на стенде сказали что пока в серию не пустили, видимо из-за правок, ожидают в конце лета, а не Q1 этого года как на сайте. Так что может осенью будет у дистрибьюторов.