Циклические рассуждения и стопор генерации почти 100% проблема в памяти, но какой именно (VRAM, кэш GPU, RAM) - вопрос открытый. Драйвер тоже исключать не стоит, хотя если вина в нём, проблема вероятно проявилась бы у кого-то ещё и гуглилась.
Ваш субъективный вывод это абсолютный бред. Окей, я не исключаю что проблема в видеокарте, возможно, но вот эта потенциальная причина
через линии PCIe уже проходят паразитные токи — утечки на уровне самого кристалла GPU
отборная шизофрения. Я надеюсь что вы хотя бы в школе не прогуливали физику, про университетский курс цифровых устройств молчу вообще. Для начала ядро GPU и PCI-e работают на разном напряжении, утечка между ними это дохлый кристалл сразу. Далее, контроллер PCI-e в кристалле это наименее нагруженный и сложный блок и, чисто статистически, последний кандидат на источник проблем. Ну и напоследок, даже если мы предположим какие-то там фантастические паразитные уровни создает видеокарта на PCI-e, то у вас от этого будут проблемы НА ВСЕЙ ШИНЕ: SSD, чипсет, что там ещё висит.
Удивительно, что в комментах никто ещё не указал на это
Блин, это пока самая low effort статья про домашний "суперкомпьютер". Типа надо купить проц, мать и память, хотя бы 64 гига - отлично, замечательно, ладно точные модели но можно было хотя бы примерно сказать о какой платформе идет речь? Десктоп? HEDT/Рабочая станция? Б/У серверное?
Если брать серверное, то найти плату с 4, а иногда более, x16 разъемами не такое сложное дело. Это намного лучше чем страдать с райзерами и бифуркацией.
По поводу дисков, мое мнение, но если человек собирает такое, то у него наверняка дома где-то уже стоит NAS на пару (десятков) ТБ, хватит одного или двух SSD под систему.
Брать видеокарты AMD под вычисления - осуждаю. LLM на них гоняться то будет, но запускать любые другие HPC вычисления - много боли.
FP4 и даже BF16 вообще никакой роли не играют для моделей в квантах. По ценам 32 сейчас на али с pcie адаптером 50-60к. Там больше проблема в том что не поддерживаются штуки типа flash attention, их конечно портировали умельцы, но это значит нужно использовать форки движков для инференса, возможно навайбкоженные.
Во-первых есть ВУЗы с весьма большими территориями, во-вторых, когда я учился, мы остались без лаб по соткам, потому что в ВУЗ их не поставить, а кооперироваться с опсосами и при этом проводить вне ВУЗа - ещё геморрнее по бюрократии.
Имелось в виду не радиоволны (их теория кстати была разработана до того как экспериментально обнаружили), а проводное электричество и его эффекты. Там что такое напряжение, электромагнит, статическое электричество.
Ну, так себе идеи. Во-первых, "скрытые параметры" это и есть допущение о том что мы чего-то не знаем или не воспринимаем. Во-вторых, электричество и было открыто вслепую, у нас нет органов для восприятия электрических или магнитных полей напрямую, только по косвенным эффектам.
Удлинители купил Bykski B-EXJ-50 и то пришлось стачивать накатку, у большинства, что смотрел, диаметр с накаткой 18 мм, а толщина акрила - 17. Вот такая экономия от китайцев. На первой фотке фитинг под шланг 10/13.
У автора в статье уже новая версия с вырезами, я сначала тоже хотел на ЧПУ друга сделать вырезы, но потом подумал что смысл, будет же хуже охлад VRM.
Там не поддерживается bf16 (работает через эмуляцию) и nvfp4 (вообще не работает). На практике считать всё будет в fp32, но это не особо играет роль, основной упор в ПСП. По производительности в LLM чуть слабее 5070ti если не брать в расчет модели с упором в вычисления типа ультракомпактных в весах nvfp4.
Решение — тонкий водоблок с интегрированной пластиной
Ох и ужасная эта штука, напишу подробнее про свой опыт как доберусь до написания своей статьи про домашний сервак с двумя такими карточками на воде. Если буду апгрейдить до 4, то скорее всего лучше будет изготовить кастомный блок, чем брать ещё таких.
Насчет движка, используете мейнлайн llama.cpp? Я пробовал AmesianX/TurboQuant, там публикуются готовые сборки под v100, плюс есть турбоквант, рабочий для gemma4. Хотя на одну v100 16 gb влезает gemma-4 12b qat с 96к кеша в... fp16. Даёт порядка 40-60 т/с, пока самое адекватное по скорости/качеству для небольших объемов VRAM, что я нашёл.
Ну вот Gemma 4 и gpt-oss-120b такие себе конкуренты в этом весе, а то что по скорости генерации при активных 55B параметрах обходит по скорости генерации Kimi 2.6 с 32B активных - уже интересно.
Уже прикольнее, но почему десктопная платформа то блин?! Взять б/у зион или эпук будет не дороже, зато будет больше линий PCI-e и больше каналов памяти, что может помочь при оффлоаде на CPU.
По поводу выбора 2 V100 на 32, а не будет ли выгоднее взять 4 V100 16Gb и бекплейн на 4 ГПУ? По текущим ценам с али это будет где-то на 10-15к дешевле, видеопамяти столько же, но ядер в 2 раза больше.
не на майнерском, не на серверном или не на HEDT, а именно на пользовательском железе.
мало PCI-e слотов
А ещё линий PCI-e. Внимание вопрос - зачем жрать кактус? У вас получается что DDR5 целых 192 Гб, зато два канала - всего ~60 ГБ/с пропускной способности. Причем сейчас оперативка такая стоит под 200к если не больше.
Берём с али хуанан под epyc, сам б/у epyc 7xx2, ещё б/у ddr4 2400 восьмиканальную. Всё удовольствие обойдется в менее чем 100к. На 2400 уже будет ~150 ГБ/с, если удастся разогнать можно и все 200 ГБ/с. Есть конечно нюансы с архитектурой контроллера памяти, но всё же. Ещё бонусом целых 128 линий PCI-e 4.0, для перебрасывания данными между видеокартами быстрее будет только NVLink.
С одной стороны да, с другой, ну не Китай же, где компартия может закидывать деньгами всех ради независимости в электронике, как-то мотивировать подрядчиков приходится, тут пынямать надо.
Вообще с таким бюджетом не запустить производство простых, блин, гальванических изоляторов - надо сильно постараться. По датам похоже что они увидели сумму контракта, почуяли легкие деньги, ну а чо, заказать производство где-нибудь в TSMC или GF, микруха простая, выйдет дешево, а потом санкции сначала в 18-м, чтоб совсем добить случится 22-й ну и вот произошёл ОЙ.
НИИЭТ по запросу дает отладки, с возвратом потом. На экспоэлектронике на стенде сказали что пока в серию не пустили, видимо из-за правок, ожидают в конце лета, а не Q1 этого года как на сайте. Так что может осенью будет у дистрибьюторов.
Циклические рассуждения и стопор генерации почти 100% проблема в памяти, но какой именно (VRAM, кэш GPU, RAM) - вопрос открытый. Драйвер тоже исключать не стоит, хотя если вина в нём, проблема вероятно проявилась бы у кого-то ещё и гуглилась.
Ваш субъективный вывод это абсолютный бред. Окей, я не исключаю что проблема в видеокарте, возможно, но вот эта потенциальная причина
отборная шизофрения. Я надеюсь что вы хотя бы в школе не прогуливали физику, про университетский курс цифровых устройств молчу вообще. Для начала ядро GPU и PCI-e работают на разном напряжении, утечка между ними это дохлый кристалл сразу. Далее, контроллер PCI-e в кристалле это наименее нагруженный и сложный блок и, чисто статистически, последний кандидат на источник проблем. Ну и напоследок, даже если мы предположим какие-то там фантастические паразитные уровни создает видеокарта на PCI-e, то у вас от этого будут проблемы НА ВСЕЙ ШИНЕ: SSD, чипсет, что там ещё висит.
Удивительно, что в комментах никто ещё не указал на это
Блин, это пока самая low effort статья про домашний "суперкомпьютер". Типа надо купить проц, мать и память, хотя бы 64 гига - отлично, замечательно, ладно точные модели но можно было хотя бы примерно сказать о какой платформе идет речь? Десктоп? HEDT/Рабочая станция? Б/У серверное?
Если брать серверное, то найти плату с 4, а иногда более, x16 разъемами не такое сложное дело. Это намного лучше чем страдать с райзерами и бифуркацией.
По поводу дисков, мое мнение, но если человек собирает такое, то у него наверняка дома где-то уже стоит NAS на пару (десятков) ТБ, хватит одного или двух SSD под систему.
Брать видеокарты AMD под вычисления - осуждаю. LLM на них гоняться то будет, но запускать любые другие HPC вычисления - много боли.
FP4 и даже BF16 вообще никакой роли не играют для моделей в квантах. По ценам 32 сейчас на али с pcie адаптером 50-60к. Там больше проблема в том что не поддерживаются штуки типа flash attention, их конечно портировали умельцы, но это значит нужно использовать форки движков для инференса, возможно навайбкоженные.
Во-первых есть ВУЗы с весьма большими территориями, во-вторых, когда я учился, мы остались без лаб по соткам, потому что в ВУЗ их не поставить, а кооперироваться с опсосами и при этом проводить вне ВУЗа - ещё геморрнее по бюрократии.
Имелось в виду не радиоволны (их теория кстати была разработана до того как экспериментально обнаружили), а проводное электричество и его эффекты. Там что такое напряжение, электромагнит, статическое электричество.
Ну, так себе идеи. Во-первых, "скрытые параметры" это и есть допущение о том что мы чего-то не знаем или не воспринимаем. Во-вторых, электричество и было открыто вслепую, у нас нет органов для восприятия электрических или магнитных полей напрямую, только по косвенным эффектам.
Небольшое визуальное пособие по теме:
Скрытый текст
Удлинители купил Bykski B-EXJ-50 и то пришлось стачивать накатку, у большинства, что смотрел, диаметр с накаткой 18 мм, а толщина акрила - 17. Вот такая экономия от китайцев. На первой фотке фитинг под шланг 10/13.
У автора в статье уже новая версия с вырезами, я сначала тоже хотел на ЧПУ друга сделать вырезы, но потом подумал что смысл, будет же хуже охлад VRM.
Нельзя, китайские острова есть только на 4 карты и стоят от 60к, а чтоб было 128 это нужна 32 гб версия v100, которая идёт где-то 45-55к за штуку.
На 8 карт в теории можно найти б/у сервак dell, hp или супермикро, но я бы не надеялся что это будет дёшево.
Там не поддерживается bf16 (работает через эмуляцию) и nvfp4 (вообще не работает). На практике считать всё будет в fp32, но это не особо играет роль, основной упор в ПСП. По производительности в LLM чуть слабее 5070ti если не брать в расчет модели с упором в вычисления типа ультракомпактных в весах nvfp4.
Ох и ужасная эта штука, напишу подробнее про свой опыт как доберусь до написания своей статьи про домашний сервак с двумя такими карточками на воде. Если буду апгрейдить до 4, то скорее всего лучше будет изготовить кастомный блок, чем брать ещё таких.
Насчет движка, используете мейнлайн llama.cpp? Я пробовал AmesianX/TurboQuant, там публикуются готовые сборки под v100, плюс есть турбоквант, рабочий для gemma4. Хотя на одну v100 16 gb влезает gemma-4 12b qat с 96к кеша в... fp16. Даёт порядка 40-60 т/с, пока самое адекватное по скорости/качеству для небольших объемов VRAM, что я нашёл.
Ну вот Gemma 4 и gpt-oss-120b такие себе конкуренты в этом весе, а то что по скорости генерации при активных 55B параметрах обходит по скорости генерации Kimi 2.6 с 32B активных - уже интересно.
Ещё забыли там добавить что у питона сервера деградировали
С али, прям сейчас в процессе сборки:
HUANANZHI H12D 8D - 35к
Epyc 7452 - 13к
4x16GB DDR4 2400 - 19к
Всё с учетом пошлин. Есть supermicro какие-то чуть дороже.
Уже прикольнее, но почему десктопная платформа то блин?! Взять б/у зион или эпук будет не дороже, зато будет больше линий PCI-e и больше каналов памяти, что может помочь при оффлоаде на CPU.
По поводу выбора 2 V100 на 32, а не будет ли выгоднее взять 4 V100 16Gb и бекплейн на 4 ГПУ? По текущим ценам с али это будет где-то на 10-15к дешевле, видеопамяти столько же, но ядер в 2 раза больше.
А ещё линий PCI-e. Внимание вопрос - зачем жрать кактус? У вас получается что DDR5 целых 192 Гб, зато два канала - всего ~60 ГБ/с пропускной способности. Причем сейчас оперативка такая стоит под 200к если не больше.
Берём с али хуанан под epyc, сам б/у epyc 7xx2, ещё б/у ddr4 2400 восьмиканальную. Всё удовольствие обойдется в менее чем 100к. На 2400 уже будет ~150 ГБ/с, если удастся разогнать можно и все 200 ГБ/с. Есть конечно нюансы с архитектурой контроллера памяти, но всё же. Ещё бонусом целых 128 линий PCI-e 4.0, для перебрасывания данными между видеокартами быстрее будет только NVLink.
С одной стороны да, с другой, ну не Китай же, где компартия может закидывать деньгами всех ради независимости в электронике, как-то мотивировать подрядчиков приходится, тут пынямать надо.
Вообще с таким бюджетом не запустить производство простых, блин, гальванических изоляторов - надо сильно постараться. По датам похоже что они увидели сумму контракта, почуяли легкие деньги, ну а чо, заказать производство где-нибудь в TSMC или GF, микруха простая, выйдет дешево, а потом санкции сначала в 18-м, чтоб совсем добить случится 22-й ну и вот произошёл ОЙ.
НИИЭТ по запросу дает отладки, с возвратом потом. На экспоэлектронике на стенде сказали что пока в серию не пустили, видимо из-за правок, ожидают в конце лета, а не Q1 этого года как на сайте. Так что может осенью будет у дистрибьюторов.
Отлично оформленный анонс: ни фотографий устройств, ни цен, ни даже слова про доступность. На сайте причем тоже нет ни того ни другого!
Гайд по настройке OpenWebUI хороший, но Llama 3? Серьёзно? Статья так долго проходила согласование?