Если цель - получить ответ как можно быстрее, то 10 т/с может быть недостаточно, но если нужно просто решить задачу значительно быстрее, чем это было бы вручную, то здесь уже всё не так однозначно, особенно если нужно локально запускать большие модели, что относительно дешево можно сделать только на серверном процессоре с большим количеством ОЗУ
Когда я с ИИ обсуждал конфигурацию будущей компьютерной сборки, он сказал мне, что у NVME SSD, который я выбрал, чипы памяти расположены с обеих сторон, поэтому снизу тоже надо поставить радиатор. Производитель же продавал накопитель только с верхней теплоотводной пластиной и нигде в описании не написано было о необходимости докупать нижний радиатор. Сам бы я в лучшем случае заменил только верхнюю пластину на нормальный радиатор, а о нижнем даже не подумал бы!
Сейчас каждый месяц выходит какая-нибудь интересная модель, поэтому в ближайшее время с высокой вероятностью стоит ожидать, что появится что-нибудь для запуска на 64-128 ГБ VRAM
Это всё конечно хорошо, только вот вместе с этой сборкой придется в помещение устанавливать кондиционер повышенной мощности, потому что 2 кВт - это мощный обогреватель, который в летнюю жару очень быстро перегреет помещение. И еще не нужно забывать о массовых случаях оплавления разъемов питания у 3090.
Весьма опасно привыкать к нейронкам, которые могут сделать сложную задачу с очень простым промтом, поскольку можно разучиться думать. Необходимо использовать инструменты, для работы с которыми нужно прикладывать некоторые усилия.
Большие модели (больше 100B параметров) очень устойчивы к квантованию и в 4-битном кванте способны сохранять качество ответов близкое к исходной модели. А вот малые модели на 4B параметров начинают терять точность уже при 8 битах.
Надо написать дипсику флаги, которые ты собираешься использовать, и что твоя модель имеет MOE архитектуру. Также нужно указать используемый квант, тогда ИИ сможет более адекватно рассчитать скорость инференса.
В даташитах на чипы памяти обычно указывается минимальное количество стираний, при котором данные смогут храниться заявленное время. Это количество обычно применяется при вычислении оставшегося ресурса ssd в параметрах SMART. Также можно самому оценить износ, прочитав параметр "среднее количество стираний" или "количество операций wear leveling", затем посмотреть, какие чипы памяти установлены в накопителе, достать на них даташит и посмотреть, какое количество стираний гарантирует производитель. Также на Хабре где-то была статья по перепрошивке контроллеров фирмы Silicon Motion, чтобы установленная память всегда работала в SLC режиме, что приведет к падению общей ёмкости накопителя, но зато многократно увеличит износостойкость ячеек памяти и надёжность хранения данных.
3д кэш ухудшает теплоотвод от процессора, соответственно его максимальная частота будет ниже, чем у такого же без 3д кэша. На рабочие задачи увеличенный кэш почти не влияет в отличие от частоты. К тому же, обычный Ryzen 7 9700X гораздо дешевле, соответственно, в качестве универсального процессора лучше выбрать именно его.
Получилось прошить микроконтроллер через 19 и 20 ножки с помощью утилиты WCHISPTool под Windows.
По повожу неправильного USART для прошивки у CH32V203G8 могу предположить, что производитель во время отладки новой версии бутлоадера по каким-то причинам использовал USART2, а при релизе забыл поменять. Ну или просто случайно не тот дефайн для сборки прошивки указал.
Про шаг 0.5 я написал потому, что хотел обратить внимание на то, что хотя тип корпуса одинаковый (LQFP), шаг между ножками бывает разный и можно случайно неправильно развести плату или купить неправильный адаптер (как я, например). Бутлоадер использовать не пробовал, но в даташите про него написано : "The bootloader is stored in the system memory, and the contents of the program Flash memory storage can be reprogrammed through the USART1 and USB interface." Я предполагаю, что для этой цели должны использоваться ножки PB6 и PB7, на которых как раз есть и USB и USART1. У CH32V203G8 это должны быть 2 и 3 ножки, а у CH32V203K8 - 29 и 30. Ну и можно предположить, что в документации просто допущена ошибка, которые там периодически встречаются.
У CH32V203G8 шаг между ножками 0.635мм, что менее удобно, чем у CH32V203K8 с шагом 0.8мм. Адаптеры под корпус LQFP32 с шагом 0.8мм можно легко купить на алиэкспрессе. А вот для корпусов LQFP48 и LQFP64 у данной серии микроконтроллеров шаг между ножками уже всего 0.5мм.
Самое интересное, что производителю ничего не мешало взять тот же самый микроконтроллер в 20-ногом корпусе и вывести все пины на коннекторы, что немного увеличило бы стоимость изделия, но при этом значительно увеличило бы возможный функционал.
Если цель - получить ответ как можно быстрее, то 10 т/с может быть недостаточно, но если нужно просто решить задачу значительно быстрее, чем это было бы вручную, то здесь уже всё не так однозначно, особенно если нужно локально запускать большие модели, что относительно дешево можно сделать только на серверном процессоре с большим количеством ОЗУ
30 т/с вполне хорошая скорость. Некоторым людям даже 10 т/с хватает для задач программирования.
Qwen3.6 27B тоже обходит Gemma 4 и gpt-oss-120b, но при этом модель гораздо проще запустить, чем новый Nemotron
Когда я с ИИ обсуждал конфигурацию будущей компьютерной сборки, он сказал мне, что у NVME SSD, который я выбрал, чипы памяти расположены с обеих сторон, поэтому снизу тоже надо поставить радиатор. Производитель же продавал накопитель только с верхней теплоотводной пластиной и нигде в описании не написано было о необходимости докупать нижний радиатор. Сам бы я в лучшем случае заменил только верхнюю пластину на нормальный радиатор, а о нижнем даже не подумал бы!
Сейчас каждый месяц выходит какая-нибудь интересная модель, поэтому в ближайшее время с высокой вероятностью стоит ожидать, что появится что-нибудь для запуска на 64-128 ГБ VRAM
Это всё конечно хорошо, только вот вместе с этой сборкой придется в помещение устанавливать кондиционер повышенной мощности, потому что 2 кВт - это мощный обогреватель, который в летнюю жару очень быстро перегреет помещение. И еще не нужно забывать о массовых случаях оплавления разъемов питания у 3090.
Учитывая скорость развития ИИ нельзя точно сказать, что чья-либо работа находится в безопасности.
qwen3.6 27B вроде превосходит qwen3-coder-next в большинстве бенчмарков, несмотря на меньший размер.
Весьма опасно привыкать к нейронкам, которые могут сделать сложную задачу с очень простым промтом, поскольку можно разучиться думать. Необходимо использовать инструменты, для работы с которыми нужно прикладывать некоторые усилия.
Инструкции были написаны на русском языке? При написании промта на английском или китайском языке качество результата может быть лучше.
Большие модели (больше 100B параметров) очень устойчивы к квантованию и в 4-битном кванте способны сохранять качество ответов близкое к исходной модели. А вот малые модели на 4B параметров начинают терять точность уже при 8 битах.
Надо написать дипсику флаги, которые ты собираешься использовать, и что твоя модель имеет MOE архитектуру. Также нужно указать используемый квант, тогда ИИ сможет более адекватно рассчитать скорость инференса.
В даташитах на чипы памяти обычно указывается минимальное количество стираний, при котором данные смогут храниться заявленное время. Это количество обычно применяется при вычислении оставшегося ресурса ssd в параметрах SMART. Также можно самому оценить износ, прочитав параметр "среднее количество стираний" или "количество операций wear leveling", затем посмотреть, какие чипы памяти установлены в накопителе, достать на них даташит и посмотреть, какое количество стираний гарантирует производитель. Также на Хабре где-то была статья по перепрошивке контроллеров фирмы Silicon Motion, чтобы установленная память всегда работала в SLC режиме, что приведет к падению общей ёмкости накопителя, но зато многократно увеличит износостойкость ячеек памяти и надёжность хранения данных.
Судя по возрасту там MLC память была скорее всего
Радиаторы на ОЗУ раньше не нужны были, так как она почти не грелась, а смысл RGB подсветки только в увеличении стоимости.
3д кэш ухудшает теплоотвод от процессора, соответственно его максимальная частота будет ниже, чем у такого же без 3д кэша. На рабочие задачи увеличенный кэш почти не влияет в отличие от частоты. К тому же, обычный Ryzen 7 9700X гораздо дешевле, соответственно, в качестве универсального процессора лучше выбрать именно его.
Получилось прошить микроконтроллер через 19 и 20 ножки с помощью утилиты WCHISPTool под Windows.
По повожу неправильного USART для прошивки у CH32V203G8 могу предположить, что производитель во время отладки новой версии бутлоадера по каким-то причинам использовал USART2, а при релизе забыл поменять. Ну или просто случайно не тот дефайн для сборки прошивки указал.
Про шаг 0.5 я написал потому, что хотел обратить внимание на то, что хотя тип корпуса одинаковый (LQFP), шаг между ножками бывает разный и можно случайно неправильно развести плату или купить неправильный адаптер (как я, например).
Бутлоадер использовать не пробовал, но в даташите про него написано : "The bootloader is stored in the system memory, and the contents of the program Flash memory storage can be reprogrammed through the USART1 and USB interface." Я предполагаю, что для этой цели должны использоваться ножки PB6 и PB7, на которых как раз есть и USB и USART1. У CH32V203G8 это должны быть 2 и 3 ножки, а у CH32V203K8 - 29 и 30. Ну и можно предположить, что в документации просто допущена ошибка, которые там периодически встречаются.
У CH32V203G8 шаг между ножками 0.635мм, что менее удобно, чем у CH32V203K8 с шагом 0.8мм. Адаптеры под корпус LQFP32 с шагом 0.8мм можно легко купить на алиэкспрессе. А вот для корпусов LQFP48 и LQFP64 у данной серии микроконтроллеров шаг между ножками уже всего 0.5мм.
Самое интересное, что производителю ничего не мешало взять тот же самый микроконтроллер в 20-ногом корпусе и вывести все пины на коннекторы, что немного увеличило бы стоимость изделия, но при этом значительно увеличило бы возможный функционал.