Локальный ИИ не должен стоить как автомобиль. Мне стало интересно: возможен ли жизнеспособный инференс на CPU и что реально дают дешевые GPU (вроде Tesla V100 или CMP 40HX). Я собрал несколько бюджетных конфигураций до 100к, потестил актуальные модели и попытался понять, что важнее для скорости: канальность памяти или частота. Сравнил дешевые AM4 и Threadripper, замерил токены в секунду и построил графики. Делюсь результатами.

С прошлого года я изучаю бюджетные варианты сборок для локального ИИ в домашних условиях. Точкой “не возврата” стал запуск модели gpt-oss-120b на 3 видеокартах на открытом стенде, после чего я провел длительные тесты в работе и мне понравилось. Однако, десктопные платы и корпусы не могут вместить в себя 3 RTX 3090 (слишком широкие). Тогда я присмотрелся к майнерским решениям, которые имеют свои нюансы и сложности.

В этой статье я расскажу про свой путь: как тестировал 2 майнерские платы, а одну из них прокачал по максимуму, сколько в итоге удалось выжать и финансовые затраты. Разберем по порядку: с чего начинал и к чему пришел. Внутри много скриншотов и даже есть видео.

В середине 2025 года приобрел себе для работы ноутбук Lenovo Thinkbook 14+. После выхода моделей gpt-oss протестировал локальный инференс младшей модели и результаты для меня были весьма удивительными. Затем я провел тесты еще на двух своих ноутбуках, а совсем недавно на работе собрал заинтересованных ребят и появились результаты еще 5 ноутбуков. Если коротко - локальный инференс доступнее чем кажется, а детали в статье.

В этой статье поделюсь как я собирал свой первый домашний сервер для виртуализации, с какими трудностями столкнулся на всем пути сборки и как их решал (правильно или неправильно), поделюсь личными выводами. А в конце посчитаем все это дело в цифрах (на первую половину 2023 года). Фото различных элементов прилагаются.