Генерировать программный код, создавать трехмерные модели, обрабатывать фотографии и даже запускать генерацию изображений сегодня можно непосредственно на ноутбуке. Причем для этого необязательно покупать дорогую рабочую станцию с профессиональной видеокартой или собирать отдельный сервер с несколькими GPU. В этой статье я хочу показать, как организовать локальную ИИ‑станцию на базе MAIBENBEN X17F с процессором AMD Ryzen 9 8940HX и видеокартой NVIDIA GeForce RTX 5060.

Введение

Собственно говоря, на игровом ноутбуке можно не только играть, но и вполне себе настроить связку с локальной LLM. Мне стало интересно, насколько хорошо ноутбук «тянет» модели Qwen3.8-Flash‑Next Coder IQ1_M, DeepSeek‑Coder‑V2-Lite Q2_K (и еще пара для сравнения), и насколько хорош получается сам код. Я прогнал одни и те же задачи через разные модели и два движка, собрал телеметрию раз в секунду (температура, ватты, память, токены) и посчитал два независимых рейтинга. Тестирую вот на таком ноутбуке — MAIBENBEN X17F с процессором AMD Ryzen 9 8940HX и видеокартой NVIDIA GeForce RTX 5060. На борту 24 Гб системной памяти и 8 Гб видеопамяти. Экран 17.3" дюйма, довольно широкий — помещаются два полноценных окна для работы рядом. Для игр и работы с кодом такого экрана вполне достаточно.

Для удобства работы можно внешнюю USB‑докстанцию или установить для дополнительного охлаждения вентиляторную подставку. Про нагрев и охлаждение этого ноутбука расскажу чуть ниже.

Сразу скажу, что для подобных тестов нужно переводить ноутбук в «турбо», «игровой» или иной «производительный режим», чтобы ноутбук не переключался бы на интегрированный видеочип. В данной модели предусмотрена как отдельная клавиша режимов, так и специальное приложение для выбора профиля производительности.

Также забегая вперед скажу, что не зря выбрал именно этот ноутбук — с завода установлен модуль памяти DDR5 на 24 Гб. То есть можно установить дополнительный (второй) модуль на 24 Гб и получить в сумме 48 Гб для запуска средних LLM (в режиме выгрузки из VRAM в системную память). У GeForce RTX 5060 Laptop есть 8 ГБ собственной видеопамяти GDDR7.

Выбранные модели

Современные движки инференса умеют распределять слои модели между GPU и CPU. Часть весов загружается в VRAM, остальная часть размещается в оперативной памяти и обрабатывается процессором. Strata для своей модели требует около 33 ГБ, поэтому я поставил второй модуль ОЗУ и, чтобы сравнение было честным, гонял на 40 ГБ все модели — и в Strata, и в Ollama. Вот такие модели выбрал для теста:

Модель

Движок

Квант / размер

Как легла в 8 ГБ VRAM

Qwen3.8-Flash‑Next Coder IQ1_M

Strata 0.2.10 (движок 0.1.56, CUDA 13)

IQ1_M, 58,4 ГБ (2 шарда) + MTP 5,2 ГБ

23,4 ГБ экспертов в ОЗУ, 689 «горячих» экспертов (1,3 ГБ) и KV‑окно 20 480 токенов в VRAM, второй шард читается с SSD

GPT‑OSS 20B

Ollama 0.40.14 (CUDA)

MXFP4, 13,2 ГБ в памяти

25/25 слоёв на GPU, но эксперты MoE в ОЗУ: 5,0 ГБ VRAM (38%)

Qwen3-Coder-30B‑A3B

Ollama 0.40.14

IQ4_NL (unsloth), 19,6 ГБ

49/49 слоёв, 5,8 ГБ VRAM (29%)

DeepSeek‑Coder‑V2-Lite

Ollama 0.40.14

Q2_K (bartowski), 15,5 ГБ с KV 64K

16/28 слоёв на GPU, 5,7 ГБ VRAM (37%)

Общие параметры для всех: температура 0,3, контекст 65 536 токенов, KV‑кэш q8_0 (в Strata — int8), flash attention, рассуждения выключены (у GPT‑OSS — минимальный уровень low), одна модель в памяти, один запрос за раз.

Методика: стенд «Hard Code»

Стенд полностью автоматический: создание кода на полифонический DSP‑синтезатор на C++20, распределённое хранилище на Raft и аудит чужого многомодульного проекта (Legacy Audit). Модель получает ТЗ, отвечает файлами в формате «### FILE: путь + блок кода», скрипт раскладывает их, собирает проект и прогоняет скрытые тесты, которых модель не видит. Код за модель никто не правит, то есть в реальной жизни я такой отправляю на доработку, пока код не станет «красивым», а в данном случае ошибки компиляции и провалы тестов возвращаются модели — до 3 раундов исправления сборки и 1 раунд по тестам. Какие задачи поставил:

Тест

Что проверяет

Независимая проверка

1. DSP‑синтезатор (C++20)

16-голосый синтезатор: wavetable‑генераторы с антиалиасингом, ADSR, State Variable Filter, LFO, voice stealing, scalar + AVX2, без аллокаций в processBlock

15 скрытых тестов: частота по DFT, огибающая, устойчивость фильтра, совпадение scalar/AVX2, ASan/UBSan

2. Raft KV (Rust)

Кластер из 3 процессов по TCP: выборы, репликация, коммит, редиректы, восстановление, симулятор отказов

18 проверок живого кластера: убийство лидера, догон, partition

3. Legacy Audit (C++)

Проект PLC-200(28 файлов, ~17 тыс. токенов, 37 заложенных дефектов): анализ, классификация, рефакторинг, тесты, отчёт

34 проверки под ASan+UBSan, каждая в отдельном процессе с таймаутом 30 с

Третий тест я сделал самым длинным: к шести штатным этапам (архитектура → поиск дефектов → рефакторинг с исправлениями → свои тесты → отчёт) добавлены этап 7 — новая сессия, где модель получает только файл состояния проекта и должна продолжить работу, и этап 8 — повторный аудит. Параллельно снималась телеметрия работы ноутбука: мощность и температура CPU (LibreHardwareMonitor), мощность, температура, частота и загрузка GPU (nvidia‑smi), ОЗУ, VRAM, общая память GPU, файл подкачки, диск. Отдельно — замеры скорости: холодный и тёплый старт, короткие, средние запросы и длинная генерация на 10 500 токенов.

Проблемы методики, с которыми столкнулся

Длинный контекст

Сразу скажу, что даже такие задачи оказались сложноваты. И разбор логов показал, что виноват не только размер моделей (выбирал впритык под железо), но и сам способ испытания: модель тонет в собственной истории контекста. Для результативности пришлось дробить контекст на шаги. Да и есть нюансы с исправлениями — перестал отправлять LLM всю историю контекста при запросе на корректировку. Пришлось часть тестов прогонять заново.

Strata в песочнице и лимит пути 260 символов

Strata ставится одной командой PowerShell в%LOCALAPPDATA%. Но я запускал всё из Claude Desktop, а MSIX‑приложения Windows перенаправляют AppData\Local в свой каталог Packages\…\LocalCache. Путь вырос настолько, что распаковка исходников llama.cpp (их Strata использует для подготовки модели) упала на MAX_PATH. Лечение — перенести всё в C:\Strata и запускать Strata с LOCALAPPDATA=C:\. К слову, нужно скачать самой Strata 58 ГБ и модели Qwen3.8-Flash‑Next Coder IQ1_M.

Лимит выделения памяти Windows

Со стандартным файлом подкачки (2,5 ГБ) лимит commit был 43,9 ГБ, и Strata сразу предупредила: свободно 0,4 ГБ, сервер может молча упасть с кодом 0xC0000409. Она сама отключила кэш диалогов и чтение промпта силами CPU. После перехода на фиксированные 16 ГБ подкачки (лимит 55,2 ГБ, свободно ~11 ГБ) режимы включились. Но, фактически подкачка почти не использовалась — пик 0,4 ГБ.

Падение движка на длинных промптах

Первый прогон Strata провалился: короткие запросы шли на 42 ток/с, но любой промпт длиннее одного куска чтения (~2 тыс. токенов) ронял движок. У Coder‑версии 256 экспертов из 512 исходных, а «послойный» путь чтения промпта для карт с маленьким кэшем экспертов обращался к экспертам с номером 256 и выше. Штатный выключатель STRATA_PREFILL_LAYER_MAJOR=0 решил проблему: промпт в 18 068 токенов читается за 24,6 с (735 ток/с), причём и с CPU‑помощью, и без неё. Остальное — по умолчанию.

Windows Smart App Control

Самое коварное. Включённый Smart App Control случайным образом блокировал загрузку официальной libLLVM‑…dll у rustc и запуск свежесобранных тестовых.exe (WinError 4551 «Политика управления приложениями заблокировала этот файл»). Модель при этом получала «ошибку сборки», которой не было в её коде. Три прогона (Raft и Legacy у GPT‑OSS, Legacy у Qwen) пришлось выбросить и перезапустить, добавив в стенд повтор с паузой и журнал блокировок. Во время перезапусков блокировок больше не было. Мораль: если бенчмарк компилирует и запускает код на Windows 11 — проверяйте журнал Microsoft‑Windows‑CodeIntegrity/Operational.

Производительность железа

Strata выдаёт 41,0 ток/с на коротких запросах и 39,6 ток/с на длинной генерации — и это модель, которая в 4 раза больше любой из соперниц. Секрет в трёх вещах: эксперты, к которым модель обращается чаще всего, заранее положены в VRAM (около 46% обращений к экспертам обслуживает GPU), промахи считают 15 потоков CPU, а MTP‑драфтер угадывает до 4 токенов вперёд.

Медианная скорость генерации после прогрева на одинаковых контрольных запросах
Медианная скорость генерации после прогрева на одинаковых контрольных запросах

Когда модель переписывает уже существующий код (раунды исправлений), угадывание срабатывает чаще, и скорость доходила до 75–83 ток/с.

Время до первого токена: холодный старт включает загрузку модели (у Strata модель уже загружена сервером — старт сервера 35 с)
Время до первого токена: холодный старт включает загрузку модели (у Strata модель уже загружена сервером — старт сервера 35 с)

Чтение длинных промптов

Здесь главный разрыв с мини‑ПК на Intel Arc, где тот же стенд читал промпт со скоростью ~60 ток/с и тратил 5–6 минут на старт теста 3. На RTX медианы — 1116 ток/с у Strata, 1179 у GPT‑OSS, 645 у Qwen3-Coder. Исключение — DeepSeek‑Coder‑V2-Lite: KV‑кэш на 64K контекста у него в Ollama настолько большой (15,5 ГБ всего при 6,4 ГБ весов), что в видеокарту поместилось только 16 из 28 слоёв, и промпт теста 3 на 21 тыс. токенов он читал 610 секунд (34,5 ток/с) — на 10 секунд дольше таймаута стенда.

Скорость обработки промпта в зависимости от его длины (все запросы тестов)
Скорость обработки промпта в зависимости от его длины (все запросы тестов)

Входящие и исходящие токены

Legacy Audit у Strata — это почти полмиллиона токенов на входе: восемь этапов, каждый из которых несёт весь проект и историю. Именно на таком объёме проявляется разница в скорости чтения промпта.

Сколько токенов модели прочитали и написали за каждый тест
Сколько токенов модели прочитали и написали за каждый тест

Модель

Прочитано

Написано

Чистое время генерации

Qwen3.8-Flash‑Next Coder IQ1_M (Strata)

548 414

75 331

29 мин

GPT‑OSS 20B MXFP4

230 721

67 758

47 мин

Qwen3-Coder-30B‑A3B IQ4_NL

357 029

81 612

73 мин

DeepSeek‑Coder‑V2-Lite Q2_K

34 530

21 890

41 мин

Потребление памяти

Strata держит в ОЗУ 23,4 ГБ экспертов и забирает систему почти целиком — пик 37,1 ГБ из 39,2. На 24-гигабайтной конфигурации ноутбука эта модель не запустилась бы вовсе. Модели Ollama укладываются в 23–31 ГБ с учётом Windows и браузера.

Пиковое потребление ОЗУ всей системой и VRAM
Пиковое потребление ОЗУ всей системой и VRAM

Диспетчер задач во время работы Strata: занято 36,8 из 39,2 ГБ (94%).

Загрузка GPU и CPU

Пример загрузки GPT‑OSS 20B в Ollama: 5,9 из 8 ГБ VRAM, ещё 5,9 ГБ в общей памяти GPU, загрузка 42%.

Тот же момент: CPU загружен на 54% — это все 16 физических ядер на 4,7 ГГц.

Средняя загрузка GPU во время генерации: Strata — 99%, GPT‑OSS — 34%, Qwen3-Coder — 46%, DeepSeek — 38%. Ollama делит MoE‑модель так, что внимание считает видеокарта, а эксперты — процессор, и видеокарта большую часть времени ждёт. Strata устроена наоборот: видеокарта остаётся главным вычислителем, а CPU досчитывает промахи кэша экспертов.

Нагрев и потребление

При запуске LLM можно получить одновременный нагрев и CPU, и GPU. Я бы рекомендовал использовать ноутбук на твердой поверхности, не перекрывать нижние воздухозаборники.

Прикладываю данные по средней и максимальной температуры во время генерации.

Средняя и максимальная температура во время генерации
Средняя и максимальная температура во время генерации

И данные по средней мощности потребления во время генерации.

Средняя мощность CPU Package + GPU во время генерации
Средняя мощность CPU Package + GPU во время генерации

CPU во всех режимах сидит работает на максимуме, есть небольшой запас по температуре. Разница в том, куда уходит энергия: у Strata 79 Вт берёт видеокарта и 88 Вт процессор (всего ~167 Вт), у DeepSeek — 114 Вт CPU и только 21 Вт GPU. В пересчёте на токен (средняя мощность / медианная скорость): Qwen3.8-Flash‑Next Coder IQ1_M — 4,1 Дж, GPT‑OSS 20B MXFP4 — 5,6 Дж, Qwen3-Coder-30B‑A3B IQ4_NL — 5,1 Дж, DeepSeek‑Coder‑V2-Lite Q2_K — 4,1 Дж. Strata и DeepSeek самые экономные, но DeepSeek теряет скорость на длинном контексте. График для Strata.

Qwen3.8-Flash-Next Coder IQ1_M (Strata): температура, мощность и память за весь прогон (заливка — идёт генерация)
Qwen3.8-Flash‑Next Coder IQ1_M (Strata): температура, мощность и память за весь прогон (заливка — идёт генерация)

График для GPT‑OSS 20B.

GPT-OSS 20B MXFP4: температура, мощность и память за весь прогон (заливка — идёт генерация)
GPT‑OSS 20B MXFP4: температура, мощность и память за весь прогон (заливка — идёт генерация)

График для Qwen3-Coder-30B‑A3B.

Qwen3-Coder-30B-A3B IQ4_NL: температура, мощность и память за весь прогон (заливка — идёт генерация)
Qwen3-Coder-30B‑A3B IQ4_NL: температура, мощность и память за весь прогон (заливка — идёт генерация)

График для DeepSeek‑Coder‑V2-Lite.

DeepSeek-Coder-V2-Lite Q2_K: температура, мощность и память за весь прогон (заливка — идёт генерация)
DeepSeek‑Coder‑V2-Lite Q2_K: температура, мощность и память за весь прогон (заливка — идёт генерация)

Рейтинг производительности железа

Формула оценки производительности железа: скорость 30%, время до первого токена 10%, пиковая память 20%, стабильность 20%, эффективность GPU 20%. Каждая составляющая нормирована на лучшую модель (100 баллов). Память — прирост ОЗУ к простою плюс подкачка (меньше — лучше). Стабильность — доля успешных запросов × (1 − падение скорости) с учётом того, дотянула ли длинная генерация до 10 тыс. токенов. GPU — 50% доля вычислений на GPU (для Ollama — доля модели в VRAM по ollama ps, для Strata — доля экспертов, посчитанных на GPU, из лога движка; оценка приблизительная) + 50% средняя загрузка GPU.

Рейтинг производительности железа
Рейтинг производительности железа

Модель

Скорость

TTFT

Память

Стабильность

GPU

Итог

Qwen3.8-Flash‑Next Coder IQ1_M (Strata)

100

46

30

97

72

74,4

GPT‑OSS 20B MXFP4

66

32

75

89

36

63,0

Qwen3-Coder-30B‑A3B IQ4_NL

75

100

47

93

38

68,0

DeepSeek‑Coder‑V2-Lite Q2_K

81

100

100

57

37

73,2

DeepSeek на втором месте только за счёт маленького квантования (мало памяти) и быстрого старта — его стабильность на длинном контексте худшая из всех. Strata проигрывает только по памяти и выигрывает всё остальное.

Результаты тестов

Методика оценки результата такая: компилируемость кода 20%, скрытые тесты 30%, архитектура 20% (экспертно), исправление ошибок 15%, безопасность 10%, документация 5%. Компилируемость — среднее по трём шагам.

Рейтинг качества кода по тестам
Рейтинг качества кода по тестам

Модель

DSP

Raft

Legacy Audit

Среднее

Strata Coder IQ1_M

17,0

11,6

61,9

30,2

GPT‑OSS 20B

11,4

30,0

36,3

25,9

Qwen3-Coder 30B

13,5

15,0

11,2

13,2

DeepSeek‑V2-Lite Q2_K

3,0

6,0

Провал на контексте

3,0

Контекст и стоимость

Тесты запускал в два приема (v1 — первый раз все ТЗ одним сообщением, далее весь контекст нарастает при доработках, v2 — уменьшил контекст, разделил задачи, при доработках отправляю часть истории, а не всю переписку). Короткий контекст дешевле по входу, но в итоге делается больше запросов для уточнений: каждый шаг — новый ответ, а каждая группа legacy — свой рефакторинг. Исходящих токенов стало в 1,4–2,2 раза больше (кроме DeepSeek), и время генерации у быстрых моделей выросло. Зато промпт больше не упирается в окно 64K: максимум у Strata — 22,5 тыс. токенов вместо 64,6 тыс. Интересный опыт, особенно можно проследить это по измерениям контекста в Strata.

Входящие токены и чистое время генерации за все три теста
Входящие токены и чистое время генерации за все три теста

Наблюдения о моделях

  • Strata выдумывает пакеты. Даже когда сводка cargo прямо перечисляет доступные фичи, модель вписывает несуществующие (std у bincode, env-log у tracing‑subscriber). Похоже на цену квантования IQ1_M: знания о конкретных API «размыты», общая архитектура — нет (её Raft в v2 вырос с 441 до 1 179 строк, с выборами и репликацией).

  • GPT‑OSS любит короткий контекст. В v1 он зацикливался в длинной истории и к концу превращал проект в заглушки; в v2 синтезатор — 880 строк с AVX2 и атомарными параметрами, а Raft впервые собрался.

  • DeepSeek‑Coder‑V2-Lite Q2_K в v2 на шаге A Raft не вернул ни одного файла в нужном формате, по 28 строк кода на весь Raft и снова не дочитал 21-тысячный промпт Legacy за 10 минут. Требует наибольшего внимания при настройке и подготовке ТЗ. Я бы еще рекомендовал параллельно задавать аудит для DeepSeek другой, более легковесной моделью.

Выводы

  • Короткий контекст и поэтапная сборка имеют и плюсы и минусы — можно поймать зацикливание, раздувается количество уточняющих вопросов.

  • Для кода «с нуля» на 8 ГБ VRAM поэтапный режим полезен; для аудита и рефакторинга существующего проекта модели нужен весь проект перед глазами. Это оказалось важным.

Вопрос

Ответ

Лучшая модель по качеству на основе тестов

Strata Coder IQ1_M — 30,2 (на длинном контексте 28,2)

Самый заметный выигрыш от короткого контекста

GPT‑OSS 20B: увеличение результативности с 11,0 до 25,9

Кому v2 навредил

Qwen3-Coder 30B: 23,6 → 13,2 (Legacy Audit по группам)

Самый сложный тест Аудит Legacy за всё время тестов

Strata, 21/34 на длинном контексте и 33/34 на коротком контексте

Первая собранная Raft‑сборка

GPT‑OSS 20B

Итак, вот такой ноутбук RTX 5060 Laptop — это вполне рабочий вариант для локального вайбкодинга. По сути 8 ГБ хватает, чтобы движок (например, Strata) смог удержать горячих экспертов MoE в VRAM. Ollama с частичной выгрузкой оставляет видеокарту недогруженной и упирает всё в CPU, но работает. Если говорить про именно сам код, то для идеала не хватило нескольких шагов (в тесте по 3 шага на исправление, по хорошему, нужно дать модели больше шагов для исправления). Желательно добавить памяти для стоковой конфигурации — Strata Coder IQ1_M во время теста занимала 37 ГБ. Ноутбук вполне справляется с нагрузкой, но для многочасовых сессий я бы посоветовал дополнительно использовать подставку с охлаждением. В любом случае, это достаточно интересный опыт, который показывает, что вполне можно настроить рабочую вайбкодинг‑связку для локальной генерации (не только кода — можно и 3D модели генерировать в несколько подходов).