Уже несколько месяцев я активно экспериментирую с локальными языковыми моделями на своем ноутбуке Lenovo ThinkPad P16 Gen 2 (Intel Core i7-13850HX, 128 GB RAM, Samsung 980 Pro 2 TB + 990 Pro 1 TB, Nvidia RTX 2000 Ada 8Gb).
Конфигурация очень бодрая для любых задач, кроме… работы с тяжелыми ИИ‑моделями. И «узкое горлышко» здесь очевидно — видеокарта Nvidia RTX 2000 Ada Laptop всего с 8 ГБ VRAM. Дискретная, быстрая, заточенная под ИИ, но видеопамяти катастрофически мало! Тем не менее даже в эти 8 гигабайт вполне можно уместить отличную локальную модель, да еще и с контекстом на 8192 токена. Это позволяет вести долгие осмысленные диалоги без потери нити обсуждения.
После долгих поисков и тестов я остановился на одной модели — gemma-4-12B‑it‑QAT в квантовании q4_0.
Почему именно она?
Премиальный уровень «из коробки»: Это модель от Google, обученная на их топовых решениях. Метод QAT (Quantization‑Aware Training) минимизирует потери качества при «упаковке» в 4 бита.
Минимум галлюцинаций: При правильной настройке (особенно с немного заниженной температурой) модель отлично держит контекст и выдает точные энциклопедические данные. Срез знаний у нее свежий «конец 2025 — начало 2026 года». Настоящая локальная «мини‑Википедия»!
Хороший кодинг: Модель отлично пишет код (особенно на Python и PowerShell). Последующая верификация в среде разработки проходит практически со 100%‑й точностью. Идеально влезает в VRAM: Вместе с контекстом в 8192 токена она целиком помещается в 8 ГБ видеопамяти. В LM Studio на моем ноутбуке она выдает честные 12 токенов в секунду, чего более чем достаточно для комфортного диалога.
Но была одна серьезная проблема. При генерации ответов ноутбук буквально «шёл на взлёт»: процессор раскалялся до 96 °C, а кулеры шумели на уровне хорошего домашнего пылесоса.
И, конечно же, я очень захотел это исправить!
В поисках тишины: гипотеза
Раз модель полностью умещается в VRAM и все вычисления берет на себя графический чип, зачем процессору работать на пределе своих возможностей? Очевидно, что CPU в этот момент не нужна максимальная частота. Если искусственно «приглушить» процессор во время работы с LLM, можно радикально снизить тепловыделение и разгрузить общую систему охлаждения?
Для реализации этой идеи я использовал связку из двух утилит: TPFanControl и ThrottleStop.
Шаг 1. Настройка TPFanControl (V2.15 Dual Fan) Оригинальная утилита до сих пор развивается сообществом в форке для двухвентиляторных систем, который отлично подошел для моего ThinkPad P16.
Я скорректировал штатный файл конфигурации TPFanControl.ini, изменив логику работы вентиляторов в секции Smart Mode 1. Вместо стандартных пресетов я прописал более раннее и плавное переключение скоростей, чтобы не допускать резких скачков температуры:
MenuLabelSM1=Smart Mode 1/ Label for Icon Menu, must be terminated by '/' // Старые значения (закомментированы): // Level=60 0 // Level=140 0 // Level=65 1 // Level=150 1 // Level=75 3 // Level=165 3 // Level=80 7 // Level=175 7 // Level=90 64 // Level=195 64 // Новые оптимизированные значения: Level=55 2 // Level2=70 0 Level=57 3 // Level2=90 1 Level=60 4 // Level2=100 2 Level=70 5 // Level2=110 3 Level=75 7 // Level2=130 7 Level=80 7 Level=90 7
Шаг 2. Укрощение процессора через ThrottleStop.
В ThrottleStop я создал отдельный профиль под названием «AI Mode» и задействовал две ключевые опции:
Disable Turbo: Полностью отключил турбобуст процессора.
PROCHOT Offset: Выставил значение на
25.
Это ограничило производительность процессора примерно на 40–50% от его пиковых (и избыточных в данном сценарии) возможностей. Теперь CPU при любой продолжительности генерации текста не нагревается выше 60–65 °C. Остаточной мощности процессора при этом с головой хватает для параллельной работы в браузере, мессенджерах или редакторе кода. И даже держать запущенными с легкими задачами 3–5 виртуальных машин.
Результаты эксперимента
Главный вывод: «заглушение» процессора вообще никак не повлияло на скорость генерации локальной LLM!
Что с «кипящим» процессором на максимальных частотах, что с задушенным в режиме «AI Mode» — видеокарта RTX 2000 Ada стабильно выдает свои 12 токенов в секунду. Зато физические показатели системы изменились драматически:
Температура в пике упала с 95–96 °C до стабильных 68 °C.
Температура самой видеокарты в пике не превышает 59 °C.
Шум кулеров опустился до едва заметного фонового шуршания.
Небольшое перераспределение ресурсов и ограничение избыточной мощности CPU позволили превратить шумную «печку» в холодный, бесшумный и эффективный инструмент для работы с продвинутой нейросетью. Причем на далеко не самом топовом по объёму памяти «железе».
Думаю, что в описанной выше ситуации, любой энтузиаст легко может повторить мой результат и обеспечить себе комфортные условия работы с локальными моделями ИИ.
P.S. По следам этой статьи (06.11.26 г.).
В комментариях к статье мне посоветовали попробовать приложение Strata.
Я попробовал и остался в полном восторге! На моем ноутбуке в Strata прекрасно работает модель Qwen 3.8-Flash-Next Swift 1.5 IQ_2XS размером около 64 гигабайт. 7 гигабайт работает на видеокарте, а остальные 57 - из оперативной памяти. При этом из-за метода "распараллеливания" работы мини-агентов в тяжелых моделях и классно реализованного "спекулятивного" метода предсказаний в Strata, скорость в токенах у меня на указанной модели повысилась с 1 до 31 токена в секунду. Интеллект и качество кода - просто замечательные для такого класса и кванта. Поэтому я теперь также могу рекомендовать со своей стороны это приложение Strata.
