Сегодня мы разберем тему локальных нейросетей и того, как можно избавиться от зависимости облачных сервисов.

Каждый раз, когда вы загружаете рабочий документ в ChatGPT или Claude он уходит на серверы корпораций. Так вы ещё платите за это подпиской. Но есть альтернатива.

На сегодняшний день мощностей домашнего ПК или современного ноутбука достаточно, чтобы запустить локальную систему прямо на диске, без использования интернета.

Но взглянем, какие плюсы и минусы есть у облака и локальной ИИ.

  • Конфиденциальность: данные не уходят на сервера корпораций, что довольно важно для тех, кто работает с рабочими документами.

  • Автономность: работает без интернета и подписок.

  • Ограничения: скорость генерации напрямую зависит от характеристик самого ПК.

Какие нужны «минимальные» характеристики.

  • Видеокарта: от 4 ГБ VRAM — для лёгких задач хватит. Без видеокарты модель запустится через CPU - будет работать медленнее, но работает.

  • Оперативная память: от 8 ГБ для работы без вылетов.

  • Место на диске: от 1 ГБ в зависимости от модели.

Где начать новичку?

  • LM Studio: самый простой интерфейс «скачал и запустил».

  • Ollama: легкое решение для слабых машин и поддержка облачных моделей без потери конфиденциальности.

Что означают названия моделей и что такое квантование?

Возьмем одну из последних открытых моделей Google, а именно Gemma4:e4b.

Первое слово — это «семейство» модели.

Цифра указывает на поколение, и чем выше цифра, тем современнее архитектура и понимание контекста моделью.

Буква «b» означает billions (миллиарды). А цифра перед ней указывает на количество самих параметров.

Модели от 2 до 8 миллиардов параметров довольно маленькие и работают быстро даже на средних ноутбуках. Чтобы они запускались ещё легче, применяют метод сжатия — «квантование». Он уменьшает вес модели (например, с 16 бит до 4 бит), немного жертвуя точностью. Цифра 4 в названии как раз и означает, что модель сжата до 4 бит. На сегодня это «золотой стандарт локальных ИИ»: потеря точности всего 1–2%, а скорость растёт в разы.

Генерация ответов, точность и контекстные окна.

Возьмем в пример мой основной ПК и посмотрим на его характеристики:

Процессор: Intel I3-12100F
Видеокарта: Nvidia GeForce GTX 1660S
Оперативная память: 16GB DDR4
Накопители: SSD 512GB

Недавно я на нем запускал как раз gemma4:e4b с контекстным окном на 128к слов. Загрузил в него конфиденциальные данные на 110к слов и ждал ответа около 20 минут, и результат меня удивил. Скорость обработки составила на тот момент примерно 1 слово в секунду. Для сравнения: облачные сервисы генерируют от 50–100 слов в секунду, но зато требуют интернета и передачи данных. Ответ был довольно понятен и развернут, но самое главное, что файлы остались только у меня.

Возможно, у вас возник вопрос, что такое контекстное окно?

Контекстное окно — это «объем памяти» нейросети. То есть то количество информации (слов или знаков), которое модель может «удержать в голове» за один раз, когда ты загружаешь в неё файлы или ведешь долгий диалог.

Заключение

Запуск локальных нейросетей — это отличная возможность минимизировать риски, связанные с использованием облачных сервисов, и сохранить конфиденциальность ваших данных. Несмотря на то что скорость работы может зависеть от характеристик вашего компьютера, даже средний по мощности ПК может справиться с запуском некоторых моделей. Так что пробуйте и экспериментируйте, только так вы сможете оценить все преимущества работы с ИИ без интернета и подписок. Это может стать новым шагом в использовании технологий и открыть новые возможности для работы и творчества.