Введение

В сети сейчас полно «гуру» и коучей, которые обещают запустить собственную LLM почти на ноутбуке. Да, это технически возможно, но обычно речь идёт о моделях в диапазоне от млн до млрд параметров. Такая модель будет работать, однако — медленно, и её практическая ценность будет ограничена. В результате многие пользователи разочаровываются в локальных LLM.

 В этой статье я расскажу, как пошагово развернуть собственный сервер для инференса LLM, чтобы получить действительно полезный инструмент.

 Зачем нужен локальный сервер LLM?

Вводные данные: год назад я, как и многие, скептически относился к искусственному интеллекту, считая его лишь набором «умных» запросов к интернету. После нескольких разговоров с публичной нейросетью меня поразили её способности, но мои коллеги по‑прежнему уверенно утверждали, что ИИ – это просто огромная база данных. Я собрал собственный сервер, запустил локальную нейросеть без доступа к сети, но даже предложение протестировать её на моём GPU‑сервере никого не заинтересовало. Что скрывается за этим скептицизмом? Почему люди отрицают возможности ИИ, хотя внутри уже чувствуют тревогу перед неизвестным?

Прошлой весной я впервые столкнулся с нейросетью — Гигачат от Сбербанка. До этого я считал такие сервисы «несерьёзной фигнёй». После нескольких экспериментов с Гигачатом моё мнение кардинально изменилось: ответы оказались впечатляющими, и я начал задумываться о применении ИИ в работе.

Однако использовать внешний сервис в коммерческих проектах оказалось дорогим. Я начал искать альтернативу — локальные модели, которые можно запускать на собственном железе без постоянных расходов.