Если вы хотите поиграться с LLM у вас есть несколько вариантов: можно задействовать LLM через код, можно воспользоваться чатом одного из облачных провайдеров, а можно развернуть у себя UI-клиента для работы с LLM. Их довольно много. И функционал у них может сильно различаться. В самом простом виде есть только чат. У наиболее продвинутых есть встроенные базы знаний, работа с изображениями и много других функций.
Ниже краткий обзор 9 таких клиентов (отсортированы по предпочтению автора):
1. Open WebUI
Документация: https://docs.openwebui.com
Клиент: веб (докер)
Модели: поддерживает как локальные веса, так и подключение по API.
Функции: работа со звуком (запись голоса, TTS), работа с изображениями, веб-поиск, работа с файлами, RAG, встроенная база знаний, function/tool calling, многопользовательский режим (аккаунты, роли).
Лицензия: слегка модифицированный BSD-3.
Один из самых популярных клиентов. Имеет современный и продуманный интерфейс. Довольно развитый функционал. Возможно лучший кандидат для развертывания в локальной сети предприятия.
2. LM Studio
Скачать: https://lmstudio.ai
Документация: https://lmstudio.ai/docs/app
Клиент: десктоп (Win/Linux/macOS)
Модели: только скаченные на локальный на диск. Встроенный каталог моделей с Hugging Face (не нужно искать и скачивать вручную). Поддержка GPU.
Функции: RAG, База знаний, можно поднять OpenAI-совместимый локальный сервер, работа с файлами, поддержка мультимодальных моделей, настройка параметров генерации.
Лицензия: проприетарная, но LM Studio бесплатен как для личного, так и для коммерческого использования.
LM Studio все всем замечательная. Но есть один жирный недостаток - LM Studio не может работать по API (ни с облачными провайдерами, но со своими сервисами). Т.е. она предназначена только для локального использования на текущем компьютере и только с локально скаченными моделями. В остальном функционал очень богатый (особенно в части поддержки разных форматов и движков инференса).
3. Msty Studio
Скачать: https://msty.ai
Документация: https://docs.msty.studio/getting-started
Клиент: десктоп (Win/Linux/macOS)
Модели: локальные (Ollama) или через API (широкий набор провайдеров)
Функции: инструменты, RAG, база знаний, работа с файлами и изображениями, веб-поиск, настройка параметров генерации.
Лицензия: freemium. Базовый функционал бесплатен, но есть платные функции, для доступа к которым нужна лицензия.
Msty имеет очень приятный и продуманный интерфейс. Функционал богатый, но есть платные функции.
4. Librechat
Сайт: https://www.librechat.ai
Документация: https://www.librechat.ai/docs
Клиент: веб (docker)
Модели: только по API. Имеется ряд преднастроенных провайдеров.
Функции: RAG, работа с файлами, база знаний, инструменты, агенты, веб-поиск, настройка параметров генерации, работа с кодом, мультимодальность (работа с изображения/аудио), память, запись аудио (TTS). Многопользовательский режим (аутентификация, роли).
Лицензия: MIT
Интерфейс хорошо проработан. Из недостатков: многие настройки делаются через через конфигурационные файлы. Также подходит для развертывания в сети компании (легко поднимается через докер), но с настройками придется повозиться.
5. Cherry Studio
Документация: https://docs.cherry-ai.com/
Клиент: десктоп (Win/Linux/macOS)
Модели: локальные (через Ollama) или по API. Куча поддерживаемых провайдеров.
Функции: RAG, работа с файлами, база знаний, инструменты, веб-поиск, настройка параметров генерации, управление ризонингом, память, мультимодальность (работа с изображения/аудио).
Лицензия: GNU
Очень приятный и продуманный интерфейс. Очень богатый Функционал. Единственная капля дегтя - иногда проскакивают китайские иероглифы в интерфейса (не все перевели).
6. Chatbox
Сайт: https://chatboxai.app
Клиент: десктоп (Win/Linux/macOS)
Модели: локальные модели (через Ollama или LM Studio) + куча облачных провайдеров.
Функции: работа с файлами, генерация изображений, инструменты, база знаний, веб-поиск, работа с кодом.
Лицензия: GNU
Интерфейс простой, а функционал довольно навороченный.
7. AnythingLLM
Скачать: https://anythingllm.com/desktop
Документация: https://docs.anythingllm.com
Клиент: есть и десктоп (Win/Linux/macOS) и веб-клиент (docker)
Модели: локальные и по API (имеется куча провайдеров)
Функции: RAG, работа с документами, рабочие пространства, векторная БД, инструменты/агенты, поддержка мультимодальных моделей, TTS.
Лицензия: MIT
(Имхо) немножко устаревший/карявенький интерфейс. В остальном довольно богатый функционал.
8. GPT4All
Документация: https://docs.gpt4all.io/
Клиент: десктоп (Win/Linux/macOS)
Модели: локальные + готовый список облачных провайдеров + можно подключить OpenAI API совместимые. Загрузка моделей с HuggingFace.
Функции: RAG, база знаний.
Лицензия: MIT
Немножко не современный интерфейс. Функционал базовый. А в остальном неплохое приложение.
9. Jan.ai
Сайт: https://www.jan.ai
Документация: https://www.jan.ai/docs/desktop
Клиент: десктоп (Win/Linux/macOS)
Модели: локальные модели (через lama.cpp), готовый список облачных провайдеров + можно подключить OpenAI совместимые API. Загрузка моделей через хаб.
Функции: вызов инструментов, настройка параметров генерации. Можно поднять свой локальный сервер.
Лицензия: AGPL-3.0
Простой и легкий клиент. Функционал скромный, но для несложных экспериментов вполне достаточный. Интерфейс хороший, но без изысков.
10. Ollama
Сай: https://ollama.com
Документация: https://docs.ollama.com
Клиент: десктоп (Win/Linux/macOS).
Модели: локальные. Загрузка с собственного хаба.
Функции: только чат.
Лицензия: MIT
Интерфейс простой как две копейки, но симпатишный :) Из функционала - только чат и возможность скачивать модели из собственного репозитория.
Вместо вывода. Если нужен веб, то сначала смотрим на Open WebUI, потом Librechat (там чуть сложнее настройки). Если нужно десктоп приложение, то фаворита два: LM Studio и Msty Studio. LM Studio смотрится помощнее, но не может никуда подключаться по API. А если не смущают мелкие огрехи в интерфейсе, то обязательно попробуйте Cherry Studio.
Помимо рассмотренных есть и другие решения. Например: private-gpt, KoboldCpp, SillyTavern, Text Generation WebUI (oobabooga). Они менее известны. Они отсутствуют в этой подборке либо потому что мне не удалось из запустить (без танцев с бубном), либо они имеют совсем устаревший интерфейс (судя по скринам).
Мои курсы: Разработка LLM с нуля | Алгоритмы Машинного обучения с нуля
