Предисловие. Я тут работаю с lmstusio сервером и мне нужно было приложение на andriod которое бы с ним работало быстро и без всяких дополнительных танцев с бубном. Сделав его я подумал почему бы не предложить другим может кому то же надо. Выглядит он так

ссылка для скачивания https://www.rustore.ru/catalog/app/com.example.lm_studio_client

Работает оно просто. Указываешь ip сервера порт 1234 и можно работать. Настройку самого сервера lmstudio я без проблем можно найти в сети повторять не вижу смысла.

Так же что бы два раза не вставать была решена продляема с тем что lstudio работает только в локальной сети. Можно конечно покинуть порты на машину с белым IP. Но это не всегда возможно и удобно. Для этого был сделан прокси сервер который вешается на машине с белым IP. И теперь решение состоит из двух компонентов: нативного клиента для Android и прокси-сервера на Python.

Архитектура решения

Приложение реализует интерфейс для взаимодействия с LM Studio API. Ключевая особенность — обход ограничения локальной сети через прокси-сервер lmstudio_relay, доступный по адресу:

text

https://github.com/stil-rambler/lmstudio_relay

Функциональность

  • Чат-интерфейс для взаимодействия с моделями

  • Настройки подключения к серверу LM Studio

  • Поддержка работы через ретранслятор

  • Нативная реализация под Android

Техническая реализация

Прокси-сервер lmstudio_relay решает проблему доступа к локальному экземпляру LM Studio из внешних сетей. Сервер написан на Python и выполняет роль ретранслятора запросов между мобильным клиентом и локальным сервисом.

Сценарии использования

  1. Локальная сеть — прямое подключение к LM Studio

  2. Удаленный доступ — подключение через прокси-сервер

  3. Мультисерверная конфигурация — поддержка нескольких экземпляров LM Studio

Установка и настройка

  1. Установите приложение на Android-устройство

  2. Запустите прокси-сервер на хосте с LM Studio:

bash

git clone https://github.com/stil-rambler/lmstudio\_relay
cd lmstudio_relay
# Следуйте инструкциям из README.md

  1. Настройте подключение в приложении, указав адрес ретранслятора

Особенности реализации

  • Прокси-сервер поддерживает постоянные соединения

  • Минимальная задержка при ретрансляции запросов

  • Совместимость со стандартным API LM Studio

Решение устраняет основное ограничение LM Studio — привязку к локальной сети, сохраняя при этом всю функциональность desktop-версии.

Системные требования

  • Android 8.0+

  • LM Studio версии 0.2.9+

  • Python 3.8+ (для прокси-сервера)

Код прокси-сервера доступен для аудита и модификации. Приложение находится в активной разработке, прием предложений по улучшению функциональности.

Особенности которые надо учитывать при использовании.

Lmstudio работает в однозапросном режиме. То есть одновременно обрабатывает один запрос. Соответственно если запросов много они будут обрабатываться последовательно.

Прокси сервер lmstudio_relay не защищен от подключения посторонних. Для защищенного подключения нужно использовать lmstudio_relay_aut.py Не забудьте поменять там код доступа :-). В приложении его надо вводить в API Key.

Ну как то так.