Разработчики Dinoki Labs представили Osaurus — нативный LLM-сервер для локального запуска моделей машинного обучения на чипах Apple Silicon. Инструмент похож на Ollama, но спроектирован с учётом особенностей macOS.
Osaurus разработан на базе фреймворка MLX от Apple. Интерфейс построен на основе SwiftUI, а серверная часть — на SwiftNIO. В Osaurus есть встроенный менеджер моделей, с помощью которого можно получить доступ к нейросетям от Llama, Qwen, Gemma, Mistral и других разработчиков. Если нужной модели нет в списке, то её можно добавить самостоятельно. Метаданные нейросетей, например объём файлов, подтягиваются из Hugging Face.
В настройках доступно несколько форматов ответов: SSE (в стиле OpenAI) и NDJSON (в стиле Ollama). Также есть совместимость с OllamaKit и другими клиентскими библиотеками Ollama. Вызов инструментов и функций реализован в стиле OpenAI: tools, tool_choice и tool_calls.
Также разработчики добавили возможность в реальном времени мониторить потребление оперативной памяти и нагрузку на процессор. Статистика доступна в самом приложении и по клику на иконку в строке состояния.
Для установки Osaurus нужен Mac с чипом Apple Silicon под управлением macOS 15.5 и выше. Для сборки приложения из исходного кода потребуется Xcode 16.4 и выше. В репозитории проекта есть инструкция по сборке и запуску, а в разделе релизов опубликовали подписанный и готовый к установке dmg-файл.
