Вышел Osaurus — нативный LLM-сервер для Mac на базе Apple Silicon

[Sazonov]

Спасибо за интересную новость. Как раз задавался вопросом эффективного запуска llm на маке; теперь даже проверю в действии. Посмотрим как на 64 гигах будет пыхтеть :)

[ilyaska]

Но оллама ведь давно на маке есть. И менеджер моделей тоже. Или я что-то не понимаю?

[Sazonov]

Оллама слишком кроссплатформенный. А тут платформозависимое решение как я понял.

[Sazonov]

Да, постараюсь не забыть. Но руки дойдут только ближе к концу следующей недели наверное :(

[annika_spencer]

Поделитесь, пожалуйста, апдейтом

[SmartDiver]

lm studio все это давно прекрасно умеет

[daniilshat]

Да, LM Studio и Ollama умеют все это. Тут суть в нативных для мака технологиях. Разработчики говорят, что должно работать быстрее и более экономно потреблять ресурсы

[DjPhoeniX]

LM Studio умеет в MLX backend. Возможно, за счёт каких-то дополнительных оптимизаций, osaurus смогли уменьшить оверхед - надо тестить. Но вряд ли там разница в разы...

[artmel]

LM Studio не умеет запускать под мак например Apertus на MLX

[rail-ka]

У них в README LM Studio быстрее, чем Osaurus:

[sloww]

Ну как бы не во всем. По факту каждая в чем то лидирует - LM в получении первого токена, Ollama в скорости выдаче, а Osaurus такой компромиссный вариант аля средний во всем.

TFTF конечно важно, но на уровне какого то интерактива, а локальные модели это 99% про обработку данных и там не так важно как быстро тебе ответят имхо, если только это не автокомплит (но там уже давно другие инструменты).

Ну и как бы а почему нет, нативные приложения обычно всегда хоть на проценты но быстрее, тут скорее вопрос насколько прямые руки у разработчиков и какое будет комьюнити. А пока вот так, наоборот круто что не фейковые данные дали.

[rail-ka]

В скорости выдачи лидирует LM Studio (605 токенов в секунду). И последний токен тоже LM Studio выдает быстрее всех (1.2 секунды с начала, по их бенчмарку).