Читал было интересно. Но все же как я понял не получиться на 16 Гб поднять все этт модели которые вы сказали для удобной работы голосового ассистента, stt+llm+tts будут задержки на выгрузку модели, подсистему кэша.
А подскажите по пушам? если это все pwa пуши прилетают из браузера (chrome сафари)? в частности на мобильных устройствах, как это выглядит просто шторка или на весь экран аля вам звонят кнопка принять звонок и сбросить?
Круто! Можно пару вопросов. Как двп абонента найдут друг друга? Уникальные логины, нужна регистрация? И поиск по абонентам которые есть на сервере? 2. Как с поступлением сигнализацие звонка? Прилетает пуш на телефон и показывает что клиент тебе звонит?
Почему все сидят на lmstudio и ollama..ну это же не прод вариант, localai посмотрите. Уже год использую, быстро развивается, модели можно добавлять самому через шаблон
А сколько видео памяти или просто памяти надо для 0.6 модели? А то заголовок кликобейт, а цифры не увидел
Читал было интересно. Но все же как я понял не получиться на 16 Гб поднять все этт модели которые вы сказали для удобной работы голосового ассистента, stt+llm+tts будут задержки на выгрузку модели, подсистему кэша.
А как насчет лицензии pyanote. Забили что она для прода платная или есть варианты?
Увидел у вас pyannote. Это требовани модели Сбера? Или чтобы диаризацию сделать? Она же платная по лицензии для коммерческого использования
Подскажите, сколько видео памяти надо чтобы запустить модель? Ну или железо на котором запускали
а можно пример плиз
А подскажите по пушам? если это все pwa пуши прилетают из браузера (chrome сафари)?
в частности на мобильных устройствах, как это выглядит просто шторка или на весь экран аля вам звонят кнопка принять звонок и сбросить?
И что dozemode его не убил? Сутки два бот проработал?
Круто! Можно пару вопросов. Как двп абонента найдут друг друга? Уникальные логины, нужна регистрация? И поиск по абонентам которые есть на сервере? 2. Как с поступлением сигнализацие звонка? Прилетает пуш на телефон и показывает что клиент тебе звонит?
я вас спросил есть ли в ollama что-то пригодное для прод. вы ответили спасибо.
тоесть там есть балансировка запросов?
очереди ответов?
кэширование?
Ну так это же не прод вариант. Это так для внутреннего использования
Насчет легких моделей gemma 3n очень не плохая.
Почему все сидят на lmstudio и ollama..ну это же не прод вариант, localai посмотрите. Уже год использую, быстро развивается, модели можно добавлять самому через шаблон
Насчет загрузить все диссертацию завтра проверю. Pdf текстовый съест или лучше в markdown?
Платная для коммерческого использования. Только если втихаря использовать. Кстати я крутил на 1080. Нормально работает митинги по 40 минут
Все классно в whisperx кроме pyanote с лицензией.
Хороший бэк localAi
Одну девочку попросили прорекламировать один мессенжер. Ну та и сказала что он ловит даже на парковке
Парни подняли свой liteLLM норм)