Схема в PR делает его технологичным для публикации на хабре, да?
Если прочтут те кто это делал - дайте тех.подробностей как делили, в чем хранили, время обработки, как работает, нагрузка. На чем живет on prem , и в чем бенефиты помимо федерации.
Очень эффективная, ранее заделарированная 40% экономия бюджета на лице, я щитаю ( связанная с вводом всех ебс,есиа, гособлок и прочих интересных монстров).
Как всегда впрочем, странно было бы ожидать иного.
Я предполагаю , что для прода \dev с API по прежнему есть vllm & functionary. Но если у вас дев стек, или вы бедны по VRAM - то вам сюда - https://github.com/ggerganov/llama.cpp/blob/master/grammars/README.md
К сожалению я тоже не смог реализовать рабочий API с GNBF ( правда вчера только начал). Однако с Vllm & functionary вы получите нормальный продукт. внутри там тот же мистраль и он работает.
Статья постоянно выскакивает в поиске когда надо настроить пару микротиков. Было бы здорово еслиб вы ее моглибы освежить и раскрыть на 3 точки когда сеть на A,B,C и к примеру только B с белым. А вообще можно ли собрать одну локалку но в двух точках соеденив микротиком ? (т.е 2 /25 сети в одну /24)
Только поставил новую ubuntu с full disk encryption. через TPM., ее наконец то в экспериментальном режиме реализовали.
Это с одной стороны чуть лучше чем zfs с luks, с другой частичная потеря плюшек от zfs.
Радует что процесс сам по себе стоит условные пару тысяч баксов и мало кому доступен, ибо вот на вскидку все слова понял в статье, но наврядли смогу повторить на своём msi ноуте.
Мне кажется множество задач для instruct моделей решают именно простые логические задачи, когда кидаешь llmке текст и даешь задачу его переписать, что то заменить, чтото добавить. Это и есть простая логическая задача, разве нет?
Ну или даешь задачу на сравнение чего либо достаточно уникального. И потом уже разбираешься и перепроверяешь выводы , для этого кстати успешно используются группы нейросетей/экспертов.
Блин , я вот очень сомневаюсь что при обучении сеток им скормили опасные материалы, мусор, размышления , учебники - да есть, а реальный практикум как сделать чтото опасное это вряд ли, и выдает она правдоподобно написанный мусор.
Как про рецепт борща которым я часто проверяю, если там мало входных текстов например из русской культуры то и результат будет соответственным) иногда попадается всякое конечно:
Про борщ:
Добавьте морковь, картофель, бульон, укроп, пастух и базилик. Посолите и поперчите по вкусу.
Подавайте горячим с овсяными хлопьями или сметаной, если это предпочтительно.
В апи openapi это делают функции если я правильно это понимаю, имея home assistant може это включить , с openapi это работает, локально пока не очень, я надеялся засунуть функции в mixtral через LoacalAI, но видимо не все LLM это умеют.
Не, эта не всегда адекватна, надо адаптацию от openbuddy, которую отквантовал the bloke , когда сам квантую херня получается , модель потом заикой становится.Вот эту, 16.3 , и 32к контекст
Без Лора, 6 бит квантование, в задачах домашнего ассистента и для группы ребят подготовка кода на баше и питоне, и для ещё одной группы( семья) чат бот на каждый день.чуть позже rag запущу по документации локальной. Эта сеть лучшая из 30 тестировавшихся мной, 2е место deepseeker 67b , сайга в конце списка.
Без высоких требований , почти без фейлов если температуру пониже сделать.
За статью спасибо, но с целом mixtral и прочие llm отлично работают на русском если они от openbuddy team. И дан промт системный Промт на русском.использую 7x8 и полностью доволен.
Основная проблема этих llam/falcon/Mistral там очень мало инфы из русскоязычного сегмента в целом. а уж после квантования и того меньше просто в геометрической прогрессии.
Возможно будет интересно, я собрал локальный ассистент в home assistant, есть грабли , пока в основном с gRPC через который не идеально работает LocalAI , которым надо запускать нейросеть , ибо только он дает имитацию functions в апи копируя opnAI api. Ну или подключить openai api.
Если без управления умным домом то все проще, сетап ниже, переводить не буду, думаю и так понятно, всем кто мается нейросетками приходится всю инфу получать исключительно на английском. Для продвинутых фич одной Теслы думаю вполне хватит ( 15-20к. рублей), а две позволят прям ни в чем почти не отказывать. Но это старый хлам который не улучшить, и скорость его не высока, но дешево.
I use ProxMox and KVM with 2 Tesla P40
As STT i use Wyoming Protocol integration and faster-whisper service on KVM GPU node. (1GB VGPU)
i can talk with assist, not command, because of ooboga's api can't use functions, that may enable them to also manage devices in the HA. (Although you can do this non-locally via OpenAI) https://github.com/jekalmin/extended_openai_conversation
LocalAI can use functions , but unstable works, loses messages via GRPC, I am still testing this system. I will probably get to it, but there are a lot of fixes needed.
As TTS i use Silero TTS with CUDA . (2Gb VGPU) or use CPU mode.
Русский работает отлично , перекосов нет, прям уровень Алисы, микстраль квантован до q6
А вы не моглибы подсказать в какую сторону смотреть чтоб подключить к ассисту микрофон\колонки ? Или идеальный микрофон это яндекс колонка , есть midi , только распоковал .
Собран нормальный ассист, STT (Whisper) - LLM (Mixtral 7х8) - TTS (Silero). Можно теперь говорить (общаться по русски, комфортно, любые темы), чуть позже добавлю функции для управления домом, основная проблема что общаться удается только в приложении HA (телефон) и то что получил в результате общения не скопировать никуда, там даже текст не выделяется.Хоть бы копию общения в телегу как то слать.
Я пока не понимаю как воткнуть в HA(виртуалка) колонки (ну тут наверно понятно, чтото типа snapcast\chromecast ??? ) и микрофон (вот, как отдавать команды ? Rhasspy и что ? как микрофон физически сделать ? или можно както яндекс колонки локально использовать как умный микрофон, без отсылки к серверам\нейросетям яндекса .
PS . Для запуска своих асистентов в вслучае с HA, на нейросетях достаточно видеокарты GTX1650 LP - она потянет распознавание голоса и генерацию несложных ответов, возможно работу с функциями.
Всегда можно заюзать последовательность - взять текст на оригинале , засунуть в LLM и посопросить связный текст на нужном языке = имхо +- будет лучше на 100%.
Это я к тому что как правило faster whisper крутится на тойже машине где и тот же Mixtral \ llama2 \ llava etc. и просто дополняет \ расширяет круг задач.
Беререте wizardllm и даете ей нецензурную роль . мне кажется роли для того и придумали , просто если по русски общаться то надо openchat / openbuddy китайские модели. Openbuddy 34 мне пока выдает 90% качество на русских текстах. Лучше сайги и чатжпт
Схема в PR делает его технологичным для публикации на хабре, да?
Если прочтут те кто это делал - дайте тех.подробностей как делили, в чем хранили, время обработки, как работает, нагрузка. На чем живет on prem , и в чем бенефиты помимо федерации.
Ждём разбора атаки.пока одни отмазки написали.
Очень эффективная, ранее заделарированная 40% экономия бюджета на лице, я щитаю ( связанная с вводом всех ебс,есиа, гособлок и прочих интересных монстров).
Как всегда впрочем, странно было бы ожидать иного.
Я предполагаю , что для прода \dev с API по прежнему есть vllm & functionary.
Но если у вас дев стек, или вы бедны по VRAM - то вам сюда - https://github.com/ggerganov/llama.cpp/blob/master/grammars/README.md
К сожалению я тоже не смог реализовать рабочий API с GNBF ( правда вчера только начал).
Однако с Vllm & functionary вы получите нормальный продукт. внутри там тот же мистраль и он работает.
Я правильно понял что вы бились через API, не вышло и вы начали писать агентов на пайтоне, или вам удалось использовать API в итоге через crewAI ?
Статья постоянно выскакивает в поиске когда надо настроить пару микротиков. Было бы здорово еслиб вы ее моглибы освежить и раскрыть на 3 точки когда сеть на A,B,C и к примеру только B с белым.
А вообще можно ли собрать одну локалку но в двух точках соеденив микротиком ? (т.е 2 /25 сети в одну /24)
Вот что за подстава).
Только поставил новую ubuntu с full disk encryption. через TPM., ее наконец то в экспериментальном режиме реализовали.
Это с одной стороны чуть лучше чем zfs с luks, с другой частичная потеря плюшек от zfs.
Радует что процесс сам по себе стоит условные пару тысяч баксов и мало кому доступен, ибо вот на вскидку все слова понял в статье, но наврядли смогу повторить на своём msi ноуте.
Работает, есть спец подписка для лодок и другой комплект оборудования, существенно дороже наземного.
Мне кажется множество задач для instruct моделей решают именно простые логические задачи, когда кидаешь llmке текст и даешь задачу его переписать, что то заменить, чтото добавить. Это и есть простая логическая задача, разве нет?
Ну или даешь задачу на сравнение чего либо достаточно уникального. И потом уже разбираешься и перепроверяешь выводы , для этого кстати успешно используются группы нейросетей/экспертов.
Что-то на YouTube , или онлайн останется? Очень интересно , но удалённо.
Блин , я вот очень сомневаюсь что при обучении сеток им скормили опасные материалы, мусор, размышления , учебники - да есть, а реальный практикум как сделать чтото опасное это вряд ли, и выдает она правдоподобно написанный мусор.
Как про рецепт борща которым я часто проверяю, если там мало входных текстов например из русской культуры то и результат будет соответственным) иногда попадается всякое конечно:
Про борщ:
Добавьте морковь, картофель, бульон, укроп, пастух и базилик. Посолите и поперчите по вкусу.
Подавайте горячим с овсяными хлопьями или сметаной, если это предпочтительно.
Приятного аппетита!
В апи openapi это делают функции если я правильно это понимаю, имея home assistant може это включить , с openapi это работает, локально пока не очень, я надеялся засунуть функции в mixtral через LoacalAI, но видимо не все LLM это умеют.
Не, эта не всегда адекватна, надо адаптацию от openbuddy, которую отквантовал the bloke , когда сам квантую херня получается , модель потом заикой становится.Вот эту, 16.3 , и 32к контекст
Без Лора, 6 бит квантование, в задачах домашнего ассистента и для группы ребят подготовка кода на баше и питоне, и для ещё одной группы( семья) чат бот на каждый день.чуть позже rag запущу по документации локальной. Эта сеть лучшая из 30 тестировавшихся мной, 2е место deepseeker 67b , сайга в конце списка.
Без высоких требований , почти без фейлов если температуру пониже сделать.
За статью спасибо, но с целом mixtral и прочие llm отлично работают на русском если они от openbuddy team. И дан промт системный Промт на русском.использую 7x8 и полностью доволен.
Основная проблема этих llam/falcon/Mistral там очень мало инфы из русскоязычного сегмента в целом. а уж после квантования и того меньше просто в геометрической прогрессии.
Возможно будет интересно, я собрал локальный ассистент в home assistant, есть грабли , пока в основном с gRPC через который не идеально работает LocalAI , которым надо запускать нейросеть , ибо только он дает имитацию functions в апи копируя opnAI api. Ну или подключить openai api.
Если без управления умным домом то все проще, сетап ниже, переводить не буду, думаю и так понятно, всем кто мается нейросетками приходится всю инфу получать исключительно на английском. Для продвинутых фич одной Теслы думаю вполне хватит ( 15-20к. рублей), а две позволят прям ни в чем почти не отказывать. Но это старый хлам который не улучшить, и скорость его не высока, но дешево.
I use ProxMox and KVM with 2 Tesla P40
As STT i use Wyoming Protocol integration and faster-whisper service on KVM GPU node. (1GB VGPU)
As assistant i use api ooboga's textgen and https://github.com/drndos/hass-openai-custom-conversation and LLM Mixtral 7bx8 from Openbuddy. (41GB VGPU), easy way - use OpenAI.
i can talk with assist, not command, because of ooboga's api can't use functions, that may enable them to also manage devices in the HA. (Although you can do this non-locally via OpenAI) https://github.com/jekalmin/extended_openai_conversation
LocalAI can use functions , but unstable works, loses messages via GRPC, I am still testing this system. I will probably get to it, but there are a lot of fixes needed.
As TTS i use Silero TTS with CUDA . (2Gb VGPU) or use CPU mode.
Русский работает отлично , перекосов нет, прям уровень Алисы, микстраль квантован до q6
Фраза активации она чуть ли не обязательна везде. но вы може выпилить подобное в rhasspy помоему (ассистент в home assistant) .
А вы не моглибы подсказать в какую сторону смотреть чтоб подключить к ассисту микрофон\колонки ? Или идеальный микрофон это яндекс колонка , есть midi , только распоковал .
Собран нормальный ассист, STT (Whisper) - LLM (Mixtral 7х8) - TTS (Silero).
Можно теперь говорить (общаться по русски, комфортно, любые темы), чуть позже добавлю функции для управления домом, основная проблема что общаться удается только в приложении HA (телефон) и то что получил в результате общения не скопировать никуда, там даже текст не выделяется.Хоть бы копию общения в телегу как то слать.
Я пока не понимаю как воткнуть в HA(виртуалка) колонки (ну тут наверно понятно, чтото типа snapcast\chromecast ??? ) и микрофон (вот, как отдавать команды ? Rhasspy и что ? как микрофон физически сделать ?
или можно както яндекс колонки локально использовать как умный микрофон, без отсылки к серверам\нейросетям яндекса .
PS . Для запуска своих асистентов в вслучае с HA, на нейросетях достаточно видеокарты GTX1650 LP - она потянет распознавание голоса и генерацию несложных ответов, возможно работу с функциями.
Всегда можно заюзать последовательность - взять текст на оригинале , засунуть в LLM и посопросить связный текст на нужном языке = имхо +- будет лучше на 100%.
Это я к тому что как правило faster whisper крутится на тойже машине где и тот же Mixtral \ llama2 \ llava etc. и просто дополняет \ расширяет круг задач.
Сам не пробовал . Только ставлю все это.
Беререте wizardllm и даете ей нецензурную роль . мне кажется роли для того и придумали , просто если по русски общаться то надо openchat / openbuddy китайские модели. Openbuddy 34 мне пока выдает 90% качество на русских текстах. Лучше сайги и чатжпт