Кстати вот да, я заметил, что если выдавать ей все потоки процессора, то скорость проседает. Я тоже для себя на половине остановился как самом оптимальном. Надо бы Григорию зарепортить об этом
На здоровье. Напишите пожалуйста потом, как попробуете, что было интересного у вас в диалогах с моделью. И да, учитывайте, что alpaca.cpp сейчас никак не эмулирует память.
Оч круто. Приведите парочку примеров сюда, если не затруднит. Надо на оставшиеся 70 рублей на VPS шикануть и взять памяти поболее чтобы и большую модель покрутить тоже для сравнения.
Грубо говоря, область применения такая же, как и у ChatGPT, с поправкой на локальность и то количество ресурсов (или времени) которые вы ей дадите:
Q: what is the deep learning and why it is so different from machine learning? Deep Learning (DL) refers to algorithms which are able to learn complex relationships between data points, while Machine Learning (ML), on the other hand, focuses more narrowly on predicting outcomes based upon known patterns. DL can be used for tasks such as image recognition and natural language processing where ML is not applicable due to its inability to handle non-linearity of real world problems. Q: how do I see in Linux if my processor is supporting advanced vector instructions (AVX)? The easiest way would be using the lscpu command, which will show you all kinds of information about your system's hardware and software configuration including whether or not it supports AVX. Q: Rewrite the following sentence: quick brown fox jumped over the lazy dog. The fox ran quickly past a sleeping canine, which was too tired to get up from its nap in time for dinner.
Интересный проект. Спасибо что нашли время описать.
Мне только до сих пор непонятно, почему же вы всё-таки решили своё писать, а не взять Rhasspy? https://rhasspy.readthedocs.io/en/latest/ Там ведь уже всё из коробки сделано, протестировано и архитектура более-менее норм. И разраба того в материнскую компанию Home Assistant захайрили, как я понял, после того, как он им интеграцию сделал.
А коль вас уже и стянуло на тёмную сторону Майкрофт, то я отчаянно советую посмотреть в сторону его форка - OpenVoiceOS. Они исправили множественные ахритектурные косяки Майкрофта. Как самый простой пример: невозможность заткнуть этого гада если он говорит что-то длинное. Как пример посложнее - отсустствие необходимости делать речевую паузу между wake word и собственно фразой которая предназначается для распознавания. Майкрофт имхо дело гибловатое, уж больно те товарищи заинтересованы в продажах своих железок и привязке к своим сервисам. Мне кажется их это сгубит и комьюнити перетечет в сторону OpenVoiceOS.
С докером есть засада, в свете недавних новостей на докерхабе. Плюс сама модель альпака, её лицензия и свободнораспространяемость под вопросом. Я думаю образ запилят и зальют (если уже не сделали), но сколько он там пролежит - большой вопрос
Самое простое - перенесите её куда-нибудь в другое место (mv source destination) а на старое место положите симлинку (ln -s model_file_location place_to_put_simlink)
13B не весит 50 если что. Она весит гигов 8. Вы явно что-то не то скачиваете.
И еще вопрос: при какого рода обновлениях вы боитесь потерять модель?
Сам факт того, что эта штука, которая весит как средний фильм, вообще что-то про ansible знает и отвечает впопад, должен вселять надежду на светлое технологическое будущее :)
Сорри, не применительно к вашему коментарию, а воообще вспомнился анекдот. В городе появилась говорящая лошадь. Все сначала воодушевленные этим невероятным событием сбежались на нее посмотреть, а спустя время стали замечать хромающее произношение и грамматические ошибки
Кстати вот да, я заметил, что если выдавать ей все потоки процессора, то скорость проседает. Я тоже для себя на половине остановился как самом оптимальном. Надо бы Григорию зарепортить об этом
На здоровье. Напишите пожалуйста потом, как попробуете, что было интересного у вас в диалогах с моделью. И да, учитывайте, что alpaca.cpp сейчас никак не эмулирует память.
Оч круто. Приведите парочку примеров сюда, если не затруднит. Надо на оставшиеся 70 рублей на VPS шикануть и взять памяти поболее чтобы и большую модель покрутить тоже для сравнения.
Грубо говоря, область применения такая же, как и у ChatGPT, с поправкой на локальность и то количество ресурсов (или времени) которые вы ей дадите:
Q: what is the deep learning and why it is so different from machine learning?
Deep Learning (DL) refers to algorithms which are able to learn complex relationships between data points, while Machine Learning (ML), on the other hand, focuses more narrowly on predicting outcomes based upon known patterns. DL can be used for tasks such as image recognition and natural language processing where ML is not applicable due to its inability to handle non-linearity of real world problems.
Q: how do I see in Linux if my processor is supporting advanced vector instructions (AVX)?
The easiest way would be using the lscpu command, which will show you all kinds of information about your system's hardware and software configuration including whether or not it supports AVX.
Q: Rewrite the following sentence: quick brown fox jumped over the lazy dog.
The fox ran quickly past a sleeping canine, which was too tired to get up from its nap in time for dinner.
Спасибо, что поделились. Обновлю гайд
Интересный проект. Спасибо что нашли время описать.
Мне только до сих пор непонятно, почему же вы всё-таки решили своё писать, а не взять Rhasspy? https://rhasspy.readthedocs.io/en/latest/ Там ведь уже всё из коробки сделано, протестировано и архитектура более-менее норм. И разраба того в материнскую компанию Home Assistant захайрили, как я понял, после того, как он им интеграцию сделал.
А коль вас уже и стянуло на тёмную сторону Майкрофт, то я отчаянно советую посмотреть в сторону его форка - OpenVoiceOS. Они исправили множественные ахритектурные косяки Майкрофта. Как самый простой пример: невозможность заткнуть этого гада если он говорит что-то длинное. Как пример посложнее - отсустствие необходимости делать речевую паузу между wake word и собственно фразой которая предназначается для распознавания. Майкрофт имхо дело гибловатое, уж больно те товарищи заинтересованы в продажах своих железок и привязке к своим сервисам. Мне кажется их это сгубит и комьюнити перетечет в сторону OpenVoiceOS.
С докером есть засада, в свете недавних новостей на докерхабе. Плюс сама модель альпака, её лицензия и свободнораспространяемость под вопросом. Я думаю образ запилят и зальют (если уже не сделали), но сколько он там пролежит - большой вопрос
Да, вы правы. Сейчас же даже в середняки по 4× гб пихают. Сколько оперативки в вашем телефоне, для понимания? Как шустро работает модель?
Можно. Смотрите тикеты проекта llama.cpp. Там были люди которые ее обернули в API
На русском спрашиваете?
Александр, гайд просили люди, у которых старые слабые компы. Я думаю телефоны у них такие же
Сорри ночь на дворе, я не в кондиции. Почему llama? В гайде лламу я не предлагал ставить, только альпаку.
И воообще, проект далай очень кривой. Если глянете на их issues на гитхабе поймете о чём я. Все вопросы связанные с Далаем лучше туда.
Самое простое - перенесите её куда-нибудь в другое место (mv source destination) а на старое место положите симлинку (ln -s model_file_location place_to_put_simlink)
13B не весит 50 если что. Она весит гигов 8. Вы явно что-то не то скачиваете.
И еще вопрос: при какого рода обновлениях вы боитесь потерять модель?
Предложенная мною в гайде модель 7B весит всего 4 Гб. Где вы 50 увидели?
Очень круто! Какая была скорость на глаз?
Сам факт того, что эта штука, которая весит как средний фильм, вообще что-то про ansible знает и отвечает впопад, должен вселять надежду на светлое технологическое будущее :)
Сорри, не применительно к вашему коментарию, а воообще вспомнился анекдот. В городе появилась говорящая лошадь. Все сначала воодушевленные этим невероятным событием сбежались на нее посмотреть, а спустя время стали замечать хромающее произношение и грамматические ошибки
В догонку https://youtu.be/v6sF8Ed3nTE
по цвету терминала очень на cygwin похоже :)
https://habr.com/ru/post/724172/
https://habr.com/ru/post/724172/