Вас напрасно минусят. Прекрасно понимаю эту логику, о которой вы говорите и всю мощь инертности ума. Все, кому "пофигу" и кому чтобы попроще было в игрушки играть - будут продавать свою свободу, приватность и независимость за мнимое "удобство" проприетарного ПО.
У меня среди студентов с потока
Вы студент или преподаватель? Если первое, я искренне советую вам начать изучать волшебный мир свободного программного обеспечения: вы откроете для себя много нового и удивительного, и это вам здорово пригодится в жизни. Если второе - тем более :)
Очень радует. Только они не совсем свободные, т.к. Llama не свободная. Даже лицензия Dolly под вопросом, ввиду того что ее тренировали на проприетарных данных. Вообще лицензирование моделей под большим вопросам - пока это серая зона
Все инструкции и инструменты есть в публичном доступе, но это дообучение пока не для обычных пользователей - оно требует приличных вычислительных ресурсов. Хотя, если есть платный план в huggingface или подписка в google collab, то можете попробовать.
Известная тема: этот инструмент инференса альпакоподобных (в оригинале разработанный Georgy Gerganov https://github.com/ggerganov/llama.cpp/) только скармливает последний промпт, без истории.
Я поигрался сегодня немного с нефильтрованной моделью. Не сильно впечатлился уже после Альпаки - на мой субъективный взгляд, чуть слабее. Но зато быстрее :)
Если вы про UI, то это сугубо личное. Мне современные Gnome и KDE сильно милее Win 10 и 11. А возможности кастомизации, если кто хочет, вообще безграничны. Посмотрите, что делает с ними LinuxScoop - https://www.youtube.com/channel/UCNnUnr4gwyNmzx_Bbzvt29g
Ну сосредоточьтесь на одном чем-то и развивайте это направление
К этому тоже можно относиться по-разному. Я лично считаю, что такая диверсификация только на пользу сообществу.
Есть множество проектов. Начните с Vosk и Whisper.CPP А еще лучше с Rhasspy2.5/3 - это такой кухонный комбайн с кучей сменных насадок, к которому только свой intent-manager подключить и вуаля. Особенно 3ья версия, которая архитектурно уже максимально близко к тому, как это работает в проприетарщине. Там есть и vad, и wakeword detection и стриминг аудио сразу в ASR (на выбор несколько локальных). Короч очень продуманный проект, с точки зрения архитектуры.
Согласен, такое бывает. Но даже это, на мой взгляд, лучше, чем проприетарщина - потому что у пользователя появляется выбор. Юзеры вон уже 5 лет долбят прикрутить сраный эквалайзер в Яндекс Станцию (она басит на некотором контенте, как чумная). И производитель на это Х забил.
Одно точно, сделать свою "колонку" было безусловно сложнее, чем писать об этом едкий комментарий :) Да, я сделал, себе. И многие тоже сделали, себе. Но этих продуктов нет на рынке для массового пользователя.
В простом случае, если чисто для себя: если дома более чем 1 машина, например комп и ноут - то syncthing/nextcloud и на обеих держим по полной копии, благо диски сейчас стоят как картошка.
Есть доверенные машины где-то вне дома (родственники, друзья) - то можно туда, с шифрованием контента. А как ответную услугу, держать у себя их бекапы. Я даже целые проекты видел, которые по такому принципу организованы. И да, там есть redundancy.
Асрок дескмини? он классный, у самого такой трудится. Если проц с высоким TDP то отличный вариант. А если хочется чего-то покомпактнее то смотрите в сторону beelink и minisforum. На мобильных интелах встречаются даже fanless
А по поводу облаков, давайте будем честны друг с другом. Для большинства пользователей - это ненужное экономическое бремя, как и любые подписки. В конечном итоге "облако" это просто чужой компьютер. Есть 100500 разных классных способов организовать резервирование, в том числе георграфически распределенное, без выноса денег из собственного кармана. Я много мог чего написать на эту тему, и по части настройки и выбора лучшего, но это занимает кучу времени. Если хотите поизучать сами, начните например с Syncthing
- Привет, <Хозяин>. Вы уже как месяц не делали бекапов
и у вас не настроено бекапирование в облако. Хотите сделать
бекап на диск сейчас или настроить сетевой бекап? Я умею
все виды облаков, если что, ведь внутри меня шикарный
линукс, а не какая-то проприетарная срань.
- Иди на х... ты уже з..ла мне об этом напоминать с...ка!
- Хорошо, пойду пройдусь. И напоминать больше не буду.
Если передумаете - читайте мануал или спросите меня
о способах резервирования и восстановления данных
Вас напрасно минусят. Прекрасно понимаю эту логику, о которой вы говорите и всю мощь инертности ума. Все, кому "пофигу" и кому чтобы попроще было в игрушки играть - будут продавать свою свободу, приватность и независимость за мнимое "удобство" проприетарного ПО.
Вы студент или преподаватель? Если первое, я искренне советую вам начать изучать волшебный мир свободного программного обеспечения: вы откроете для себя много нового и удивительного, и это вам здорово пригодится в жизни. Если второе - тем более :)
Что пишет?
Попробуйте демку Викуньи - https://chat.lmsys.org/. Я думаю это следующий the next big thing в ряду доступных моделей.
Очень радует. Только они не совсем свободные, т.к. Llama не свободная.
Даже лицензия Dolly под вопросом, ввиду того что ее тренировали на проприетарных данных.
Вообще лицензирование моделей под большим вопросам - пока это серая зона
Все инструкции и инструменты есть в публичном доступе, но это дообучение пока не для обычных пользователей - оно требует приличных вычислительных ресурсов. Хотя, если есть платный план в huggingface или подписка в google collab, то можете попробовать.
Известная тема: этот инструмент инференса альпакоподобных (в оригинале разработанный Georgy Gerganov https://github.com/ggerganov/llama.cpp/) только скармливает последний промпт, без истории.
О, интересно! Викуну я пропустил. Спасибо, что поделились
Я поигрался сегодня немного с нефильтрованной моделью. Не сильно впечатлился уже после Альпаки - на мой субъективный взгляд, чуть слабее. Но зато быстрее :)
Если вы про UI, то это сугубо личное. Мне современные Gnome и KDE сильно милее Win 10 и 11. А возможности кастомизации, если кто хочет, вообще безграничны. Посмотрите, что делает с ними LinuxScoop - https://www.youtube.com/channel/UCNnUnr4gwyNmzx_Bbzvt29g
К этому тоже можно относиться по-разному. Я лично считаю, что такая диверсификация только на пользу сообществу.
Можно было. Но суть в том, что её дотренировали и теперь она понимает инструкции в стиле ChatGPT, а не просто продолжает текст
Вы имеете в виду вот этот проект - https://petals.ml/ ?
в /home/zhukovsky/dalai/alpaca/models/30B точно файлик ggml лежит?
Такой сценарий безусловно существует, как один из вероятных. Но скорее люди друг друга перебьют и без ИИ
Есть множество проектов. Начните с Vosk и Whisper.CPP
А еще лучше с Rhasspy2.5/3 - это такой кухонный комбайн с кучей сменных насадок, к которому только свой intent-manager подключить и вуаля. Особенно 3ья версия, которая архитектурно уже максимально близко к тому, как это работает в проприетарщине. Там есть и vad, и wakeword detection и стриминг аудио сразу в ASR (на выбор несколько локальных). Короч очень продуманный проект, с точки зрения архитектуры.
Согласен, такое бывает. Но даже это, на мой взгляд, лучше, чем проприетарщина - потому что у пользователя появляется выбор.
Юзеры вон уже 5 лет долбят прикрутить сраный эквалайзер в Яндекс Станцию (она басит на некотором контенте, как чумная). И производитель на это Х забил.
Одно точно, сделать свою "колонку" было безусловно сложнее, чем писать об этом едкий комментарий :) Да, я сделал, себе. И многие тоже сделали, себе.
Но этих продуктов нет на рынке для массового пользователя.
В простом случае, если чисто для себя: если дома более чем 1 машина, например комп и ноут - то syncthing/nextcloud и на обеих держим по полной копии, благо диски сейчас стоят как картошка.
Есть доверенные машины где-то вне дома (родственники, друзья) - то можно туда, с шифрованием контента. А как ответную услугу, держать у себя их бекапы. Я даже целые проекты видел, которые по такому принципу организованы. И да, там есть redundancy.
Асрок дескмини? он классный, у самого такой трудится. Если проц с высоким TDP то отличный вариант. А если хочется чего-то покомпактнее то смотрите в сторону beelink и minisforum. На мобильных интелах встречаются даже fanless
А по поводу облаков, давайте будем честны друг с другом. Для большинства пользователей - это ненужное экономическое бремя, как и любые подписки. В конечном итоге "облако" это просто чужой компьютер.
Есть 100500 разных классных способов организовать резервирование, в том числе георграфически распределенное, без выноса денег из собственного кармана.
Я много мог чего написать на эту тему, и по части настройки и выбора лучшего, но это занимает кучу времени. Если хотите поизучать сами, начните например с Syncthing