В строю ChatGPT клонов, которые можно крутить локально, прибыло. Встречайте gpt4all

Все инструкции и инструменты есть в публичном доступе, но это дообучение пока не для обычных пользователей - оно требует приличных вычислительных ресурсов. Хотя, если есть платный план в huggingface или подписка в google collab, то можете попробовать.

В строю ChatGPT клонов, которые можно крутить локально, прибыло. Встречайте gpt4all

Известная тема: этот инструмент инференса альпакоподобных (в оригинале разработанный Georgy Gerganov https://github.com/ggerganov/llama.cpp/) только скармливает последний промпт, без истории.

В строю ChatGPT клонов, которые можно крутить локально, прибыло. Встречайте gpt4all

О, интересно! Викуну я пропустил. Спасибо, что поделились

В строю ChatGPT клонов, которые можно крутить локально, прибыло. Встречайте gpt4all

Я поигрался сегодня немного с нефильтрованной моделью. Не сильно впечатлился уже после Альпаки - на мой субъективный взгляд, чуть слабее. Но зато быстрее :)

В строю ChatGPT клонов, которые можно крутить локально, прибыло. Встречайте gpt4all

И никакой дружелюбности в интерфейсе.

Если вы про UI, то это сугубо личное. Мне современные Gnome и KDE сильно милее Win 10 и 11. А возможности кастомизации, если кто хочет, вообще безграничны. Посмотрите, что делает с ними LinuxScoop - https://www.youtube.com/channel/UCNnUnr4gwyNmzx_Bbzvt29g

Ну сосредоточьтесь на одном чем-то и развивайте это направление

К этому тоже можно относиться по-разному. Я лично считаю, что такая диверсификация только на пользу сообществу.

Демократизация больших языковых моделей продолжается. Встречайте Dolly

Можно было. Но суть в том, что её дотренировали и теперь она понимает инструкции в стиле ChatGPT, а не просто продолжает текст

Что не так с умными колонками и голосовыми ассистентами?

Вы имеете в виду вот этот проект - https://petals.ml/ ?

Как настроить Alpaca (аналог ChatGPT) на своём арендованном сервере. Гайд для самых маленьких

в /home/zhukovsky/dalai/alpaca/models/30B точно файлик ggml лежит?

Демократизация больших языковых моделей продолжается. Встречайте Dolly

Такой сценарий безусловно существует, как один из вероятных. Но скорее люди друг друга перебьют и без ИИ

Что не так с умными колонками и голосовыми ассистентами?

Как сделать распознавание речи - не знаю.

Есть множество проектов. Начните с Vosk и Whisper.CPP
А еще лучше с Rhasspy2.5/3 - это такой кухонный комбайн с кучей сменных насадок, к которому только свой intent-manager подключить и вуаля. Особенно 3ья версия, которая архитектурно уже максимально близко к тому, как это работает в проприетарщине. Там есть и vad, и wakeword detection и стриминг аудио сразу в ASR (на выбор несколько локальных). Короч очень продуманный проект, с точки зрения архитектуры.

Что не так с умными колонками и голосовыми ассистентами?

Согласен, такое бывает. Но даже это, на мой взгляд, лучше, чем проприетарщина - потому что у пользователя появляется выбор.
Юзеры вон уже 5 лет долбят прикрутить сраный эквалайзер в Яндекс Станцию (она басит на некотором контенте, как чумная). И производитель на это Х забил.

Что не так с умными колонками и голосовыми ассистентами?

Одно точно, сделать свою "колонку" было безусловно сложнее, чем писать об этом едкий комментарий :) Да, я сделал, себе. И многие тоже сделали, себе.
Но этих продуктов нет на рынке для массового пользователя.

Yet Another Домашний Сервер. Железо (часть 1)

В простом случае, если чисто для себя: если дома более чем 1 машина, например комп и ноут - то syncthing/nextcloud и на обеих держим по полной копии, благо диски сейчас стоят как картошка.

Есть доверенные машины где-то вне дома (родственники, друзья) - то можно туда, с шифрованием контента. А как ответную услугу, держать у себя их бекапы. Я даже целые проекты видел, которые по такому принципу организованы. И да, там есть redundancy.

Yet Another Домашний Сервер. Железо (часть 1)

Асрок дескмини? он классный, у самого такой трудится. Если проц с высоким TDP то отличный вариант. А если хочется чего-то покомпактнее то смотрите в сторону beelink и minisforum. На мобильных интелах встречаются даже fanless

Yet Another Домашний Сервер. Железо (часть 1)

А по поводу облаков, давайте будем честны друг с другом. Для большинства пользователей - это ненужное экономическое бремя, как и любые подписки. В конечном итоге "облако" это просто чужой компьютер.
Есть 100500 разных классных способов организовать резервирование, в том числе георграфически распределенное, без выноса денег из собственного кармана.
Я много мог чего написать на эту тему, и по части настройки и выбора лучшего, но это занимает кучу времени. Если хотите поизучать сами, начните например с Syncthing

Yet Another Домашний Сервер. Железо (часть 1)

 - Привет, <Хозяин>. Вы уже как месяц не делали бекапов 
и у вас не настроено бекапирование в облако. Хотите сделать 
бекап на диск сейчас или настроить сетевой бекап? Я умею 
все виды облаков, если что, ведь внутри меня шикарный 
линукс, а не какая-то проприетарная срань. 
- Иди на х... ты уже з..ла мне об этом напоминать с...ка!
- Хорошо, пойду пройдусь. И напоминать больше не буду. 
Если передумаете - читайте мануал или спросите меня 
о способах резервирования и восстановления данных

Yet Another Домашний Сервер. Железо (часть 1)

 - Привет, <Хозяин>. Вы уже как месяц не делали бекапов. 
Хотите сделать сейчас?
 - Давай
 - Подключите мне к USB разьёму любой диск, я оценю сколько 
там свободного места и быстренько сделаем бекап 
 - (фигакс)
 - На диске есть 150 гигабайт свободных. Если делать полный 
бекап, он займёт 100 гигабайт. Но можно сделать только бекап
ваших файлов, без музыки и фильмов. Это займет всего 10 
гигабайт. Как поступим?
 - Делай полный
 - Океюшки. Я начала. Как закончу - скажу.
 - ....
 - Бекап всё еще делается, осталось еще минут 15.
...
 - Я сделала бекап. Держите этот диск где-нибудь в 
безопасном месте. Если ваши соседи зальют вашу 
квартиру, он не пострадает. Если со мной что-то случится
или я сломаюсь, прочитайте мануал как меня восстановить 
до заводских настроек или поменять меня на новое устройство.
А когда я снова оживу, вставьте этот диск и скажите 
"Восстанови мои данные из бекапа". 

Что не так с умными колонками и голосовыми ассистентами?

Никто не говорил вообще без интернета. Интернет полезная штука :) но нужна колонка, которая делает всё локально и только когда об этом попросят явно, сходит в интернет

Что не так с умными колонками и голосовыми ассистентами?

Владислав уже прикрутил к своей Ирине - https://habr.com/ru/post/725066/

Ирина, голосовой помощник — теперь и со вкусом GPT-3

Крутяк! Молодцы. И большое спасибо за ссылку на Silero.

Я хочу вбросить идею - можно воспользоваться тем же приёмом, что и ребята из Стенфорда, а именно нагенерировать с помощью GPT разные варианты фраз активаций. А то я мельком глянул плагины, там разрабы ленятся - указывают по одной-две фразы на входные точки.