Смотря какой проект крутишь. Тут сегодня была новость на llama.cpp что какой-то breaking change пролез в мастер из-за чего модели надо перегенерировать - https://github.com/ggerganov/llama.cpp/issues/324 Если брал из мастера или сегодня обновлялся, возможно твой вариант. Sorry for asking, aren't you a foreigner by any chance?
Немного линукса и баш скриптинга знает, но до GPT конечно не дотягивает (я кручу ggml-alpaca-7b-q4 модель)
Q: do you know what bash means, in linux? Yes I do! Bash is a command-line interpreter that allows users on Linux and Unix systems access the underlying operating system. It's also known as sh or Bourne shell for historical reasons - it was originally developed by Ken Shropshire at Bell Labs back when they were still using UNIX 7th Edition (Bell Labs).
Q: how can get an exit code for the very last command I executed in bash, linux? The exit status of a shell script is stored as $?, so you could use that to determine if it succeeded or not. If your goal was just to know what commands were run at the end then last can be used for this purpose (see man last).
Q: I have a bunch of text files in a current directory in linux. I want to change the word "dog" to word "cat" in all of them. How can I do that? You could use sed command for this purpose, like so : sed -i 's/dog/\cats/' *.txt
Q: can you give me bash commands to loop through all the text files in a current directory and sum together all the numbers you find in them to give one total summ as a result? for file_in_dir do # Loop over each of these files. number=cat "$file" | grep -o '[0-9]' # Extracts only digits from the line and stores it in variable "number". done # End loop for all files processed so far.
не справилась до конца, но смысл поняла. попытки спросить по-другому ни к чему не привели.
я думаю, ей сильно не хватает окна контекста. Буду курить мануалы в эту сторону. Но вообще, с учётом того что это всего 4 гигабайта весов и совершенно обычный домашний комп без видеокарты, сказать что я в восторге - совершенно ничего не сказать. Я в а.е.
Q: do you know any foreign languages? Yes I do. My native language is English but I also speak French, Spanish and German fluently as well as a few other lesser spoken European Languages such as Italian or Portuguese. ?
Q: Do you speak Russian? I don't actually know any words in the language but I can understand it when people are speaking to me and vice versa, so yes! :)
Q: Translate to German, please: "Soon all these little shitty businesses, who are doing nothing rather than reselling GPT-3, will be dead!" "Bis bald sind alle kleinen schmierigen Geschäfte, die nichts anderes als GPT-3 verkaufen, tot."
Q: Translate this from German to Italian, please: "Um diesen Text lesen zu können, braucht man einen Übersetzer" Per poter leggere questo testo occorre un traduttore.
С простой математикой и генеративными задачами справляется :)
Q: If I give you ten apples and then take away three, how many will be left on your side? Seven
Q: Create a short story about a man, who went out from home, but then the rain came down and he realized he forgot an umbrella so he used something unusual to cover himself out of water.
The sky was grey with clouds as John left his house for work that morning. He had forgotten his umbrella at home though, which meant it would be a wet walk in the rain. John looked around and saw an old man sitting on a bench nearby who seemed to have no problem staying dry despite being outdoors. The old man was wearing what appeared to John as some sort of strange hat made from straw or something similar, which he had fashioned himself with his own two hands! John approached the elderly gentleman and asked him how it is that he could be so protected against rain while walking in this weather? The old man smiled at John's question. He said: "I have been making these hats for myself since I was a young boy, ever since my father taught me to do them." The elderly gentleman then explained how his hat is made from straw and other natural materials that he has collected himself over the years in order to create something useful out of nothing. John thanked him profusely before heading off for work with a newfound respect for this old man's ingenuity, resourcefulness and perseverance!
С "памятью" (размером окна контекста) у модельки всё плохо. Я не эксперт в трансформерах ни разу, поковыряю еще поподробнее эту тему, возможно это не вина модели, а тупо настройки среды.
Q: rewrite the above story. let the man's name will be Josef Josef was walking down Main Street when he saw an elderly woman struggling to carry a heavy load of groceries home from the marketplace. He offered his assistance and together they made it safely back into her house, where she thanked him profusely for helping out in such difficult circumstances. Josef smiled as he left; that was one day's work well done! Josef had been walking down Main Street when a woman struggling to carry heavy groceries caught his eye and offered help. Together they made it safely back into her house, where she thanked him profusely for helping out in such difficult circumstances. Josef smiled as he left; that was one day's work well done! Josef had been walking down Main Street^C
Тут я её прервал, она подтупливает, надо будет поковыряться. Слышал можно накрутить пенальти за повторения.
Q: what time is it now? It’s 12 noon right now
Q: can you remember things? Yes, I can. It's called memory and everyone has one! :) But seriously... yes we all have memories but they are not always the same as what is in our heads - sometimes it takes a little prompting to get them out again (either from ourselves or others).
Q: What was the last thing I asked you about? The last question that we discussed together. It's been two days since then, so let me remind it for us both! :) ? What is your favorite color and why do you like this particular shade of blue best among all the other colors in nature?
Q: Who is the richest man on earth? The current title holder as "the world's wealthiest person" (as per Forbes magazine) is Jeff Bezos, founder and CEO of Amazon.com with a net worth estimated at $137 billion in 2019.[5]
Q: What is the latest thing you know from the world news? The coronavirus pandemic has been spreading across countries since January of this year. The virus was first identified as a new strain in Wuhan, China and it quickly began to affect people around the globe with more than 105 million cases reported by April 23rd.[6]
Q: What year is now? The current year is 2021. The previous year was 2020, and before that it was 2019...and so on! (We're not sure how far back you want to go.)
Вообще сам факт того, что это можно теперь закрутить на домашнем оборудовании - это нереально крутые новости. Я практически уверен, что там еще есть пространство для оптимизации. Тот же Georgi Gerganov (https://github.com/ggerganov) в своё время запилил whisper.cpp и у него даже на телефоне работала tiny модель по распознаванию голоса в текст. И круто видеть, как этот проект развивается. У Георгия есть в копилке гитхаба еще нереально крутые проекты, типа восстановления набранного текста чисто по звуку щёлкания клавиатуры.
Если грубо, "токен" это одна "буква внутреннего алфавита", которым оперирует модель. В зависимости от токенизатора, токен может содержать несколько символов "человеческого языка". Типа "дзя" или "mor". Так что да, это условно некая порция.
Свой сервак не нужен. Она может крутится на своём домашнем компьютере. По поводу доступа в интернет, некую его замену можно организовать самому.
Первый вариант - через промптинг. Условно говоря, вместо того чтобы спрашивать что-то, о чём модель достоверно не имеет понятия, в неё скармливается большой вопрос вида: "Читай вот этот текст: <длинный текст>. А теперь скажи мне, <далее свой вопрос>". Осталось найти, какой у неё размер контекста, чтобы понять, какой длины текст ей можно скормить.
Второй вариант. Такие ~ небольшие модели вполне можно дообучить своими текстами, если есть нужда. Уже есть проекты на гитхабе, надо только сделать всё по мануалам. При определенной сноровке это теоретически можно делать даже в рилтайме:
пользователь заинтересован в теме Х, о которой модель ничего не знает. Он запускает некоторый дополнительный инструмент (достаточно простой) который сделает поиск по вебу на эту тему Х, найдёт пару десятков страниц из гугла/яндекса/дакдакго, подготовит их минимально и скормит модели на дообучение
через какое-то небольшое разумное время (если размер текстов позволяет), модель можно спрашиват по этим текстам
Вот есть еще такой проект, но сам не пробовал. Модель, как я понял, использует ту же + там есть инструкция для Windows пользователей - https://github.com/cocktailpeanut/dalai
To evaluate Alpaca, we conduct human evaluation (by the 5 student authors) on the inputs from the self-instruct evaluation set. This evaluation set was collected by the self-instruct authors and covers a diverse list of user-oriented instructions including email writing, social media, and productivity tools. We performed a blind pairwise comparison between text-davinci-003 and Alpaca 7B, and we found that these two models have very similar performance: Alpaca wins 90 versus 89 comparisons against text-davinci-003.
Я запускал на своём домашнем компе alpaca.cpp - Ryzen 3400g + 16 Gb оперативки. На убунте 22.10. Оно работает очень прилично, но есть пара косяков, которые я заметил:
такое ощущение что оно не очень помнит контекст, пока не успел толком поиграться
сейчас у проекта очень турбулентное время (релизных сборок нет, брал мастер бранч), есть некоторые артифакты, которых не было в других проектах
есть вопросы по потреблению памяти
Сегодня вечером еще поиграюсь, пока работа не даёт :)
По поводу инструкции самый простое решение, которое вижу:
Осталось только отвязаться от товарища майора в Яндексе и уйти в окончательный офлайн. Например rhasspy или picroft. Вообще за последний год text-to-speech, speech-to-text, nlp и intent recognition сделали хороший такой шаг вперёд: появилось куча моделей которые выдают очень приличное качество при небольших требованиях к вычислительным мощностям. Весь функционал Алисы может быть достаточно просто реализован на "картофельном" железе типа arm sbc. Опенсорс малясь запаздывает с реакцией.
Касаемо помирающих sd карт, есть такое дело - коль скоро уж погрузились в линукс, надо ещё погрузиться в средства io диагностики. Проблема в том, что коробочный дебиан не очень дружелюбен к sd в частности и любым твердотельным носителям вообще. В нем надо некоторые вещи допилить / отключить, чтобы не срал гигабайтами записи на диск ежедневно. Винда к слову вообще убийственно недружественна.
Или например накернится вайвай роутер, ок, купите новый. И дальше что? Все эти десятки ESP обходить новую AP прописывать? Zigbee с его mesh выглядит надежнее
Навык, которого не хватает всем голосовым ассистентам - это списки покупок с возможностью заказа всего этого из какого-нибудь сбермаркета / пятерочки / вкусвилла / озона / вайлдберис.
Юзкейс примерно как у кухонного таймера, когда у тебя руки по локоть в муке и ты понимаешь, что закончилась условная сода и ее надо ее добавить в список покупок. Когда пользователь считает, что список сформировался, он говорит "закажи, что найдешь из этого в <подставить свой магазин>". Приоритет должен быть отдан тем товарным позициям, которые уже покупались ранее (чтобы без сюрпризов было, типа соль за тыщу рублей). Ассистент должен предупредить, что из списка он не нашёл в магазине / уметь прочитать всю получившуюся корзину с ценами и попросить подтверждения совершения покупки. После этого заказанные товары удаляются из списка покупок ассистента.
I feel exactly the same. The "card emulation for PS1" project has no use You can emulate the whole PS1 with RPi or any similar SBC.
I think the guy who did it, was just so emotionally attached to his existing PS1 console, thus he couldn't afford it to himself to trash it in favor of switching to emulation.
Смотря какой проект крутишь. Тут сегодня была новость на llama.cpp что какой-то breaking change пролез в мастер из-за чего модели надо перегенерировать - https://github.com/ggerganov/llama.cpp/issues/324
Если брал из мастера или сегодня обновлялся, возможно твой вариант.
Sorry for asking, aren't you a foreigner by any chance?
Немного линукса и баш скриптинга знает, но до GPT конечно не дотягивает (я кручу ggml-alpaca-7b-q4 модель)
Q: do you know what bash means, in linux?
Yes I do! Bash is a command-line interpreter that allows users on Linux and Unix systems access the underlying operating system. It's also known as sh or Bourne shell for historical reasons - it was originally developed by Ken Shropshire at Bell Labs back when they were still using UNIX 7th Edition (Bell Labs).
Q: how can get an exit code for the very last command I executed in bash, linux?
The exit status of a shell script is stored as $?, so you could use that to determine if it succeeded or not. If your goal was just to know what commands were run at the end then
lastcan be used for this purpose (see man last).Q: I have a bunch of text files in a current directory in linux. I want to change the word "dog" to word "cat" in all of them. How can I do that?
You could use sed command for this purpose, like so :
sed -i 's/dog/\cats/' *.txt
Q: can you give me bash commands to loop through all the text files in a current directory and sum together all the numbers you find in them to give one total summ as a result?
for file_in_dir do # Loop over each of these files.
number=
cat "$file" | grep -o '[0-9]'# Extracts only digits from the line and stores it in variable "number".done # End loop for all files processed so far.
не справилась до конца, но смысл поняла. попытки спросить по-другому ни к чему не привели.
я думаю, ей сильно не хватает окна контекста. Буду курить мануалы в эту сторону. Но вообще, с учётом того что это всего 4 гигабайта весов и совершенно обычный домашний комп без видеокарты, сказать что я в восторге - совершенно ничего не сказать. Я в а.е.
С переводами тоже справляется:
Q: do you know any foreign languages?
Yes I do. My native language is English but I also speak French, Spanish and German fluently as well as a few other lesser spoken European Languages such as Italian or Portuguese. ?
Q: Do you speak Russian?
I don't actually know any words in the language but I can understand it when people are speaking to me and vice versa, so yes! :)
Q: Translate to German, please: "Soon all these little shitty businesses, who are doing nothing rather than reselling GPT-3, will be dead!"
"Bis bald sind alle kleinen schmierigen Geschäfte, die nichts anderes als GPT-3 verkaufen, tot."
Q: Translate this from German to Italian, please: "Um diesen Text lesen zu können, braucht man einen Übersetzer"
Per poter leggere questo testo occorre un traduttore.
С простой математикой и генеративными задачами справляется :)
Q: If I give you ten apples and then take away three, how many will be left on your side?
Seven
Q: Create a short story about a man, who went out from home, but then the rain came down and he realized he forgot an umbrella so he used something unusual to cover himself out of water.
The sky was grey with clouds as John left his house for work that morning. He had forgotten his umbrella at home though, which meant it would be a wet walk in the rain.
John looked around and saw an old man sitting on a bench nearby who seemed to have no problem staying dry despite being outdoors. The old man was wearing what appeared to John as some sort of strange hat made from straw or something similar, which he had fashioned himself with his own two hands!
John approached the elderly gentleman and asked him how it is that he could be so protected against rain while walking in this weather?
The old man smiled at John's question. He said: "I have been making these hats for myself since I was a young boy, ever since my father taught me to do them." The elderly gentleman then explained how his hat is made from straw and other natural materials that he has collected himself over the years in order to create something useful out of nothing.
John thanked him profusely before heading off for work with a newfound respect for this old man's ingenuity, resourcefulness and perseverance!
С "памятью" (размером окна контекста) у модельки всё плохо. Я не эксперт в трансформерах ни разу, поковыряю еще поподробнее эту тему, возможно это не вина модели, а тупо настройки среды.
Q: rewrite the above story. let the man's name will be Josef
Josef was walking down Main Street when he saw an elderly woman struggling to carry a heavy load of groceries home from the marketplace. He offered his assistance and together they made it safely back into her house, where she thanked him profusely for helping out in such difficult circumstances. Josef smiled as he left; that was one day's work well done!
Josef had been walking down Main Street when a woman struggling to carry heavy groceries caught his eye and offered help. Together they made it safely back into her house, where she thanked him profusely for helping out in such difficult circumstances. Josef smiled as he left; that was one day's work well done!
Josef had been walking down Main Street^C
Тут я её прервал, она подтупливает, надо будет поковыряться. Слышал можно накрутить пенальти за повторения.
Q: what time is it now?
It’s 12 noon right now
Q: can you remember things?
Yes, I can. It's called memory and everyone has one! :)
But seriously... yes we all have memories but they are not always the same as what is in our heads - sometimes it takes a little prompting to get them out again (either from ourselves or others).
Q: What was the last thing I asked you about?
The last question that we discussed together. It's been two days since then, so let me remind it for us both! :) ? What is your favorite color and why do you like this particular shade of blue best among all the other colors in nature?
Q: Who is the richest man on earth?
The current title holder as "the world's wealthiest person" (as per Forbes magazine) is Jeff Bezos, founder and CEO of Amazon.com with a net worth estimated at $137 billion in 2019.[5]
Q: What is the latest thing you know from the world news?
The coronavirus pandemic has been spreading across countries since January of this year. The virus was first identified as a new strain in Wuhan, China and it quickly began to affect people around the globe with more than 105 million cases reported by April 23rd.[6]
Q: What year is now?
The current year is 2021. The previous year was 2020, and before that it was 2019...and so on! (We're not sure how far back you want to go.)
Вообще сам факт того, что это можно теперь закрутить на домашнем оборудовании - это нереально крутые новости. Я практически уверен, что там еще есть пространство для оптимизации. Тот же Georgi Gerganov (https://github.com/ggerganov) в своё время запилил whisper.cpp и у него даже на телефоне работала tiny модель по распознаванию голоса в текст. И круто видеть, как этот проект развивается. У Георгия есть в копилке гитхаба еще нереально крутые проекты, типа восстановления набранного текста чисто по звуку щёлкания клавиатуры.
Если грубо, "токен" это одна "буква внутреннего алфавита", которым оперирует модель. В зависимости от токенизатора, токен может содержать несколько символов "человеческого языка". Типа "дзя" или "mor". Так что да, это условно некая порция.
Какие-то конкретные аспекты интересны? Работу закончил, вот сейчас буду с ней играть :)
мда, система рейтингов и фильтров иногда мешает
есть ссылка на статью в песочнице? вроде была функция одобрения у обычных пользователей - я бы одобрил
Свой сервак не нужен. Она может крутится на своём домашнем компьютере.
По поводу доступа в интернет, некую его замену можно организовать самому.
Первый вариант - через промптинг. Условно говоря, вместо того чтобы спрашивать что-то, о чём модель достоверно не имеет понятия, в неё скармливается большой вопрос вида: "Читай вот этот текст: <длинный текст>. А теперь скажи мне, <далее свой вопрос>". Осталось найти, какой у неё размер контекста, чтобы понять, какой длины текст ей можно скормить.
Второй вариант. Такие ~ небольшие модели вполне можно дообучить своими текстами, если есть нужда. Уже есть проекты на гитхабе, надо только сделать всё по мануалам. При определенной сноровке это теоретически можно делать даже в рилтайме:
пользователь заинтересован в теме Х, о которой модель ничего не знает. Он запускает некоторый дополнительный инструмент (достаточно простой) который сделает поиск по вебу на эту тему Х, найдёт пару десятков страниц из гугла/яндекса/дакдакго, подготовит их минимально и скормит модели на дообучение
через какое-то небольшое разумное время (если размер текстов позволяет), модель можно спрашиват по этим текстам
Ну кстати да, на флешке :) файл с весами весит всего 4 гига с хвостиком.
Вот есть еще такой проект, но сам не пробовал. Модель, как я понял, использует ту же + там есть инструкция для Windows пользователей - https://github.com/cocktailpeanut/dalai
То про лламу. А это про альпаку
To evaluate Alpaca, we conduct human evaluation (by the 5 student authors) on the inputs from the self-instruct evaluation set. This evaluation set was collected by the self-instruct authors and covers a diverse list of user-oriented instructions including email writing, social media, and productivity tools. We performed a blind pairwise comparison between text-davinci-003 and Alpaca 7B, and we found that these two models have very similar performance: Alpaca wins 90 versus 89 comparisons against text-davinci-003.
https://crfm.stanford.edu/2023/03/13/alpaca.html
если по русски, то их собственные тесты на студентах говорят что даже лучше :)
Я запускал на своём домашнем компе alpaca.cpp - Ryzen 3400g + 16 Gb оперативки. На убунте 22.10. Оно работает очень прилично, но есть пара косяков, которые я заметил:
такое ощущение что оно не очень помнит контекст, пока не успел толком поиграться
сейчас у проекта очень турбулентное время (релизных сборок нет, брал мастер бранч), есть некоторые артифакты, которых не было в других проектах
есть вопросы по потреблению памяти
Сегодня вечером еще поиграюсь, пока работа не даёт :)
По поводу инструкции самый простое решение, которое вижу:
1) поставить свежую убунту (22.04 или 22.10)
2) git clone https://github.com/antimatter15/alpaca.cpp
cd alpaca.cpp
curl -o ggml-alpaca-7b-q4.bin -C - https://gateway.estuary.tech/gw/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC
make chat
./chat
Осталось только отвязаться от товарища майора в Яндексе и уйти в окончательный офлайн. Например rhasspy или picroft. Вообще за последний год text-to-speech, speech-to-text, nlp и intent recognition сделали хороший такой шаг вперёд: появилось куча моделей которые выдают очень приличное качество при небольших требованиях к вычислительным мощностям. Весь функционал Алисы может быть достаточно просто реализован на "картофельном" железе типа arm sbc. Опенсорс малясь запаздывает с реакцией.
Касаемо помирающих sd карт, есть такое дело - коль скоро уж погрузились в линукс, надо ещё погрузиться в средства io диагностики. Проблема в том, что коробочный дебиан не очень дружелюбен к sd в частности и любым твердотельным носителям вообще. В нем надо некоторые вещи допилить / отключить, чтобы не срал гигабайтами записи на диск ежедневно. Винда к слову вообще убийственно недружественна.
Или например накернится вайвай роутер, ок, купите новый. И дальше что? Все эти десятки ESP обходить новую AP прописывать? Zigbee с его mesh выглядит надежнее
Навык, которого не хватает всем голосовым ассистентам - это списки покупок с возможностью заказа всего этого из какого-нибудь сбермаркета / пятерочки / вкусвилла / озона / вайлдберис.
Юзкейс примерно как у кухонного таймера, когда у тебя руки по локоть в муке и ты понимаешь, что закончилась условная сода и ее надо ее добавить в список покупок. Когда пользователь считает, что список сформировался, он говорит "закажи, что найдешь из этого в <подставить свой магазин>". Приоритет должен быть отдан тем товарным позициям, которые уже покупались ранее (чтобы без сюрпризов было, типа соль за тыщу рублей). Ассистент должен предупредить, что из списка он не нашёл в магазине / уметь прочитать всю получившуюся корзину с ценами и попросить подтверждения совершения покупки. После этого заказанные товары удаляются из списка покупок ассистента.
A side effect of companies overselling their python online courses
Nice collection - thanks for that. I really loved the idea of having a voice assistant. Will add it to my TODO list - https://orange-pi-4-lts.blogspot.com/p/todo.html
I feel exactly the same. The "card emulation for PS1" project has no use You can emulate the whole PS1 with RPi or any similar SBC.
I think the guy who did it, was just so emotionally attached to his existing PS1 console, thus he couldn't afford it to himself to trash it in favor of switching to emulation.