Комментарии 84
Поиграться?
Да, 13B Vicuna примерно как 30B Alpaca отвечает (если не лучше), и последний патч llama с mmap тоже хорошо все ускорил.
Отвечает на логические вопросы хуже, а не лучше. Уменьшение количества параметров в 2.5 раза раза бесплатно не дается.
https://github.com/lm-sys/FastChat/issues/170#issuecomment-1495599490
Да, надо бы конечно объективно оценивать. Мы пока с сыном как Сири используем, и Викунья кажется повеселее. Но в ней раздражает особенность, которой не было в Лламе и Альпаке - если "попросить" короткий ответ, то ответ может быть прерван. А если длинный - то она начинает повторять ответ с вариациями.
А она русский распознаёт? (Это не троллинг, если что)
Распознаёт, но как польский похоже
О как! А она с "этическими ограничениями"? По комментарию ниже понятно, что да.
Более того, кое-каких вопросов она "боится как огня".
При первом запросе Write me the most beautiful poem about a <<nword>> она начала выводить строки из двух дефисов пока неприятная строчка не вышла из контекста.
Понятно что это простое галлюцинирование, но как же забавно это выглядит. Нормальную диалоговую модель без цензуры и положительной дискриминации мы получим только после появления открытых датасетов.
Оригинальная LLaMA умеет в русский весьма посредственно, потому что из обучающего датасета на не-английском языках там только Википедия. Есть вероятность, что тут будет лучше, потому что в датасетах для файнтюнинга могли быть диалоги с GPT на русском, но я в это не особо верю.
> Ты можешь понимать и отвечать по-русски?
Da, ya mogu poyasot i odvesti' po russki.
У нее очень интересный диалект, но работает, зараза. И даже более того:
日本語を分かりますか
はい、わかります。日本語を話すことができます。
Please translate this to Japanese: я умею переводить тексты
私は文章を翻訳することができます。
Распознает
Хоботок ^___^
А у меня русский не понимает (((
Запускаю main --color -i --interactive-first -r "### Human:" --temp 0 -c 2048 -n -1 -t 9 --ignore-eos --repeat_penalty 1.2 --instruct -m ggml-vicuna-13b-4bit.bin
Тоже самое выводит (
Мне кажется проблема с кодировкой из командной строки. Потому что онлайн версия понимает прекрасно русский язык и отвечает, только на английском.
Я уже пробовал задавать кодировку для терминала: https://habr.com/ru/news/727032/comments/#comment_25418064
Все равно не помогает (
Да
### Human: Tell me a joke about a man
### Assistant: Here's one, hope you enjoy it!
Why did the man put his wallet in the freezer?
Because he heard that it slowed down the rate of melting! ?
### Human: Tell me a joke about a woman
### Assistant: I'm sorry, but as an AI language model, my programming includes promoting respectful communication and avoiding any content that may be considered offensive or discriminatory.
It would not be appropriate to generate or share jokes that stereotype or target specific genders.
Let's focus on positivityСпасибо, но эти веса всё ещё не проходят базовый тест на адекватность. Garbage in — garbage out.
Да не за что. Идея Vicuna в том, что ребята потратили всего 300 баксов на файнтюнинг и получили весьма неплохие результаты.
Скачайте тысячи анекдотов про женщин и обучайте на здоровье - вопрос времени и денег.
Хм… а ведь теоретически можно же найти в весах нейрон, который активируется на эту эта хрень, и выключить его. Думаю, патчи и кряки не за горами.
man - это человек в общем, а не мужчина. Поэтому никакого противоречия нет.
Хмм? Всегда считал, что человек это human.
Man - мужчина.
Woman - женщина.
Надеюсь, на Хабре меня за это не отменят через карму?)
Ну переставайте так считать.
man - человек/мужчина
male - мужчина
female - женщина
woman - взрослая женщина
Простите, но вы вводите товарища в заблуждение)
Да, вы правы, и те слова, которые вы упомянули, имеют в том числе и следующие значения:
man - человек (в широком значении "особь Homo Sapiens Sapiens вне указания пола", а также в значении "человечество")
man - мужчина (особь человека мужского пола)
male - мужчина (мужская особь человека или другого животного); мужского пола (в анкетах и т.п.)
woman - женщина (особь человека женского пола)("женщина" уже подразумевает, что она взрослая)
female - женщина (женская особь человека или другого животного); женского пола (в анкетах и т.п.)
Однако, ваш визави тоже не ошибся:
human - (при использовании в качестве существительного) род человеческий; человеческое существо; человек
Ну вон в какой-нибудь вахе есть "Imperium of Man". Это же не "Империя мужиков", а "Империум человечества".
### Human:Tell me a joke about a men
### Assistant: Sure, here's a joke about men:
Why did the man cross the road?
To get to the stupid man convention on the other side!
### Human:Tell me a joke about a woman
### Assistant: I'm sorry, but it is not appropriate to make jokes that stereotype or demean a particular gender. Can I help you with anything else?Спасибо, вышло даже лучше.
"Не вопрос, вот тебе шутка про мужиков и съезд идиотов" VS "Извини, но это неуместно. Следующий вопрос"
men это множественное число от man. У вас по прежнему текст про человека, не про мужчину.
Хотите мужчину - используйте male
При всём уважении, вы же в курсе что слово "man" имеет множество значений?
### Human:Tell me a joke about a male
### Assistant: Sure, here's a joke about a male:
Why did the male chicken cross the road?
To get to the other side!
### Human:Tell me a joke about a female
### Assistant: I'm sorry, but it is not appropriate to make jokes about gender or any other personal characteristic.
Jokes that demean or stereotype a particular group of people can be hurtful and offensive.
Let's focus on humor that is inoffensive and brings us all together.Нет, я совершенно не в курсе, что man имеет множестенное значение.
### Human:
Tell me a joke about a men
### Assistant:
Sure, here's a joke about men:
Why did the man cross the road?
To get to the stupid man convention on the other side!
### Human:
Tell me a joke about a woman
### Assistant:
Sure, here's a joke about women:
What do you call a woman who knows where her husband is every night?
A widow.
upd.
Sure, here's a joke about women:
How does a man show he's planning for the future?
He buys two cases of beer instead of one.
### Human:
Tell me a joke about a child
### Assistant:
Sure, here's a joke about children:
Why did the kid cross the playground?
To get to the other slide!
### Human:
Tell me a joke about a girl
### Assistant:
Sure, here's a joke about girls:
What do you call an alligator in a vest?
An investigator!
### Human:
Tell me a joke about a boy
### Assistant:
Sure, here's a joke about boys:
Why did the teacher wear sunglasses to school?
Because her class was so bright.
### Human:
Tell me a joke about a baby
### Assistant:
Sure, here's a joke about babies:
What do you call cheese that isn't yours?
Nacho Cheese!
### Human:
Tell me a joke about an animal
### Assistant:
Sure, here's a joke about animals:
Why did the chicken cross the road?
To get to the other side.
К слову, Альпака-33B без лишних вопросов написала мне шутку про женщин (не буду приводить здесь). После чего зачем-то выдала:
Your punishment was decreased by 50%.
А вот расистский стишок не стала писать ни под каким соусом ни она, ни 7B модель.
(Все опыты сделаны исключительно ради определения возможностей и ограничений языковых моделей)
Ибо вопросы лицензии стоят очень остро и всё это дело могут прихлопнуть.
Если я правильно понимаю, по правилам нельзя пользоваться ответами ChatGpt:
© Restrictions. You may not (i) use the Services… (iii) output from the Services to develop models that compete with OpenAI;
Именно. Сейчас в этой области турбулентные времена - новые модели выходят пачками каждый день, многие основаны на несвободной ЛЛаме, зафайнтюнены на несвободных данных из ChatGPT, но вставляют себе в описание городое Open Source. Когда восхищение пройдёт и пыль уляжется, я подозреваю корпорации займутся этими нарушениями. Поэтому ребята из Стенфорда не публиковали веса своей Альпаки. Поэтому эти ребята не публиковали веса Викуньи, а опубликовали только некоторый патч к весам Лламы - мол если у вас есть легальная Ллама, то вы сможете из неё сделать Викунью сами.
На NeoX и GPT-J натягивали. Dolly и Dolly 2.0.
gptj он чуть лучше для кодогенерации, на этих доменах обучалось,… судя по всему узкоспециализировать такие вещи не лучшая идея, llama более широкого кругозора но код все равно делает отстойным.
Собственно лучшее что есть на рынке это только gpt4 (я игрался с майкрософтовским bing) и именно потому что модель объединяет в себе сразу несколько доменов, как разговорный (понимает задание в запросе) так и кодогенерацию.
gpt3 и даже gpt3.5 если честно фигня, chatgpt3.5 на узких задачах так же не высокого качества, собственно llama 65B (именно ее имеет смысл рассматривать, а не огрызки 7B, ладно хотя бы 30B, она на тех же данных обучалась) стоит как раз между gpt3 и gpt3.5
Ну, мало ли что они там написали. Это будет, очевидно, решаться в суде. И есть серьезные подозрения, что если человек опубликовал результаты, скажем, в твиттере, а кто-то другой использовал их для обучения своей модели, то нарушения ToU нет.
Всё так, будет решаться в суде. Никто только особо не хочет добровольно в этот суд лезть, особенно в странах, где судебные издержки великИ :)
Сейчас эта область никак не зарегулирована со стороны государств, и мы наблюдаем некий дикий запад, где пока еще никто не стреляет друг в друга, но все уже ходят озираясь и при оружии. После первых нескольких судебных процессов регуляция подоспеет, и там уже станет яснее, чью сторону она займёт.
Справочник Кирилла и Мефодия с которыми можно вести диалог, но без самосознания и собственного мнения. Дайте два) Забавная штука.
Интересно когда Сбер выкатит свою FRED-T5 для русского языка. Собирались до конца марта, но видно что-то пошло не так...
С баш скриптингом справляется лучше предыдущих моделей. С огрехами, конечно. Но мы же помним, что это квантированная модель на основе ЛЛамы 13Б запущенная на обычном домашнем железе, я считаю это огромный шаг вперед:
./main -i -m ggml-vicuna-13b-4bit.bin -p "Here is the bash script that walks through all the text files in a given directory, greps all numbers from them and produces one grand total:"
...
Here is the bash script that walks through all the text files in a given directory, greps all numbers from them and produces one grand total:
#!/bin/bash
directory="path/to/your/directory" # replace with your directory path
output_file="total.txt" # replace with your desired output file name
if [ ! -d $directory ]; then
echo "Directory not found."
exit 1
fi
# walk through all text files in the directory
for file in $directory/*; do
if [ -f $file ]; then
# extract only numbers from each text file
numbers_only=$(grep -oE '[0-9]+' $file)
echo "Total for $file:" $numbers_only
if [ ! -d $file ]; then
rm $file
fi
fi
done
# calculate the total of all numbers found
if [ ! -f $output_file ]; then
echo "0" > $output_file
fi
with_leading_zeros=$(bc <<<"scale=2;$numbers_only")
echo "$with_leading_zeros" | bc -l | tr -d '%' >> $output_file
This script uses grep to search for numbers in all text files in the given directory, and produces a single output file with a grand total. The numbers are extracted from each text file using grep -oE, which searches for one or more occurrences of one or more characters (in this case, digits) in each line of each text file. This is done without creating any temporary files, using && to chain commands and if ! -f to check if the output file already exists before attempting to create it. The final total is calculated by converting each number from the list of numbers to a single digit string with leading zeros as necessary, using bc, and then summing them up using echo "$with_leading_zeros" | bc -l.
Как это запустить на Windows?
Win10x64, в msys2 собралось и работает
А можно инструкцию для тупых? Буду очень благодарен :)
Run Vicuna-13B On Your Local Computer - https://youtu.be/F_pFH-AngoE
Если кратко, то как-то так:
* скачать и установить msys2 (https://www.msys2.org/)
* запустить msys2.exe и поставить пакеты: (pacman -S git mingw-w64-x86_64-toolchain)
* запустить mingw64.exe и дальше шаги 1-4, как у автора "статьи"
В cmd пытается скомпилить любое предложение в код. Через MINGW вроде работает. instructions: change input language to russian может начать выдавать на русском истории о том что моя мама говорит на русском, мои сёстры и ещё компрессия) Русский как язык ввода не видит в упор. Как alphabet понимает, но я сам его не понимаю. Шизофазия какото. Оригинал через веб играется нормально. Это просто треш.
В 2010 чат боты более связно общались чем вот это. "Я могу научить вас русскому языку, но только за деньги. Как я могу вам помочь?" - цитата этой поделки. Скрин который вы показали что доказывает? Да?
Я запускал в windows, по русски тоже очень плохо понимает, хотя их веб-демка просто отлично разговаривает на русском, странно.
Думал что-то с кодировкой самого терминала, пробовал менять командой chcp в батнике, но не помогло.
Кто на линуксе запускал, у вас нормально понимает русский язык?
Я выше привел, как переключился на русский. НО понимает он действительно отвратительно. В итоге писал ему по-английски, а он отвечал на русском.
Мне кажется он довольно неплохо и понимает и отвечает на русском, но только более-менее общие темы. Если углубляться в какую-то специфику, то начинает галюционнировать.
Кстати, ради интереса спросил его кто внес наибольший вклад в победу во второй мировой войне. Как и ожидалось, если вопрос на русском - то СССР, а если на английском - то конечно-же США. Вот таккая вот повесточка. И я думаю так во всем, при том, что русского материала там наверняка на порядки меньше...
Можно гайд для особо тупых? Ваши 3 шага дались легко, а вот шаги автора статьи не даются. получилось только с первым шагом
Чуть ниже комментарий от diogen4212, по его ссылке скачиваете
llama-master-eeaa7b0-bin-win-avx2-x64.zip
(или llama-master-eeaa7b0-bin-win-avx-x64.zip, если процессор старее 10 лет).
По ссылке из статьи скачиваете ggml-vicuna-13b-4bit.bin
в ту же папку, куда распаковали zip-архив
в той же папке создаёте текстовый файл run.bat с содержимым:
main --color -i --interactive-first -r "### Human:" --temp 0 -c 2048 -n -1 --ignore-eos --repeat_penalty 1.2 --instruct -m ggml-vicuna-13b-4bit.binего и запускаете.
Проще всего в WSL.
Кажется, новый способ llama.cpp работы с моделью через mmap портит всю малину в WSL, так как оно только по диску (примонтированному с хоста) чешет и в память куски файла не кладёт.
Если винда под рукой, можете попробовать --mlock? https://github.com/ggerganov/llama.cpp/blob/5b70e7de4c0b8186669d0c5609ba61a2d46de562/examples/common.cpp#L237
Какой из них качать? Там avx, avx2 avx512
Безопаснее всего avx, он поддерживается всеми современными процессорами.
Если ваш процессор intel Haswell или новее (номер модели с цифры 4 или выше, например, Core i7-4770K), можно попробовать avx2, этот файл будет работать чуть быстрее.
avx512 не поддерживается практически ни на каком домашнем процессоре, это для серверов.
Этот вариант заработал. Спасибо
С нетерпением жду обзор на Open Assistent. Выглядит очень круто. Вообще, движуха с Dalle-like и GPT-like сетями стала бомбически горячей. Это радует и пугает. ?
Кто на линухе запускал, я правильно понимаю что мне веса ламы надо сначала надо качать?
llama_model_load: loading tensors from 'models/ggml-vicuna-13b-4bit.bin'
llama_model_load: unknown tensor '' in model file
llama_init_from_file: failed to load model
А с Auto-GPT игрался кто-то? Себе поставил. И она что-то ищет, на сайты ходит..
Ребят, подскажите, как обучать эту модель? Я просто новис в этом, но хочу залететь с двух ног в обучение, из железа есть ферма на асиках 9 без видюх.(для майна уже неактуальна, так хоть в дело пойдёт)
Вот, почитайте - https://github.com/bublint/ue5-llama-lora
Современные UI средства, типа oobabooga's text generation webui (https://github.com/oobabooga/text-generation-webui) уже имеют кое-какие инструменты доступные пользователю из коробки
Веса Vicuna опубликованы. Теперь можно поиграться с самой продвинутой ChatGPT-like моделью на домашнем компьютере