С баш скриптингом справляется лучше предыдущих моделей. С огрехами, конечно. Но мы же помним, что это квантированная модель на основе ЛЛамы 13Б запущенная на обычном домашнем железе, я считаю это огромный шаг вперед:
./main -i -m ggml-vicuna-13b-4bit.bin -p "Here is the bash script that walks through all the text files in a given directory, greps all numbers from them and produces one grand total:"
... Here is the bash script that walks through all the text files in a given directory, greps all numbers from them and produces one grand total:
#!/bin/bash
directory="path/to/your/directory" # replace with your directory path
output_file="total.txt" # replace with your desired output file name
if [ ! -d $directory ]; then
echo "Directory not found."
exit 1
fi
# walk through all text files in the directory
for file in $directory/*; do
if [ -f $file ]; then
# extract only numbers from each text file
numbers_only=$(grep -oE '[0-9]+' $file)
echo "Total for $file:" $numbers_only
if [ ! -d $file ]; then
rm $file
fi
fi
done
# calculate the total of all numbers found
if [ ! -f $output_file ]; then
echo "0" > $output_file
fi
with_leading_zeros=$(bc <<<"scale=2;$numbers_only")
echo "$with_leading_zeros" | bc -l | tr -d '%' >> $output_file
This script uses grep to search for numbers in all text files in the given directory, and produces a single output file with a grand total. The numbers are extracted from each text file using grep -oE, which searches for one or more occurrences of one or more characters (in this case, digits) in each line of each text file. This is done without creating any temporary files, using && to chain commands and if ! -f to check if the output file already exists before attempting to create it. The final total is calculated by converting each number from the list of numbers to a single digit string with leading zeros as necessary, using bc, and then summing them up using echo "$with_leading_zeros" | bc -l.
Именно. Сейчас в этой области турбулентные времена - новые модели выходят пачками каждый день, многие основаны на несвободной ЛЛаме, зафайнтюнены на несвободных данных из ChatGPT, но вставляют себе в описание городое Open Source. Когда восхищение пройдёт и пыль уляжется, я подозреваю корпорации займутся этими нарушениями. Поэтому ребята из Стенфорда не публиковали веса своей Альпаки. Поэтому эти ребята не публиковали веса Викуньи, а опубликовали только некоторый патч к весам Лламы - мол если у вас есть легальная Ллама, то вы сможете из неё сделать Викунью сами.
Просто папку с проектом удалите - всего и делов. Напомнило: Я скачала файл из Интернета, а он мне оказался не нужен. Как его теперь закачать обратно? Сорри, не удержался :)
Не сочтите за грубость, но судя по тем вопросам, которые вы задаёте, вы погодите пока лезть в эту тему: вас ожидает множество проблем на каждом шагу. Дайте этой теме немного "устаканиться" и дождитесь, пока появятся более дружелюбные обычному пользователю инструменты. Они обязательно вскорости появятся, как и пошаговые гайды. Пока, по степени зрелости, это скорее инструменты для разработчика чем для пользователя.
Вас напрасно минусят. Прекрасно понимаю эту логику, о которой вы говорите и всю мощь инертности ума. Все, кому "пофигу" и кому чтобы попроще было в игрушки играть - будут продавать свою свободу, приватность и независимость за мнимое "удобство" проприетарного ПО.
У меня среди студентов с потока
Вы студент или преподаватель? Если первое, я искренне советую вам начать изучать волшебный мир свободного программного обеспечения: вы откроете для себя много нового и удивительного, и это вам здорово пригодится в жизни. Если второе - тем более :)
Очень радует. Только они не совсем свободные, т.к. Llama не свободная. Даже лицензия Dolly под вопросом, ввиду того что ее тренировали на проприетарных данных. Вообще лицензирование моделей под большим вопросам - пока это серая зона
Все инструкции и инструменты есть в публичном доступе, но это дообучение пока не для обычных пользователей - оно требует приличных вычислительных ресурсов. Хотя, если есть платный план в huggingface или подписка в google collab, то можете попробовать.
Известная тема: этот инструмент инференса альпакоподобных (в оригинале разработанный Georgy Gerganov https://github.com/ggerganov/llama.cpp/) только скармливает последний промпт, без истории.
Я поигрался сегодня немного с нефильтрованной моделью. Не сильно впечатлился уже после Альпаки - на мой субъективный взгляд, чуть слабее. Но зато быстрее :)
Если вы про UI, то это сугубо личное. Мне современные Gnome и KDE сильно милее Win 10 и 11. А возможности кастомизации, если кто хочет, вообще безграничны. Посмотрите, что делает с ними LinuxScoop - https://www.youtube.com/channel/UCNnUnr4gwyNmzx_Bbzvt29g
Ну сосредоточьтесь на одном чем-то и развивайте это направление
К этому тоже можно относиться по-разному. Я лично считаю, что такая диверсификация только на пользу сообществу.
С баш скриптингом справляется лучше предыдущих моделей. С огрехами, конечно. Но мы же помним, что это квантированная модель на основе ЛЛамы 13Б запущенная на обычном домашнем железе, я считаю это огромный шаг вперед:
...
Here is the bash script that walks through all the text files in a given directory, greps all numbers from them and produces one grand total:
This script uses
grepto search for numbers in all text files in the given directory, and produces a single output file with a grand total. The numbers are extracted from each text file usinggrep -oE, which searches for one or more occurrences of one or more characters (in this case, digits) in each line of each text file. This is done without creating any temporary files, using&&to chain commands andif ! -fto check if the output file already exists before attempting to create it. The final total is calculated by converting each number from the list of numbers to a single digit string with leading zeros as necessary, usingbc, and then summing them up usingecho "$with_leading_zeros" | bc -l.Да. Лицензия этих моделей под большим вопросом. В коммерческий продукт точно не вставить
Именно. Сейчас в этой области турбулентные времена - новые модели выходят пачками каждый день, многие основаны на несвободной ЛЛаме, зафайнтюнены на несвободных данных из ChatGPT, но вставляют себе в описание городое Open Source. Когда восхищение пройдёт и пыль уляжется, я подозреваю корпорации займутся этими нарушениями. Поэтому ребята из Стенфорда не публиковали веса своей Альпаки. Поэтому эти ребята не публиковали веса Викуньи, а опубликовали только некоторый патч к весам Лламы - мол если у вас есть легальная Ллама, то вы сможете из неё сделать Викунью сами.
Просто папку с проектом удалите - всего и делов.
Напомнило: Я скачала файл из Интернета, а он мне оказался не нужен. Как его теперь закачать обратно?
Сорри, не удержался :)
Ответил вам в другой ветке - https://habr.com/ru/news/t/725826/comments/#comment_25398718
В репо каждой из недавно вышедших моделей есть примеры или ссылки на ноутбуки google collab / проекты huggingface, где проводили файнтюнинг.
Например для gpt4all на странице https://github.com/nomic-ai/gpt4all есть ссылки на датасеты (https://huggingface.co/datasets/nomic-ai/gpt4all_prompt_generations_with_p3) и примеры запуска их тулкита для дообучения лламы 7Б:
Не сочтите за грубость, но судя по тем вопросам, которые вы задаёте, вы погодите пока лезть в эту тему: вас ожидает множество проблем на каждом шагу. Дайте этой теме немного "устаканиться" и дождитесь, пока появятся более дружелюбные обычному пользователю инструменты. Они обязательно вскорости появятся, как и пошаговые гайды. Пока, по степени зрелости, это скорее инструменты для разработчика чем для пользователя.
Да есть. Да сможет.
Вас напрасно минусят. Прекрасно понимаю эту логику, о которой вы говорите и всю мощь инертности ума. Все, кому "пофигу" и кому чтобы попроще было в игрушки играть - будут продавать свою свободу, приватность и независимость за мнимое "удобство" проприетарного ПО.
Вы студент или преподаватель? Если первое, я искренне советую вам начать изучать волшебный мир свободного программного обеспечения: вы откроете для себя много нового и удивительного, и это вам здорово пригодится в жизни. Если второе - тем более :)
Что пишет?
Попробуйте демку Викуньи - https://chat.lmsys.org/. Я думаю это следующий the next big thing в ряду доступных моделей.
Очень радует. Только они не совсем свободные, т.к. Llama не свободная.
Даже лицензия Dolly под вопросом, ввиду того что ее тренировали на проприетарных данных.
Вообще лицензирование моделей под большим вопросам - пока это серая зона
Все инструкции и инструменты есть в публичном доступе, но это дообучение пока не для обычных пользователей - оно требует приличных вычислительных ресурсов. Хотя, если есть платный план в huggingface или подписка в google collab, то можете попробовать.
Известная тема: этот инструмент инференса альпакоподобных (в оригинале разработанный Georgy Gerganov https://github.com/ggerganov/llama.cpp/) только скармливает последний промпт, без истории.
О, интересно! Викуну я пропустил. Спасибо, что поделились
Я поигрался сегодня немного с нефильтрованной моделью. Не сильно впечатлился уже после Альпаки - на мой субъективный взгляд, чуть слабее. Но зато быстрее :)
Если вы про UI, то это сугубо личное. Мне современные Gnome и KDE сильно милее Win 10 и 11. А возможности кастомизации, если кто хочет, вообще безграничны. Посмотрите, что делает с ними LinuxScoop - https://www.youtube.com/channel/UCNnUnr4gwyNmzx_Bbzvt29g
К этому тоже можно относиться по-разному. Я лично считаю, что такая диверсификация только на пользу сообществу.
Можно было. Но суть в том, что её дотренировали и теперь она понимает инструкции в стиле ChatGPT, а не просто продолжает текст
Вы имеете в виду вот этот проект - https://petals.ml/ ?
в /home/zhukovsky/dalai/alpaca/models/30B точно файлик ggml лежит?
Такой сценарий безусловно существует, как один из вероятных. Но скорее люди друг друга перебьют и без ИИ