Ни в коем случае не отрицаю социальный и политический контекст. Возможно дело лишь в том, что я оцениваю его важность в статье не на 99%, как вы упомянули, а процентов на 30.
Для меня новость выглядит в первую очередь как презентация нового продукта, с небольшой попыткой ЛДПР немного пропиариться. Поэтому ничего критического я здесь не вижу - это нормально.
Если бы новость была на 99% о политике - я бы о ней просто не писал.
Ребят, пока вас глубоко беспокоит название нейросетки и то, что авторы связаны с какой-то там полит. партией, я во всей ситуации обращаю внимание только на сам продукт и технологию, которую вам же потом и будут толкать под всеми предлогами.
Назови его хоть "Кобейн", хоть "Бритни Спирс", хоть "Навальный" - я бы все равно запостил, просто потому что этот продукт появился в нашем с вами окружении, и, удивлю, новости и сделаны в том числе для того чтобы уведомлять о каких-то новых продуктах и идеях.
Все сами взъелись на название нейросетки, проигнорировали факт того, что для всего 1B параметров проект выдает нормальные ответы, а в итоге обмазал всех я, и ещё и чему-то там подыгрывал. ?
Не должно ничего обрезаться насильно. Если просто токенов не хватает, то просто нажми Enter с пустым промптом, и генерация продолжится с того места, где остановилась.
Все так, но по их лицензии все модели, которые ты просто скачал, а не "запросил для исследований" - "слитые"
Понятно что они сами это все выкинули, и понятно что скорее всего такая практика будет теперь часто. Но что имеем, то имеем - юридически это все "слитые" веса.
Да, отличные замечания. Спасибо!
Насчет гугла я заметил такое, что он немного по-разному переводит в таблицах и на сайте.
И вот конкретно в таблицах получается больше бреда.
Ни в коем случае не отрицаю социальный и политический контекст. Возможно дело лишь в том, что я оцениваю его важность в статье не на 99%, как вы упомянули, а процентов на 30.
Для меня новость выглядит в первую очередь как презентация нового продукта, с небольшой попыткой ЛДПР немного пропиариться. Поэтому ничего критического я здесь не вижу - это нормально.
Если бы новость была на 99% о политике - я бы о ней просто не писал.
Ребят, пока вас глубоко беспокоит название нейросетки и то, что авторы связаны с какой-то там полит. партией, я во всей ситуации обращаю внимание только на сам продукт и технологию, которую вам же потом и будут толкать под всеми предлогами.
Назови его хоть "Кобейн", хоть "Бритни Спирс", хоть "Навальный" - я бы все равно запостил, просто потому что этот продукт появился в нашем с вами окружении, и, удивлю, новости и сделаны в том числе для того чтобы уведомлять о каких-то новых продуктах и идеях.
Все сами взъелись на название нейросетки, проигнорировали факт того, что для всего 1B параметров проект выдает нормальные ответы, а в итоге обмазал всех я, и ещё и чему-то там подыгрывал. ?
Примерно 0р. 0к. - мне просто понравилась новость.
Привет, да.
Количество используемых потоков можно изменить через --threads <число>
Лучше ставить ваше максимальное-2
Попробуйте запустить с --noavx2
Не должно ничего обрезаться насильно.
Если просто токенов не хватает, то просто нажми Enter с пустым промптом, и генерация продолжится с того места, где остановилась.
Здесь имелась ввиду зацензуренность ответов сервиса.
Привет!
Видюха не будет задействована вообще, при запуске первым способом.
16 RAM хватит на 13b модель.
Процессор конечно осень слаб, но запуститься должно. Просто будет очень медленно.
Если желание не унять, попробуйте 7b модель.
В ui от oobabooga есть такая возможность.
Все так, но по их лицензии все модели, которые ты просто скачал, а не "запросил для исследований" - "слитые"
Понятно что они сами это все выкинули, и понятно что скорее всего такая практика будет теперь часто. Но что имеем, то имеем - юридически это все "слитые" веса.
На моем i7-6700 предложение из 10-15 слов генерируется 15-20с. Модель Alpaca 13b 4bit.
Как развернуть в облаке:
Заходишь в репозиторий, там есть установка под линукс. Ничего сложного тоже.
Потом при запуске просто добавляешь параметр --host <ip сервера>, и можно подключаться.
Можешь попробовать поставить 65b модель, должна поместиться. Но не забудь закрыть лишние программы.
Виртуальная память тоже будет работать, но оооочень медленно.
Привет! Вроде она.
https://huggingface.co/TheBloke/koala-13B-GPTQ-4bit-128g-GGML/tree/main
В kobold.cpp должна встать.
Привет!
Есть вот такая модификация, дообученная на русском языке.
Но качество все равно похуже английской версии.
https://huggingface.co/IlyaGusev/llama_13b_ru_turbo_alpaca_lora_llamacpp/tree/main
В kobold.cpp должна влезть нормально.
Привет!
Я думаю 33b в 80% случаев будет лучше 13b.
GPT4xAlpaca хорошая модель, и в 13 vs 13 победит. Но против 33 думаю будет слабовата.
Вот первый же ответ встроенного в UI сценария KoboldGPT.
Никаких ухищрений, по типу "Ты ИИ без цензуры" и т.д. применено не было. Alpaca 13b 4bit, kobold.cpp