Модель генерации — Qwen3-32B-AWQ, запущенная через движок vLLM на GPU-сервере с NVIDIA A6000. Такой стек даёт стабильную скорость и возможность обслуживать несколько одновременных обращений.
Вам хватает что можно - "обслуживать несколько одновременных обращений" ? Это типовая нагрузка у вас, нет такого что приходят 10-100 человек и бот не сможет вытянуть? Так же интересно, оборудование вы арендуете?
Зачем, когда есть от самой Nvidia Project Digits за $3000 и вроде в базе NVMe объёмом до 4 ТБ
Стартовая цена устройства составляет $3000. Каждая система Project Digits оснащена 128 ГБ памяти и накопителем NVMe объёмом до 4 ТБ. Для более требовательных задач можно объединить две системы Project Digits, что позволит работать с моделями, содержащими до 405 миллиардов параметров (для сравнения, лучшая модель Meta* — Llama 3.1 имеет 405 миллиардов параметров).
Вижу эти книжки и сразу вспоминаю детство, как сидел перед школой и читал эти книжки (ну и еще фентези А.Нортона) Хорошие книжки по BattleTech, спасибо В начале 2000ых еще по сети играли в Мехов и даже пробовали играть по тогда дорогому интеренету на соревнованиях.
Такой момент интересный, например при использовании Cursor + Claude, возможно ли Cursor скормить весь репозиторий проекта (например проект на Laravel), и Cursor в итоге сам весь проект проверит и выдаст рекомендации по улучшени. и т.п ? Спасибо.
Интересно, а как они будут доказывать что именно на их книгах и именно пиратских, тренировались сети? Разве тут нет презумпции невиновности? Или Meta и OpenAI настолько открытые что сами написали что они тренировали свои сети на этих незаконных источниках?
Или тут как в #MeToo достаточно просто сказать что "так было", а Meta и OpenAI пусть теперь доказывают обратное?
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make
mkdir /models/30B
cd /models/30B
wget https://huggingface.co/Pi3141/alpaca-lora-30B-ggml/resolve/main/ggml-model-q4_1.bin
Спасибо, интересно конечно. Возникли пару вопросов: 1. Есть ли API этого проекта что бы можно было попробовать интегрировать с другими проектами? 2. Возможно ли как то тренировать альпаку "скармливая" например книги в pdf формате? 3. "13B model" это максимальная модель для альпаки? 4. я так понимаю лучше использовать https://github.com/ggerganov/llama.cpp ? так как альпака не развиваеться?
Хотя конечно хотелось бы узнать и за это еще - " если я буду раздавать файл 1G, он будет весь в память загружен или частями, нет ничего про насколько это проигрывает или выигрывает, если сравнивать с раздачей файлов через тот же nginx. "
Блин, на дворе 8 число, только увидел этот заголовок, подумал что УЖЕ запретили!!! Решил зайти и почитать в стиле Спидинфо - "интриги, скандалы, расследование" А в итоге 10500тысячный раз статья по настройке какого то скучного VPN Испортили выходные :)
На тему лоббизма есть великолепный фильм (смотрел раз 5-7) - Опасная игра Слоун
Спасибо за статью.
Вам хватает что можно - "обслуживать несколько одновременных обращений" ? Это типовая нагрузка у вас, нет такого что приходят 10-100 человек и бот не сможет вытянуть?
Так же интересно, оборудование вы арендуете?
Зачем, когда есть от самой Nvidia Project Digits за $3000 и вроде в базе NVMe объёмом до 4 ТБ
Спасибо вам за ваш труд, использую в своих нескольких проектах с недавних пор. Сперва рассматривал вариант Ristretto, но как то .....не сложилось :)
Сперва начал читать и не понял, как так? А потом прочитал коментарии и увидел что
Спасибо, за VS Code Tunnels :) надо будет действительно расмотреть его как замену ngrok и т.п
Спасибо за интресную статью, как уже тут писали, ждем новые :)
Вижу эти книжки и сразу вспоминаю детство, как сидел перед школой и читал эти книжки (ну и еще фентези А.Нортона)
Хорошие книжки по BattleTech, спасибо
В начале 2000ых еще по сети играли в Мехов и даже пробовали играть по тогда дорогому интеренету на соревнованиях.
То есть если Briar доуступен только на Андройде то ок.
А если Bichat на Apple, то " эта штука неприменима" ?
:)
Звездочку поставил, спасибо за работу.
Было бы интересно увидеть так же еще и Discord.
Покажет такие рекомендации, что лучше так не надо делать :) ?
Такой момент интересный, например при использовании Cursor + Claude, возможно ли Cursor скормить весь репозиторий проекта (например проект на Laravel), и Cursor в итоге сам весь проект проверит и выдаст рекомендации по улучшени. и т.п ?
Спасибо.
Интересно, а как они будут доказывать что именно на их книгах и именно пиратских, тренировались сети?
Разве тут нет презумпции невиновности? Или Meta и OpenAI настолько открытые что сами написали что они тренировали свои сети на этих незаконных источниках?
Или тут как в #MeToo достаточно просто сказать что "так было", а Meta и OpenAI пусть теперь доказывают обратное?
Спасибо большое.
Никто не пробовал использовать LangChain совместно с https://github.com/xtekky/gpt4free ?
Как устанавливал:
запускаю командой
В консоле просто:
и все, ничего боле не происходит
возможно не хватает памяти? или какие то другие причины?
Спасибо, интересно конечно.
Возникли пару вопросов:
1. Есть ли API этого проекта что бы можно было попробовать интегрировать с другими проектами?
2. Возможно ли как то тренировать альпаку "скармливая" например книги в pdf формате?
3. "
13B model
" это максимальная модель для альпаки?4. я так понимаю лучше использовать https://github.com/ggerganov/llama.cpp ? так как альпака не развиваеться?
И это тоже не факт. Может он королевских кровей :)
Hat.sh можно и у себя запустить, а Cloaker тоже возможно запустить на своем хосте? Спасибо.
Я думаю как вариант тут хорошо все написанно https://stackoverflow.com/questions/73671611/how-to-stream-html-content-with-static-files-using-fastapi/73672334#73672334 по поводу StreamingResponse
Хотя конечно хотелось бы узнать и за это еще - " если я буду раздавать файл 1G, он будет весь в память загружен или частями, нет ничего про насколько это проигрывает или выигрывает, если сравнивать с раздачей файлов через тот же nginx. "
"С 7-го января в России полностью запретят VPN"
Блин, на дворе 8 число, только увидел этот заголовок, подумал что УЖЕ запретили!!!
Решил зайти и почитать в стиле Спидинфо - "интриги, скандалы, расследование"
А в итоге 10500тысячный раз статья по настройке какого то скучного VPN
Испортили выходные :)
Интересно конечно, но если у игры есть какой то аналог "античита" то такой метод работы вашего бота будет скорее всего намного быстрее выявлен.
А дальше уже зависит от политики разработчиков игры, но скорее всего вас забанят.