All streams
Search
Write a publication
Pull to refresh
4
0

Пользователь

Send message

На тему лоббизма есть великолепный фильм (смотрел раз 5-7) - Опасная игра Слоун

Спасибо за статью.

Модель генерации — Qwen3-32B-AWQ, запущенная через движок vLLM на GPU-сервере с NVIDIA A6000. Такой стек даёт стабильную скорость и возможность обслуживать несколько одновременных обращений.

Вам хватает что можно - "обслуживать несколько одновременных обращений" ? Это типовая нагрузка у вас, нет такого что приходят 10-100 человек и бот не сможет вытянуть?
Так же интересно, оборудование вы арендуете?

Зачем, когда есть от самой Nvidia Project Digits за $3000 и вроде в базе NVMe объёмом до 4 ТБ

Стартовая цена устройства составляет $3000. Каждая система Project Digits оснащена 128 ГБ памяти и накопителем NVMe объёмом до 4 ТБ. Для более требовательных задач можно объединить две системы Project Digits, что позволит работать с моделями, содержащими до 405 миллиардов параметров (для сравнения, лучшая модель Meta* — Llama 3.1 имеет 405 миллиардов параметров).

Спасибо вам за ваш труд, использую в своих нескольких проектах с недавних пор. Сперва рассматривал вариант Ristretto, но как то .....не сложилось :)

В otter мы используем S3-FIFO

Сперва начал читать и не понял, как так? А потом прочитал коментарии и увидел что

W-TinyLFU лёг в основу otter v2

Спасибо, за VS Code Tunnels :) надо будет действительно расмотреть его как замену ngrok и т.п

Спасибо за интресную статью, как уже тут писали, ждем новые :)

Вижу эти книжки и сразу вспоминаю детство, как сидел перед школой и читал эти книжки (ну и еще фентези А.Нортона)
Хорошие книжки по BattleTech, спасибо
В начале 2000ых еще по сети играли в Мехов и даже пробовали играть по тогда дорогому интеренету на соревнованиях.

То есть если Briar доуступен только на Андройде то ок.
А если Bichat на Apple, то " эта штука неприменима" ?
:)

Звездочку поставил, спасибо за работу.
Было бы интересно увидеть так же еще и Discord.

Покажет такие рекомендации, что лучше так не надо делать :) ?

Такой момент интересный, например при использовании Cursor + Claude, возможно ли Cursor скормить весь репозиторий проекта (например проект на Laravel), и Cursor в итоге сам весь проект проверит и выдаст рекомендации по улучшени. и т.п ?
Спасибо.

Интересно, а как они будут доказывать что именно на их книгах и именно пиратских, тренировались сети?
Разве тут нет презумпции невиновности? Или Meta и OpenAI настолько открытые что сами написали что они тренировали свои сети на этих незаконных источниках?

Или тут как в #MeToo достаточно просто сказать что "так было", а Meta и OpenAI пусть теперь доказывают обратное?

Спасибо большое.
Никто не пробовал использовать LangChain совместно с https://github.com/xtekky/gpt4free ?

Как устанавливал:

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make
mkdir /models/30B
cd /models/30B
wget https://huggingface.co/Pi3141/alpaca-lora-30B-ggml/resolve/main/ggml-model-q4_1.bin 

запускаю командой

./main -m ./models/30B/ggml-model-q4_1.bin  -n 128

В консоле просто:

./main -m ./models/30B/ggml-model-q4_1.bin -n 128
main: seed = 1680597228
llama_model_load: loading model from './models/30B/ggml-model-q4_1.bin' - please                                                                                                                                                                                                 wait ...
llama_model_load: n_vocab = 32000
llama_model_load: n_ctx   = 512
llama_model_load: n_embd  = 6656
llama_model_load: n_mult  = 256
llama_model_load: n_head  = 52
llama_model_load: n_layer = 60
llama_model_load: n_rot   = 128
llama_model_load: f16     = 3
llama_model_load: n_ff    = 17920
llama_model_load: n_parts = 4
llama_model_load: type    = 3
llama_model_load: ggml map size = 23269.46 MB
llama_model_load: ggml ctx size = 151.25 KB
llama_model_load: mem required  = 25573.60 MB (+ 3124.00 MB per state)
llama_model_load: loading tensors from './models/30B/ggml-model-q4_1.bin'
llama_model_load: model size = 23269.01 MB / num tensors = 543
llama_init_from_file: kv self size  =  780.00 MB

system_info: n_threads = 12 / 12 | AVX = 1 | AVX2 = 1 | AVX512 = 0 | FMA = 1 | N                                                                                                                                                                                                EON = 0 | ARM_FMA = 0 | F16C = 1 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 0 | SSE3                                                                                                                                                                                                 = 1 | VSX = 0 |
sampling: temp = 0.800000, top_k = 40, top_p = 0.950000, repeat_last_n = 64, rep                                                                                                                                                                                                eat_penalty = 1.100000
generate: n_ctx = 512, n_batch = 8, n_predict = 128, n_keep = 0

и все, ничего боле не происходит

возможно не хватает памяти? или какие то другие причины?

Спасибо, интересно конечно.
Возникли пару вопросов:
1. Есть ли API этого проекта что бы можно было попробовать интегрировать с другими проектами?
2. Возможно ли как то тренировать альпаку "скармливая" например книги в pdf формате?
3. "13B model" это максимальная модель для альпаки?
4. я так понимаю лучше использовать https://github.com/ggerganov/llama.cpp ? так как альпака не развиваеться?

И это тоже не факт. Может он королевских кровей :)

Hat.sh можно и у себя запустить, а Cloaker тоже возможно запустить на своем хосте? Спасибо.

Я думаю как вариант тут хорошо все написанно https://stackoverflow.com/questions/73671611/how-to-stream-html-content-with-static-files-using-fastapi/73672334#73672334 по поводу StreamingResponse

Хотя конечно хотелось бы узнать и за это еще - " если я буду раздавать файл 1G, он будет весь в память загружен или частями, нет ничего про насколько это проигрывает или выигрывает, если сравнивать с раздачей файлов через тот же nginx. "

"С 7-го января в России полностью запретят VPN"

Блин, на дворе 8 число, только увидел этот заголовок, подумал что УЖЕ запретили!!!
Решил зайти и почитать в стиле Спидинфо - "интриги, скандалы, расследование"
А в итоге 10500тысячный раз статья по настройке какого то скучного VPN
Испортили выходные :)

Интересно конечно, но если у игры есть какой то аналог "античита" то такой метод работы вашего бота будет скорее всего намного быстрее выявлен.

А дальше уже зависит от политики разработчиков игры, но скорее всего вас забанят.

1
23 ...

Information

Rating
5,386-th
Registered
Activity