Слишком медленно для такого простого, тут работаты на 10 часов за компом без перерыва, смысл тянуть время? Ещё и Вcе это нужно завернуть в контейнеры и апи допилить для универсальности, но это все равно изобретение велосипеда, уже есть готовые проекты открытые причем с gpu ускорением, а не работа на cpu
Мне как то нужно было срочно защитить код в контейнерах, я систему привязки к железу в контейнерах с учётом шифрования сигнатур, и генератор лицензий, + замуровать доступ в контейнер на глухо, чтоб не взломать систему и не украсть код за 12 часов запилил 30 версий приложений защиты выпустил, пока финалку не сделал:)))) и все это автоматизировал скриптами. С учётом того, что пришлось ещё закрытый код компилировать:))
Всем привет мой сервер 2686v4, 4шт gpu amd mi50 16G, Deepseek R1, 70B, GPTQ квантовние, скорость 42ток. В секунду быстрее чем 4090, как тебе Такое "илон Маск", qwen3 32b AWQ, 38-40 токенов, тоже быстре 4090:). Так что фуфло ваше нвидиа и цпу:) если соберу в сеть через infinity bend 100G, много серверов то можно макисмальный дипсик гонять. С большой скоростью
Слишком медленно для такого простого, тут работаты на 10 часов за компом без перерыва, смысл тянуть время? Ещё и Вcе это нужно завернуть в контейнеры и апи допилить для универсальности, но это все равно изобретение велосипеда, уже есть готовые проекты открытые причем с gpu ускорением, а не работа на cpu
Мне как то нужно было срочно защитить код в контейнерах, я систему привязки к железу в контейнерах с учётом шифрования сигнатур, и генератор лицензий, + замуровать доступ в контейнер на глухо, чтоб не взломать систему и не украсть код за 12 часов запилил 30 версий приложений защиты выпустил, пока финалку не сделал:)))) и все это автоматизировал скриптами. С учётом того, что пришлось ещё закрытый код компилировать:))
Всем привет мой сервер 2686v4, 4шт gpu amd mi50 16G, Deepseek R1, 70B, GPTQ квантовние, скорость 42ток. В секунду быстрее чем 4090, как тебе Такое "илон Маск", qwen3 32b AWQ, 38-40 токенов, тоже быстре 4090:). Так что фуфло ваше нвидиа и цпу:) если соберу в сеть через infinity bend 100G, много серверов то можно макисмальный дипсик гонять. С большой скоростью
Если ты не умеешь работать с ними и не знаешь какие умеют делать рабочий код, то ты не шаришь в этой теме:))
Ставь lama.cpp если ты на винде сидит там есть запкск моделей через vulkan, все работает прекрасно, если ты с rocm не дружишь