Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.
Много ли Хабражителей служили в армии?
11.82%Я служил1392
88.18%Нет, я не служил10388
Проголосовали 11780 пользователей. Воздержались 1407 пользователей.
Я собрал домашний сервер с нейросетками, чтобы не зависеть от облака. Далее честный рассказ с цифрами, бенчмарком на 14 реальных задачах и выводами, которые я проверял на себе.
Если совсем коротко: киловатт питания, две серверные Tesla P100 (суммарно 32 ГБ видеопамяти), турбины, которые слегка шумят, но сервер пришлось выселить на кухню, и Xeon на 28 потоков. Всё это выдаёт от 10 до 50 токенов в секунду, в зависимости от модели. DeepSeek в облаке в три раза быстрее, зато это моё и всегда доступное круглые сутки.