меня ответы почти всегда устраивают и я пытаюсь их наоборот сократить, что бы не тратить время на ожидание генерации и не искать то что мне надо в тонне текста, а тут предлагается просто задавать больше данных, что уже не особо то и надо когда добавили "размышление"
"Он совершенно не подходит" чепуха, вполне себе на нём запускают gpt и имеют не самую худшую производительность, и используют не cpu, а встроенный gpu, который в играх имеет fps на уровне rtx 4060, например 90b занимает почти всю память и имеет скорость 3,5т/с, в более лёгких моделях скорость выше, к тому же пока не используется npu ядра, а их скоро обещают начать использовать в том же lm studio
только всё что выше 95 уже не нормально и происходит деградация чипа, и уж точно за 100 гр. не стоит позволять нагрев.. особенно в таких больших по размеру чипах
видел как запускали 120b на на этом чипе, скорости были приличные, вроде около 20-40ток в сек
нужная просто одна кнопка для отключения всего мусора что был в этих списках
первый тест поле запуска, и сразу впечатление не о чём
17к контекста одним сообщением не дало отправить даже (разбил на 2).
совсем не поняло меня что нужно сделать, а так же выдумало для чего то там excel
там внутри было 2 html страницы и их нужно было объединить в одну, с такой простой задачей оно не справилось...
Скрытый текст
да там было около 1070 строчек (на два html), но это не такая большая задача, которая под силу даже локальной нейронке..
Github Pages (если вдруг кому нужна такая же базовая страница, под себя не сложно переделать, p.s. виджеты перетаскиваются мышкой)
на 12гб vram 3-4gb ram работает около 20токенов в сек (rtx3060)
там есть встроенный конвертер mkv-mp4 там в меню - перепаковать записи, для этого и сделан
а ты ему: кожаного мешка сюда!!!
а что насчёт этих результатов?
Скрытый текст
меня ответы почти всегда устраивают и я пытаюсь их наоборот сократить, что бы не тратить время на ожидание генерации и не искать то что мне надо в тонне текста, а тут предлагается просто задавать больше данных, что уже не особо то и надо когда добавили "размышление"
через 20 лет они теряют 15-20 % своей мощности, зачем их утилизировать пусть и дальше работают!
если так смотреть то всё можно удалить, систему в том числе
защитник win можно будет удалить?
"Он совершенно не подходит" чепуха, вполне себе на нём запускают gpt и имеют не самую худшую производительность, и используют не cpu, а встроенный gpu, который в играх имеет fps на уровне rtx 4060, например 90b занимает почти всю память и имеет скорость 3,5т/с, в более лёгких моделях скорость выше, к тому же пока не используется npu ядра, а их скоро обещают начать использовать в том же lm studio
все вроде как запускают 70b
а нельзя сделать минитрактор на магнитных гусеницах?
а если 2 таких и будет уже лучше скорость, при этом объём можно любой будет использовать
предпологаю есть ещё вариант, есть raid ssd через pci вроде как до 24шт на одной плате видел, говорят скорости близкие к ram
не хватало ещё что бы оно часами..
зависит от ваших сценариев использования
чепуха, особенно max версии в 14' тротлят сильнее всего
только всё что выше 95 уже не нормально и происходит деградация чипа, и уж точно за 100 гр. не стоит позволять нагрев.. особенно в таких больших по размеру чипах