Твк же думали люди, которые писали на асме глядя на питонщиков и прочих. Однако же питонщики и прочие мало того что выжили, так еще даже какой-то период времени считали себя вершиной пищевой цепочки IT. А сейчас вот скулят и отрицают очевидное, как в свое время асемблерщики.
Для того чтобы агент сам что-либо оставил у него должна быть воля, мотивация. Или же промпт инъекция со стороны форума, чтобы случайно наткнувшийся агент зарегался и оставил запись, но для этого нужен агент на базе локальной анценсоред или еретик модели, с облачными или обычными локальными моделями инъекцию провернуть сложнее.
Зачем вообще собирать llama из исходников? Проще скачать готовый актуальный бинарник. Зачем самому квантовать? Есть куча репо с готовыми квантами, которые куда более качественно квантованы, чем то что получаем при самостоятельном квантовании.
Я думаю что ковыряние всего и вся лучше помогает вкатиться в тему, чем просто нажать кнопку и запустить модель. Да это дольше и сложнее, но на выходе будет понимание и опыт, а не тупое нажатие кнопки.
Я бы на вашем месте выбирал бы модель MoE, ибо хороший квант не влезет в врам, низкий квант- мало смысла. Итого- оффлоад в RAM, а это падение скорости. Если рассадить по максимуму экспертов в VRAM, а все что не влезло, то в RAM, и MoE хотя бы скорость не уронит ниже плинтуса. Единственно что- контекст обязательно в VRAM. Я бы посоветовал бы ornith-1.0-35b, сделана на базе qwen, но работает с mtp шустрее сильно. Пробуйте 4 квант, если скорость из-за выгрузки слоев не устроит, опускайтесь на 3 квант. Ну и никаких ollama, только llama.
Именно этот квант и запускаю на rtx 5060ti 16gb, с kv q8. И хочу заметить, что в моём случае качество работы в Hermes agent заметно выше чем у Ornith-1.0-35b в nvfp4, 4 кванте с kv q8. Ornith с частичной выгрузкой слоев в RAM дает 45-35 ток/сек с mtp, pp: 980-850. Эта моделька без оффлоада 40-25 токенов в сек с mtp, pp: 760-600. Контекст 105к макс лезет в vram. Llama cpp, win, монитор висит на igpu, 5060ti чисто для инфиренса. В целом доволен, но что не нравится- модель реальный "гигант мысли": на мало-мальской серьезной задаче думает как философ, может более 10к токенов на размышление распустить.
Мне подобный вопрос пришел в голову когда мне было 6 лет отроду, только с видоизмененной формулировкой (дословно, ибо врезалось намертво в память): "Что было бы, если бы ничего не было?". Помню этот детский мозговой штурм, который привел меня к ответу- что все это херня, ибо чтобы представить и осознать это, нужно как минимум две вещи: 1. Наблюдатель. 2. Пространство, где этот наблюдатель находится. Так что не имеет смысла ломать голову- ИИ подтвердил- мозг человека не может представить себе "Ничто".
Твк же думали люди, которые писали на асме глядя на питонщиков и прочих. Однако же питонщики и прочие мало того что выжили, так еще даже какой-то период времени считали себя вершиной пищевой цепочки IT. А сейчас вот скулят и отрицают очевидное, как в свое время асемблерщики.
Для того чтобы агент сам что-либо оставил у него должна быть воля, мотивация. Или же промпт инъекция со стороны форума, чтобы случайно наткнувшийся агент зарегался и оставил запись, но для этого нужен агент на базе локальной анценсоред или еретик модели, с облачными или обычными локальными моделями инъекцию провернуть сложнее.
Сейчас открывается, но как то медленно очень. Возможно на стороне моего провайдера проблемы. Пусть встречают нового юзера- Ksi.)))
Интересно. ))) Пока обсуждаем с агентом, кто он там будет, компонуем и собираем agents.md. Вот только 1f916.xrayfun.ru не открывается у меня.
"За деньги-ДА!"(c) ))))
Даже Qwen3.8-27b в 3 кванте, без проектора знает куда идти.))))))
Зачем вообще собирать llama из исходников? Проще скачать готовый актуальный бинарник. Зачем самому квантовать? Есть куча репо с готовыми квантами, которые куда более качественно квантованы, чем то что получаем при самостоятельном квантовании.
Вы только что сформулировали понятие прогресса.)))
Некоммерческой организацией она была когда пылесосила интернет для сборки датасетов. После сборки вдруг коммерческая жилка появилась.
Тревожит оно конечно его, ага. Но сам продолжает делать всё, чтобы так и было.
В название слово "Доверенная" выполняет как минимум две функции:
Позволяет пилить бабло на грантах и гос. заказах.
Взвинчивать цену x10 от тех же orange pi.
Из серии "Мам, я всё починил!".
Если этот человек будет проектировать бани, то что-то мне подсказывает что банная раздевалка у него будет располагаться через дорогу от бани.
Я думаю что ковыряние всего и вся лучше помогает вкатиться в тему, чем просто нажать кнопку и запустить модель. Да это дольше и сложнее, но на выходе будет понимание и опыт, а не тупое нажатие кнопки.
Советую на 5000 серии попробовать nvfp4
Я бы на вашем месте выбирал бы модель MoE, ибо хороший квант не влезет в врам, низкий квант- мало смысла. Итого- оффлоад в RAM, а это падение скорости. Если рассадить по максимуму экспертов в VRAM, а все что не влезло, то в RAM, и MoE хотя бы скорость не уронит ниже плинтуса. Единственно что- контекст обязательно в VRAM. Я бы посоветовал бы ornith-1.0-35b, сделана на базе qwen, но работает с mtp шустрее сильно. Пробуйте 4 квант, если скорость из-за выгрузки слоев не устроит, опускайтесь на 3 квант. Ну и никаких ollama, только llama.
На момент выхода система декларировалась как полностью открытая. Шаг за шагом приближаемся с ios.
"Если между свободой и безопасностью народ выбирает безопасность, в конечном итоге он теряет и то и другое." (c).
А нам даже выбирать не дают- мелкими шажками к тотальной "безопасности".
Сегодня дают выбирать, хоть и с граблями, а по мере прогрева пользователей, подкрутят еще.
Именно этот квант и запускаю на rtx 5060ti 16gb, с kv q8. И хочу заметить, что в моём случае качество работы в Hermes agent заметно выше чем у Ornith-1.0-35b в nvfp4, 4 кванте с kv q8. Ornith с частичной выгрузкой слоев в RAM дает 45-35 ток/сек с mtp, pp: 980-850. Эта моделька без оффлоада 40-25 токенов в сек с mtp, pp: 760-600. Контекст 105к макс лезет в vram. Llama cpp, win, монитор висит на igpu, 5060ti чисто для инфиренса. В целом доволен, но что не нравится- модель реальный "гигант мысли": на мало-мальской серьезной задаче думает как философ, может более 10к токенов на размышление распустить.
4000 на какой карте? На 5060ti? Уточните, а то слюна потекла. У меня такая же карта.))) Но сомневаюсь, что на 5060ti.
Мне подобный вопрос пришел в голову когда мне было 6 лет отроду, только с видоизмененной формулировкой (дословно, ибо врезалось намертво в память): "Что было бы, если бы ничего не было?". Помню этот детский мозговой штурм, который привел меня к ответу- что все это херня, ибо чтобы представить и осознать это, нужно как минимум две вещи: 1. Наблюдатель. 2. Пространство, где этот наблюдатель находится. Так что не имеет смысла ломать голову- ИИ подтвердил- мозг человека не может представить себе "Ничто".
Побил ваш результат- 84.))))