Обновить
29
Михаил Соколов@debagger

Инженер и программист

0,9
Рейтинг
2
Подписчики
Отправить сообщение

Контекст сжимается, модель «забывает» что делала

Так может сделать контекст побольше? А то 32К контекст на агентских задачах, это не серьезно.

С полным контекстом на 2080 Ti 22Gb VRAM (65 t/s на пустом контексте):

llama-server.exe -hf unsloth/Qwen3.6-35B-A3B-GGUF:IQ4_NL --host 0.0.0.0 --port 54321 --jinja --parallel 1 --flash-attn on --cache-type-k q8_0 --cache-type-v q8_0 --ubatch-size 256 --batch-size 256 --mmproj-offload --no-mmap --reasoning-budget 8192 --reasoning-budget-message " Thinking token budget is over. Now I must give an answer."

С половинным контекстом на 4080 16 VRAM, отключен модуль vision (120 t/s):

llama-server.exe -hf unsloth/Qwen3.6-35B-A3B-GGUF:IQ4_NL  --host 0.0.0.0 --port 54321 --jinja --parallel 1 --flash-attn on --cache-type-k q4_0 --cache-type-v q4_0 --ubatch-size 512 --batch-size 512 --mmproj-offload --no-mmap --reasoning-budget 8192 --reasoning-budget-message " Thinking token budget is over. Now I must give an answer."

Тут трейдоф - это скорость заполнения - из-за маленького батча она ниже.

зы. Кстати по поводу vision - какой же он днищенский у Gemma и какой божественный у Qwen, тут даже сравнивать нечего.

Да, я тоже удивился таким результатам. Я уже несколько дней тестирую на кодинге - очень хорошо себя показывает.

Чтобы такого не было надо локально запускать.

Текст получился плотным и логически связанным, но довольно зловещим...

Интересно было бы попробовать эту штуку на Obliterated моделях. Думаю, после их редакции, эта версия показалась бы няшной и кавайной )))

@SLY_G предлагаю сгенерировать следующую новость:

«Большой взрыв ИИ»: из-за искусственного интеллекта читатели Хабра перегружены сгенерированными новостями, которые никто не вычитывает

Здравствуйте! Пара вопросов:
1. Есть ли поддержка vision для Qwen3.5?
2. Где вы нашли Radeon AI PRO R9700 за $500? Полез смотреть, везде цена раза в 3 больше.

Здравствуйте. Ссылка на репозиторий не работает.

Tencent, это та контора, которая великий китайский файрволл обслуживает? Или я путаю?

Я даже начал его настраивать. А потом подумал: "Чтобы что?" и бросил эту затею )))

Сейчас нет, но такие периоды были в моей жизни. Если жить на берегу Средиземного моря, питаться морепродуктами и свежими фруктами-овощами, тогда о дефиците микроэлементов можно не париться конечно. А так, проще выпить таблетку.

Содержание цинка в белокочанной капусте — 0,4 мг на 100 г. Процент суточной потребности в цинке — 3%. Среднесуточная потребность в цинке — 12 мг.
В обычных сырых яблоках (на 100 г) содержание цинка очень низкое, ≈ 0,04 мг цинка на 100 г яблок с кожурой по данным USDA и других источников.

При недостатке цинка в рационе могут появляться такие основные признаки и эффекты:

Основные симптомы:

  • усиленная восприимчивость к инфекциям и частые простуды (иммунитет ослаблен)

  • плохое заживление ран и порезов

  • выпадение волос, тонкие волосы

  • сухая кожа, дерматиты, высыпания

  • ухудшение вкуса и обоняния

  • усталость, снижение энергии

  • потеря аппетита, снижение веса

  • у детей — замедление роста и развития

Здоровых не бывает. Есть недообследованные ))). И потом, что вы имеете ввиду под минимально разнообразной едой? Картофель и макароны с сосисками - подходят под ваши критерии?

Еда, это не только калории, но и набор витаминов, микроэлементов. Если пища "пустая", то организм будет требовать еще. Не потому что мало калорий, а из-за дефицита веществ, необходимых для нормального функционирования. По своему опыту - пока пью витамины на постоянной основе, могу спокойно проходить мимо холодильника, набитого вкусняшками, делаю перерывы в 14-16 часов между приемами пищи. Как перестаю, аж трясет, надо что-то съесть.

Альтману просто надо продавать свою балалайку, он ради этого готов любую дичь втирать.

7 глава тяжело зашла. Напомнило мемный диалог Уилла Смита с ИИ. Про то, что может ли машина создать шедевр и вот это вот всё.
С концовкой не согласен.

Скрытый текст

Я так понял, что ИИ из ГГ сделал зомби с запертым разумом. Но зачем, если он прекрасно знает всевозможные способы психологических манипуляций человеками и может рулить им как хочет, не лишая воли.
Уверен что нам найдется место в будущем, где ИИ будет умнее нас.

А еще вспомнился почему-то замечательный рассказ «О выгодности дракона» Станислава Лема. В конце концов, какая разница что делать, кормить дракона, или, например, производить скрепки, если это приводит к развитию прогресса )).

Зашел сюда за этим комментарием ))

Вот лопнет пузырь, отлетит всякая шелуха, тогда и пойдет нормальная работа по освоению технологии. А такие статьи как эта - просто попытка еще немного поддержать волну хайпа.

Информация

В рейтинге
2 111-й
Откуда
Новоуральск (Свердловская обл.), Свердловская обл., Россия
Дата рождения
Зарегистрирован
Активность