Последний пеликан

[yellow79]

Локально развёрнутые Qwen 3.8 (35B)

У Qwen3.8 нет версии в 35B

Забавные результаты получились. А можно добавить пару строк о "скромном железе", где вы запускали Qwen3.8 Flash Next? Ну и пару слов о квантизации запускаемых локальных моделей

[VaiMR]

Да, ошибочка вышла, поправил, спасибо. Параметры запуска моделей в llamacpp есть в начале, но если кратко, то 3.6 и 3.8 с Q8, а 3.8 flash next с UD-IQ4_XS. На мини ПК с unified memory FEVM FAEX1 128gb со скрипом стартует связка 3.6+3.8 или 3.6+3.8 Flash Next. Думаю об этой железке написать подробнее.

[Squoworode]

колено сгибается назад

Это пятка. Колено у птиц сгибается вперед, как у всех позвоночных, просто обычно его под перьями не видно.

[VaiMR]

Научно верное замечание, надо поправить по тексту. Спасибо!

[Dhwtj]

Не вижу на смартфоне анимации у части моделей (астра, например). Так и есть, половина моделей не сделала?

[VaiMR]

Странно, пока писал статью, посматривал на смартфоне страницы и адаптивность верстки на дополнительном маленьком экране компьютера. В статье скриншоты, а по ссылке превью страницы. Можно попробовать открыть исходные страницы из репозитория, так будет максимально чисто. htmlpreview.github.io может ломать что-то также.

[Ha_Emmid]

Странно сравнивать время генерации локальной 3.8 с облачными моделями. Как будто Астра или Дипсик не думали бы те же 1-2 часа на такой скорости.

[VaiMR]

Я, скорее, озвучил свою боль. Все упирается в доступное железо. Та же qwen 3.6 на rtx 16gb карточке выдаёт 100т/с.

Когда модель начинает на простой задаче переливать из пустого в порожнее, генерирует большой объем рассуждений, то скорость становится очень критичной характеристикой.

[Ha_Emmid]

Ну это я могу понять, просто именно как поинт в сравнении это звучало странно. =) Это же не "Очень спорная модель" как таковая, а скорее железо не совсем подходящее для запуска dense моделей.

А так, боюсь себе представить на самом деле какие там переливания у Астры внутри, просто мы thinking давно уже не видим у этих моделей и кажется что это квен такая задумчивая.

Ну и если реально боль, то есть же кванты которые в 16гб влезают с более приемлемыми скоростями - они не так плохи как некоторые думают, почему то боясь всего что ниже q8 как огня (подозреваю связано с тем как тупели старые модели на таких квантованиях).

[Ka463]

У меня вот такое нарисовал, пеликан-скайнет Дипсик 4.1, видно что с ногами чуток промахнулся, но ездит правильно, цепь анимируется, колеса крутятся, и даже анимация есть на заднем фоне, дроны, огонь в здании из окон

[VaiMR]

От генерации к генерации результат отличается, но я везде просто привел первые варианты, которые получились. На этом варианте много разных деталей, что тоже интересно

[Moog_Prodigy]

С лягушки-гонщика (результат гигачата) я полдня уже ржу как ненормальный) Это настолько плохо, что даже хорошо!