Вы написали: "чем меньше размер модели, тем быстрее работает" думаю это не совсем так либо зависит от поколения видеокарты. На 2060 12GB и 5070 я наблюдал зависимость скорости не от размера, а от количества Активных параметров. То есть Dense модель Qwen 27B у которой все 27 параметров активны работала сильно медленней чем Qwen 35B A3B у которой всего 3B параметров активны. И даже на 2060 12GB я получал 60-70 tps - то есть половину скорости от 5070. Но в случае с GTX1080Ti 11 Gb возможно это работает по другому и размер влияет сильнее. И у GTX1080Ti не 12Gb, а 11Gb видеопамяти, возможно у вас модель не помещается в память и поэтому работает медленнее? Модель должна помещаться в память, тогда будет работать быстрее.
Попробуйте модель ColbertV2 через библиотеку fastembed. Мне она дала сильно лучше результаты и ответы от RAG чатбота по документам чем простые модели приведённые в статье.
Эх 27B медленный конечно 27tps всего, Вот если бы они сделали версию MoE 35B - Qwen3.6 35B A3B то цены бы ему не было. Хотя он и в 2bit квантовании от Unsloth очень неплох. Но занимает 10ГБ.
Сильно зависит от задачи. Например для некоторых данных проще использовать реляционную базу данных, скил и хелпер скрипты для получения данных и обновления и в таком варианте ллм может работать лучше с структурированными и с точными данными.
Немного не в тему статьи, но в тему ПК для Апокалипсиса и сжатия страниц и википедии, вспомнился такой древний бенчмарк архиваторов от Matt Mahoney который до сих пор обновляется. Там собраны все лучшие известные архиваторы и сделаны бенчмарки на 1GB текстов Английской Википедии. Есть замеры времени сжатия и распаковки, использования оперативки и размера архиватора. Тем кто захочет сжимать Википедию возможно будет полезно)
Я для этих целей использую KaraKeep. Это self-hosted bookmark приложение, которое позволяет сохранять ещё и текст и искать по нему и создаёт саммари и тэги для страниц с помощью ИИ. И есть режим чтения сохранённого текста. Да, бывает часто что страницы и информация пропадают и это позволяет сохранить информацию, не всё, но хотя бы основной текст сайта.
Qwen3.5–35B сколько tps ?
Вы написали: "чем меньше размер модели, тем быстрее работает" думаю это не совсем так либо зависит от поколения видеокарты. На 2060 12GB и 5070 я наблюдал зависимость скорости не от размера, а от количества Активных параметров. То есть Dense модель Qwen 27B у которой все 27 параметров активны работала сильно медленней чем Qwen 35B A3B у которой всего 3B параметров активны. И даже на 2060 12GB я получал 60-70 tps - то есть половину скорости от 5070. Но в случае с GTX1080Ti 11 Gb возможно это работает по другому и размер влияет сильнее. И у GTX1080Ti не 12Gb, а 11Gb видеопамяти, возможно у вас модель не помещается в память и поэтому работает медленнее? Модель должна помещаться в память, тогда будет работать быстрее.
Извиняюсь, опечатался: на rtx 5070 с 12гб выдаёт около 140-150 tps у меня.
Вы на какой видеокарте запускали тесты?
А Qwen 3.6 35B A3B не пробовали? На rtx 5070 с 12гб выдаёт около 15tps в 2бита от Bartowski и вполне сносно отвечает на удивление для 2 бит кванта.
Попробуйте модель ColbertV2 через библиотеку fastembed. Мне она дала сильно лучше результаты и ответы от RAG чатбота по документам чем простые модели приведённые в статье.
Жду в 2 bit для 12gb vram
Что-то зачастили) То Y-Combinator своего рабочего агента выпустил, теперь Cloudflare. Все хотят кусок от пирога OpenClaw и Hermes откусить.
Эх 27B медленный конечно 27tps всего, Вот если бы они сделали версию MoE 35B - Qwen3.6 35B A3B то цены бы ему не было. Хотя он и в 2bit квантовании от Unsloth очень неплох. Но занимает 10ГБ.
Теперь нужно запустить Дум на карте проездной от метро.
Взяли бы тогда Python, его ИИ поддерживает хорошо))
Много букв сейчас разных понаделали. Ещё MLP есть - Minimal Lovable Product - не обделённый любовью продукт)
И мамы Била Гейтса которая работала вместе с исполнительным директором IBM. Я думаю комментатор выше это имел в виду говоря о случайностях.
Сильно зависит от задачи. Например для некоторых данных проще использовать реляционную базу данных, скил и хелпер скрипты для получения данных и обновления и в таком варианте ллм может работать лучше с структурированными и с точными данными.
В 24GB VRAM прикрасно влезут и свежие Qwen3.5-3.6 27B и 35B и будут сильно лучше чем устаревший Mistral 7B.
Немного не в тему статьи, но в тему ПК для Апокалипсиса и сжатия страниц и википедии, вспомнился такой древний бенчмарк архиваторов от Matt Mahoney который до сих пор обновляется. Там собраны все лучшие известные архиваторы и сделаны бенчмарки на 1GB текстов Английской Википедии. Есть замеры времени сжатия и распаковки, использования оперативки и размера архиватора. Тем кто захочет сжимать Википедию возможно будет полезно)
https://mattmahoney.net/dc/
Я для этих целей использую KaraKeep. Это self-hosted bookmark приложение, которое позволяет сохранять ещё и текст и искать по нему и создаёт саммари и тэги для страниц с помощью ИИ. И есть режим чтения сохранённого текста. Да, бывает часто что страницы и информация пропадают и это позволяет сохранить информацию, не всё, но хотя бы основной текст сайта.
Похоже быстрее будет несколько раз спросить Qwen и поправить ошибки если будут чем один ответ дождаться от glm.
Если делать такой бенчмарк(сравнение), то ещё с учётом скорости ответов надо.
Или Психиатр)
Шестой сделай сам)
Можно ещё Qwen3.5 27B или 35B попробовать.