Какие модели? Какой движок? Какие gpu? Сколько vram? Какой CPU? Версия PCIe? От этих факторов все зависит. Чем выше интенсивность обмена и хуже скорость этого pcie, тем меньше будет пользы.
mmap это вообще пакость. Она нужна вроде как чтобы модель быстрее стала доступна для использования даже пока все веса еще не загрузились, на деле только хуже делает и замедляет всё. На качество она влиять не должна.
Попробуйте всё запихнуть в GPU
То есть мы все слои пихаем в VRAM («Передача на GPU»), KVCache тоже туда. Всё что можно.
Длину контекста можно поставить любую, лишь бы в VRAM влезло. Для комфортной работы лучше 65к или 128к, хотя выше 48к у подобных моделей может начать ухудшаться мышление, особенно на низкой квантизацией (4K_M передаёт привет).
Я думаю речь о сообразительности. Всё таки опусосоннеты посуровей раз в 20, чем даже 122b/397b локальные модельки. Я тоже среди прочих гонял Qwen 3.6 35b a10b 4k_m. Она работает конечно как ракета, там под 10–15 строк в секунду вылетает. Но она, во‑первых на thinking может запросто потратить 10–30 секунд, а то и минуту, что немного портит впечатление от скорости, во‑вторых, может зациклиться, если ее заставлять читать какие‑нибудь консольные выводы при работе ffmpeg или установки пакетов питона. В‑третьих с некоторыми простыми задачами она тупо иногда не справляется. У 27b dense в этом плане получше конечно, но она в ~3 раза медленнее.
Я понимаю что можно взять другой рантайм, можно температуру покрутить и TopK, и ещё что‑нибудь, но когда ты практически решаешь задачу на это не хочется тратить время.
Локальные ЛЛМ на сегодняшний день, ИМХО про рутину и про бизнес‑логику, про установку настройку пакетов. Средние и сложные технические и/или нетривиальные задачи лучше им не давать, если нервы дороги.
Самый простой путь — в LMStudio открыть окно скачивания моделей. Там как магазин приложений на смартфоне. Ищите штуки которые поместятся в комп, смотрите число лайков и скачиваний, описание. Нажимаете «Download» — качается в фоне, пока качается одна или несколько моделей можно использовать текущие.
Зато dense может решать такую сложную и нетривиальную задачу как «Дай командную строку ffmpeg чтобы вытащить каждый 30 кадр из видео». И не уходит в зацикливание, и без thinking на 10к токенов. В отличие от 35ba3b. Скорость ниже раза в 3, это да (60 т/с вместо 180 т/с), но лучше получать медленнее результат, чем быстрее чушь)
Мне нравится как сделан интерфейс в Microsoft Office до 2003 версии включительно. Там все элементы на панельках можно как угодно перетащить и настроить под себя. Панельки вытаскиваются в отдельные окна, прилипают к краям экрана, группируются как угодно. А меню сверху и списки со шрифтами являются частным случаем таких перетаскиваемых кнопочек — туда можно впихивать нужное и убирать ненужное, настраивается абсолютно всё.
Фокус в том что эти менюшки‑кнопочки настраивались в GUI через Drag&Drop. То есть интерфейс был редактором самого себя. Ты не настраиваешь список команд в отдельном окне, ты буквально перетаскиваешь кнопки на панельку/менюшку.
Для простого пользователя это оверкилл+переусложнение. А вот для профессионального использования это прекрасно, я считаю. В VisualStudio кажется до 2008 версии так тоже было можно делать, потом порезали. Вообще, в современном тяжелом софте такое сейчас встречается. Например, в 3ds max есть кастомизируемый ленточный интерфейс, где тоже всё можно таскать и настраивать.
Всё относительно. В те времена это было «вау» и работало, потому что «Windows only» в те времена это даже хлеще чем сейчас «Anrdoid only». Применять современные мерки к тем штукам бессмысленно. Примерно как рассуждать о непрактичности карет с лошадьми на фоне автомобилей.
Фокус в том, что до недавнего времени господа ПЖ были единицами, и у большей части населения возможности реализовать вот этот вот набор поведенческих паттернов «дорвавшегося до власти человека» было мало. Как ведут себя отдельные индивиды с этой проблемой довольно давно известно и расписано в миллионах книг за тысячи лет. Но теперь эта возможность появилась у многих.
У большого количества людей, идущих на поводу у вот этих вот поощряемых ИИ «особенностей поведения», может образоваться (и скорее всего так и будет) некоторый набор эмерджентных свойств, ранее неизвестных. Как у единой социальной системы. Иными словами, раньше «дорвался до власти» было болезнью индивидов, а теперь это может стать эпидемией, которая породит ранее невиданные социальные процессы. Речь сейчас не про плохо это или хорошо, а про то, что это в принципе новая, ранее не изученная социальная динамика с трудно прогнозируемыми последствиями.
Другое дело, что сейчас в мире очень много штук, нагнетающих энтропию и непредсказуемость будущего, и вышеописанная штука может просто затеряться в общей картине.
Было дело, тогда это казалось высокими технологиями. Помню в школе, когда про саму возможность существования таких окон узнал, очень впечатлился и векторный редактор написал под это дело. Ну, чтобы такие окна пихать везде где можно :)
Я не говорил что это «правильно» или «не правильно». Я говорил о причинах, по которым до одного аспекта докапываются, а до другого не докапываются. Грубо говоря, художникам не повезло в данном случае быть «на виду» — продукт их труда видит больше людей, и больше вероятность, что кому то что‑то не понравится.
Я думаю, разница в том, что код игрок не видит, а контент — видит. Я сам не против ИИ, прогресс это хорошо, но я за качество. У большинства современных нейросетей с качеством результата проблемы. Если эти проблемы фиксить перед продакшеном (опять же не важно — руками или автоматом) — вопросов нет. Но их не фиксят.
Я вот играю. Если оно будет и вправду лучше, то есть не только в техническом исполнении, но и в смысловом наполнении — то почему бы и нет.
Но тот ИИ, что у нас сейчас есть, в подавляющем большинстве случаев делает хуже. И в смысловом, и в техническом аспектах. Вот тебе нравится что‑либо, ты начинаешь присматриваться, вглядываться в детали — а вместо деталей видишь слоп. И ощущение как будто тебя кинули. Видимость качества из характеристики продукта превращается в инструмент манипуляции вниманием, и это ничего кроме негатива и разочарования не вызывает.
Дополню по функции Mosaic: на потребительских картах она тоже есть, но в ограниченном варианте и называется Surround. От 2 до 5 экранов по горизонтали или вертикали (при этом у всех либо вертикальная либо горизонтальная ориентация). Точно также единый виртуальный экран + коррекция рамок.
Дома эта штука прекрасно себя показывает в играх. Правда часто приходится долго возиться, чтобы заставить игру вменяемо работать на широком виртуальном экране.
Так для 120 Гц+ это и делается в основном. Экраны 4K 120 Гц+ уже есть давно, сейчас уже 1000 Гц вроде мелькает (правда не 4К) + кривая оптимизация современных игр и лучи кушают очень‑очень много ресурсов.
У меня, например, без этих штук карта может выдать только около 55 fps, но если подключить XeSS (DLSS не работает) + MFG, легко получается 120–160 fps, и эта плавность реально заметна.
PS. Мне кажется не решает проблему, а купирует симптомы. По потолку уже коварно ползёт очень интересная муха, которая своей интересностью может разрушить его идеальный план.
Какие модели? Какой движок? Какие gpu? Сколько vram? Какой CPU? Версия PCIe? От этих факторов все зависит. Чем выше интенсивность обмена и хуже скорость этого pcie, тем меньше будет пользы.
Я не автор если что)
mmap это вообще пакость. Она нужна вроде как чтобы модель быстрее стала доступна для использования даже пока все веса еще не загрузились, на деле только хуже делает и замедляет всё. На качество она влиять не должна.
Попробуйте всё запихнуть в GPU
То есть мы все слои пихаем в VRAM («Передача на GPU»), KVCache тоже туда. Всё что можно.
Длину контекста можно поставить любую, лишь бы в VRAM влезло. Для комфортной работы лучше 65к или 128к, хотя выше 48к у подобных моделей может начать ухудшаться мышление, особенно на низкой квантизацией (4K_M передаёт привет).
Я думаю речь о сообразительности. Всё таки опусосоннеты посуровей раз в 20, чем даже 122b/397b локальные модельки. Я тоже среди прочих гонял Qwen 3.6 35b a10b 4k_m. Она работает конечно как ракета, там под 10–15 строк в секунду вылетает. Но она, во‑первых на thinking может запросто потратить 10–30 секунд, а то и минуту, что немного портит впечатление от скорости, во‑вторых, может зациклиться, если ее заставлять читать какие‑нибудь консольные выводы при работе ffmpeg или установки пакетов питона. В‑третьих с некоторыми простыми задачами она тупо иногда не справляется. У 27b dense в этом плане получше конечно, но она в ~3 раза медленнее.
Я понимаю что можно взять другой рантайм, можно температуру покрутить и TopK, и ещё что‑нибудь, но когда ты практически решаешь задачу на это не хочется тратить время.
Локальные ЛЛМ на сегодняшний день, ИМХО про рутину и про бизнес‑логику, про установку настройку пакетов. Средние и сложные технические и/или нетривиальные задачи лучше им не давать, если нервы дороги.
Самый простой путь — в LMStudio открыть окно скачивания моделей. Там как магазин приложений на смартфоне. Ищите штуки которые поместятся в комп, смотрите число лайков и скачиваний, описание. Нажимаете «Download» — качается в фоне, пока качается одна или несколько моделей можно использовать текущие.
Более умный начал душнить. Про проветривание. Я нахожу эту ненамеренную постсамоиронию очень человечной :)
Нынче уже лучше, чем год назад. Они по‑прежнему тупые, но простые задачи решать уже могут.
Просто надо трезво на это смотреть, без «Локальная qwen 4b a1b обогнала Claude Opus 4.7 в 99% тестов, облака больше не нужны!!1»
Зато dense может решать такую сложную и нетривиальную задачу как «Дай командную строку ffmpeg чтобы вытащить каждый 30 кадр из видео». И не уходит в зацикливание, и без thinking на 10к токенов. В отличие от 35ba3b. Скорость ниже раза в 3, это да (60 т/с вместо 180 т/с), но лучше получать медленнее результат, чем быстрее чушь)
Да
Ну, простота относительна. Я бы из бесплатного посоветовал LibreCAD или FreeCAD (последний вроде ожил, в апреле вышла 1.1.1, есть 3D).
Скрытый текст
Мне нравится как сделан интерфейс в Microsoft Office до 2003 версии включительно. Там все элементы на панельках можно как угодно перетащить и настроить под себя. Панельки вытаскиваются в отдельные окна, прилипают к краям экрана, группируются как угодно. А меню сверху и списки со шрифтами являются частным случаем таких перетаскиваемых кнопочек — туда можно впихивать нужное и убирать ненужное, настраивается абсолютно всё.
Фокус в том что эти менюшки‑кнопочки настраивались в GUI через Drag&Drop. То есть интерфейс был редактором самого себя. Ты не настраиваешь список команд в отдельном окне, ты буквально перетаскиваешь кнопки на панельку/менюшку.
Для простого пользователя это оверкилл+переусложнение. А вот для профессионального использования это прекрасно, я считаю. В VisualStudio кажется до 2008 версии так тоже было можно делать, потом порезали. Вообще, в современном тяжелом софте такое сейчас встречается. Например, в 3ds max есть кастомизируемый ленточный интерфейс, где тоже всё можно таскать и настраивать.
Всё относительно. В те времена это было «вау» и работало, потому что «Windows only» в те времена это даже хлеще чем сейчас «Anrdoid only». Применять современные мерки к тем штукам бессмысленно. Примерно как рассуждать о непрактичности карет с лошадьми на фоне автомобилей.
Фокус в том, что до недавнего времени господа ПЖ были единицами, и у большей части населения возможности реализовать вот этот вот набор поведенческих паттернов «дорвавшегося до власти человека» было мало. Как ведут себя отдельные индивиды с этой проблемой довольно давно известно и расписано в миллионах книг за тысячи лет. Но теперь эта возможность появилась у многих.
У большого количества людей, идущих на поводу у вот этих вот поощряемых ИИ «особенностей поведения», может образоваться (и скорее всего так и будет) некоторый набор эмерджентных свойств, ранее неизвестных. Как у единой социальной системы. Иными словами, раньше «дорвался до власти» было болезнью индивидов, а теперь это может стать эпидемией, которая породит ранее невиданные социальные процессы. Речь сейчас не про плохо это или хорошо, а про то, что это в принципе новая, ранее не изученная социальная динамика с трудно прогнозируемыми последствиями.
Другое дело, что сейчас в мире очень много штук, нагнетающих энтропию и непредсказуемость будущего, и вышеописанная штука может просто затеряться в общей картине.
Было дело, тогда это казалось высокими технологиями. Помню в школе, когда про саму возможность существования таких окон узнал, очень впечатлился и векторный редактор написал под это дело. Ну, чтобы такие окна пихать везде где можно :)
Я не говорил что это «правильно» или «не правильно». Я говорил о причинах, по которым до одного аспекта докапываются, а до другого не докапываются. Грубо говоря, художникам не повезло в данном случае быть «на виду» — продукт их труда видит больше людей, и больше вероятность, что кому то что‑то не понравится.
Я думаю, разница в том, что код игрок не видит, а контент — видит. Я сам не против ИИ, прогресс это хорошо, но я за качество. У большинства современных нейросетей с качеством результата проблемы. Если эти проблемы фиксить перед продакшеном (опять же не важно — руками или автоматом) — вопросов нет. Но их не фиксят.
Я вот играю. Если оно будет и вправду лучше, то есть не только в техническом исполнении, но и в смысловом наполнении — то почему бы и нет.
Но тот ИИ, что у нас сейчас есть, в подавляющем большинстве случаев делает хуже. И в смысловом, и в техническом аспектах. Вот тебе нравится что‑либо, ты начинаешь присматриваться, вглядываться в детали — а вместо деталей видишь слоп. И ощущение как будто тебя кинули. Видимость качества из характеристики продукта превращается в инструмент манипуляции вниманием, и это ничего кроме негатива и разочарования не вызывает.
Спасибо, не знал что такие карты ещё делают!
Дополню по функции Mosaic: на потребительских картах она тоже есть, но в ограниченном варианте и называется Surround. От 2 до 5 экранов по горизонтали или вертикали (при этом у всех либо вертикальная либо горизонтальная ориентация). Точно также единый виртуальный экран + коррекция рамок.
Дома эта штука прекрасно себя показывает в играх. Правда часто приходится долго возиться, чтобы заставить игру вменяемо работать на широком виртуальном экране.
Так для 120 Гц+ это и делается в основном. Экраны 4K 120 Гц+ уже есть давно, сейчас уже 1000 Гц вроде мелькает (правда не 4К) + кривая оптимизация современных игр и лучи кушают очень‑очень много ресурсов.
У меня, например, без этих штук карта может выдать только около 55 fps, но если подключить XeSS (DLSS не работает) + MFG, легко получается 120–160 fps, и эта плавность реально заметна.
К чему эти полумеры
PS. Мне кажется не решает проблему, а купирует симптомы. По потолку уже коварно ползёт очень интересная муха, которая своей интересностью может разрушить его идеальный план.