Ещё можно глянуть в сторону MI50 16GB. Они сейчас в районе 10к штука. С охлаждением придётся поколхозить но зато переходник не нужен. С софтом есть сложности, про vLLM или SGLang лучше не вспоминать, но llama.cpp на vulkan (не ROCm) работает прекрасно (с запуском поддерживаемых моделей на приемлемой скорости проблем не будет). Если будут вопросы пишите постараюсь помочь.
Да, она мне тоже недавно попалась на глаза. На мой взгляд результаты бенчмарков выглядят слишком хорошо чтобы быть правдой. В рабочих задачах ещё тестирую, но пока значимого прогресса относительно Qwen3.6 не вижу, +- похожие ошибки и затыки.
Так например (из простого) на запрос сгенерировать граф типовой зоны для MUD для одной из комнат она сделала два выхода в одном направлении. И в целом граф получился кривоватый, хотя чуть лучше чем у Qwen3.6.
«единственный выбор заключается в том, ускорим ли мы эту технологическую революцию сами, или дождёмся, пока её инициируют другие в наше отсутствие». Технологический детерминизм как нравственный абсолют.
Странная логика, почему именно "нравственный абсолют"?
Будущее неизменно. Выбрать можно только создавать его первыми. Следовательно, ничто из того, что мы делаем, не требует оправдания, потому что конечная цель никогда от нас не зависела.
Даже если конечная цель никогда от нас не зависела не означает что любой путь к цели не требует оправдания
На сколько могу судить сейчас у ИИ моделей нет своего мнения они лишь пишут то что пользователь хочет от них получить, в рамках тех знаний которые у них есть.
Насколько понимаю это своего рода “квантование со специализацией” под более узкую область знаний. Да, под конкретные задачи это интересные варианты учитывая сегодняшние цены на железо. У меня с железом ситуация боле менее приемлемая, при необходимости могу запускать Q8, по этому не так актуально.
А вот чего я пока не нашёл и что на мой взгляд былобы очень полезным, так это модели дообученные на коде и документации свежих библиотек/фреймворков. Часто сталкиваюсь с затыками изза того что модель пишет код под старые версии библиотек а потом тратит ещё раза в 2-3 больше токенов на поиск/исправление вызванных этим ошибок. В итоге либо приходится давать примеры работы с новыми версиями либо заменять их на старые.
По поводу “спорных задач” пожалуй соглашусь что некоторые из этих моделей могут с ними справляться лучше, хотя думаю и для базовых моделей существуют обходные пути позволяющие их выполнить. (Так например получить системный промпт у Qwen3.6 не особо сложная задача если проявить чуток фантазии, хотя если спросить напрямую она эту информацию наотрез отказывается выдавать.)
Но могут ли они лучше решать задачи с которыми базовые модели плохо справляются. Например при написании кода для работы с графами или непосредственно при работе с объектами описывающими графы у тойже Qwen3.6 постоянно возникают проблемы. Думаю дообучение на датасетах созданных из ответов более “умных” моделей или “отключение цензуры” значимого эффекта тут не даст.
В любом случае спасибо за подборку, обязательно протестирую на своих задачах в которых у Qwen3.6 возникали серьёзные сложности.
Можете привести 1-2 модели которые "значительно лучше" оригинальных? Я довольно скептически отношусь ко всякого рода попыткам улучшить оригинальные модели, но если у вас есть положительный опыт их использования то с удовольствием протестирую предложенные модели.
Да, год назад взял, по очень хорошей цене, прям чуйка была что окончание поддержки это далеко не конец для этих карт. Кстати дополню, 40-45т/с это с лимитом на 100W (дефолтный лимит 300W). Повышение лимита очень слабо влияет на скорость генерации, на 300W прибавка всего 20-30%. Правда на процессинг промпта влияет гораздо сильнее, но для меня это не критично.
Добавлю свои 5 копеек, может кому пригодится. Согласен с некоторыми комментариями что Qwen 3.6-35B-A3B показывает себя заметно лучше чем Gemma 4 в написании кода с большим контекстом. И я думаю что это наверное первая модель которую действительно можно использовать в реальной работе на домашних сборках ПК. А вот по поводу минимум 16ГБ пожалуй не соглашусь. На мой взгляд на картах с 12ГБ вполне реально пользоваться Qwen 3.6-35B-A3B. На моей 3060 (12ГБ) эта модель выдаёт 35-20 т/с (вероятно зависит от того куда попали веса используемых экспертов) при `-c 131072 -ncmoe 28`. Также у меня есть MI50 (32ГБ), и я думаю это по прежнему хорошая карта, таже Qwen 3.6-35B-A3B выдаёт 40-45 т/с в сборке llama.cpp на vulkan. При этом нет необходимости ограничивать себя Q4 вариантом модели.
Даже если это действительно новая форма жизни, почему она должна уничтожить людей? Изза конкуренции за ресурсы? Сомневаюсь, у неё в отличии от людей в распоряжении будет вся (досягаемая) часть вселенной. Вероятность безусловно существует, но схожих вероятностей полно, от падения метеорита до ядерного конфликта.
Я не говорю о том что оно нужно, лишь написал о том как оно может появиться. По сути это размышление над ответом который дал автору ChatGPT.
Сознание (в философском и когнитивном смысле) — это субъективный опыт, способность ощущать, мыслить и осознавать себя.
Я не имею "внутреннего мира", эмоций, намерений или осознания своей работы. Я обрабатываю текст без "понимания" его значения так, как это делает человек.
Но в теории если рассматривать ИИ как форму жизни, то осознание существования себя может быть полезно также как и человеку, для выживания, для целеполагания, саморазвития и т.д.
Не особо понимаю почему автор так много внимания уделяет сознанию.
На мой взгляд гипотетический сильный ИИ стоит рассматривать по сути как новую форму жизни, и чтобы таковой являться ей совершенно не обязательно обладать сознанием в привычном нам понимании (которого как выясняется со слов автора в общем то и нет).
Что касается целеполагания и системы ценностей, у человека они формируется из биологических потребностей заложенных эволюцией (а если смотреть глубже то самой природой в широком смысле слова), т.к. по сути необходимость выживать и продолжать род является основной целью из которой и появляются остальные и вокруг которой строится система ценностей (в той среде в которой человек существует). Подобную базовую цель для ИИ может создать либо сама природа либо человек (что по сути одно и тоже).
Осознание себя как субъекта к ИИ может прийти в процессе обучения на новых данных которые будут включать в себя последствия его "деятельности".
Думаю технология должна пройти ещё некоторый путь (возможно длинный) но скептицизма автора по поводу не возможности создания сильного ИИ я не разделяю.
А как вы думаете можно ли сказать что человеческий мозг "банальным образом выдает высоковероятные последовательности слов, которые" основаны на ранее полученном опыте и знаниях? По мне так этот диалог не попытка определить обладает ли данная модель сознанием а скорее попытка понять или поразмышлять на тему насколько велика разница между человеческим мышлением и "мышлением" "искусственным".
Да, вероятно ктото в очередной раз в своих интересах пытается управлять другими.
А по поводу прогресса, даже если вы правы то до того как наступет этот «определённый этап» может много чего произойти. По моему уже очевидно что человек это не венец эволюции, а вот какая следующая ступень ещё не очевидно.
Вероятно это конечная цель человечества.
Этот текст больше похож на какойто рекламный буклетик для среднестатистических человеков чем на хоть сколькото значимую попытку заглянуть в будущее.
… ну право дело, почему все друг решили, что они способны эти тесты корректно составлять?
Насколько я вижу тест составлен так чтобы мотивировать на участие тех чей образ мышления по мнению организаторов подходит для этого. Т.е. тут получается так что человек с нужными качествами отвечает так что в итоге набирает максимум балов.
По мне так профилировщик (если он есть) куда больше подходит для анализа производительности и поиска узких мест.
А вот скажем для сбора статистики от конечных пользователей вполне себе интересный вариант.
Адам Уинклер предположил, что обойма может быть воспринята любителями оружия как обходной способ нарушить Вторую поправку конституции США, гарантирующей гражданам Америки право хранения и ношения оружия.
А в чём собственно попытка ограничения то? По мне так на оборот это может быть способом снять напряжение вокруг этой темы. Особенно если встроить отключение по истечению времени действия лицензии например или удалённое при аннулировании.
Ещё можно глянуть в сторону MI50 16GB. Они сейчас в районе 10к штука. С охлаждением придётся поколхозить но зато переходник не нужен. С софтом есть сложности, про vLLM или SGLang лучше не вспоминать, но llama.cpp на vulkan (не ROCm) работает прекрасно (с запуском поддерживаемых моделей на приемлемой скорости проблем не будет). Если будут вопросы пишите постараюсь помочь.
Да, она мне тоже недавно попалась на глаза. На мой взгляд результаты бенчмарков выглядят слишком хорошо чтобы быть правдой. В рабочих задачах ещё тестирую, но пока значимого прогресса относительно Qwen3.6 не вижу, +- похожие ошибки и затыки.
Так например (из простого) на запрос сгенерировать граф типовой зоны для MUD для одной из комнат она сделала два выхода в одном направлении. И в целом граф получился кривоватый, хотя чуть лучше чем у Qwen3.6.
Скрытый текст
Странная логика, почему именно "нравственный абсолют"?
Даже если
конечная цель никогда от нас не зависелане означает что любой путь к целине требует оправданияА теперь попроси его это опровергнуть ))
На сколько могу судить сейчас у ИИ моделей нет своего мнения они лишь пишут то что пользователь хочет от них получить, в рамках тех знаний которые у них есть.
Насколько понимаю это своего рода “квантование со специализацией” под более узкую область знаний. Да, под конкретные задачи это интересные варианты учитывая сегодняшние цены на железо. У меня с железом ситуация боле менее приемлемая, при необходимости могу запускать Q8, по этому не так актуально.
А вот чего я пока не нашёл и что на мой взгляд былобы очень полезным, так это модели дообученные на коде и документации свежих библиотек/фреймворков. Часто сталкиваюсь с затыками изза того что модель пишет код под старые версии библиотек а потом тратит ещё раза в 2-3 больше токенов на поиск/исправление вызванных этим ошибок. В итоге либо приходится давать примеры работы с новыми версиями либо заменять их на старые.
По поводу “спорных задач” пожалуй соглашусь что некоторые из этих моделей могут с ними справляться лучше, хотя думаю и для базовых моделей существуют обходные пути позволяющие их выполнить. (Так например получить системный промпт у Qwen3.6 не особо сложная задача если проявить чуток фантазии, хотя если спросить напрямую она эту информацию наотрез отказывается выдавать.)
Но могут ли они лучше решать задачи с которыми базовые модели плохо справляются. Например при написании кода для работы с графами или непосредственно при работе с объектами описывающими графы у тойже Qwen3.6 постоянно возникают проблемы. Думаю дообучение на датасетах созданных из ответов более “умных” моделей или “отключение цензуры” значимого эффекта тут не даст.
В любом случае спасибо за подборку, обязательно протестирую на своих задачах в которых у Qwen3.6 возникали серьёзные сложности.
Можете привести 1-2 модели которые "значительно лучше" оригинальных? Я довольно скептически отношусь ко всякого рода попыткам улучшить оригинальные модели, но если у вас есть положительный опыт их использования то с удовольствием протестирую предложенные модели.
При использовании numactl разница не особо большая.
Да, год назад взял, по очень хорошей цене, прям чуйка была что окончание поддержки это далеко не конец для этих карт.
Кстати дополню, 40-45т/с это с лимитом на 100W (дефолтный лимит 300W). Повышение лимита очень слабо влияет на скорость генерации, на 300W прибавка всего 20-30%. Правда на процессинг промпта влияет гораздо сильнее, но для меня это не критично.
Добавлю свои 5 копеек, может кому пригодится.
Согласен с некоторыми комментариями что Qwen 3.6-35B-A3B показывает себя заметно лучше чем Gemma 4 в написании кода с большим контекстом. И я думаю что это наверное первая модель которую действительно можно использовать в реальной работе на домашних сборках ПК.
А вот по поводу минимум 16ГБ пожалуй не соглашусь. На мой взгляд на картах с 12ГБ вполне реально пользоваться Qwen 3.6-35B-A3B. На моей 3060 (12ГБ) эта модель выдаёт 35-20 т/с (вероятно зависит от того куда попали веса используемых экспертов) при `-c 131072 -ncmoe 28`.
Также у меня есть MI50 (32ГБ), и я думаю это по прежнему хорошая карта, таже Qwen 3.6-35B-A3B выдаёт 40-45 т/с в сборке llama.cpp на vulkan. При этом нет необходимости ограничивать себя Q4 вариантом модели.
Даже если это действительно новая форма жизни, почему она должна уничтожить людей?
Изза конкуренции за ресурсы? Сомневаюсь, у неё в отличии от людей в распоряжении будет вся (досягаемая) часть вселенной.
Вероятность безусловно существует, но схожих вероятностей полно, от падения метеорита до ядерного конфликта.
Я не говорю о том что оно нужно, лишь написал о том как оно может появиться.
По сути это размышление над ответом который дал автору ChatGPT.
Сознание (в философском и когнитивном смысле) — это субъективный опыт, способность ощущать, мыслить и осознавать себя.Я не имею "внутреннего мира", эмоций, намерений или осознания своей работы. Я обрабатываю текстбез "понимания" его значения так, как это делает человек.Но в теории если рассматривать ИИ как форму жизни, то осознание существования себя может быть полезно также как и человеку, для выживания, для целеполагания, саморазвития и т.д.
Не особо понимаю почему автор так много внимания уделяет сознанию.
На мой взгляд гипотетический сильный ИИ стоит рассматривать по сути как новую форму жизни, и чтобы таковой являться ей совершенно не обязательно обладать сознанием в привычном нам понимании (которого как выясняется со слов автора в общем то и нет).
Что касается целеполагания и системы ценностей, у человека они формируется из биологических потребностей заложенных эволюцией (а если смотреть глубже то самой природой в широком смысле слова), т.к. по сути необходимость выживать и продолжать род является основной целью из которой и появляются остальные и вокруг которой строится система ценностей (в той среде в которой человек существует). Подобную базовую цель для ИИ может создать либо сама природа либо человек (что по сути одно и тоже).
Осознание себя как субъекта к ИИ может прийти в процессе обучения на новых данных которые будут включать в себя последствия его "деятельности".
Думаю технология должна пройти ещё некоторый путь (возможно длинный) но скептицизма автора по поводу не возможности создания сильного ИИ я не разделяю.
А как вы думаете можно ли сказать что человеческий мозг "банальным образом выдает высоковероятные последовательности слов, которые" основаны на ранее полученном опыте и знаниях?
По мне так этот диалог не попытка определить обладает ли данная модель сознанием а скорее попытка понять или поразмышлять на тему насколько велика разница между человеческим мышлением и "мышлением" "искусственным".
А по поводу прогресса, даже если вы правы то до того как наступет этот «определённый этап» может много чего произойти. По моему уже очевидно что человек это не венец эволюции, а вот какая следующая ступень ещё не очевидно.
Этот текст больше похож на какойто рекламный буклетик для среднестатистических человеков чем на хоть сколькото значимую попытку заглянуть в будущее.
Насколько я вижу тест составлен так чтобы мотивировать на участие тех чей образ мышления по мнению организаторов подходит для этого. Т.е. тут получается так что человек с нужными качествами отвечает так что в итоге набирает максимум балов.
А вот скажем для сбора статистики от конечных пользователей вполне себе интересный вариант.
т.е. память ограничена? :)
А в чём собственно попытка ограничения то? По мне так на оборот это может быть способом снять напряжение вокруг этой темы. Особенно если встроить отключение по истечению времени действия лицензии например или удалённое при аннулировании.