В общем я понял, что надо поставить эксперимент, тем более что всё у меня для этого есть. В любом случае спасибо, что объяснили дебилу мне, как оно унутрях там работает.
Так вы наверное говорите про конфигурацию, когда модель полностью влазит в память одной видеокарты. Там хоть по диал-апу можно соединиться. А если у меня, например, две карты по 16, а модель хочет 32 - значит её так размазывает, что часть агентов на одной карте, а часть на другой? У той же нвидии при соединение карт через NVLink память как-бы объединяется. Как та же плотная модель без MoE работает тогда? Разве между агентами не происходит активный обмен данными?
P.S. Просто если окажется, что я вот это как раз и понял неправильно, то я просто воткну свою старую 6800xt второй картой в текущую машину и буду иметь 32 гига памяти и гонять хоть и маленькие, но в нормальной квантизации нейронки.
Именно так. Та же Qwen3.8 уже сильно умнее 3.6. Но сейчас пока ещё квантизация на маленьких размерах сильно меняет. Если Q_4 от Q_8 практически не отличить, а кто-то утверждает, что и с F16 не различает, то уже Q_3_чегототам или Q_2 модели ощутимо тупеют - зато влазят целиком в видеопамять. Учитывая прогресс локальных всего за прошедший год, то ещё через год жду, что станет совсем хорошо.
Софтово как раз мне более понятно что делать, я на текущем компьютере в очень ограниченном режиме песочницы это всё ковыряю (9070 XT 16GB VRAM). Естественно в плохом квантовании, но понять разницу между плотной и MoE или как оффлоадинг влияет на производительность можно. Эх, где же Qwen3.8-35B-A3B спрятали...
Вот с железом вопрос острее - оно всё же немалых денег стоит и не хочется собрать что-нибудь, что окажется не сильно-то и лучше. Да и модели хочется побольше запускать, да в кванте "поумнее".
Воспользуюсь статьёй и навалю комментарий (чтобы почитать ответы), как я за всё это время и сотни статей понял сборку машины для локального ИИ.
Никаких старых карт без тензорных ядер. P100 потому и стоят как грязь, что они жутко медленные и никому не нужны. Майнинговые CMP 170HX из грязи потому и вылезли, что хорошо умеют в инференс после разлочки в А100.
Надо брать одну карту с максимально возможным объёмом памяти. Если уж очень нужно взять две - обязательно с мостом NVLink. Никакой PCI-E любой версии и ширины не даст нормальной скорости для работы нейронки на двух картах. Тем более упомянутый в статье Xeon E5-2680 v4, у которого шина всего-лишь 3.0.
Остальная комплектуха не так важна, пока нейросети влазят в VRAM. Если не влазят - нужна быстрая память и шина PCI-E.
В любом случае отталкиваемся от железа в наличии. Аликсеон хорош, если больше вообще ничего нет. У меня есть мой старый комп на Ryzen 5950X, из него можно собрать отличный сервер с одной картой. С двумя, если есть NVLink - моя материнка даже не может делить два порта на х8, второй работает только на х4 скорости максимум.
Скорее всего в 4026 году просто истекли сертификаты, которые за 2000 лет никто не обновлял ). "Пофиксить" такое можно разве что выпуском очень долгоживущих сертов, чем заниматься никто не будет по множеству причин.
SteamDB с 22 года наверное единственный способ посмотреть информацию из Стима про "недоступно в вашем регионе" игру. Плюс там очень много подробной служебной информации - например, какие файлы были изменены в апдейте игры или цены в различных регионах для оценки хотелок перекупов.
А что с ProtonDB не так? Он делает одну функцию - сбор отзывов о работоспособности - и делает её вполне нормально. Единственно надо не забывать информацию о системе там обновлять вручную перед отзывом, а то как-то не посмотрел и отправил репорт на свою позапрошлую конфигурацию.
Пока ещё об этом думают. В винде и в KDE это поведение сохранилось (другими не пользуюсь, не знаю). Вот есть примеры - у меня курсор в самом углу, а кнопка подсвечивается и даже попап есть - можно нажать и действие выполнится.
Qt Dolphin в KDE
GTK Firefox в KDE
У Apple помню в гайдлайнах для кнопок даже был термин (название которого я забыл), что для кнопок размер тач области должен быть больше, чем видимые границы кнопки. Особенно для маленьких кнопок его нужно делать размером удобным для пальца. Правда в последнее время мало кто это соблюдает, постоянно попадаются мобильные приложения, где даже мизинцем в кнопку не попасть.
Всё зависит от предпочтений. Если нужен ещё один браузер, то хромиум отличный вариант. А бонусом гостовое шифрование пусть будет - не удивлюсь, если те же госуслуги скоро часть функционалана него завяжут. Всяко лучше, чем яшка.
Ещё до всех этих приколов с сертификатами для работы с госухой поставил Chromium GOST (про его существование почему-то все забывают). Просто закинул сертификаты в него и пользуюсь браузером только для банков и прочей налоговой.
Ну перетаскивание здоровенного проекта с node на deno (особенно 4 года назад) было куда более сложной задачей (совместимым node api в deno тогда и не пахло), чем за недельку запилить либу и в двух местах поменять импорты (в проекте к счастью уже была абстракция).
А сегодня я просто стараюсь сразу писать на расте и всё =)
На работе писал на napi-rs библиотеку, оборачивающую reqwest, ещё года 4 назад. Есть сервис, который на один серверный запрос может сделать десяток, а то и сотню клиентских запросов, отчего нода прямо загибалась. При написании пришлось отказаться от большого количества сахара (включая встроенный tokio) и писать в compat-mode. Оверхед со строками решился просто - вся коммуникация между JS-Rust ограничена Buffer (он единственный позволяет шарить память без копирования) и небольшим JS объектом для инициализации. В итоге из раста экспортировалось всего 4 метода. А на JS стороне обернули нативную часть, где входящие чанки Bufferа прогонялся через TextDecoder и в конце через тот же JSON.parse - они умеют в string interning и получилось очень быстро.
Для меня в дебиане есть один "минус" - в stable "тухлые" пакеты для использования в качестве десктопа. Не поймите меня неправильно, я сам люблю дебиан и использую его у себя на серверах везде. У родителей стоит вообще Linux Mint уже лет 10, удалённо ставлю только мажорные обновления версии и всё. Но когда мне надо на 9950х3д2 + 9070хт комфортно поиграть, то я хочу последнюю месу и ядро, да тот же кде свежий со всякими фиксами в придачу. Конечно всегда можно включить какой-нибудь sid, но по моему опыту он намного мене стабильный и куда чаще ломается, чем арч и производные.
Для себя выбрал CachyOS по многим причинам, включая изкоробочные btrfs+snapshots. Конечно это можно и на дебиане сделать, но в моём случае этот арчепроизводный требует куда меньше шагов для настройки под себя. Если что-то пошло не так, то всегда есть откат на снапшот (пока ни разу не пригодились). Те три с половиной софтины, которых нет в арче или ауре, пакетирую сам из тех же deb, rpm или appimage, тем более что формат PKGBUILD примитивный донельзя.
Пока рано. У нас ещё GT210/GT710 есть.
В общем я понял, что надо поставить эксперимент, тем более что всё у меня для этого есть. В любом случае спасибо, что объяснили дебилу мне, как оно унутрях там работает.
Так вы наверное говорите про конфигурацию, когда модель полностью влазит в память одной видеокарты. Там хоть по диал-апу можно соединиться. А если у меня, например, две карты по 16, а модель хочет 32 - значит её так размазывает, что часть агентов на одной карте, а часть на другой? У той же нвидии при соединение карт через NVLink память как-бы объединяется. Как та же плотная модель без MoE работает тогда? Разве между агентами не происходит активный обмен данными?
P.S. Просто если окажется, что я вот это как раз и понял неправильно, то я просто воткну свою старую 6800xt второй картой в текущую машину и буду иметь 32 гига памяти и гонять хоть и маленькие, но в нормальной квантизации нейронки.
Именно так. Та же Qwen3.8 уже сильно умнее 3.6. Но сейчас пока ещё квантизация на маленьких размерах сильно меняет. Если Q_4 от Q_8 практически не отличить, а кто-то утверждает, что и с F16 не различает, то уже Q_3_чегототам или Q_2 модели ощутимо тупеют - зато влазят целиком в видеопамять. Учитывая прогресс локальных всего за прошедший год, то ещё через год жду, что станет совсем хорошо.
Софтово как раз мне более понятно что делать, я на текущем компьютере в очень ограниченном режиме песочницы это всё ковыряю (9070 XT 16GB VRAM). Естественно в плохом квантовании, но понять разницу между плотной и MoE или как оффлоадинг влияет на производительность можно. Эх, где же Qwen3.8-35B-A3B спрятали...
Вот с железом вопрос острее - оно всё же немалых денег стоит и не хочется собрать что-нибудь, что окажется не сильно-то и лучше. Да и модели хочется побольше запускать, да в кванте "поумнее".
Воспользуюсь статьёй и навалю комментарий (чтобы почитать ответы), как я за всё это время и сотни статей понял сборку машины для локального ИИ.
Никаких старых карт без тензорных ядер. P100 потому и стоят как грязь, что они жутко медленные и никому не нужны. Майнинговые CMP 170HX из грязи потому и вылезли, что хорошо умеют в инференс после разлочки в А100.
Надо брать одну карту с максимально возможным объёмом памяти. Если уж очень нужно взять две - обязательно с мостом NVLink. Никакой PCI-E любой версии и ширины не даст нормальной скорости для работы нейронки на двух картах. Тем более упомянутый в статье Xeon E5-2680 v4, у которого шина всего-лишь 3.0.
Остальная комплектуха не так важна, пока нейросети влазят в VRAM. Если не влазят - нужна быстрая память и шина PCI-E.
В любом случае отталкиваемся от железа в наличии. Аликсеон хорош, если больше вообще ничего нет. У меня есть мой старый комп на Ryzen 5950X, из него можно собрать отличный сервер с одной картой. С двумя, если есть NVLink - моя материнка даже не может делить два порта на х8, второй работает только на х4 скорости максимум.
Скорее всего в 4026 году просто истекли сертификаты, которые за 2000 лет никто не обновлял ). "Пофиксить" такое можно разве что выпуском очень долгоживущих сертов, чем заниматься никто не будет по множеству причин.
SteamDB с 22 года наверное единственный способ посмотреть информацию из Стима про "недоступно в вашем регионе" игру. Плюс там очень много подробной служебной информации - например, какие файлы были изменены в апдейте игры или цены в различных регионах для оценки хотелок перекупов.
А что с ProtonDB не так? Он делает одну функцию - сбор отзывов о работоспособности - и делает её вполне нормально. Единственно надо не забывать информацию о системе там обновлять вручную перед отзывом, а то как-то не посмотрел и отправил репорт на свою позапрошлую конфигурацию.
Пока ещё об этом думают. В винде и в KDE это поведение сохранилось (другими не пользуюсь, не знаю). Вот есть примеры - у меня курсор в самом углу, а кнопка подсвечивается и даже попап есть - можно нажать и действие выполнится.
У Apple помню в гайдлайнах для кнопок даже был термин (название которого я забыл), что для кнопок размер тач области должен быть больше, чем видимые границы кнопки. Особенно для маленьких кнопок его нужно делать размером удобным для пальца. Правда в последнее время мало кто это соблюдает, постоянно попадаются мобильные приложения, где даже мизинцем в кнопку не попасть.
Denuvo кстати не проблема, я не встречал ни одной игры с ним, которые не запускаются под Протоном. Вот античиты это уже совсем другая история.
Всё зависит от предпочтений. Если нужен ещё один браузер, то хромиум отличный вариант. А бонусом гостовое шифрование пусть будет - не удивлюсь, если те же госуслуги скоро часть функционалана него завяжут. Всяко лучше, чем яшка.
Вполне. Отставание на единичку считаю некритичным.
https://github.com/deemru/Chromium-Gost/releases
https://update.cryptopro.ru/get/chromium-gost/version
Ещё до всех этих приколов с сертификатами для работы с госухой поставил Chromium GOST (про его существование почему-то все забывают). Просто закинул сертификаты в него и пользуюсь браузером только для банков и прочей налоговой.
Действительно, не додумался в профиль пользователя зайти. Лез в профиль МТСа зачем-то. Спасибо.
А первая часть где? Ссылок в тексте нет, поиском не нашёл.
Ну перетаскивание здоровенного проекта с node на deno (особенно 4 года назад) было куда более сложной задачей (совместимым node api в deno тогда и не пахло), чем за недельку запилить либу и в двух местах поменять импорты (в проекте к счастью уже была абстракция).
А сегодня я просто стараюсь сразу писать на расте и всё =)
На работе писал на napi-rs библиотеку, оборачивающую reqwest, ещё года 4 назад. Есть сервис, который на один серверный запрос может сделать десяток, а то и сотню клиентских запросов, отчего нода прямо загибалась. При написании пришлось отказаться от большого количества сахара (включая встроенный tokio) и писать в compat-mode. Оверхед со строками решился просто - вся коммуникация между JS-Rust ограничена Buffer (он единственный позволяет шарить память без копирования) и небольшим JS объектом для инициализации. В итоге из раста экспортировалось всего 4 метода. А на JS стороне обернули нативную часть, где входящие чанки Bufferа прогонялся через TextDecoder и в конце через тот же JSON.parse - они умеют в string interning и получилось очень быстро.
Есть предположение, что обновление драйвера может улучшить производительность. Stable сейчас 595, если хочется вообще свежак - 610 серию.
Для меня в дебиане есть один "минус" - в stable "тухлые" пакеты для использования в качестве десктопа. Не поймите меня неправильно, я сам люблю дебиан и использую его у себя на серверах везде. У родителей стоит вообще Linux Mint уже лет 10, удалённо ставлю только мажорные обновления версии и всё. Но когда мне надо на 9950х3д2 + 9070хт комфортно поиграть, то я хочу последнюю месу и ядро, да тот же кде свежий со всякими фиксами в придачу. Конечно всегда можно включить какой-нибудь sid, но по моему опыту он намного мене стабильный и куда чаще ломается, чем арч и производные.
Для себя выбрал CachyOS по многим причинам, включая изкоробочные btrfs+snapshots. Конечно это можно и на дебиане сделать, но в моём случае этот арчепроизводный требует куда меньше шагов для настройки под себя. Если что-то пошло не так, то всегда есть откат на снапшот (пока ни разу не пригодились). Те три с половиной софтины, которых нет в арче или ауре, пакетирую сам из тех же deb, rpm или appimage, тем более что формат PKGBUILD примитивный донельзя.
HL2 вышла в 2004. Её 25-летие будем ещё через 3 года праздновать.