Как мы запустили Ornith‑35B на ноутбуке с 8 ГБ VRAM и разогнали её до 99 ток/с на AMD Strix Halo

[Qlavrt]

Очень интересно, но нихуавэя не понятно!

Хочу осознать с точки зрения пользователя (программиста-любителя): даже если купить себе ноут за $1500 с RTXxxxx на 8Гб и "обычным" процессором, ну или за $3000+ с RTXxxxx на 16+Гб и Ryzen AI, то в итоге разработка на этом ноутбуке будет постоянно сопровождаться ревущими вентиляторами, ставить ноут во время работы придется только на плоскую твердую поверхность, чтобы не закрывались воздуховоды, аккумулятора в автономном режиме хватит на 1-2ч работы, бонусом скорее всего будем получать постоянный перегрев батареи, если производитель её конкретно не теплоизолировал.

Без сарказма. Хочу понять выгоду от переноса модели на ноут. Независимость от интернета? Независимость от сервиса OpenAI и т.п.? Удешевление использования (тогда может лучше внутри компании сервер сделать - собственно так и делают ведь)?

[PetrUfa]

В целом соглашусь, локальный запуск на ноуте с ревущим вентилятором себя не оправдывает. Но если вам нужен тихий мини пк для инференса по цене в два раза дешевле mac studio, тут уже в статье описан альтернативный вариант на AMD и работа с такой скоростью и памятью уже позволяет и контекст в 256 к и агентский кодинг

[MountainGoat]

Это всё нужно только с одной целью: не посылать код во время работы в Китай. Если такого ограничения не стоит, то китайского провайдера в этом плане никак не превзойти. А вот если стоит, то приходится выдумывать.

У цивилизованных белых людей заключают коммерческий договор с провайдером AI и этого большинству достаточно для обеспечения норм приватности. У папуасов вроде нас такой опции нет, и тут приходится учиться гонять хоть какие-то LLM на своих мощностях.

[malyazin_2010]

Амд 395 сейчас так подорожали, что дешевле наверное купить макбук про для инференса llm. Макбук будет больше токенов/сек выдавать за те же деньги.

[PetrUfa]

Тут на любителя - скорость инференса по вашей таблице у AI MAX 395 256 гб сек, что равно скорости на M4 Pro, скорость на M5 про будет выше только для MLX.
Цена мини пк Ai395 128 ram + 2 тб, = 400 к
Цена М5 pro 370 к 64гб 1 тб
Соглашусь, цены сравнялись и преимущество только в универсальности убунты и возможности использования оставшихся 75gb ram от инференса на другие цели

[malyazin_2010]

Макбук на м4про 180 тыс стоит. И он быстрее будет генерировать токены, чем амд395 за 300-400 тыс

[dmbreaker]

...и у него при этом хотя бы 64Гб оперативы есть? Меньше ведь не имеет смысла

[malyazin_2010]

Даже если модель 19 гб не влезет в 24гб начального макбука, то можно доплатить и купить 36 или 48 озу.

А если еще чуть доплатить за м4мах то скорость работы будет вообще в 2 раза выше чем у амд395. И танцы с бубнами никакие не нужны.

[dmbreaker]

Там вообще совсем не чуть-чуть с max

А доплатить для прошки придется столько, что она легко станет дороже.

Меньше 48Гб, кажется, не имеет смысла - вам же не просто запустить нужно, а чтобы и растущий контекст вместить

[malyazin_2010]

Не особо дороже. За плюс-минус те же деньги, что ноут у автора можно взять м4макс который будет ровно в 2 раза мощнее