OpenCode с NorthMiniCode на своем железе

[kracko23]

Интересная статья.

1. Стоит повторять путь на VM поверх винды?

2. Одной 5070ti хватит?

3. Больше мощностей помогут превратить бухого мидла в трезвого?

[andreygaag]

1. Не вижу препятствий, llama.cpp собирается под винду

2. 16gb маловато, но если квантовать кэши, брать q3 версию модели (качество будет хуже) - можно впихнуть. Ну или часть в ram на cpu - пожертвовать скоростью ради качества.

3. Трезветь однозначно будет, если взять исходную модель и лучшее железо. Тут дело скорее не в мощности, а в обьеме vram. Ну и для трезвости добавить авто ревью qwen-ами в виде трезвого надсмотрщика. Возможно поэкспериментирую с этим, опишу.

[kracko23]

Спасибо, меня исследование контроля и управления качеством больше всего интересует.

Мало что-то про эту самую трезвость большинство думает и измеряет

[Gamefin]

Согласен, оч много статей про облака, но единицы про локальное использование. Мидл может себе позволить за год накопить на rtx6000pro, так что надеюсь на более глубокие статьи

[Dionisiy_eshe]

Спасибо. Вот еще похожая дообученная на датасете от Fable 5 (с дополнениями рассуждений от опуса) плотная модель с MTP и при этом на 12 Гб запустится https://huggingface.co/yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF автор проверял админской частью бенчмарка тау2 телеком - 55% эта модель, 12% базовая, 90% клауд. Как я понял тут главное питон, баш, веб и дебагер, общие знания затерты и вообще что там оказалось затертым непонятно, главное терминал, программирование и дебаг.

Потестировал в винде, отличается от базовой модели сильно, очень короткие размышления, поиски по реестру, правка строк внутри файлов, множество тестов, запускал ллама с --tools all, без агента, без промптов.

Т.е. попросил в обычном чате написать код и он начал искать установленные зависимости питона, ставить их, сравнивать версии, создал файл рядом с бинарником ллама и долго его тестировал, вылетело в конце, файл рабочий оказался. Ну это или винда или ллама с базовыми 8 инструментами. Как факт промптов на использование tools или тестов не нужно. Работает шустро.

Автор утверждает что именно датасет с рассуждениями от фабл 5 дал прирост в бенчмарке и хочет довести бенчмарк до 60-70% в третьей версии.

[andreygaag]

Интересно, спасибо за наводку, стоит последить-попробовать.