AI без интернета (офлайн) на своем компьютере

[Kuzmiin]

nanbeige/Nanbeige4-3B-Base небольшая модель которая может быть лучше крупных

[FainFortRana]

Смотря в чем , щас народ делает узкоспециализированные 3b модели под конкретные задачи по типу вызова команд или похода в веб , но они все равно туповаты . Из того что я видел если у тебя не железобетонная задача под которую модель тренировалась , минимум нужно 7 миллиардов параметров. Меньше она просто не поймет что ты от нее хочешь и сделает как требуешь но совершено не то .

[FainFortRana]

Еще года два назад пробовал играть с LMStudio , но это чисто игрушка ничего нормально без хорошего железа из нее не выдавишь , а это главный ботелнек , если через года полтора все эти двухцветные ракетчики загнутся со своими дата-центрами возможно на рынок попрут h200 и подобные , вот сними уже можно попытаться что то локальное изобразить . Даже возможно агента себе сделать , на замену гпт и остальным .

[MxMaks]

Про gpt-oss:120b - 61 gb даже не знал, спасибо за инфу

[Tdaa1]

Уже пару лет работаю через kobold cpp с gguf моделями. Ту же gemma 12b запустить на 3060 и 32оперативки.

[koshkoshka2]

А ручками кодить?

[Filonov404]

меня начальство ждать не будет пока я ручками буду кодить, они все понимают что сейчас происходит и ты должен делать с x3 -x5 скоростью новые фичи, им надо чтобы это работало, а красивость кода они не смогут оценить. Да это чертова реальность, и это очень грустно((

[koshkoshka2]

А если на отладку ИИ кода нужно в 2-3 раза больше времени, чем напишешь сам?