AI без интернета (офлайн) на своем компьютере

[Kuzmiin]

nanbeige/Nanbeige4-3B-Base небольшая модель которая может быть лучше крупных

[Spearton]

И чем?

[FainFortRana]

Смотря в чем , щас народ делает узкоспециализированные 3b модели под конкретные задачи по типу вызова команд или похода в веб , но они все равно туповаты . Из того что я видел если у тебя не железобетонная задача под которую модель тренировалась , минимум нужно 7 миллиардов параметров. Меньше она просто не поймет что ты от нее хочешь и сделает как требуешь но совершено не то .

[FainFortRana]

Еще года два назад пробовал играть с LMStudio , но это чисто игрушка ничего нормально без хорошего железа из нее не выдавишь , а это главный ботелнек , если через года полтора все эти двухцветные ракетчики загнутся со своими дата-центрами возможно на рынок попрут h200 и подобные , вот сними уже можно попытаться что то локальное изобразить . Даже возможно агента себе сделать , на замену гпт и остальным .