Возможно, но что делать когда хочется попробовать здесь и сейчас? А тем более что это еще и приносит результат. Да дорого, но если допустим, гипотетически предположить то что через пару лет 32b модели будут круче чем сейчас 120b, то высока вероятность того что и железо для их запустка кратно будет дороже.
Я создаю север техподдержки своей продукции, сторонние сети меня не интересуют, во первых это дорого, а во вторых я не смогу иметь полный контроль.
Возможно, но что делать когда хочется попробовать здесь и сейчас? А тем более что это еще и приносит результат. Да дорого, но если допустим, гипотетически предположить то что через пару лет 32b модели будут круче чем сейчас 120b, то высока вероятность того что и железо для их запустка кратно будет дороже.
Мой локальный сервер с GPT-OSS:120B (120 миллиардов параметров ) решил загадку за 59 секунд
Пиццу ест плотник.
Крокодила держит программист.
Характеристика сервера: 2 видеокарты RTX4090 по 48Gb VRAM каждая (итого 96Гб видеопамяти), проц Core I9 14900 и 192Гб DDR5.
Кому интересно потестировать такой сервер, могу дать временный доступ, пишите в личку, установлено 15 разных моделей ИИ.
А что можете сказать про сборку - плата Z790, i9 14900, 192Gb Ram, 2 карты RTX 4090 по 48Gb vRAM и ssd 2Tb со скоростью более 14 Гб/сек.?