Комментарии 10
а не построить ли мне домашний ИИ-сервер?
Поздравляю! Теперь вопрос - а зачем? Ну вот реально, какие задачи Вы сейчас свой ИИ-станции поручите? Ну, разумеется первым делом ии-агент, а лучше рой. Ок! А для чего? Какие вы задачи поручите? Вот топ 3 мировых задач для агентов домашних: закуп продуктов в холодос, автоматическая покупка чего либо онлайн (если Вы очень смелый позволить такое) и закрывает этот топ - умный календарь-напоминальник. А дальше что? Будете вайбкодить? Гениальные приложения разрабатывать которые помогут вашему ИИ еще лучше вайбкодить? :D Если не сложно, накидайте идей чем Вы займете свой ии домашний! Очень хочется глянуть :D
Такие модели на такой локальной сборке большего, чем вести список продуктов для покупок, к сожалению, не вытянут)) А агентная работа с контекстом 256к+ будет очень медленной, а для агентов даже 100-160 т/с так себе. Как чат и локальная "википедия" пойдет. Дешевле взять любую подписку и наслжадаться последними моделями. На крайний случай подкопить и взять макбук на чипе max со 128 гигабайтами памяти, там уже можно запускать на вменяемой скорости "средние" модели.
Соглашусь что после Claude, на локальных моделях очень грустно, в плане скорости. Поэтому сейчас собираю локальный конвейер, с локальным канбаном (kanboard). Система будет мониторить новые задачи, 24/7, и исполнять их в рамках проекта. Надеюсь что постоянная автономность сможет сгладить эффект медленной работы.
А агентная работа с контекстом 256к+ будет очень медленной,
Это с чего бы ? если агент нормально держит кеш, то все достаточно быстро, префила почти нет, читается мгновенно, любой размер контекста, облачные модели кстати тоже часто работают в пределах 100-150ткс, а в час пик и того меньше, они выигрывают только за счет того что меньше тратят шагов на понимание задачи.
Буду использовать для разработки своих личных проектов, так как не хочу использовать корпоративные возможности
ну вот у меня, сейчас, к примеру, идёт генерация картинок и роликов по фотографиям на локальном компе, так что мне статья очень актуальна
Я, конечно, могу пожечь токены на облачном сервисе или арендовать на несколько часов машину в селектеле для инфренса, но с точки зрения денег если собрать тысяч за 60-80 рублей машинку, то она себя окупит примерно за месяц-полтора
Хмм интересно, у меня тоже X99 и 2 х 2699 но в биосе есть Above 4G Decoding и Resizable BAR иначе мать вообще с двумя видеокартами не стартовала, и у меня та же связка была 3060+P100 и Strata видела 2 видеокарты нормально, была заморочка с драйверами что бы эти карты разных поколений заработали, но правда протестировал я эту связку только в Lm studio там скорость декодирования выросла 2х на moe 35b.
Спасибо. Полезная статья. Конкретная и без воды. Побольше бы таких.
Часть "удалённый доступ" выглядит несколько незащищённой. Не видит автор риска проблем?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как я строил домашний ковчег нейро-вычислитель