Comments 14
а не построить ли мне домашний ИИ-сервер?
Поздравляю! Теперь вопрос - а зачем? Ну вот реально, какие задачи Вы сейчас свой ИИ-станции поручите? Ну, разумеется первым делом ии-агент, а лучше рой. Ок! А для чего? Какие вы задачи поручите? Вот топ 3 мировых задач для агентов домашних: закуп продуктов в холодос, автоматическая покупка чего либо онлайн (если Вы очень смелый позволить такое) и закрывает этот топ - умный календарь-напоминальник. А дальше что? Будете вайбкодить? Гениальные приложения разрабатывать которые помогут вашему ИИ еще лучше вайбкодить? :D Если не сложно, накидайте идей чем Вы займете свой ии домашний! Очень хочется глянуть :D
Такие модели на такой локальной сборке большего, чем вести список продуктов для покупок, к сожалению, не вытянут)) А агентная работа с контекстом 256к+ будет очень медленной, а для агентов даже 100-160 т/с так себе. Как чат и локальная "википедия" пойдет. Дешевле взять любую подписку и наслжадаться последними моделями. На крайний случай подкопить и взять макбук на чипе max со 128 гигабайтами памяти, там уже можно запускать на вменяемой скорости "средние" модели.
Соглашусь что после Claude, на локальных моделях очень грустно, в плане скорости. Поэтому сейчас собираю локальный конвейер, с локальным канбаном (kanboard). Система будет мониторить новые задачи, 24/7, и исполнять их в рамках проекта. Надеюсь что постоянная автономность сможет сгладить эффект медленной работы.
А агентная работа с контекстом 256к+ будет очень медленной,
Это с чего бы ? если агент нормально держит кеш, то все достаточно быстро, префила почти нет, читается мгновенно, любой размер контекста, облачные модели кстати тоже часто работают в пределах 100-150ткс, а в час пик и того меньше, они выигрывают только за счет того что меньше тратят шагов на понимание задачи.
Буду использовать для разработки своих личных проектов, так как не хочу использовать корпоративные возможности
ну вот у меня, сейчас, к примеру, идёт генерация картинок и роликов по фотографиям на локальном компе, так что мне статья очень актуальна
Я, конечно, могу пожечь токены на облачном сервисе или арендовать на несколько часов машину в селектеле для инфренса, но с точки зрения денег если собрать тысяч за 60-80 рублей машинку, то она себя окупит примерно за месяц-полтора
Делать домашний сервер ради списка покупок это какой-то лютый оверинжиниринг, с такими вещами обычный текстовый блокнот в телефоне справляется в разы надежнее
Хмм интересно, у меня тоже X99 и 2 х 2699 но в биосе есть Above 4G Decoding и Resizable BAR иначе мать вообще с двумя видеокартами не стартовала, и у меня та же связка была 3060+P100 и Strata видела 2 видеокарты нормально, была заморочка с драйверами что бы эти карты разных поколений заработали, но правда протестировал я эту связку только в Lm studio там скорость декодирования выросла 2х на moe 35b.
Скорее всего что у меня косячный BIOS на материнке, поэтому одновременно две P100 не взлетели.
Добавить ReBAR в EFI-прошивку не так уж сложно.
Спасибо. Полезная статья. Конкретная и без воды. Побольше бы таких.
Часть "удалённый доступ" выглядит несколько незащищённой. Не видит автор риска проблем?
У меня относительно старый (2020 года, как же быстро летит время) компьютер, хотя в его работе меня всё устраивает. GIGABYTE B450M H, AMD Ryzen 7 2700, 3200 MHz, 32 GB RAM, Zalman 600W 1x8pin. А видеокарты считайте что никакой нет (какая-то совсем древняя просто чтобы GUI выводить на монитор, т.к. в игры не играю потому в свое время сэкономил и тупо оставил от старого компа). Как думаете, стоит сейчас брать б/у RTX 2060 12 GB за 20 тыр ради ИИ? Собирать свой сервер это не для меня, возможно когда-нибудь в далеком будущем куплю готовую "коробочку" типа AI Max+ с кучей памяти, чтобы и с любым объемом кода работать, и видео генерить... но точно не сейчас:)
А вот прямо сейчас - или вообще забить, или стандартную 5060Ti 16Gb (почти за 100 тыр, но я вот сейчас уже не хочу, см. далее) или б/у с 12 гигами за 20. Плюсом лично для меня будет то что не нужно резко слезать с Win7, для каких-то задач будет дуалбут в Linux или Win11, что-то возможно и на семерке запустится.
Совсем недавно у меня была попытка запустить ASRock Intel Arc Pro B60 24Gb за 100тыр, формально это оптимальный вариант по соотношению цены за гигабайт, и с приличным объемом - но увы, на моем железе она не заработала. Как говорят чатботы, из-за этой самой функции Resizable BAR, которой у меня предсказуемо не оказалось((
Strata реально неплохо спасает положение на MoE моделях за счет оффлоада неактивных экспертов в DDR4, ток главное ставить четырехканальную память с нормальными таймингами, иначе скорость вывода падает до пары токенов
Как я строил домашний ковчег нейро-вычислитель