Комментарии 8
А есть смысл/вариант сборки для работы с несколькими картами?
Использование серверных конфигураций?
Смысл - есть.
Но бюджет, потребный для этого - растёт кратно.
Если по-хорошему работать с несколькими видео-картами - нужно и несколько слотов PCIe x16. И соответствующее количество PCIe lane'ов на процессоре. А маркетологи производителей - не дремлютЪ :) И десктопные процы имеют в подавляющем большинстве до 20 этих lane'ов. Как раз - на один слот PCIe x16 и немного на SSD и мат.плату...
То есть - приходится смотреть либо на Threadripper, либо на серверные мат.платы и процы (Epyc/Xeon)
Плюс - увлекательные расчёты энергопотребления (лучше - по каждому напряжению отдельно прикинуть); тепловыделения вместе в airflow и как это всё разместится в корпусе...
Так, собрали компьютер для ИИ и что делать дальше? Где почитать, где взять пошаговые руководства для установки ИИ и его обучения? Как пользоваться?
у самого ИИ ))
просто заходим в чатГПТ и пишем
"привет Омни, я хочу попробовать запустить ллм локально. вот такое у меня железо, с чего мне начать?"
а можно даже так
"у меня есть вот такое железо, я хочу сделать локального ИИ-ассистента. что для этого надо?"
главное не бойтесь спрашивать и общаться, ИИ создан для этого, для того что бы понимать самые неоднозначные, нечёткие и "глупые" вопросы )
edit: но я рекомендую сперва попробовать просто пообщаться и позапускать на том железе что есть.
это требует определенного подхода к ИИ - партнёрского, вы должны быть готовы общаться с ним, поправлять его, думать вместе с ним, а не ожидать что он вам даст готовые рабочие решения. если вас такой подход к работе, к взаимодействию устроит - тогда можно думать о том что бы "расширяться"
Ну возможные пути движения - расписаны, например, в этой Хабровской статье...
Статья написана ии.
Просто купил себе мини-пк gmktec evo-x2
128gb памяти которые на 3/4 могут быть распределены между RAM/GPU/NPU
...правда времени пока не было им заняться нормально
Как собрать компьютер для нейросетей: ИИ на службе у человека