Тесты бюджетных сборок для ИИ до 100к рублей

[KorP]

В контексте данного примера, я бы рассмотрел AM4 + 64GB RAM + amd mi50 (32gb), ценник будет примерно 100к, а эффективность выше V100 16GB

[Byurrer]

mi50 уже как год (или около того) не поддерживаются ROCm. Tesla V100 на уровне драйверов еще поддерживается.

[ProLimit]

Даже читать не нужно, все статьи примерно одинаково начинаются: "бюджетно запустим на одном CPU" и кончаются: "не получилось: ограниченный контекст и черепашья скорость генерации, практической пользы 0, но для исследования полезно". Вот полезный инсайт: не инвестируйте в локальный запуск моделей на GPU, это будет либо непрактично либо ооочень не бюджетно. Подождите специализированных NPU, сейчас много компаний работает над этим и это самый логичный шаг развития железа под ИИ. Универсальность GPU нужна только исследователям для обучения моделей, а инференс можно делать гораздо дешевле.

[Byurrer]

Нормальный контекст и нормальная скорость, учитывая бюджет. Цель была показать что можно за эти деньги на этом железе, а не то что 100к заменят вам облако.

[ProLimit]

Кроме доказать что можно, какая практическая польза то? Заплатите 20$ и пользуйтесь облаком сколько-то лет. Ваша локальная модель все равно больше не нагенерирует чем в ультра-бюджетных тарифах.

[Byurrer]

В статье и видео я описал практическое применение (а пользу каждый сам для себя определяет), если устраивает и хочется иметь приватный ИИ то можно собрать, данные есть. В ином случае использовать облако.

[peacemakerv]

Что-то, вцелом, не супер, по сравнению с привычным уже...