Комментарии 13
@moderator
очередной gpt-бот
подобное попробовал дома недавно,
ПК cpu r7 / 16 gb / 3070 8Гб
БЯМ StableBeluga-7B, генерация текста:
10 токенов - 52 секунды,
~ 100 токенов - более 5 минут
А6000 Ada в районе 800 тыс.руб, А100 в районе 1800 тыс.руб.
Интересно было бы сравнить с вариантами, например 3 х RTX 4070 Ti 16G по 130 тыс = 390 тыс.руб - насколько они будут медленнее на тех же тестах?
на вторичке много относительно дешевых TESLA P40 на 24 Гб, было бы интересно на них посмотреть.
Почему нельзя просто взять самые мощные GPU
Потому, что с ростом класса видеокарты её цена всё больше отрывается от линейного масштабирования по сравнению с игровыми картами. И в топовом сегмента наценка уже кратная.
За что мы любим А100 и А6000 Ada
А всякие H100 и L40 и похожее не получилось достать? Интересно почитать было бы.
Однако недавно мы получили доступ к новой видеокарте — А6000 Ada
Понятно, что для задач тренировки гигантских сеток A5000 Ada не подойдет, но для инференса карточка точно интересная. У вас в прошлой статье про карты A5000 была лидером в общем забеге в пересчете попугаев на доллары, насколько я помню.
Мы видим, что по характеристикам А6000 Ada выглядит перспективнее, чем А100. Но она дороже
Тут борются несколько вещей:
Наценка на карты Tesla обычно выше, чем на просто профессиональные;
Прошлое поколение не думает дешеветь;
С ростом пузыря "наценка" относительно игровых карт растёт, и растет число методов, которыми Nvidia "закручивает гайки";
Вообще кажется в идеальном мире, что с выходом Ada карты прошлого поколения должны быть подешеветь в разы. Но на практике цены на A100 совсем какие-то рандомные и кажется только выросли.
они нужны для сборки DKMS, в виде которого поставляется драйвер out-off-tree; этот драйвер в свою очередь нужен для работы GPU Nvidia
А можете подробнее тут расписать, как правильно драйвера выбирать? Поиск по пакетам в актуальной версии выдает вот это, я раньше ставил и не парился, а сейчас вот сколько версий:
В поисках самой мощной видеокарты! Тестируем А100 и А6000 Ada на большой языковой модели