Комментарии 4
А в нашем блоге на сайте вышла новая статья «Выбираем GPU для ИИ: Видеокарты NVIDIA RTX 4090 и 5090 vs L40S 48GB». Она поможет подобрать наиболее подходящую видеокарту под ваши задачи.
Здравствуйте. Здесь идет обсуждение касательно мощности встроенных видеокарт:
https://habr.com/ru/articles/964332/
казалось бы дискретная видеокарта должна быть лучше встроенной, но если дискретные продают в лучшем случае на 24 гига, то во встроенных оказывается и под 100 гигов памяти, правда не понятно, что с производительностью. Вы сравнивали с такими решениями? В частности интересует работа с готовыми моделями с генерацией текста
По нашему опыту на аппаратных видеокартах все происходит сильно быстрее. Для работы с текстом, часто хватает видеокарты уровня NVIDIA L4 24GB, но опять же смотря какой объем. Если речь про запуск LLM, то уже исходя из требуемого объема памяти под конкретную LLM
я знаю про то, что LLM ограничены объемом памяти. Я о том, что пробовал запускать локально на 6800h с 32gb ОЗУ со встроенной слабой GPU то, что туда вмещалось - работало, но очень медленно. И мне интересно, насколько лучше будут обстоять дела, если использовать amd "AI" проц с продвинутой встроенной графикой
Октябрь в mClouds: теперь задачи ИИ на нашей платформе можно решать на 10% быстрее