Обновить
10
0
Анатолий Левчик@mirt

Пользователь

Отправить сообщение

Вот такой код с device_map='auto' также падает с OOM в районе 500-го бачта на 8xA10080gb

Да, 80гб. Вот такой код уходит в OOM.

Файнтюнить не получается даже на H100. С batch_size=1 выдает OOM. Это норма?

Это же вопрос терминологии, ответ на который не решает никакой проблемы.

Можно считать, что ИИ — это решение машиной тех задач, про которые считалось, что решить их может только человеческий мозг (венец творение природы).
Когда-то победа эвм в шахматы над человеком вызывала вау эффект, когда-то победа эвм в шахматы над чемпионом мира была новостью, когда-то считали что го слишком сложен для машины, в какой-то момент сетки внезапно стали решать имиджнет лучше человека.
Когда-то люди считали что все эти задачи — прерогатива человеческого интеллекта.

Или может вашим критерием является тест Тьюринга? Ну вот сейчас вам Google Duplex позвонит, а вы и не заметите что это робот. Будете считать, что Google Duplex это сильный ИИ?
В представленном вами случае, если вы измените структуру, например поле b сделаете std::string, у вас возникнет ошибка в рантайме, а не в момент компиляции.

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность