MoE на 5090 недобирает полтора раза, и дело не в маршрутизации

[Void-Cowboy]

и вывод какой? все же MoE как раз оптимизация "обычныйх" нейронок

то есть выйгрыш в 70% и более уже закрывает много вопросов

а у вас в статье если я правильно понял описываются именно железячные "неоптимальности" и потери менее 10%

[V1tol]

Есть предположение, что обновление драйвера может улучшить производительность. Stable сейчас 595, если хочется вообще свежак - 610 серию.

[vektory79]

Обновил тут драйвер 595->610 и CUDA 13.1->13.3 (если правильно помню). На rtx5090 получил +20% на тех же моделях 🤷

[maxnoosphere]

интересно, а на 5090 в принципе кто-то нормально запускает большие MoE модели или там сразу память заканчивается? и вопрос по самой статье - какая версия CUDA использовалась для тестов?