Дело о 38 токенах в секунду: почему M3 Ultra начинал с двенадцати

[undersunich]

Исследование интересное и автор однозначно молодец.Но тут думаю смело можно сказать: "Провал супер дорогой техники Apple для локального использования AI моделей"

[Homosum]

Благодарю! На самом деле есть такие мысли. Правда технику брал с расчетом именно на объем RAM. На рынке из коробки - это самое большой объем который есть. Если исходить из скорости - то однозначно надо смотреть в сторону графических ускорителей. Как раз это и хотел немного подсветить для представителей сообщества, которые выбирают что купить.

Кстати, у NVidia карт кроме скорости (VRAM намного быстрее) есть еще одно больше преимущество - CUDA, а это генерация изображений и видео, что на Mac практически не реализуемо из-за отсутствия необходимых портов ключевых функций под mlx.