Geekbench представил новый тест производительности ИИ-систем на ПК под названием Geekbench AI. Это набор для бенчмаркинга с методологией тестирования для машинного обучения, глубокого обучения и рабочих нагрузок, ориентированных на ИИ, который предлагает кроссплатформенность и показатели реальной рабочей нагрузки.
Разработчики могут использовать его для обеспечения единообразного опыта работы своих приложений на разных платформах, а инженеры — для измерения архитектурных улучшений. Пользователям же инструмент пригодится для измерения и устранения неполадок производительности устройств.
Geekbench AI 1.0 доступен для Windows, macOS и Linux, а также в Google Play Store и Apple App Store.
Производительность оценивается в тесте в трёх измерениях. Она учитывает конструкцию оборудования с ИИ, рабочие нагрузки, связанные с ЦП, а также рабочие нагрузки ИИ, которые охватывают разный диапазон в зависимости от сложности задачи, доступности оборудования и фреймворков.
Соответственно, оценки рабочей нагрузки Geekbench AI также включают новое измерение точности на основе каждого теста. Производительность ИИ связана не только с тем, как быстро выполняется данная рабочая нагрузка, но и с тем, насколько близки её выходные данные к истине. Например, модель обнаружения объектов типа хот-дога может работать очень быстро, но если она может точно обнаружить хот-дог только в 0,2% случаев, то это отразится в тесте.
Geekbench AI 1.0 включает поддержку новых фреймворков, от OpenVINO на Linux и Windows до TensorFlow Lite Delegates от конкретных поставщиков, таких как Samsung ENN, ArmNN и Qualcomm QNN на Android.
В выпуске также используются более обширные наборы данных, которые точнее отражают реальные входные данные в вариантах использования ИИ.
Все рабочие нагрузки в Geekbench 1.0 выполняются в течение как минимум секунды.
Более подробные технические описания рабочих нагрузок и моделей доступны в документе Inference Workloads. Geekbench AI интегрирован с Geekbench Browser. Самые производительные устройства можно сравнить на диаграмме Geekbench AI Benchmark Chart или ознакомиться с последними результатами на странице Latest Geekbench AI Results.
Ранее с помощью тестов Geekbench журналисты выяснили, что бета-версия iOS 18 значительно ускоряет работу нейропроцессора. Так, iPhone 15 Pro Max стал на 25% производительнее в задачах машинного обучения. Модель под управлением 17.5.1 набирает около 6 тысяч баллов, а после обновления до беты iOS 18 она выдаёт уже 7816.
