Исследователи выпустили визуальный бенчмарк ClockBench, который оценивает навыки моделей машинного обучения пользоваться аналоговыми часами. Лучше всего с задачей справляется Gemini 2.5 Pro. Модель правильно отвечает на 13,3% вопросов.
Бенчмарк состоит из 180 изображений аналоговых часов (36 циферблатов × 5 образцов). К каждому изображению есть по четыре вопроса. Например, модели просят определить время, сложить или вычесть определённый промежуток из текущего времени, перевести одну из стрелок или назвать время в другом часовом поясе, исходя из текущего.
Для оценки качества ответов моделей разработчики отталкиваются от результатов человека. Люди в бенчмарке набирают 89,1% правильных ответов. Результаты моделей следующие:
Модель | Результат | Разработчик |
Gemini 2.5 Pro | 13,3% | |
o3 Pro | 13,3% | OpenAI |
Gemini 2.5 Flash | 10,5% | |
o3 High | 9,1% | OpenAI |
GPT-5 High | 8,4% | OpenAI |
GPT-5 Mini | 5,6% | OpenAI |
Claude Opus 4.1 | 5,6% | Anthropic |
Qwen 2.5-VL-72B | 4,9% | Alibaba |
Claude Sonnet 4 | 4,2% | Anthropic |
Mistral Medium 3.1 | 2,8% | Mistral |
GPT-4o | 2,1% | OpenAI |
GPT-5 Nano | 2,1% | OpenAI |
Grok 4 | 0,7% | xAI |
На GitHub авторы бенчмарка опубликовали 10 примеров тестовых изображений. Полностью датасет не выкладывают, чтобы модели не обучили проходить бенчмарк.
