Период полураспада бенчмарка ИИ сократился вдвое: 19 месяцев вместо 38

[ToxaBes]

Главная проблема даже не в том, что вы указали, а в том, что под бенчмарки специально затачивают модели.

У крупных моделей этот читинг считается нормой, поэтому не важно насколько хорош или плох бенчмарк, если он хоть немного популярен модели обучат его проходить.

[nikitahudov]

Да, все так. В этом и причина их быстрого умирания, в том числе. Я тут скорее решил замерить, как быстро это в среднем происходит.

[ToxaBes]

Спасибо за проделанную работу. Одно дело знать, что бенчмарк в любом случае умрет, другое дело, примерно понимать когда именно.

[bod]

Кажется реальная причина инфляции бенчмарков кроется в Законе Гудхарта: лабы нашли способы быстро «взламывать» популярные тесты, а может и не очень популярные, потому-что новые, из-за чего те теряют дифференцирующую способность задолго до того, как модели достигают истинного человеческого уровня в этих доменах.

[nikitahudov]

Вот я и предпринял попытку "неформально" замерить скорость работы Закона Гудхарта. Неформально - потому что мы не всегда знаем, какие бенчмарки действительно пытаются "взломать", а какие берутся просто побочно. При этом, если попытаться условно разделить все бенчи на популярные и непопулярные (это как раз есть в моем датасете), то популярные умирают быстрее. Так что Закон вполне работает, но для точных расчетов не хватает данных в открытом доступе.