Разработчик представил проект Killed by LLM, где опубликованы бенчмарки, которые были побеждены прогрессом ИИ

[wl2776]

Драматично, killed... Эти бенчмарки для того и создавались, чтобы автоматические решения по ним проверять. Ну и разрабатывать, разумеется.

Раньше был MNIST handwritten number recognition dataset. Кто-нибудь его помнит? Теперь это "hello world" для алгоритмов компьютерного зрения.

[acc0unt]

Ну вот в том и дело, что бенчмарки, на которых не так давно SOTA-системы показывали по 5-10%, сейчас стремительно теряют свою актуальность. Потому что средние системы 2024 года на них уже заламывают 80+%.

[Wizard_of_light]

Ещё один "вы находитесь здесь" - список.