Comments 7
Удивительно, что даже Gemma 3 27b выше гигачата. Интересно посмотреть на YandexGPT.
Российских ризонинг моделей нет, российский ризонинг бенчмарк есть ))
Или есть какие-то ризонинг модели?
Есть ли большой смысл переводить датасет по математике / майнить задачи математике на русском языке? Я понимаю зачем например бенч с русскими сканами на OCR, зачем бенч на русский культурный код. Но математика на всех языках одинаковая. Та же мысль про бенчи про код
Математика на всех языках одинаковая. однако, какие её разделы и в каком виде попадают на олимпиады и экзамены — сильно отличается. И не только между языками, но даже между, например, Москвой и Питером.
Русские Олимпиады все же отличаются идеями необходимыми для решения, да и скорее просто интересно, почему нет
По результатам сравнения каждой задаче присваивается бинарный балл: 1 за правильный ответ и 0 за неправильный
На олимпиадах оценивается не только ответ, но и сам ход решения. Очень часто случается так, что если не обосновать выводы, то решение оценят в 0 даже при верном ответе.
Ну и вопрос, как вы оценивали задачи в стиле «докажите, что....»?
Doom — русский физмат бенчмарк