Comments 2
Цифра, которая смущает больше остальных, — не разрыв SR и legal rate, а падение с 48,8% до 43,1% при росте команды с двух агентов до четырех. Три точки на монотонном тренде — еще не закономерность, тем более что в AI2-THOR число физических столкновений за общий предмет растет с числом тел в сцене сам по себе, безотносительно планировщика. Ждала, что авторы это разделят: сколько из падения дает координация, а сколько — просто теснота сцены. В статье это где-нибудь посчитано отдельно?
Справедливое замечание. Авторы отдельно это не посчитали: в приложении столкновения составляют лишь 1–7% провалов, но результаты не разбиты по числу агентов. Поэтому падение с 48,8% до 43,1% показывает корреляцию с размером команды, но ещё не доказывает, что причина именно в усложнении координации, а не в тесноте сцены. В статье стоит сформулировать этот вывод осторожнее.
Агенты выполнили задачу. Почему тест всё равно провален?