Хорошая гипотеза. И её можно проверить на уже собранных данных: в задачах MiddleMatch позиция цели записана в метаданных. Она гуляет с 4-й по 38-ю позицию из 40.
Я сделал post-hoc-разрез по терцилям позиции 26, 26, 28 задач. Провал середины в данных виден: точность baseline по группам 46,2%, 23,1%, 39,3%. Но на 80 задачах это не доказательство. Точный тест Фишера даёт p=0,136. Поэтому не берусь утверждать, что Lost-in-the-Middle подтвердился.
Зато сам выигрыш от повтора зависит от позиции: по тем же группам +38,5, +7,7, −3,6 п.п. (перестановочный тест тренда: p=0,011). Максимум в начале списка, а не в середине. Так что позиционный эффект есть, но как будто не тот, который предсказывает Lost-in-the-Middle.
Хорошая гипотеза. И её можно проверить на уже собранных данных: в задачах MiddleMatch позиция цели записана в метаданных. Она гуляет с 4-й по 38-ю позицию из 40.
Я сделал post-hoc-разрез по терцилям позиции 26, 26, 28 задач. Провал середины в данных виден: точность baseline по группам 46,2%, 23,1%, 39,3%. Но на 80 задачах это не доказательство. Точный тест Фишера даёт p=0,136. Поэтому не берусь утверждать, что Lost-in-the-Middle подтвердился.
Зато сам выигрыш от повтора зависит от позиции: по тем же группам +38,5, +7,7, −3,6 п.п. (перестановочный тест тренда: p=0,011). Максимум в начале списка, а не в середине. Так что позиционный эффект есть, но как будто не тот, который предсказывает Lost-in-the-Middle.
Спасибо:)
пожалуйста, рад, что тебе зашло:)
вот и я тоже задумался, почему это так вирусится до сих пор, решил посмотреть, что на самом деле