Техасское управление по образованию (TEA) запустило автоматическую систему оценки результатов экзаменов на базе инструментов обработки естественного языка. Система уже тестируется на экзамене под названием «Оценка академической готовности штата Техас» (State of Texas Assessments of Academic Readiness, STAAR).
В TEA рассчитывают, что система сэкономит $15—20 млн за счёт сокращения потребности в оценщиках-людях. В этом году агентство планирует нанять менее 2000 оценщиков по сравнению с 6000 в 2023 году, сообщает The Texas Tribune.
Экзамены STAAR предназначены для проверки знаний учеников с третьего по восьмой класс. До 2023 года большая часть заданий представляла собой вопросы с вариантами ответов, однако в прошлом году задания переработали и включили в них больше открытых вопросов. По словам директора по оценке учащихся TEA Хосе Риос, «на их оценку уходит невероятное количество времени»
Согласно данным TEA, систему оценки обучили на 3000 экзаменационных ответов, уже одобренных человеком. В рамках тестов четверть всех результатов будет повторно оцениваться людьми. Отдельно будут проверяться ответы, которые система не смогла оценить, включая ответы с использованием сленга и ответы на языках, отличных от английского.
Механизмы оценки экзаменационных ответов на базе ИИ используются в США не первый год. В отчёте Motherboard за 2019 год выяснилось, что подобные инструменты использовались как минимум в 21 штате.
