Исследователи Facebook совместно с Google DeepMind, Вашингтонским университетом и Нью-Йоркским университетом представили SuperGLUE — серию тестовых задач для измерения производительности искусственного интеллекта, распознающего речь.
SuperGLUE была создана на основе нейронной сети Google BERT. Производительность BERT, как сообщает VentureBeat, превзошла такие модели, как MT-DNN от Microsoft, XLNet от Google и RoBERTa от Facebook, которые обеспечивают высокую производительность — выше среднего базового уровня человека.
Предшественником SuperGLUE стал бенчмарк General Language Understanding Evaluation (GLUE), который был разработан в апреле 2018 года исследователями из Нью-Йоркского университета, Университета Вашингтона и компанией DeepMind. SuperGLUE на порядок сложнее GLUE и будет, по планам разработчиков, стимулировать создание моделей, способных воспринимать более тонкие речевые нюансы.
SuperGLUE будет включать в себя восемь задач для проверки способности системы следовать за мыслью, распознавать причину и следствие и отвечать на вопросы «да» или «нет».
«Современные системы ответов на вопросы ориентированы на пустячные вопросы, например, есть ли у медузы мозг. Эта система идет дальше, требуя от машин проработать подробные ответы на открытые вопросы, такие как «Как медузы функционируют без мозга?» — говорится в сообщении Facebook.
Чтобы помочь исследователям создать надежный ИИ для понимания языка, Нью-Йоркский университет также выпустил обновленную версию Jiant — универсального инструмента для понимания текста. Jiant настроен для работы с HuggingFace PyTorch BERT и OpenAI GPT, а также тестами GLUE и SuperGLUE.
Результаты работы SuperGLUE будут публиковаться на super.gluebenchmark.com.
