MIT сообщает, что в громком исследовании производительности ИИ использовались данные, которым нельзя доверять
Недавняя научная статья об искусственном интеллекте, в которой говорится о значительном повышении производительности, подверглась критике из-за сомнительных данных и непроверенных утверждений. Это побудило Массачусетский технологический институт публично дистанцироваться от исследования.
Статья под названием «Искусственный интеллект, научные открытия и инновации в продуктах», опубликованная в ноябре 2024 года на сайте arXiv, была отправлена в «Ежеквартальный журнал экономики». Её автор, Эйдан Тонер-Роджерс, в то время был аспирантом экономического факультета Массачусетского технологического института.
В исследовании утверждалось, что инструмент ИИ, используемый в американской компании, в которой работают более 1000 исследователей, привёл к ощутимым результатам. Согласно статье, команды, использующие ИИ, на 44% чаще создавали новые материалы, на 39% чаще подавали заявки на патенты и на 17% чаще внедряли инновации по сравнению с командами, работающими без ИИ. Результаты получили широкое освещение в СМИ, в том числе в Nature и The Decoder.
Но теперь Массачусетский технологический институт ставит эти результаты под сомнение.
16 мая 2025 года Массачусетский технологический институт опубликовал публичное заявление после конфиденциальной внутренней проверки, инициированной жалобами на исследование. Комитет по дисциплине института заявил, что «не уверен в происхождении, надёжности или достоверности данных» и «не уверен в правдивости исследования, изложенного в статье». Тонер-Роджерс больше не работает в Массачусетском технологическом институте.
Также добавили о том, что пришлось вмешаться, потому что статья уже влияла на общественные дебаты о роли ИИ в науке, несмотря на то, что она никогда не проходила экспертную оценку.
«Целостность исследований в Массачусетском технологическом институте имеет первостепенное значение — она лежит в основе того, что мы делаем, и занимает центральное место в миссии института», — написали в институте.
Массачусетский технологический институт официально попросил Тонер-Роджерс отозвать статью с arXiv. «Мы направили автору запрос на отзыв статьи, но на сегодняшний день автор этого не сделал», — говорится в заявлении. Поскольку arXiv позволяет авторам отзывать только свои собственные работы, Массачусетский технологический институт направил в arXiv собственный запрос с просьбой как можно скорее пометить статью как отозванную. Редакторы Quarterly Journal of Economics также были уведомлены.
Споры указывают на более серьёзные проблемы в научных исследованиях, где коммерческие интересы, разрастающиеся корпоративные исследовательские группы и растущее давление с целью быстрой публикации и привлечения внимания в социальных сетях и прессе для получения более высокооплачиваемой работы могут подрывать устоявшиеся стандарты рецензирования и проверки.