Компания GPTZero, разработчик детекторов ИИ-контента, проанализировала 4841 статью, принятую на конференцию NeurIPS 2025, и обнаружила 100 подтвержденных галлюцинаций — выдуманных ссылок на несуществующие научные работы. Фейковые цитаты распределены по 51 статье, каждая из которых прошла рецензирование минимум тремя экспертами и обошла 15 000 отклоненных работ.
Некоторые галлюцинации выглядят как незаполненные шаблоны: авторы «John Doe и Jane Smith», «Firstname Lastname and Others», идентификаторы вида «arXiv:2305.XXXX». Другие — более изощренные: реальные имена исследователей в сочетании с выдуманными названиями статей, существующие DOI, ведущие на совершенно другие работы, правдоподобные названия журналов с несуществующими выпусками. В одной статье нашли сразу 14 галлюцинаций.
Проблема связана с масштабом: за пять лет количество заявок на NeurIPS выросло на 220% — с 9467 в 2020 году до 21 575 в 2025-м. Организаторам приходится привлекать все больше рецензентов, что размывает экспертизу. При этом политика NeurIPS прямо указывает, что галлюцинированные цитаты — основание для отклонения или отзыва статьи. Аналогичные правила действуют на ICLR, где GPTZero ранее нашел более 50 фейковых ссылок в статьях, находящихся на рецензировании.
Авторы исследования предлагают термин vibe citing — по аналогии с vibe coding. Так они описывают ситуацию, когда LLM генерирует ссылки, которые «выглядят правильно», но при проверке рассыпаются: перепутаны авторы, изменены названия, скомбинированы данные из нескольких реальных источников. Инструмент Hallucination Check, который GPTZero использовала для анализа, компания продает как коммерческий продукт — это стоит учитывать при оценке результатов, хотя каждая из 100 галлюцинаций, по заявлению авторов, верифицирована вручную.
P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.
