Критики считают, что TriNetX позволяет слишком легко анализировать электронные медицинские карты, из-за чего неопытные исследователи быстро публикуют плохо проработанные статьи.
Каждое утро Джошуа Ван садится за компьютер с булочкой и банкой охлаждённого чёрного кофе, чтобы поискать последние статьи, основанные на данных популярной исследовательской платформы TriNetX. В последние годы резко возросло количество исследований, основанных на данных этой платформы, которая предоставляет доступ к анонимизированным электронным медицинским картам более 300 миллионов пациентов в США и за рубежом. Ван, нейробиолог из больницы «Тайбэй Цзу Чи», который обучает местных исследователей работе с TriNetX, заметил и другую тенденцию. По его словам, некоторые результаты выглядят «немного подозрительно».
Он и другие специалисты полагают, что эта простая в использовании платформа, возможно, позволяет неопытным исследователям — потенциально при помощи искусственного интеллекта (ИИ) — с беспрецедентной скоростью выпускать ненадёжные и совершенно предвзятые исследования. «Мы видели множество таких исследований, проведённых с помощью TriNetX, и у всех у них очень схожие недостатки, — говорит Сами Суисса, фармакоэпидемиолог из Университета Макгилла. — Создаётся впечатление, что они постоянно обнаруживают разные впечатляющие эффекты и замечательные преимущества лекарств по всем видам исходов».
Согласно базе данных Dimensions, которая отслеживает аннотации и цитирования, в 2025 году почти 2700 публикаций упоминали TriNetX в названии или аннотации, тогда как 5 лет назад их число составляло всего 33. Несмотря на то, что этот год едва дошёл до половины, их количество уже превысило 2100.
Этот рост отражает недавно отмеченные тенденции, наблюдаемые в статьях, использующих общедоступные наборы данных в сфере здравоохранения, авторами которых являются преимущественно исследователи из Китая. Однако TriNetX доступен только пользователям из участвующих медицинских организаций, и большинство статей, посвящённых TriNetX, написаны авторами из медицинских вузов США, причём в качестве ведущего автора часто выступает врач-стажёр. Медицинские вузы используют TriNetX в качестве площадки для научной подготовки, а полученные в результате статьи являются для студентов-медиков относительно простым способом улучшить своё резюме перед подачей заявления на резидентуру. «Нет лучшего способа освоить этот процесс, чем практика», — говорит Лиза Хаули из Ассоциации американских медицинских колледжей (AAMC).
Однако сочетание неопытных пользователей и инструментов TriNetX, позволяющих проводить анализ одним нажатием кнопки, может приводить к появлению некачественных публикаций, в которых зачастую не учитываются потенциальные смещения (систематические ошибки), из-за которых методы лечения могут казаться более эффективными, чем они есть на самом деле. А поскольку данные можно анализировать очень быстро, пользователи могут легко отбирать для публикации только положительные результаты — практика, известная как «p-хакинг». «Поток ложных открытий значительно увеличился», — говорит Мэтт Спик, специалист по анализу медицинских данных из Университета Суррея.
«Больше всего меня беспокоит, — говорит Ван, — что через 10 лет врачи, желая изучить какую-то конкретную концепцию, обратятся к научной литературе и обнаружат, что всё там связано со всем».
Главный научный директор TriNetX Джеффри Браун согласен с тем, что пользователям необходимы знания в области эпидемиологии и статистики, а научные статьи должны проходить тщательную экспертную оценку. Однако, добавляет он, «исследований становится всё больше, и я считаю, что это хорошо».
Ван и многие другие исследователи с этим не согласны. В качестве одного из примеров они приводят статью, написанную с помощью TriNetX, опубликованную в журнале MDPI Cancers, которая попала в заголовки новостей благодаря обнаружению якобы «убедительных доказательств» того, что популярные препараты GLP-1 для похудения снижают риск развития целого ряда видов рака у людей с ожирением. В статье не были упомянуты, не говоря уже о корректировке, два ключевых вида систематической ошибки, которые могут исказить результаты в пользу исследуемого лечения: «смещение из-за коллайдера» и «смещение бессмертного времени».
Смещение из-за коллайдера может возникать, когда и воздействие — например, приём препарата для похудения, — и исход, такой как рак, влияют на обращение за медицинской помощью. [Проще говоря, коллайдер — это переменная, которая зависит одновременно и от исследуемого фактора, и от исхода заболевания. Если по ней отбирать пациентов или учитывать её неправильным образом, возникает ложная связь между переменными / прим. перев.] Эта ошибка может привести к появлению ложной отрицательной корреляции между воздействием и исходом. Смещение бессмертного времени может возникать, когда исследователи сравнивают исходы у пациентов, получающих определённое лечение после какого-либо события, связанного со здоровьем — скажем, инфаркта, — и у тех, кто не получает этого лечения, поскольку любой пациент, умерший до начала лечения, автоматически попадает в группу не получавших лекарство. В результате кажется, что в этой группе смертность выше. «Это просто ужасная статья», — говорит Суисса.
Спик отмечает, что утверждение о том, что препарат оказывает «чудесное защитное действие» на несколько не связанных между собой систем органов, «неправдоподобно», учитывая, что «виды рака сильно различаются и имеют совершенно разные причины». Ни один из двух авторов статьи — один из которых имел связи с производителем препаратов для похудения, о которых не сообщил заранее — не ответил на вопросы, отправленные по электронной почте журналом Science.
В других случаях в статьях утверждается, что для проведения анализа использовалась платформа TriNetX, хотя на самом деле она не предоставляет таких возможностей. Ван наткнулся на статью, опубликованную в прошлом году в журнале Angiology, в которой утверждалось, что препараты от диабета, называемые глифлозинами, могут снижать риск смерти после инфаркта. Авторы, врачи из трёх ведущих медицинских вузов США, написали, что провели ключевой этап корректировки смещения «бессмертного времени» в рамках TriNetX. Ван знал, что TriNetX не предлагает такого инструмента.
«Это заставило меня перейти к решительным действиям, — говорит Ван, написавший десятки писем в редакцию, в которых он указывал на проблемные методы в опубликованных исследованиях, использовавших данное программное обеспечение. — Либо они сфальсифицировали свои методы, либо бездумно скопировали описание метода из другой статьи или из результатов работы ИИ… Я считаю, что и то, и другое довольно пугающе».
Отвечая на вопросы журнала Science, первый автор исследования Рошель Исса, ординатор последнего года по внутренним болезням в Кливлендской клинике, защитила работу, вновь подтвердив методы, изложенные в статье. Она перестала отвечать на последующие вопросы о том, как именно они проводили анализ на платформе. Другой автор статьи в журнале Angiology, Дэвид Кэльбер, директор по медицинской информатике в системе MetroHealth в Кливленде и доцент Университета Кейс Вестерн Резерв, отрицал использование ИИ «для генерации методов или подхода, применённых в этом или любом из наших исследований».
Однако Ван и его коллеги задали семи большим языковым моделям (LLM) вопрос о том, как использовать TriNetX для выполнения ключевого этапа корректировки смещения «бессмертного времени». Шесть из них предложили методы, которые было невозможно реализовать на этой платформе, как они сообщили в журнале European Journal of Epidemiology. Затем исследователи провели поиск в научных статьях по TriNetX, посвящённых предложенным LLM нереализуемым подходам, и обнаружили восемь работ, в том числе исследование, опубликованное в журнале Angiology. В пяти случаях в списках авторов статей фигурировали студенты-медики или ординаторы из США, как правило, в качестве первых авторов. С тех пор Ван обнаружил ещё пять статей, страдающих той же проблемой.
В опубликованном ответе на выводы Вана представители TriNetX утверждали, что эти восемь исследований представляют собой «крошечную долю» работ, выполненных с помощью их программного обеспечения. Кроме того, как пишут авторы из TriNetX, описания методов, которые невозможно реализовать, «вполне могут быть результатом недопонимания, неоднозначной терминологии, неполной отчётности или анализа, проведённого вне платформы».
Кэльбер, на счету которого, согласно базе данных Dimensions, 125 публикаций, подготовленных с помощью TriNetX — больше, чем у кого-либо другого в мире, — заявил журналу Science, что опасения по поводу низкокачественных, ненужных и предвзятых исследований, проводимых на этой платформе, «абсолютно обоснованы». Одним из ключевых моментов «является прозрачность всех решений, касающихся дизайна и настройки платформы TriNetX». Однако ни он, ни какой-либо другой автор, с которым связывались для подготовки этой статьи, не согласились раскрыть свои параметры запросов в TriNetX.
Проблемные исследования могут повлиять на оказание медицинской помощи пациентам, говорит Брайан Вандербик, офтальмолог из Университета Пенсильвании, который недавно указал на потенциальную предвзятость в двух исследованиях TriNetX, в которых утверждалось, что такие пищевые добавки, как куркума и мелатонин, могут радикально снизить риск развития серьёзных заболеваний глаз. «Существует опасность того, что какой-нибудь врач ошибочно поверит в реальность наличия защитного эффекта», — говорит Вандербик.
Со своей стороны, AAMC, которая регулирует процесс подачи заявок на резидентуру в США, пытается решить проблему некачественных и наспех подготовленных статей, говорит Хаули. В предстоящем цикле она попросит кандидатов сместить акцент в списке публикаций «с количества на качество, уделяя особое внимание значимым вкладам, глубине вовлечённости и влиянию работы кандидатов».
Тем временем Ван продолжает свою ежедневную работу и занимается продвижением передовых методов. В его собственной больнице исследователи, желающие получить доступ к TriNetX, должны сначала пройти часовой тренинг под его руководством. По его словам, значительная часть этого времени уходит на то, чтобы показать, как легко получить «красивые на вид», но бессмысленные результаты. По его словам, цель состоит в том, чтобы «попытаться вселить в них немного страха, чтобы они не побежали с места в карьер массово генерировать такие результаты».
