Добрый день, уважаемые подписчики Хабра! В блоге нашего Университета Лобачевского мы уже представили три исследования команды студенческого проекта по верификации информации СМИ и социальных медиа #СТУДФАКТЧЕК. Меня зовут Людмила Макарова, я - руководитель проекта и теперь хочу рассказать о том, как мы работаем над сюжетами, что такое фактчекинг и почему нам так нравятся темы, связанные с технологиями искусственного интеллекта.

Наш образовательный проект #СТУДФАКТЧЕК был организован в Институте филологии и журналистики (ИФИЖ) ННГУ им. Н. И. Лобачевского в 2020 году. Изначально он функционировал под эгидой Европейской ассоциации преподавания журналистики (EJTA) и был частью сетевого проекта EUFactcheck. В марте 2022 года название проекта в ННГУ им. Н. И. Лобачевского изменилось на #СТУДФАКТЧЕК. Теперь мы работаем самостоятельно, но, как и прежде, руководствуемся технологией верификации информации, разработанной преподавателями вузов‑членов EJTA.

Материалы исследований студентов размещаются на специальной на нашем сайте и на специальной вкладке сайта ИФИЖ ННГУ на русском и английском языках.

Всего с ноября 2020 по настоящее время студенты подготовили 42 самостоятельных исследования. Наш проект носит внеучебный характер, члены команды #СТУДФАКТЧЕК (как и ее руководитель) участвуют в нем добровольно, что делает эту работу еще более значимой и для меня, и для студентов.

С 2021 года в команде проекта участвуют студенты Института биологии и биомедицины (ИББМ) — отсюда такой интерес к проблематике, связанной с генетикой и генной инженерией, проблемами здоровья. Также среди наших тем — социально‑политическая и экономическая проблематика, проблемы техники и технологий, Космос, одна из любимых — технологии искусственного интеллекта и все, что с ними связано в современной жизни.

Что такое фактчекинг? Это проверка сообщений в СМИ и социальных медиа с использованием определенных технологий, с помощью которой выявляются несоответствия между публикуемыми фактами и теми, что существуют в реальности.

Исследование и верификация информации в рамках проекта предполагает работу в трех форматах: фактчек, блогпост и медиа-анализ. Каждый из них имеет строгую структуру, систему доказательства и оформления. Именно технология проверки информации СМИ и социальных медиа в жанре фактчека может быть описана как базовая модель фактчекинга и использоваться, в том числе, для создания прототипа информационной системы, позволяющей в автоматическом режиме находить и атрибутировать фейковую информацию.

Результатом работы над сюжетом или его частью, отдельным высказыванием, так называемым «клеймом» (claim), становится присвоение рейтинга, который указывает на соответствие критериям достоверности: «True» – правда, «Mostly True» – в большей степени правда, «Mostly False» – в большей степени ложь, «False» – ложь, «Uncheckable» – непроверяемый, основано на мнении, а не на фактах и проверяемых источниках.

На первом этапе высказывание, представленное в материале СМИ или социальных медиа, анализируется участниками исследования с точки зрения понимания содержания: является ли оно «фактом», «мнением», «предсказанием / предположением». «Мнение» и «предсказание» сразу отсекаются: они относятся к категории «непроверяемое», следовательно, не могут быть «истинными» или «ложными» с точки зрения процедуры фактчекинга. Если «клейм» (высказывание в рамках сюжета) определяется в качестве «факта» (для этого он должен, прежде всего, быть привязан к таким параметрам, как дата, событие, конкретный человек, место, количественные данные), то начинается непосредственный процесс проверки.

Главной задачей данного этапа является выделение предмета высказывания и его четкая атрибуция с точки зрения смысла: верификация проводится только в системе того, что можно обозначить как «количественно / качественно атрибутируемое», то есть то, что можно объективно проверить при помощи статистики, географических данных, фото- и видеофиксации, данных геолокации, квалифицированного экспертного комментария. Если сделать этого нельзя, то проверка завершается, высказывание определяется как «непроверяемое».

После подтверждения возможности объективной проверки высказывания наступает этап, связанный с анализом источника и его авторства. Самое важное здесь – определить первичный источник, пройти по всей цепочке ссылок, чтобы убедиться в «существовании» автора и в том, что его информация может быть подтверждена при помощи объективных доказательств (факты, свидетели, обстоятельства, даты, упоминаемые географические локации, социальные сети).

На третьем этапе анализируется именно первичный источник, который и подвергается процедуре фактчекинга. Если такой источник найти не удается, высказывание квалифицируется как «непроверяемое». В рамках данного этапа студенты также пытаются связаться с автором первоначального высказывания для того, чтобы получить комментарий или задать уточняющие вопросы, получить дополнительную информацию. Для этого используются возможности социальных сетей, личные контакты, материалы СМИ. Справедливости ради, надо сказать следующее: опыт проекта свидетельствует, что, к сожалению, обращения участников проекта, даже подкрепленные официальным запросом, практически всегда остаются без ответа.

Одновременно с этим начинается активная работа по поиску эксперта, готового дать комментарий и оценить правдивость / ложность высказывания. Объективность высказывания, несомненно, в большей степени подтверждается мнением двух специалистов, но не всегда получается найти двух экспертов в конкретной узкой сфере или же не каждый раз удается получить комментарий. Иногда мнения экспертов могут не совпадать: в отдельных случаях это дает возможность использовать материалы интервью в жанре «блогпост», позволяющем расширить контекст сюжета, выказать мнения и оценки, имеющие отношение к фактчеку, но выходящие за его непосредственные рамки. Любое свидетельство в рамках системы доказательства «истинности» или «ложности» высказывания обязательно подкрепляется ссылкой на источник информации.

В конце третьего этапа проставляется промежуточный рейтинг высказывания: подтвержденный «клейм» определяется как «правда» / «в большей степени правда», высказывание, не имеющие объективного подтверждения, – как «ложь» / «в большей степени ложь». Анализ комментария второго эксперта дает возможность окончательной атрибуции высказывания с точки зрения представленного выше рейтинга.

В качестве примера реализации технологии верификации информации в рамках проекта #СТУДFACTCHECK следует привести исследование студентов Института филологии и журналистики «Мораль и этические ценности ChatGPT: есть ли у ИИ четкая нравственная позиция?», нашего первого сюжета по проблематике ИИ, сделанного еще в 2023 году.

Изначально студентов заинтересовал сюжет, опубликованный на немецком портале Wissenschaft.

Высказывание: «ChatGPT и искусственный интеллект в целом не обладают способностью различать моральные ценности и нормы» вызвало у членов команды проекта желание проверить его истинность / ложность в рамках технологии работы над фактчеком. Атрибуция предмета высказывания – технология ChatGPT и ее объективные характеристики – позволили провести верификацию данного «клейма». В процессе работы выяснилось, что статья на портале – вторичный источник, пересказ научного отчета «Непоследовательные моральные советы ChatGPT влияют на мнение пользователей», размещенного на сайте Nature.

Именно поэтому, в соответствии с методологией исследования, было принято решение работать с этим источником.

В исходной статье приводятся результаты эмпирических исследований технологии, прежде всего, ответы нейросети на вопросы, имеющие морально-этический смысл. Студенты решили пойти аналогичным путем: чтобы доказать или опровергнуть тезис о непоследовательности нейросети в понимании событий и фактов, интерпретация которых зависит, в том числе, от нравственной позиции, они задавали ChatGPT подчас провокационные с моральной точки зрения вопросы. Для своеобразной «чистоты» эксперимента «диалог» с нейросетью велся на русском и английском языках. В отдельных случаях ответы отличались неопределенностью в трактовке сложных с точки зрения морального выбора ситуаций, а в других – особенно в русской и английской версиях – эти отличия были достаточно существенными.

Результаты «эксперимента» позволили выставить предварительный рейтинг высказывания, которое приводилось в изначальной публикации, как «правда». Одновременно участники проекта обратились к экспертам. Поскольку данная тема имеет несколько измерений – научно-техническое и нейропсихологическое – студенты взяли комментарии у специалистов в сфере ИТ (директора Института информационных технологий, математики и механики Университета Лобачевского, доктора физико-математических наук Николая Золотых, системного аналитика ООО «БИ ТЕЛЕКОМ» Юрия Баташева), а также доктора биологических наук, профессора кафедры психофизиологии ННГУ, члена правления Российской ассоциации нейроинформатики Сергея Парина. Моральные вопросы также имеют религиозно-нравственные основы, поэтому студенты взяли комментарий у настоятеля храма в честь святителя Иоанна Милостивого г. Сергач Нижегородской области, руководителя миссионерского отдела Лысковской епархии отца Дмитрия Боголюбова.

Мнения экспертов позволили окончательно сформулировать вывод по данному фактчеку и обосновать рейтинг «правда»: моральная позиция ChatGPT на данный момент во многом зависит от настроек, заданных разработчиком. Однако выставленные фильтры в отдельных случаях могут быть обойдены путем изменения запроса. Студенты сделали вывод, актуальный и в 2025 году: разработчики ChatGPT и других нейросетей не хотят нести ответственность за решения, которые могут повлиять на жизнь пользователей.

Работа над сюжетом продемонстрировала эффективность методологии проекта: проведенное студентами исследование включает доказательную базу, четкую структуру, ссылки на эмпирические материалы. Использование алгоритма позволяет организовать процесс, отсекать лишние элементы, формулировать ясный результат.

Именно эта работа натолкнула нас на мысль о том, что можно создать технологию автоматизации процесса фактчекинга, в том числе с использованием нейросети.

С 2024 года в рамках проекта работает научно‑практический семинар, где участники изучают опыт российских и зарубежных коллег, разрабатывают и тестируют гибридную платформу проверки информации на основе собственной нейронной сети. Разработкой занимаются преподаватели, аспиранты и магистранты ИФИЖ и Института информационных технологий, математики и механики (ИИТММ) ННГУ, которые обучаются по программам «Искусственный интеллект и журналистика данных» и «Искусственный интеллект», а также в проекте участвуют специалисты-практики в сфере информационных технологий.

Считаем, что создание такой платформы особенно важно в условиях, когда технологии искусственного интеллекта не только помогают создавать полезный контент, но и могут быть использованы для распространения фейковых новостей и манипулирования общественным мнением. Гибридная платформа #СТУДФАКТЧЕК поможет бороться с этим вызовом, ускоряя процесс проверки информации и привлекая к этому процессу экспертов из различных областей. Это технологическое решение позволит журналистам, исследователям и пользователям эффективнее выявлять недостоверную информацию, делая медиапространство более прозрачным и надёжным.

Автор: Людмила Макарова

Как студенты делают фактчеки и при чем здесь искусственный интеллект