Мы строим AI-систему для автоматизации рерайта новостей в региональных СМИ. В таких СМИ часто три человека делают работу пятерых, а восемь из десяти материалов в день — это пересказ чужих новостей. Не потому что хотят, просто план, трафик, выживание и тд. Мы забираем эти восемь рерайтов на себя, чтобы у редакции осталось время на журналистику, а не тупизну.
Начали делать модуль фактчека. Через Перплексити сделала исследование, принесла разработчику
В какой последовательности вообще делается проверка фактов:
Сначала нужно понять, что из текста нужно проверить (claim detection), это не всегда так очевидно, как кажется.
Классифицируем утверждение — это имя, дата, цифра, гео, цитата?
Проверяем каждое утверждение
Маркируем факты (причем сначала нужно задать систему, например, бинарную)
Редактор выносит вердикт
Красиво, академично и вообще не то, что нужно.
Поговорила с редакторами, как они делают фактчек
Ответы одинаковые: вручную, глазами. Смотрят, кто ещё написал эту новость, чтобы не быть первыми с фейком. Проверяют имена и должности. Иногда звонят в источник. Пара человек прогоняют через нейронку. Автоматического фактчека нет ни у кого. Ни инструментов, ни чек-листов.
Разработчик как бэ заранее это и предполагал: «Я очень сомневаюсь, что у нас медиа вот этим всем занимается в том объёме, как у тебя в ресёрч.» Ну прав. Нельзя автоматизировать то, чего нет. Сначала нужно дать инструмент лучше текущего процесса. А текущий процесс - это глаза, еще одни глаза и интуиция.
Сформулировала, что вообще такое для нас т.н. фактчекинг. Нам реально нужны две вещи:
Понимать, можно ли доверять источнику
Проверять, что AI не наврал при рерайте
Всё.
Решили пока ввести такие уровни доверия к источнику:
Если это ТАСС, Интерфакс, крупные СМИ, релизы из почты и тд — рерайтим автоматом.
Telegram-каналы – рерайтим, только если кто-то ещё об этом написал. «Кто-то ещ�� написал» - это мы и так знаем из дедупликации. Просто сохраняем число и используем как сигнал.
Непонятно кто, но новость релевантна изданию — показываем редактору, не рерайтим.
Сделали рерайт – проверяем консистентность, это один вызов LLM с промптом типа «Сравни факты в рерайте с оригиналом. Найди расхождения в ФИО, должностях, датах, цифрах».
Результат маркируем:
🟢 Всё совпадает с источником, можно доверять
🟡 Мелкие расхождения (округление, перефразирование)
🔴 Появились факты, которых нет в оригинале. Красный — редактор смотрит руками. Зелёный — идёт в публикацию.
Разработчик: «Мне кажется, это просто отдельная роль агенту даётся. Типа вот два текста, надо проверить что не так. Это норм. Обычная история.»
Ну для тебя обычная, а для меня нет. Ок, приняли.
Вопрос, который мы ещё не решили
Разраб подкинул хорошую мысль: «А что если новость сначала пришла из телеги, а потом лучше написана с нормального портала?»
Это про выбор между скоростью и надёжностью. Рерайтить инсайд из телеграма сразу — быстро, но рискованно. Ждать подтверждения, надёжно, но поздно.
Пока ответ такой — система не решает за редактора. Она показывает сигнал — «эта новость пока только у такого-то канала, подтверждений нет», и дальше уже человек выбирает, что с ней делать. Для одних тем скорость важнее, для других — нет.
Итог – наш фактчек немного не фактчек
Полноценный академический фактчекинг — возможно, когда-нибудь. В MVP уровни доверия к источникам + агент-верификатор, который сравнивает рерайт с оригиналом. И хорош пока. Едем без внешних API и claim detection. Просто минимально достаточная система, которая лучше глаз и интуиции.
