Новозеландский стартап ThroughLine, который уже сотрудничает с OpenAI, Anthropic и Google по кризисным сценариям, хочет расширить свою систему поддержки и добавить в неё работу с признаками насильственного экстремизма. По данным Reuters, речь идёт о новом инструменте, который должен сочетать чатбота и перенаправление пользователя к реальным службам помощи.
Сейчас ThroughLine известна как сервис, который подключается в тех случаях, когда AI-платформа видит возможный риск селфхарма, домашнего насилия или расстройств пищевого поведения. У компании есть постоянно обновляемая сеть из 1600 горячих линий в 180 странах, и в таких сценариях пользователя направляют к подходящей локальной службе поддержки.
Теперь компания рассматривает следующий шаг — работу с пользователями, которые проявляют признаки радикализации или интерес к насильственному экстремизму. Для этого ThroughLine ведёт обсуждения с The Christchurch Call — международной инициативой, созданной после теракта в Крайстчерче в 2019 году для противодействия онлайн-экстремизму. Предполагается, что эта структура будет давать экспертные рекомендации, а ThroughLine — разрабатывать сам инструмент вмешательства.
Другие новости и материалы по AI — в Telegram-канале NH | Новости технологий, AI и будущее.
По словам основателя ThroughLine Эллиота Тейлора, речь идёт не о простой блокировке пользователя или автоматическом отключении диалога, а о более мягкой модели вмешательства. В основе должен быть гибридный подход: специализированный чатбот, обученный работать с чувствительными кейсами, плюс возможность вывести человека на живую помощь в офлайне или через профильные службы. Сроки запуска пока не объявлены, продукт всё ещё тестируется.
Идея выглядит как попытка уйти от привычной логики “обнаружили риск — забанили”. В Reuters отмечают, что у платформ уже растёт давление из-за исков и претензий, связанных с тем, что чатботы могут не остановить опасное поведение или даже косвенно его поддержать. На этом фоне ThroughLine предлагает модель, где проблема рассматривается не только как вопрос модерации контента, но и как вопрос кризисной помощи человеку.
В статье отдельно подчёркивается, что у такого подхода остаются сложные вопросы: как строить follow-up, когда и нужно ли уведомлять власти, и не приведёт ли слишком жёсткое вмешательство к обратному эффекту — например, к уходу пользователей на менее регулируемые площадки. Но сам факт появления таких инструментов показывает, что AI-компании всё чаще вынуждены думать не только о генерации текста, но и о том, что делать с опасными сценариями в живом общении с пользователем.
В канале NH | Новости технологий, AI и будущее публикуем новости AI, полезные сервисы, автоматизацию и материалы о практическом применении нейросетей. Если нужна зарубежная карта для оплаты сервисов, отдельный разбор можно почитать здесь.
