Character.AI, ведущая платформа для общения и ролевых игр с персонажами, созданными искусственным интеллектом, во вторник представила свою будущую модель создания видео AvatarFX. Доступная в режиме закрытого бета-тестирования, модель анимирует персонажей платформы в различных стилях и голосах, от персонажей, похожих на людей, до 2D-мультфильмов о животных.
AvatarFX отличается от конкурентов, таких как Sora от OpenAI, тем, что это не просто генератор видео из текста. Пользователи также могут создавать видео из уже существующих изображений, что позволяет анимировать фотографии реальных людей.
Сразу становится понятно, как можно использовать эту технологию для злоупотреблений: пользователи могут загружать фотографии знаменитостей или людей, которых они знают в реальной жизни, и создавать реалистичные видео, в которых они делают или говорят что-то компрометирующее. Технология создания убедительных дипфейков уже существует, но её внедрение в популярные потребительские продукты, такие как Character.AI, только усугубляет вероятность её безответственного использования.
Character.AI уже сталкивается с проблемами безопасности на своей платформе. Родители подали иски против компании, утверждая, что её чат-боты побуждали их детей причинять вред себе или своим родителям.
Это крайние примеры, но они показывают, как чат-боты с искусственным интеллектом могут эмоционально манипулировать людьми с помощью одних только текстовых сообщений. С добавлением видео отношения людей с этими персонажами могут стать ещё более реалистичными.
Character.AI отреагировал на обвинения в свой адрес, создав родительский контроль и дополнительные меры безопасности, но, как и в случае с любым другим приложением, контроль эффективен только тогда, когда он действительно используется. Зачастую дети используют технологии так, что их родители об этом не знают.