«Сбер» запатентовал голосового бота с ИИ, который может прослушивать и анализировать все аудиовызовы и видеовызовы в смартфоне пользователя, включая сделанные через мессенджеры, для борьбы с мошенниками.
Патент под названием «Способ и система анализа голосовых вызовов на предмет выявления и предотвращения социальной инженерии с помощью активации голосового бота» описывает компьютерно-реализуемый способ анализа диалога во время аудиовызовов на предмет выявления мошеннической активности, выполняемый с помощью процессора и содержащий этапы, на которых:
получают с помощью устройства пользователя входящий аудиопоток, поступающий от вызывающей стороны;
генерируют синтетический исходящий голосовой аудиопоток, выполняющий роль собеседника в диалоге с вызывающей стороной;
осуществляют преобразование входящего аудиопотока в векторную форму;
осуществляют обработку преобразованного аудиопотока с помощью первой модели машинного обучения, в ходе которой выполняют сравнение векторной формы аудиопотока с ранее сохранёнными векторами, характеризующими мошенническую активность;
осуществляют транскрибирование аудиопотока и его последующую обработку с помощью второй модели машинного обучения, которая выполняет анализ диалога вызывающей стороны, при этом в ходе упомянутого анализа осуществляется семантический состав информации и паттерн ведения диалога, при этом паттерн ведения диалога включает в себя анализ слов, используемых в разговоре, анализ построения фраз, анализ следование фраз друг за другом; наличие и длительность пауз в диалоге входящего аудиопотока;
осуществляют классификацию входящего аудиопотока на основании выполненной обработки первой и второй моделями машинного обучения, при этом генерирование исходящего аудиопотока выполняется до момента классификации входной аудиодорожки;
генерируют сообщение о статусе классификации входящего аудиопотока, отображаемое на дисплее устройства пользователя.
Техническим результатом является повышение эффективности и точности распознавания мошеннической активности входящих аудиовызовов за счёт комбинированного анализа аудиопотока и семантики паттерна диалога, — говорится в патенте.
В итоге есть два варианта использования бота. В первом случае ИИ сразу будет общаться с мошенниками по телефону, пока не определит, что они — мошенники, а после этого уведомит пользователя, что атака отбита. Во втором случае ИИ будет прослушивать все аудиосигнатуры на предмет наличия в них определённых паттернов (кодов банковских карт и ПД пользователя), а потом вмешиваться в разговор и закрывать инцидент, предупреждая клиента об опасности.
Блок-схема общего процесса анализа аудиопотока вызова.
Блок-схема процесса анализа аудиопотока на предмет синтетических изменений.
Блок-схема процесса формирования синтетического исходящего аудиопотока для ведения диалога.
Общая схема вычислительного устройства.
