Как стать автором
Обновить

Оплата не отходя от девайса: как мы реализовали персонализацию в устройствах Sber с помощью распознавания голоса и лица

Время на прочтение7 мин
Количество просмотров2.9K
Всего голосов 6: ↑5 и ↓1+6
Комментарии19

Комментарии 19

НЛО прилетело и опубликовало эту надпись здесь

Тут ведь даже не видео анализируется, а отдельный кадр! Достаточно простую фотографию из интернета показать + генератор фонем включить.

Тут ведь даже не видео анализируется, а отдельный кадр! Достаточно простую фотографию из интернета показать + генератор фонем включить.

Не достаточно, вам не известно в какой момент происходит захват лица, а значит и все его параметры. Вам мало назвать цифры, нужно назвать их нужным голосом без артефактов. Генератор фонем не поможет в имитации чистого голоса конкретного человека.

Вам мало назвать цифры, нужно назвать их нужным голосом без артефактов. Генератор фонем не поможет в имитации чистого голоса конкретного человека.

Неубедительно от слова совсем. Если я правильно понимаю, если у вас что-то может распознать голос — то это значит, что при помощи этого чего-то сделать генератор голоса, который через такой фильтр пройдет. Как защищается параметры фильтра? И как их сменить, если выяснится, что кто-то сумел генератор моего голоса сделать?

Защиту от фейков обеспечивает комплекс из двух модальностей – лицо и голос. В случае с голосом вы к тому же не можете подготовить записи заранее, потому что каждый раз для подтверждения оплаты нужно прочитать выведенный на экран девайса уникальный 6-значный набор цифр. Кроме того, персонализация локальная. Вы не сможете с одного устройства инициировать оплату через другое устройство. А значит круг лиц для потенциального фейка ограничен пользователями конкретного устройства – членами вашей семьи. Более того, у вас есть механизм гибкой настройки возможности оплаты для разных домочадцев. Ну и напомню, что с помощью фичи можно оплачивать только покупки в Самокате, фильмы в Окко, игры в SberPlay и т.п. Для банковских операций она не работает.

Не вижу препятствий проиграть уникальный X-значный (где X может стремиться к бесконечности) набор цифр из заранее записанной библиотеки слов. Благо, их всего 10.

Если, действительно, используется захват двухмерного изображения в неизвестный момент времени, то можно нацепить маску на лицо с фотографией жертвы.

Я считаю, что данный проект не прост и интересен, но небезопасен. Хорошо бы откатать его на менее важных кейсах.

Есть ли возможность выбирать клиенту вид персонализации? Я бы не хотел быть в числе тестировщиков этой системы.

А еще лучше будет, если Сбер научится решать хотя бы простые проблемы с мошенничеством. Например, был перевод денег мошенником с карты жертвы на свою карту. Жертва обратилась в полицию и Сбер. Ни там, ни там не решили проблему.

НЛО прилетело и опубликовало эту надпись здесь

Было бы любопытно узнать технические детали как это всё крутится на Amlogic S905Y2/Amlogic A311D с 2GB, ведь именно эти SOC используются в SberBox Top и SberPortal. Какой у вас inference time для лица скажем 224x224?

Распознавание лиц мы запускаем на GPU (на NPU работает трекинг). На GPU скорость инференс на лице 224x224 - 127ms. Инференс запускается не на каждом кадре, чтобы сэкономить вычислительные ресурсы.

двухфакторную аутентификацию по лицу и по голосу

Это не двухфакторная, двухфакторная - это 2 разных фактора из набора "что я знаю" (пароль), "что у меня есть" (карта доступа) и "кто я есть" (биометрия). У вас 2 раза биометрия: голос и лицо.

То что вы сделали назвыается мультимодальная аутентификация (несколько разных видов одного фактора), бимодальная в вашем случае.

В целом верно, но все описанные вами факторы присутствуют:
"что я знаю" (пароль) - числовой пароль как фактор, потому что вам необходимо получить его здесь и сейчас.
"что у меня есть" (карта доступа) - у вас есть "девайс доступа", в чужом девайсе вы ничего сделать не сможете.
"кто я есть" (биометрия) - это не совсем биометрия, нам не нужно понимать что вы это конкретно вы, нам нужно понять что говорящий человек имеет право производить оплату, личность устанавливать не нужно.

На самом деле аутентификация тут однофакторная.


Фактор — само устройство. Если его кто-то украдет, то он вытащит из него все ключи, параметры фильтров авторизации по картинке и по голосу, сделает нужную картинку, воссоздаст (если оно вообще надо, а нельзя обойтись только ключами с из устройства) мой голос и после этого сделает свое злое дело. И я не уверено, что устройство надо именно красть, а нельзя его хакнуть и вытащить все это удаленно.

У мамки взяли образец голоса при оформлении карты и теперь она на звонки не отвечает "да" а только "алло" потому что боится что "да" может быть формальным согласием на оформление кредита.

Даже без образца голоса так отвечаю, ОпСоСы и подписка за это "да" могут кинуть

и проводить оплату хочется, с одной стороны, быстро и удобно, без лишних телодвижений – чтобы не нужно было брать в руки телефон, заходить в онлайн-банк, вводить реквизиты или коды из пуш-уведомлений

А можно будет оставить старый вариант оплаты, для тех кто не хочет использовать биометрию? Неужели никто не понимает, что в случае компрометации биометрии (а это произойдет рано или поздно 100%), ее так легко и просто не «поменять», в отличии от паролей, и придется делать новые схемы аутентификации?

В прямом понимании данный продукт не является биометрией – это персонализация. Нам не нужно знать, что вы – это конкретно вы (Иванов Иван Иванович), более того, мы нигде об этом и не спрашиваем. Нам нужно просто установить, что вы принадлежите группе, которой разрешена оплата. По аналогии можно привести, например, оплату прохода в транспорте: контролю необходимо лишь то, чтобы у вас был билет (в нашем случае голос и лицо), но сам билет при этом обезличен, он никак с вами не связан, кроме того, что вы держите его в руках.
Настройка опциональная и если что вы сможете провести оплату по QR коду через смартфон. 

Нам нужно просто установить, что вы принадлежите группе, которой разрешена оплата.

Это я понимаю, но биометрия здесь не самый удачный подход, именно потому что поменять ее нельзя. Например, одноразовый пароль, тоже можно передать кому-то близкому для возможности использовать сервис оплаты, и это безопаснее, именно потому что он одноразовый — это исключает и последствия утечки и злоупотребление. А с биометрией — риски гораздо больше.
Нам не нужно знать, что вы – это конкретно вы

Здесь вы лукавите, знать надо обязательно. Иначе что это будет за непонятный «анонимный» перевод денег, который потом и не опротестуешь никак, особенно в случае злоупотребления? И эта привязка к конкретному человеку еще один огромный риск.

Не лукавим. Вы после покупки устройства при желании можете связать девайс и карту через мобильное приложение. То есть получаете связку “девайс-карта“. Далее заводите сколько угодно локальных аккаунтов на девайсе без дополнительных провязок с какими-то внешними аккаунтами. В итоге у вас есть связка “девайс-карта” и “аккаунты-девайс“. Но нет связи “аккаунт-карта“, так как вы можете завести свою карту, а аккаунты на девайсе создать для других членов семьи. Перевод денег будет, безусловно, от владельца карты, но механизм позволяет его расширить на всю семью для удобства пользования сервисами. Снова вернемся к билету – никто же не запрещает вам использовать его всей семьей, хоть он и оплачен вашей картой.

А как идёт защита от men in middle? Т.е. когда тот кто читает пароль 100% уверен что он видит куда и какую сумму переводить? Вирус можно и для устройства написать.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий