Почему ваша банковская карта может быть заблокирована, когда вы покупаете кофе в другом городе, хотя мошенники умудряются отмывать миллиарды? В этой статье мы подробно рассмотрим, как работают системы защиты от мошенничества, объясним, что такое компромисс между прецизионностью (точностью) и полнотой на понятном примере, проанализируем потерю $1.8 миллиарда у TD Bank и поговорим о том, как банки и киберзлоумышленники соревнуются, используя Adversarial AI (враждебный искусственный интеллект).

Предыдущие статьи:

  1. Цена риска: как ML-модели решают, какой процент по кредиту вы получите

  2. Лимит доверия: как ИИ решает, сколько денег вам можно дать (и почему это часто несправедливо)

Введение: Парадокс безопасности

Представьте: долгожданная поездка, отпуск в чужой стране. После дня, полного впечатлений, вы отдыхаете в ресторане и ждете ужин. Приносят счет – и вы, без колебаний, подаете банковскую карту… но на экране терминала видите короткое "Отказано". Отказ. Еще одна попытка с этой же картой, потом с картой другого банка – результат тот же. Смущение переходит в холодный пот, потому что наличных у вас в кармане не хватит, чтобы заплатить. Вы в затруднении: за тысячи километров от дома, без возможности воспользоваться своими деньгами. И тут приходит SMS от банка: "Подозрительная операция. Вашу карту заблокировали. Это были вы?". Да, это были вы, но момент уже упущен. Вечер испорчен, и к банку вы испытываете серьезное недоверие.

Эта история – обобщенный пример из тысяч отзывов на интернет-форумах и в соцсетях. Люди, чьи карты блокировали в самый неподходящий момент: когда покупали обручальное кольцо, оплачивали гостиницу в незнакомой стране или просто пытались приобрести продукты для семьи. Основной вопрос, который возникает в такой ситуации: почему система, предназначенная для защиты, пошла против ее же пользователя? И почему в то же самое время настоящий мошенник, где-нибудь на другом конце планеты, совершенно спокойно может оплатить с этой же карты что-то очень дорогое, а система даже не обратит внимания?

Это явление, которое известно как False Positive (ложная тревога) или, в банковской практике, False Decline (ложный отказ), – огромная проблема для мировой экономики. Когда законная транзакция ошибочно определяется как мошенническая, проигрывают все: и покупатели, и компании. По данным исследования LexisNexis, на каждый рубль, потерянный из-за мошенничества, фирмы тратят почти 6 рублей на операционные расходы, большая часть которых приходится на последствия ложных срабатываний. Это превращает борьбу с мошенничеством в дорогостоящее мероприятие, где побочный ущерб от защиты сопоставим с самой угрозой.

Чтобы понять, как мы дошли до этой странной ситуации, когда попытки предотвратить опасность приносят больше вреда, чем сама опасность, нужно заглянуть внутрь современных систем по борьбе с мошенничеством и узнать о двух их основных, постоянно конфликтующих показателях – Precision и Recall.

Дилемма рыбака: Precision vs. Recall

В любой антифрод-системе есть важный выбор, который можно представить так: скажем, вы ловите рыбу и должны выловить только один вид – рыбку-клоуна – из громадного аквариума, полного всякой разной рыбы. В данном случае, рыбка-клоун – это мошенническая операция, или "фрод", а вся остальная рыба – обычные, законные платежи.

Для того чтобы понять, насколько удачной вышла ваша "рыбалка", применяются два важных показателя:

  • Полнота (Recall) – это то, насколько хорошо вы можете поймать всех рыбок-клоунов в аквариуме. Если в аквариуме десять рыбок-клоунов, а вы поймали семь, то полнота у вас – семьдесят процентов. Высокая полнота очень важна для надзорных органов и службы безопасности банка: они хотят, чтобы как можно меньше мошеннических действий проходило мимо, то есть, чтобы поймать как можно больше мошенников.

  • Прец��зионность (Precision) – это качество вашего улова. Если вы забросили сеть и вытащили десять рыб, из которых семь – рыбки-клоуны, а три – обычные, совершенно ни в чем не повинные рыбки, то прецизионность у вас – семьдесят процентов. Клиенты желают высокой прецизионности. Никто не хочет, чтобы его ошибочно "выловили", когда он совершает вполне обычную покупку. (NB: Precision и Accuracy можно перевести на русский язык как "точность", и оба этих термина используются в машинном обучении. Однако в данной статье мы будем использовать именно этот термин - "прецизионность")

В этом – главная трудность. Чтобы без сомнения поймать всех рыбок-клоунов – достичь ста процентов по полноте – вам потребуется очень крупная сеть и, можно сказать, вычерпать половину аквариума. В ваш улов попадёт очень мн��го "лишнего" – нормальных операций, которые система ошибочно сочтёт мошенническими. Это те самые ложные срабатывания, из-за которых карты блокируют в самый неподходящий момент. Но если вы стремитесь к совершенно чистому улову – 100% прецизионности – вам придется пользоваться крохотным сачком и вылавливать каждую подозрительную рыбку по отдельности. Вы будете действовать аккуратно, но почти наверняка упустите нескольких пронырливых мошенников, которые останутся вне вашего поля зрения. Тогда полнота будет низкой.

Этот компромисс наглядно описывается с помощью матрицы ошибок (Confusion Matrix):

Предсказано: Фрод

Предсказано: Не фрод

Реально: Фрод

True Positive (TP)

False Negative (FN)

Реально: Не фрод

False Positive (FP)

True Negative (TN)

  • True Positive (TP): Система правильно определила мошенническую транзакцию.

  • False Negative (FN): Система пропустила фрод, посчитав его легитимной операцией. (Ошибка II рода)

  • False Positive (FP): Система ошибочно заблокировала легитимную операцию. (Ошибка I рода, тот самый ложный отказ)

  • True Negative (TN): Система правильно проигнорировала легитимную операцию.

Формулы для Precision и Recall выглядят следующим образом:

Precision = \frac{TP}{TP + FP}Recall = \frac{TP}{TP + FN}

Банки все время оказываются в сложном положении: с одной стороны, над ними стоят контролирующие органы, которые выписывают огромные штрафы за то, что не обнаружили мошенничество (высокий FN); а с другой – недовольные клиенты, которые уходят к другим банкам из-за каждого необоснованного отказа в проведении операции (высокий FP). И, как показывает практика, убытки от потери клиентов и снижения их доверия, как правило, могут быть больше, чем убытки от самого мошенничества. Чтобы разобраться, по каким соображениям машины принимают такое непростое решение, необходимо посмотреть внутрь их “системы” и изучить, из чего состоит цифровая подозрительность.

Анатомия подозрения: как машины учатся видеть фрод

В основе любой современной антифрод-системы – технология машинного обучения. Модели в реальном времени разбирают сотни, а порой и тысячи параметров каждой транзакции, чтобы понять, насколько вероятно, что это обман. Один из этапов разработки систем машинного обучения – создание новых признаков (feature engineering) – превращает обычное финансовое действие в многогранный набор данных, который понятен только алгоритму.

Возьмем, к примеру, обычную покупку кофе на 300 рублей. Для нас – это просто рутинное действие. Для ML-модели – сложная информация, которую нужно проанализировать:

  • Признаки транзакции:

    • Сумма: 300 рублей. Насколько эта сумма характерна для ваших обычных трат? Не выбивается ли она из среднего чека?

    • Время: 8:30 утра. Соответствует ли это вашему обычному распорядку дня, или транзакция происходит глубокой ночью, когда вы, как правило, неактивны?

    • Частота: Это первая покупка за день или пятая за последний час? Аномальная частота может быть признаком фрода.

  • Признаки местоположения:

    • Торговая точка (MCC-код): Кофейня. Соответствует ли категория вашим привычным покупкам?

    • Геолокация: Как далеко это место от вашего дома, работы или обычных маршрутов?

  • Признаки поведения:

    • История взаимодействия: Вы бывали в этой кофейне раньше? Являетесь ли вы постоянным клиентом?

    • Тип операции: Оплата по чипу (EMV) или бесконтактно? Или это снятие наличных в банкомате, который ранее не использовался?

  • Признаки устройства (для онлайн-операций):

    • Digital Fingerprint: С какого устройства совершена покупка? Это ваш личный смартфон или подозрительный эмулятор с новой конфигурацией?

Это только самые простые, исходные параметры. Настоящее чудо происходит, когда система начинает их соединять, создавая сложные, поведенческие показатели. В 2018 году ученые из MIT показали систему Deep Feature Synthesis, которая автоматизирует эту работу. Алгоритм сам придумал сотни сложных параметров из простых.

Например, вместо параметра "сумма транзакции" модель сделала новый: "соотношение текущей суммы к средней сумме покупок этого клиента по утрам в пятницу за последние три месяца". Вместо статического "места" появился показатель: "расстояние между местоположением текущей и прошлой покупки, разделенное на время между ними". Иными словами – ваша скорость. Если система видит покупку в Уфе, а через 10 минут – в Нью-Йорке, скорость будет нереальной, и это почти наверняка означает, что кто-то использует копию вашей карты.

Исследование MIT дало отличные результаты. На данных из 900 миллионов операций от крупного международного банка их модель, с более чем 200 такими "глубокими" параметрами, уменьшила количество неверных срабатываний (False Positives) на 54%, не изменив при этом способность находить реальное мошенничество (Recall). Это позволило спасти от необоснованной блокировки 156 000 легитимных клиентских операций.

Проблема дисбаланса классов

Однако даже самые совершенные модели сталкиваются с фундаментальной проблемой — дисбалансом классов. Из моей практики: в среднем, из 10000 платежей лишь 1-2 оказываются мошенническими. По сути, это как искать лишь одну красную точку на огромном лугу, полном тысяч зеленых. Любому алгоритму это будет очень непросто.

Если бы целью модели было просто максимизировать общую точность (accuracy), она могла бы пойти на хитрость: всегда предсказывать "не фрод". Тогда ее точность была бы 99.99%, но она оказалась бы совершенно не нужна, поскольку пропускала бы все мошеннические платежи. Поэтому в задачах по поиску фрода используют показатели Precision и Recall, которые смотрят на качество обнаружения редкого класса.

Специалисты по данным и аналитики постоянно ищут лучший предел срабатывания для модели. Банк может установить задачу: “Мы хотим выявить не меньше 80% всего фрода (Полнота ≥ 80%). А теперь, при таком условии, давайте увеличим прецизионность, чтобы уменьшить число ошибочных блокировок”.

Но что, если иногда банки сознательно идут на снижение прецизионности? Что, если пропуск некоторого количества фрода является частью бизнес-стратегии, направленной на достижение других, более приоритетных целей, таких как скорость и удобство обслуживания?

Системный провал: когда банк становится удобным для преступников

Если отдельные ложные срабатывания – неприятные, хотя и понятные "ошибки" в работе алгоритмов, то есть случаи, когда проблема достигает совершенно иного масштаба. Это случаи масштабных сбоев, когда финансовые организации, стремясь к росту и «клиентоориентированности», намеренно ослабляют надзор, что приводит к катастрофическим последствиям. Самый яркий пример – дело TD Bank.

В октябре 2024 года Министерство юстиции США объявило об одном из самых больших штрафов в истории за нарушение Закона о банковской тайне. Десятый по величине банк в США, TD Bank, согласился заплатить 1.8 миллиарда долларов. Причина заключалась не в ошибке сложной ML-модели, а в ее полном отсутствии. Банк настолько увлекся созданием бесперебойного клиентского опыта и быстрым расширением, что, по словам его же сотрудников, стал «удобным для преступников».

В период с 2018 по 2024 год 92% всех операций в банке – на общую сумму 18,3 триллиона долларов – вообще не проходили через систему выявления подозрительной деятельности. Банк активно внедрял новые, популярные сервисы, например, платежную систему Zelle, но не потрудился интегрировать их со своими системами противодействия мошенничеству. Правила отслеживания не обновлялись годами, и в какой-то момент руководство вообще неофициально приказало отделениям прекратить подавать отчеты о подозрительных операциях, чтобы не замедлять обслуживание.

Результат не заставил себя ждать. Через банк прошли сотни миллионов долларов, связанные с деятельностью трех крупных сетей по отмыванию денег. Одна из них, связанная с наркокартелем, просто вносила огромные суммы наличных на фиктивные счета, «поощряя» лояльность сотрудников банка подарочными картами на десятки тысяч долларов. Другая схема, построенная на основе подставного ювелирного бизнеса, провела через банк 120 миллионов долларов, прежде чем была раскрыта. В третьей схеме участвовали сами сотрудники банка, которые выдавали десятки АТМ-карт колумбийскому картелю, который успешно отмыл через них 39 миллионов долларов.

Дело TD Bank – это экстремальный, но поучительный пример того, к чему приводит отказ от контроля ради скорости. Любая мера безопасности по своей сути – это трение: дополнительный шаг, проверка, задержка. В современном финансовом мире, где клиенты ожидают мгновенных операций в один клик, трение воспринимается как помеха. И в конкурентной борьбе за клиентов некоторые банки готовы снизить уровень безопасности до критического уровня.

Однако есть и другая сторона медали – чрезмерное «затягивание гаек».

Эти две крайности – TD Bank, который был слишком «удобным», и Bank of America, который был слишком «осторожным» – выявляют основополагающий конфликт. И где-то между ними – ваша отклоненная в отпуске оплата ресторана в конце дня. Ваша транзакция – это "сопутствующий ущерб" в бесконечной войне между безопасностью и удобством. И эта война становится все более ожесточенной, потому что противник – организованная киберпреступность – тоже не стоит на месте и активно развивает свои технологии.

Гонка вооружений: состязательный AI в действии

Мы уже давно представляем себе мошенников как людей, работающих в одиночку и вручную подбирающих номера банковских карт. Однако сегодняшняя киберпреступность – это настоящая индустрия, с организованными группами, использующими те же современные технологии, что и банки. В связи с этим появилось новое поле для сражений – враждебный искусственный интеллект (Adversarial AI).

Мошенники сейчас активно используют машинное обучение, чтобы систематически искать и использовать слабые места в защитных системах банков. Так начинается бесконечная игра в кошки-мышки: на каждое действие защиты, преступники придумывают что-то новое, еще более изощренное.

Обычно атака на антифрод-систему проходит в несколько этапов:

  1. Разведка (Probing): Сначала атакующие собирают информацию. Они делают тысячи небольших операций – и нормальных, и явно мошеннических – и внимательно следят, как реагирует система. Какие операции блокируются? Какие проходят? На какие параметры модель реагирует сильнее всего? Этот прием называется атакой на черный ящик (Black Box Attack), потому что мошенники не видят, как устроена модель изнутри, и могут судить о ней только по тому, как она отвечает на их действия.

  2. Создание суррогатной модели (Substitute Model): Набрав достаточно данных о том, как реагирует банковская система, мошенники могут сделать ее “копию” – свою собственную ML-модель, которую они “учат” вести себя, как настоящая антифрод-система. Имея такую суррогатную модель, они могут делать сколько угодно экспериментов в своем “тестовом окружении”, находя слабые места, которые потом будут использованы при атаках на настоящую систему.

  3. Атаки-имитации (Mimicry Attacks): Когда преступники разобрались, как работает защитная модель, они переходят к атакам, которые выглядят как действия нормальных клиентов. Например, они знают, что банк, скорее всего, не заблокирует операцию от постоянного покупателя какого-нибудь магазина. Поэтому алгоритм мошенников сначала делает несколько небольших и абсолютно честных покупок, чтобы “завоевать доверие” антифрод-системы. Когда “профиль клиента” становится похожим на настоящий, следует одна большая мошенническая операция. С большой вероятностью она будет одобрена, потому что ее окружение (история покупок) выглядит правдоподобно.

Это постоянная гонка вооружений. Банки должны постоянно обновлять свои модели, добавлять новые параметры и делать логику сложнее. В ответ мошенники находят новые, еще более изощренные способы обхода защиты. И в этой гонке обычные люди оказываются в роли разменной монеты. Чтобы усложнить жизнь преступникам, банки усложняют жизнь и нам: вводят дополнительные проверки, биометрию, двухфакторную аутентификацию и делают свои антифрод-системы все более “подозрительными”.

В России, где, по данным ЦБ, в 2024 году мошенники украли у клиентов банков рекордные 27.5 миллиардов рублей, эта проблема стоит особенно остро. В качестве ответа государство начало создавать единую цифровую платформу “Антифрод 2.0”, которая должна объединить данные банков и операторов связи. Задумка в том, чтобы анализировать не только финансовую, но и телеком-активность. Например, когда кто-то пытается войти в онлайн-банк, система сможет проверить, не была ли недавно перевыпущена SIM-карта, не используется ли новый телефон, не включена ли переадресация звонков и SMS. Это дает моделям больше данных для анализа, но и создает новые возможные проблемы и увеличивает риск ложных срабатываний.

Заключение: война с шумом против войны с системой

Так почему же антифрод-система блокирует вашу карту в отпуске, но при этом позволяет отмывать миллиарды долларов? Ответ в том, что это две совершенно разные задачи.

Ваша отклоненная операция – это результат борьбы с шумом. Это статистическая задача, в которой алгоритм пытается отличить одну необычную, но нормальную операцию от миллионов других нормальных и тысяч мошеннических. Это мир вероятностей, компромиссов между Precision и Recall, и постоянного поиска оптимального уровня. Цена ошибки в этой борьбе – ваше испорченное настроение, потраченное время и потеря доверия к банку.

Афера на миллиард, как в деле TD Bank, – это результат борьбы с системой. Ее причина – не ошибка алгоритма, а человеческая жадность, системные недостатки внутреннего контроля и сознательное нарушение правил ради роста и прибыли. Цена ошибки здесь – миллиардные штрафы, испорченная репутация и угроза стабильности финансовой системы.

Мы живем во времени, когда алгоритмы принимают за нас все больше решений – от выбора музыки до доступа к нашим деньгам. Но эти алгоритмы не являются беспристрастными судьями. Они – отражение тех данных, на которых их обучали, и тех целей, которые им задали создатели. И пока основной целью остается поиск хрупкого баланса между жалобами клиентов и штрафами от регуляторов, мы все рискуем оказаться в положении туриста с заблокированной картой. Потому что в этой сложной формуле наше личное удобство – всего лишь одна из многих переменных, и, к сожалению, не всегда самая важная.