Готовы ли банки к мошенничеству с помощью ИИ-генерируемого голоса?

ИИ-генерируемый голос изменил экономику мошенничества. То, что ранее требовало опытного имитатора, убедительного сценария или скомпрометированного номера телефона, теперь может быть попытано в крупном масштабе с помощью инструментов, которые звучат тревожно как человек.

И что еще более тревожно, они имеют финансовый сектор прямо в своих прицелах. В начале 2024 года финансовый работник инженерной фирмы Arup присоединился к тому, что казалось обычным видеозвонком с финансовым директором компании и несколькими коллегами. Голоса были знакомыми, лица узнаваемыми, и запрос казался достаточно правдоподобным, чтобы пройти базовую проверку. К концу звонка она авторизовала 25 миллионов долларов в переводах. Люди, которых она считала, что говорит, включая финансового директора компании, были позже сообщены как ИИ-генерируемые дипфейки.

Для финансовых учреждений риск не ограничивается внутренними одобрениями платежей. То же самое падение доверия может произойти в процессе аутентификации клиентов, эскалации в call-центре, проверках на мошенничество и восстановлении учетных записей.

Мошенники десятилетиями эксплуатировали относительную анонимность телефонных звонков, чтобы совершать мошенничество. Однако с ИИ усилия, необходимые для этого, теперь стали тривиальными, а результаты намного более убедительными. Для банков и финтех-компаний это слияние приводит к неисследованной карте рисков.

Есть более неудобная реальность под этим. Даже когда атакующие ищут способы проникнуть внутрь, ИИ-инфраструктура, которую финансовые учреждения развертывают для модернизации поддержки клиентов, делает мошенничество легче совершать на виду.

Звонок, который звучит как принадлежащий

До ИИ голосовое мошенничество было относительно легко идентифицировать. Робоколлы звучали плоско и следовали сценарию, а попытки фишинга полагались на человеческих операторов, следующих за листами вызовов. В большинстве случаев масштаб был ограничен качеством мошенника, пытающегося социальной инженерии. С достаточной подготовкой и некоторым здравым смыслом сотрудники обычно могли заметить признаки.

ИИ изменил это, практически сведя к минимуму технический барьер для имитации. С достаточным提示ом ИИ может звучать чрезвычайно как человек, полный с интонацией, эмоциями и ошибками, которые вы ожидаете от реального человека. Делая вещи хуже, инструменты ИИ, которые могут копировать голоса, легко доступны на коммерческих платформах и открытом исходном коде.

Лаборатории McAfee обнаружили, что три секунды аудио достаточно для ИИ-инструмента, чтобы произвести клон голоса с 85-процентной точностью. Десять секунд записи могут повысить эту цифру выше 95%. Исходный материал везде: посты в социальных сетях, приветствия на голосовой почте, записи конференций, отчеты о прибыли или видео на LinkedIn.

Инструменты реального времени для конвертации голоса стали широко доступны в 2024 году, что означает, что атакующие теперь не нуждаются в предварительно записанном клипе. Они могут просто говорить в микрофон, и выход будет звучать как тот, кого они пытаются имитировать.

Случай Arup является поучительным: финансовый работник имел сомнения, но присутствие знакомых голосов и лиц на звонке переоценило их, но решил доверять своим глазам и ушам. В том же году следователи Гонконга раскрыли отдельную операцию, которая скопировала голос финансового менеджера, чтобы провести 18,5 миллионов долларов криптовалютную аферу.

Знакомый голос, оказывается, является доверенным, и ИИ сделал это предположение опасным для принятия.

Неудачи аутентификации становятся возможностями для мошенничества

Финансовые учреждения уже реагируют на внешние угрозы. Расходы на управление и соблюдение требований ИИ в корпоративном секторе прогнозируются вырастут с 2,2 миллиардов долларов в 2025 году до 9,5 миллиардов долларов к 2035 году, что является сигналом того, как серьезно рынок относится к этому.

Но более существенный риск не возникает вне их стен. Банки и финтех-компании добавляют ИИ в свою систему поддержки клиентов, создают системы ИИ-ассистированного IVR, голосовую биометрическую аутентификацию и агентные потоки вызовов, которые обрабатывают транзакции без человеческих агентов. Эти усилия направлены на улучшение опыта клиентов и снижение человеческого труда, но когда эти системы терпят неудачу, они оставляют слабое место, которое угрозы находят слишком легко для эксплуатации.

Ошибки маршрутизации, контекст, потерянный между эскалациями, и системы аутентификации, которые ведут себя непредсказуемо, выглядят как проблемы опыта клиентов и регистрируются как таковые.

Но эти проблемы CX могут превратиться в что-то хуже вниз по течению. Клиент, который заблокирован голосовой биометрией, редко сообщит об этом. Вместо этого есть высокие шансы, что он позвонит обратно, найдет способ поговорить с человеческим агентом и надавит на него, чтобы он обошел те же протоколы, которые эти системы были созданы для обеспечения.

Большая проблема заключается в том, что атакующий, имитирующий клиента, может сделать то же самое. Финансовые учреждения хорошо осведомлены об этом. Фактически, 91% банков США пересматривают свою стратегию аутентификации голосовой биометрии в свете рисков клонирования ИИ.

Пересмотр не решит эти проблемы. Учреждение, чья голосовая аутентификация регулярно неудачно проходит проверку у легитимных клиентов, уже создало условия, которые решительный хакер может использовать для эксплуатации системы. Ведь хакеру не нужно находить техническую уязвимость, когда трение в пути клиента позволяет ему способ проникнуть внутрь.

Компании должны изменить свою точку зрения, а не свой стек безопасности

Инструменты, которые могут обнаружить ИИ-генерируемые синтетические голоса, улучшаются, но угроза, которая проверяет системы банка на уязвимости, не ищет единую точку неудачи. Они ищут области, где системы спотыкаются и пропускают друг друга, где системы аутентификации не передают сигналы четко. Лучшее обнаружение на периметре не может закрыть этот разрыв.

Что может помочь, так это пересмотр того, как лидеры относятся к голосовой инфраструктуре. Как и к любой части программного стека, голосовая инфраструктура требует того же уровня проверки, что и периметральные защиты.

На практике такой подход к безопасности потребует как функциональных, так и тестов на прочность по условиям, с которыми будут сталкиваться системы IVR, биометрической аутентификации и другие голосовые системы в производстве: низкокачественный аудио, разные акценты и фоновый шум, крайние случаи эскалации и сценарии границ аутентификации, где легитимные звонки находятся прямо за пределами порога принятия системы.

Ответ не в единовременном упражнении по сертификации. Банкам нужна непрерывная проверка полного голосового пути, от маршрутизации IVR и биометрической аутентификации до эскалации, передачи и путей отмены. Независимо от того, насколько часто обновляются голосовые системы, тактика мошенничества естественным образом будет эволюционировать, чтобы найти трещины в любой защите, с которой они столкнутся. Система, прошедшая проверку при развертывании, должна быть протестирована часто и повторно в реальных условиях, чтобы обеспечить ее безопасность, даже если ее производительность эволюционирует.

Стоит отметить, что непрерывное тестирование в крупном масштабе будет сопровождаться бюджетными соображениями. Есть также внутреннее напряжение между быстрым движением (развертыванием новых возможностей, чтобы оставаться конкурентоспособными) и тщательной проверкой систем до того, как они взаимодействуют с реальными клиентами и сталкиваются с реальными попытками мошенничества.

Хотя трудно решить это напряжение чисто, оно делает ясным стоимость пропуска проверки: неудача в вашей системе, которую разочарованные клиенты уже нашли способ обойти, является слабым местом, независимо от того, как ваша компания классифицирует его.

Лучшие пути клиентов становятся защитой от мошенничества

Внешние и внутренние риски, описанные выше, не являются отдельными проблемами с разными решениями. Трение, произведенное ненадежными путями клиентов, создает поведенческие пробелы, которые социальная инженерия предназначена для использования.

Это решаемая проблема, но только если учреждения понимают, что влияние плохого опыта клиентов может распространиться дальше, чем просто удержание или доход. Банки не решат проблему мошенничества с помощью ИИ-генерируемого голоса, если будут рассматривать ее только как проблему обнаружения. Они также должны удалить неоднозначность, трение и точки неудач внутри своих собственных голосовых путей. В эпоху, когда знакомый голос больше не может быть доверенным по умолчанию, надежность самого пути становится частью модели безопасности.