Jsou banky připraveny na podvody s umělou inteligencí a hlasem?

Umělá inteligence generující hlas změnila ekonomiku podvodů. To, co dříve vyžadovalo dovedného herce, přesvědčivý scénář nebo kompromitovaný telefonní číslo, lze nyní pokoušet ve velkém měřítku pomocí nástrojů, které znějí alarmujícím způsobem lidsky.

A co je ještě více znepokojivé, mají finančně-ekonomický sektor přímo v hledáčku. Na počátku roku 2024 se finanční pracovník ve firmě Arup zúčastnil rutinní videohovoru s finančním ředitelem a několika kolegy. Hlasy byly známé, tváře rozpoznatelné a žádost se zdála dostatečně přesvědčivá, aby prošla základními kontrolami. Na konci hovoru však autorizoval 25 milionů dolarů přenosů. Lidé, o kterých si myslel, že s nimi mluví, včetně finančního ředitele, byli později označeni za umělou inteligenci generované deepfaky.

Pro finanční instituce není riziko omezeno pouze na vnitřní schvalování plateb. Stejný kolaps důvěry může nastat v rámci ověření zákazníků, eskalace na call centra, kontrolách podvodů a procesech obnovení účtů.

Podvodníci využívají relativní anonymity telefonních hovorů k páchání podvodů po desetiletí. S umělou inteligencí je však úsilí nyní triviální a výsledky jsou daleko přesvědčivější. Pro banky a fintechy vede tato konvergence k neznámé mapě rizik.

Existuje nepříjemnější realita pod touto situací. I když útočníci hledají slabá místa, umělá inteligence, kterou finanční instituce nasazují pro modernizaci zákaznické podpory, usnadňuje podvodům spáchání v plném zjevu.

Hovor, který zní, jako by patřil

Před umělou inteligencí byl hlasový podvod relativně snadno identifikovatelný. Robocall zněl ploše a následoval scénář, a pokusy o vishing spoléhaly na lidské operátory, kteří sledovali seznam hovorů. Ve většině případů byl rozsah omezen kvalitou podvodu, kterého se pokusil sociální inženýr. S dostatečným tréninkem a zdravým rozumem mohli zaměstnanci obvykle rozpoznat známky.

Umělá inteligence to změnila tak, že téměř zrušila technickou bariéru pro napodobení. S dostatečným podnětem může umělá inteligence znít extrémně lidsky, včetně inflexe, emocí a chyb, které byste očekávali od skutečné osoby. Situaci ještě zhoršují nástroje, které mohou kopírovat hlasy, které jsou snadno dostupné na komerčních platformách a open-source repozitářích.

McAfee Labs zjistil, že tři sekundy audio jsou dostatečné pro to, aby umělá inteligence vytvořila hlasový klon s 85% přesností. Deset sekund nahrávky může tuto hodnotu zvýšit nad 95%. Zdrojový materiál je všude: příspěvky na sociálních médiích, uvítací zprávy, konferenční nahrávky, výdělkové hovory nebo videa na LinkedIn.

Nástroje pro reálnou konverzi hlasu se staly široce dostupnými v roce 2024, což znamená, že útočníci již nemusí mít předem nahránou nahrávku. Můžou jednoduše mluvit do mikrofonu, a výstup bude znít, jako by to byl kdokoli, koho se snaží napodobit.

Případ Arup je poučný: Finanční pracovník měl pochyby, ale přítomnost známých hlasů a tváří na hovoru je přehlušila, a rozhodl se důvěřovat svým očím a uším. Stejný rok odhalili hongkongští vyšetřovatelé samostatnou operaci, která naklonovala hlas finančního manažera, aby spáchala 18,5 milionu dolarů kryptoměnový podvod.

Známý hlas se ukázal být důvěryhodným, a umělá inteligence učinila tuto domněnku nebezpečnou.

Neúspěchy ověření se stávají příležitostmi pro podvody

Finanční instituce již reagují na vnější hrozby. firemní výdaje na nástroje pro řízení a dodržování předpisů pro umělou inteligenci se předpokládá zvýší z 2,2 miliardy dolarů v roce 2025 na 9,5 miliardy dolarů do roku 2035, což je signál toho, jak vážně trh bere tuto hrozbu.

Větší riziko však nevzniká vně jejich zdí. Banky a fintechy vrstvují umělou inteligenci do své zákaznické podpory, budují systémy IVR s umělou inteligencí, biometrické ověření hlasu a agenticí toků hovorů, které zpracovávají transakce bez lidských agentů. Tyto úsilí jsou zaměřena na zlepšení zákaznické zkušenosti a snížení lidské práce, ale když tyto systémy selžou, zanechávají slabé místo, které útočníci snadno využijí.

Chyby routingu, kontext, který se ztratí mezi eskalacemi, a ověřovací systémy, které se chovají nepředvídatelně, vypadají jako problémy zákaznické zkušenosti a jsou zaznamenány jako takové.

Zákazník, který je uzamčen biometrickým ověřením hlasu, zřídka ohlásí. Místo toho je vysoká šance, že se vrátí, najde způsob, jak mluvit s lidským agentem, a bude ho tlačit, aby obešel protokoly, které tyto systémy měly vynutit.

Větší problém je, že útočník, který se vydává za zákazníka, může to udělat také. Finanční instituce jsou si toho dobře vědomy. Skutečně, 91% amerických bank přešetřuje své strategie biometrického ověření hlasu vzhledem k rizikům klonování umělou inteligencí.

Přešetřování však tyto problémy nevyřeší. Instituce, jejíž ověření hlasu pravidelně selhává u legitimních zákazníků, již vytvořila podmínky, které útočník potřebuje k využití systému. Po všech, útočník nemusí hledat technickou zranitelnost, když tření v zákaznické cestě mu umožňuje najít cestu.

Společnosti potřebují změnit svůj pohled, ne bezpečnostní sadu

Nástroje, které mohou detekovat syntetické hlasy generované umělou inteligencí, se zlepšují, ale útočník, který prohledává systém banky za slabými místy, nehledá jeden bod selhání. Hledá oblasti, kde systémy selžou a minou se, kde ověřovací systémy selžou při předávání signálů jasně. Lepší detekce na periferii nemůže tuto mezeru uzavřít.

Co může pomoci, je přehodnocení toho, jak lídři nakládají s hlasovou infrastrukturou. Jako u každé části softwarové sady vyžaduje hlasová infrastruktura stejnou úroveň prohlížení jako periferní obrany.

V praxi bude takový bezpečnostní postoj vyžadovat funkční a odolnostní testy napříč podmínkami, které systémy IVR, biometrické ověření a další hlasové systémy budou čelit v produkčním prostředí: nízká kvalita audio, různé akcenty a pozadí, edge-case eskalace, a ověřovací hranice scénářů, kde legitimní volající jsou právě vně přijímacích prahů.

Odpověď není jednorázový certifikační proces. Banky potřebují kontinuální validaci celé hlasové cesty, od routingu IVR a biometrického ověření až po eskalaci, přenos a fallback cesty. Bez ohledu na to, jak často jsou hlasové systémy aktualizovány, taktiky podvodů se budou přirozeně vyvíjet, aby našly trhliny v obranách, se kterými se setkají. Systém, který prochází validací při nasazení, musí být testován často a opakovaně v reálných podmínkách, aby se zajistilo, že je stále zabezpečen, i když jeho výkon se vyvíjí.

Je třeba poznamenat, že kontinuální testování v měřítku bude mít rozpočtové důsledky. Existuje také vnitřní napětí mezi rychlým nasazením nových schopností a důkladným ověřením systémů předtím, než budou interagovat se skutečnými zákazníky a čelit skutečným pokusům o podvod.

Ačkoli je obtížné toto napětí vyřešit čistě, ukazuje to na náklady na vynechání ověření: Selhání systému, které zákazníci již našli cestu, je slabé místo, bez ohledu na to, jak společnost klasifikuje.

Lepší zákaznické cesty se stávají obranou proti podvodům

Vnější a vnitřní rizika popsána výše nejsou samostatné problémy s odlišnými řešeními. Tření vygenerované nespolehlivými zákaznickými cestami vytváří behaviorální mezery, které sociální inženýrství je navrženo k využití.

To je řešitelný problém, ale pouze pokud instituce uvědomí, že dopad špatné zákaznické zkušenosti může sahovat dále než jen retence nebo výnosy. Banky nebudou řešit podvody s umělou inteligencí a hlasem, pokud je budou řešit pouze jako detekční problém. Musí také odstranit nejednoznačnost, tření a body selhání uvnitř svých vlastních hlasových cest. V éře, kdy známý hlas již nemůže být důvěřivý, se spolehlivost cesty sama stává součástí bezpečnostního modelu.