Představte si následující situaci: jste v práci, soustředěni na blízký termín, když dostanete hovor z čísla, které vypadá jako číslo vaší matky. Hlas na druhém konci je nezaměnitelně její, klidný a laskavý, ale s neobvyklým nádechem naléhavosti. Říká vám, že se dostala do vážných potíží během dovolené v Paříži a potřebuje vaši finanční pomoc okamžitě, aby vyřešila situaci. Věděli jste, že je v Paříži, a detaily, které poskytuje, až po název jejího hotelu, dělají hovor ještě přesvědčivější. Bez dalšího přemýšlení převedete peníze, pouze aby jste později zjistili, že váš matka ten hovor neudělala; byl to pokročilý systém umělé inteligence, který dokonalým způsobem napodobnil její hlas a vymyslel detailní scénář. Máte chuť mráz, když si uvědomíte, co se právě stalo.

Tento scénář, který byl dříve čistou sci-fi, se nyní stává realitou. Úsvit technologií umělé inteligence, jako jsou velké jazykové modely (LLM), přinesl úžasné pokroky. Existuje však významná hrozba: podvody s umělou inteligencí. Potenciál pro sofistikované podvody poháněné umělou inteligencí je nová hrozba na obzoru technologického pokroku. Zatímco telefonní podvody byly problémem od vynálezu telefonu, široké začlenění velkých jazykových modelů (LLM) do všech aspektů digitální komunikace dramaticky zvýšilo sázky. Když přijmeme potenciál umělé inteligence, je zásadní, abychom také posílili naše obrany proti těmto stále sofistikovanějším hrozbám.

Aktuální stav telefonních podvodů

Zločinci se již roky snaží oklamat nevinné lidi, aby jim převedli peníze nebo vyzradili citlivé informace, ale navzdory rozšířenosti telefonních podvodů jsou mnohé z těchto podvodů relativně nesofistikované, spoléhající se na lidské operátory, kteří čtou scénáře. Přesto, i s touto omezeností, telefonní podvody zůstávají lukrativním zločinným podnikem.

Podle Americké federální obchodní komise Američané ztratili v roce 2022 více než 8,8 miliard dolarů kvůli podvodům, z nichž významná část byla připsána telefonním podvodům, což znamená, že i ve své současné, méně pokročilé formě, mnoho z těchto taktik stále funguje na zranitelné osoby. Co se stane, když se vyvinou?

Budoucnost podvodů s umělou inteligencí

Krajina telefonních podvodů je na pokraji dramatické změny s příchodem několika klíčových technologií:

Velké jazykové modely (LLM)

Tyto systémy umělé inteligence mohou generovat text podobný lidskému a zapojit se do přirozených konverzací. Když se použijí na podvody, LLM mohou vytvořit vysoce přesvědčivé a adaptivní scénáře, což ztěžuje potenciálním obětem identifikaci podvodu.

Retrieval-Augmented Generation (RAG)

Tato technologie umožňuje systémům LLM přístup a využití obrovského množství informací v reálném čase. Podvodníci mohou vytvořit profil osoby na základě jejich veřejně dostupných informací, jako jsou jejich sociální sítě. Mohou také použít techniky sociálního inženýrství na jejich přátele a rodinu, aby získali hlubší informace. To jim poskytne přístup k informacím, jako je identita cíle, pracovní informace nebo dokonce recentní aktivity. Mohou pak použít RAG, aby poskytli LLM kontext potřebný pro to, aby jejich přístupy vypadaly neuvěřitelně personalizované a legitimní.

Syntetická audio generace

Platformy jako Resemble AI a Lyrebird jsou v čele vytváření vysoce realistických AI-generovaných hlasů. Tyto technologie jsou schopny produkovat personalizované, lidské audio, které lze využít v různých aplikacích, od virtuálních asistentů po automatizovanou zákaznickou službu a tvorbu obsahu. Společnosti jako ElevenLabs dále rozšiřují hranice, umožňují uživatelům vytvářet syntetické hlasy, které mohou úzce napodobovat jejich vlastní, což umožňuje novou úroveň personalizace a zapojení do digitálních interakcí.

Syntetická video generace

Společnosti jako Synthesia již demonstrují potenciál pro vytváření realistického videoobsahu s AI-generovanými avatary. V nadcházejících letech tato technologie může umožnit podvodníkům napodobovat přátele nebo rodinné příslušníky nebo vytvářet zcela fiktivní postavy pro videohovory, což zavede dříve nemožnou úroveň fyzické reality do podvodu.

AI Lip-Syncing

Startupy jako Sync Labs vyvíjejí pokročilou technologii lip-syncingu, která může sladit generované audio s videozáznamem. To by mohlo být použito pro vytváření vysoce přesvědčivých deep-fake videí historických postav, politiků, celebrit a prakticky každého jiného, což dále rozostřuje hranici mezi realitou a klamem.

Kombinace těchto technologií maluje poměrně znepokojivý obraz. Představte si podvodný hovor, kde AI může přizpůsobit konverzaci v reálném čase, vybavené osobními informacemi o cíli, a dokonce přejít na videohovor s zdánlivě skutečnou osobou, jejíž rty se pohybují v dokonalé synchronizaci s generovaným hlasem. Potenciál pro klam je skutečně enormní.

Potřebujeme posílit bezpečnostní opatření

Když se tyto podvody s umělou inteligencí stanou stále sofistikovanějšími, metody ověření identity a autenticity budou muset držet krok s pokroky umělé inteligence. Bude třeba regulatorních i technologických pokroků, aby se udržel online svět v bezpečí.

Regulatorní zlepšení

Přísnější zákony o ochraně osobních údajů: Implementace přísnějších zákonů o ochraně osobních údajů by omezila množství osobních informací dostupných pro podvodníky. Tyto zákony by mohly zahrnovat přísnější požadavky na sběr dat, vylepšené protokoly pro souhlas uživatelů a přísnější tresty za porušení ochrany dat.

Privátní cloud pro nejvýkonnější modely AI: Regulace by mohly vyžadovat, aby nejvýkonnější modely AI byly hostovány na privátních, zabezpečených cloudových infrastrukturách, spíše než být otevřeně dostupné. To by omezilo přístup k nejlepším technologiím, což by ztížilo zločincům použití těchto technologií pro podvody. (například https://security.apple.com/blog/private-cloud-compute/)

Mezinárodní spolupráce na regulacích AI: Vzhledem k globální povaze technologií AI by mezinárodní spolupráce na regulatorních standardech mohla být prospěšná. Zřízení globálního orgánu odpovědného za vytváření a vymáhání mezinárodních regulatorních standardů pro AI by mohlo pomoci v boji proti přeshraničním zločinem souvisejícím s AI.

Veřejné osvětové kampaně: Vlády a regulatorní orgány by měly investovat do veřejných osvětových kampaní, aby vzdělaly občany o potenciálních rizicích podvodů s AI a o tom, jak se chránit. Vědomost je zásadním prvním krokem v empowermentu jednotlivců a organizací, aby implementovaly nezbytná bezpečnostní opatření.

Aktuální regulace AI jsou nedostatečné k prevenci podvodů, a výzva budoucích regulací je komplikována otevřenou povahou mnoha mocných technologií. Tato otevřenost umožňuje komukoli přístup a modifikaci těchto technologií pro své vlastní účely. Jako výsledek, vedle silnějších regulací, jsou zapotřebí pokroky v bezpečnostních technologiích.

Detekce syntetických dat

Detekce syntetického audio: Když podvodníci využijí AI, musíme také posílit naše obrany. Společnosti jako Pindrop vyvíjejí systémy poháněné umělou inteligencí, které mohou detekovat syntetické audio v reálném čase během telefonních hovorů. Jejich technologie analyzuje více než 1 300 funkcí audiozáznamu, aby určila, zda pochází od skutečné osoby nebo sofistikovaného systému AI.

Detekce syntetického videa: Detekce syntetického videa: Stejně jako audio může být i video manipulováno AI, což představuje významné hrozby ve formě deep-fake a jiného syntetického videoobsahu. Společnosti jako Deepware jsou v čele vývoje technologií pro detekci syntetického videa. Platforma Deepware využívá pokročilé algoritmy strojového učení k analýze jemných nesrovnalostí ve video datech, jako jsou nepřirozené pohyby, nepravidelné osvětlení a pixelové anomálie, které jsou často přítomny v AI-generovaném obsahu. Identifikací těchto nesrovnalostí může technologie Deepware určit, zda je video skutečné nebo zda bylo manipulováno, což pomáhá chránit jednotlivce a organizace před sofistikovanými video-podvody a kampaněmi dezinformací.

Identifikační ověření

Existuje několik způsobů, jak potvrdit identitu uživatele, a jeden nebo více z nich se stane mainstreamem v nadcházejících letech, aby se učinil internet bezpečnějším.

Dvoufázové ověření pro vzdálené konverzace: Dvoufaktorové ověření (2FA) zůstává základní součástí zabezpečené komunikace. Podle této metody by každý telefonní hovor nebo e-mail aktivoval textovou zprávu s jedinečným ověřovacím kódem, podobně jako současné přihlašování do e-mailu. Ačkoli je 2FA účinné pro základní ověření, jeho omezení znamená, že nelze spoléhat na něj ve všech kontextech, což vyžaduje vývoj pokročilejších metod pro komplexní bezpečnost internetu, které mohou fungovat na pozadí.

Založené na chování multi-faktorové ověření: Mimo ověření identity na začátku hovoru mohou budoucí bezpečnostní systémy kontinuálně analyzovat chování během interakce. Společnosti jako BioCatch používají behaviorální biometrii k vytváření uživatelských profilů na základě toho, jak jednotlivci interagují se svými zařízeními. Tato technologie může detekovat anomálie v chování, které by mohly naznačovat, že podvodník používá ukradené informace, i když prošel počátečními ověřovacími kontrolami.

Biometrické ověření: Společnosti jako Onfido jsou v čele technologií biometrického ověření, nabízející nástroje pro ověření identity poháněné umělou inteligencí, které detekují sofistikované deep-fake a další formy identity padělání. Jejich systém využívá kombinaci ověření dokumentů a biometrické analýzy, aby zajistil, že osoba na druhém konci hovoru nebo videohovoru je skutečně tím, kým se prohlašuje.

Pokročilé znalostní ověření: Pokročilé ověřovací systémy mohou zahrnovat dynamické, AI-generované otázky založené na digitální stopě uživatele a recentních aktivitách. Například Prove, společnost specializující se na telefonní identitu, vyvíjí řešení, která využívají telefonní inteligenci a behaviorální analýzu k ověření identit. Jejich technologie může analyzovat vzorce, jak osoba používá své zařízení, a vytvořit jedinečnou “identifikační signaturu”, která je mnohem obtížnější pro podvodníky replikovat.

Blockchain-based identifikační ověření: Blockchain technologie nabízí decentralizovaný a nezničitelný způsob ověření identity. Společnosti jako Civic jsou průkopníky v blockchainových systémech ověření identity, které umožňují uživatelům kontrolovat své osobní informace, zatímco poskytují bezpečné ověření. Tyto systémy vytvářejí ověřitelný, nezničitelný záznam identity osoby, což je skvělé pro řízení high-risk transakcí.

Závěr

Konvergence LLM, RAG, syntetické audio generace, syntetické video generace a lip-syncingu je somewhat dvojí meč. Zatímco tyto pokroky mají enormní potenciál pro pozitivní aplikace, také představují významná rizika, když jsou zneužity podvodníky.

Tento neustálý závod mezi bezpečnostními experty a kyberzločinci zdůrazňuje potřebu kontinuálního inovování a bdělosti v oblasti digitální bezpečnosti. Můžeme pracovat na využívání výhod těchto mocných nástrojů, zatímco minimalizujeme jejich potenciál pro újmu, pouze tím, že uznáme a připravíme se na tato rizika.

Komplexní regulace, vzdělávání o těchto nových formách podvodů, investice do pokročilých bezpečnostních opatření a možná nejdůležitější, zdravá dávka skepse z každého z nás, když komunikujeme s neznámými entitami online nebo po telefonu, bude nezbytná pro navigaci v tomto novém prostředí.