Vijay Balasubramaniyan, spoluzakladatel a CEO společnosti Pindrop – Interview Series

Vijay Balasubramaniyan je spoluzakladatel a CEO společnosti Pindrop. Působil v různých inženýrských a výzkumných rolích ve společnostech Google, Siemens, IBM Research a Intel.

Pindrop‘s řešení jsou na cestě k budoucnosti hlasu tím, že stanovují standard pro identitu, bezpečnost a důvěru pro každou hlasovou interakci. Řešení Pindrop chrání některé z největších bank, pojišťoven a maloobchodníků na světě pomocí patentované technologie, která extrahuje inteligenci z každého hovoru a hlasu. Řešení Pindrop pomáhají odhalit podvodníky a ověřit skutečné zákazníky, snižují podvod a provozní náklady, zatímco zlepšují zákaznickou zkušenost a chrání reputaci značky. Pindrop, soukromá společnost se sídlem v Atlanta, GA, byla založena v roce 2011 Dr. Vijayem Balasubramaniyanem, Dr. Paulem Judgem a Dr. Mustaque Ahamadem a je financována firmami Andreessen Horowitz, Citi Ventures, Felicis Ventures, CapitalG, GV, IVP a Vitruvian Partners. Další informace naleznete na adrese pindrop.com.

Jaké jsou hlavní poznatky z Zprávy Pindrop o hlasové inteligenci a bezpečnosti 2024 týkající se současného stavu hlasového podvodu a bezpečnosti?

Zpráva poskytuje hluboký vhled do naléhavých bezpečnostních problémů a budoucích trendů, zejména v kontaktních centrech finančních a nefinančních institucí. Mezi hlavní zjištění patří:

• Signifikantní nárůst podvodu v kontaktních centrech: Podvod v kontaktních centrech vzrostl o 60 % za poslední dva roky a dosáhl nejvyšší úrovně od roku 2019. Do konce tohoto roku se očekává, že jeden z 730 hovorů do kontaktního centra bude podvodný.
• Zvyšující se sofistikovanost útočníků pomocí Deepfake: Útoky Deepfake, včetně sofistikovaných syntetických hlasových klonů, se zvyšují a představují odhadovaný rizikový podvod ve výši 5 miliard dolarů pro kontaktní centra v USA. Tato technologie je využívána k vylepšení taktik podvodu, jako je automatizované a rozsáhlé vyhledávání účtů, hlasová imitace, cílené smishing a sociální inženýrství.
• Tradiční metody detekce a ověřování podvodu nejsou účinné: Společnosti stále spoléhají na manuální ověřování spotřebitelů, které je časově náročné, drahé a neúčinné při zastavení podvodu. 350 milionů obětí úniku dat, 12 miliard dolarů ročně vynaložených na ověřování a 10 miliard dolarů ztracených kvůli podvodu jsou důkazem toho, že současné bezpečnostní metody nejsou účinné.
• Je zapotřebí nových přístupů a technologií: Detekce životaschopnosti je zásadní pro boj proti špatnému AI a zlepšení bezpečnosti. Analýza hlasu je stále důležitá, ale musí být kombinována s detekcí životaschopnosti a multifaktorovým ověřením.

Podle zprávy se 67,5 % spotřebitelů v USA obává o deepfakes v bankovním sektoru. Můžete vysvětlit typy deepfake hrozeb, kterým čelí finanční instituce?

Bankovní podvod prostřednictvím telefonních kanálů se zvyšuje kvůli několika faktorům. Protože finanční instituce spoléhají silně na zákazníky, aby potvrdili podezřelou činnost, kontaktní centra se mohou stát primárními cíli pro podvodníky. Podvodníci používají sociální inženýrství k oklamání zástupců zákaznického servisu, aby je přesvědčili k odstranění omezení nebo resetování online bankovních přihlašovacích údajů. Podle jednoho zákazníka Pindrop v bankovním sektoru se 36 % identifikovaných podvodných hovorů snažilo především odstranit zadržení uložená kontrolami podvodu. Další zákazník Pindrop v bankovním sektoru uvádí, že 19 % podvodných hovorů se snažilo získat přístup k online bankovnictví. S růstem generativní AI a deepfake se tyto typy útoků staly více potenciálními a škálovatelnými. Nyní mohou jeden nebo dva podvodníci v garáži vytvořit libovolný počet syntetických hlasů a spustit současně útoky na více finančních institucí a zesílit své taktiky. To vytvořilo zvýšenou úroveň rizika a obav mezi spotřebiteli, zda je bankovní sektor připraven odrazit tyto sofistikované útoky.

Jak přispěly pokroky v generativní AI k růstu deepfake a jaké konkrétní výzvy představují pro bezpečnostní systémy?

Ačkoli deepfakes nejsou nové, pokroky v generativní AI je učinily v posledním roce mnohem účinnějším vektorem, protože se staly schopnějšími vytvářet přesvědčivý projev a jazyk ve větším měřítku. Pokroky v GenAI učinily velké jazykové modely více schopnými vytvářet přesvědčivý projev a jazyk. Nyní lze vytvořit přirozeně znějící syntetický (falešný) projev velmi levně a ve velkém měřítku. Tyto vývoje učinily deepfakes dostupnými pro každého, včetně podvodníků. Tyto deepfakes představují bezpečnostním systémům výzvu, protože umožňují velmi přesvědčivé phishingové útoky, šíření dezinformací a usnadňují finanční podvod prostřednictvím realistických imitací. Podkopávají tradiční metody ověřování, vytvářejí významná rizika pro reputaci a vyžadují pokročilé detekční technologie, aby držely krok s jejich rychlým vývojem a škálovatelností.

Jak Pindrop Pulse přispěl k identifikaci TTS engine použitým v útoku na robokalous prezidenta Bidena a jaké jsou implikace pro budoucí detekci deepfake?

Pindrop Pulse sehrál kritickou roli při identifikaci ElevenLabs, TTS engine použitým v útoku na robokalous prezidenta Bidena. Pomocí naší pokročilé technologie detekce deepfake jsme implementovali čtyřfázový analytický proces, který zahrnoval filtrování a čištění audio signálu, extrakci funkcí, segmentovou analýzu a kontinuální hodnocení. Tento proces nám umožnil filtrovat nespeech rámy, downsamplovat audio pro replikaci typických telefonních podmínek a extrahovat nízkoúrovňové spektrální a časové funkce.

Rozdělením audio do 155 segmentů a přiřazením liveness skóre jsme určili, že audio bylo konzistentně umělým. Pomocí “fakeprintů” jsme porovnali audio s 122 TTS systémy a identifikovali s 99% pravděpodobností, že ElevenLabs nebo podobný systém byl použit. Tento výsledek byl ověřen s 84% pravděpodobností pomocí ElevenLabs SpeechAI Classifier. Naše podrobná analýza odhalila deepfake artefakty, zejména ve frázích s bohatými frikativami a neobvyklými výrazy pro prezidenta Bidena.

Tento případ zdůrazňuje důležitost našich škálovatelných a vysvětlitelných systémů detekce deepfake, které zvyšují přesnost, budují důvěru a přizpůsobují se novým technologiím. Také zdůrazňuje potřebu, aby systémy generativní AI zahrnovaly bezpečnostní opatření proti zneužití, aby se zajistilo, že hlasový klonování je souhlasné se skutečnými osobami. Naše přístup stanovuje standard pro řešení syntetických médií hrozeb, zdůrazňujícíngoing monitoring a výzkum, aby zůstal před novými metodami deepfake.

Zpráva zmiňuje významné obavy o deepfakes, které ovlivňují média a politické instituce. Můžete poskytnout příklady takových incidentů a jejich potenciální dopad?

Naše výzkumy ukázaly, že spotřebitelé v USA jsou nejvíce znepokojeni rizikem deepfake a hlasových klonů v bankovním a finančním sektoru. Ale kromě toho, hrozba deepfake pro poškození našich médií a politických institucí představuje stejně významnou výzvu. Mimo USA byl pozorován použití deepfake v Indonésii (Suharto deepfake) a na Slovensku (Michal Šimečka a Monika Tódová voice deepfake).

Rok 2024 je významným rokem voleb v USA a Indii. S 4 miliardami lidí po celém světě, kteří se chystají volit, proliferace umělé inteligence činí snazší než kdykoli předtím oklamat lidi na internetu. Očekáváme nárůst cílených deepfake útoků na vládní instituce, sociální média, další zpravodajská média a obecnou populaci, které jsou určeny k vytvoření nedůvěry v naše instituce a šíření dezinformací ve veřejné diskusi.

Můžete vysvětlit technologie a metodologie, které Pindrop používá k detekci deepfake a syntetických hlasů v reálném čase?

Pindrop používá řadu pokročilých technologií a metodologií k detekci deepfake a syntetických hlasů v reálném čase, včetně:

• • Detekce životaschopnosti: Pindrop používá velké strojové učení k analýze nonspeech rámců (například ticha, šumu, hudby) a extrakci nízkoúrovňových spektrálních a časových funkcí, které rozlišují mezi strojově generovaným a obecným lidským projevem
  • Audio Fingerprinting – Toto zahrnuje vytvoření digitálního podpisu pro každý hlas na základě jeho akustických vlastností, jako je tón, tón a kadence. Tyto podpisy jsou pak použity k porovnání a párování hlasů napříč různými hovory a interakcemi.
  • Analýza chování – Používá se k analýze vzorců chování, které se zdají být mimořádné, včetně anomálního přístupu k různým účtům, rychlé bot aktivity, účtů průzkumu, datového dolování a robotického volání.

• Hlasová analýza – Analýzou hlasových funkcí, jako jsou charakteristiky hlasové trakt, fonetické variace a styl mluvení, může Pindrop vytvořit hlasový otisk pro každou osobu. Jakékoli odchylky od očekávaného hlasového otisku mohou spustit upozornění.

• Vícevrstevný bezpečnostní přístup – Toto zahrnuje kombinování různých detekčních metod křížově ověřit výsledky a zvýšit přesnost detekce. Například výsledky audio fingerprintingu mohou být křížově ověřeny s biometrickou analýzou, aby potvrdily podezření.
• Kontinuální učení a adaptace – Pindrop kontinuálně aktualizuje své modely a algoritmy. To zahrnuje začlenění nových dat, jemné úpravy detekčních technik a udržování náskoku před novými hrozbami. Kontinuální učení zajišťuje, že detekční schopnosti Pindrop se zlepšují s časem a přizpůsobují se novým typům syntetických hlasových útoků.

Co je Pulse Deepfake Warranty a jak zvyšuje důvěru zákazníků v schopnosti Pindrop řešit deepfake hrozby?

Pulse Deepfake Warranty je první záruka svého druhu, která nabízí náhradu proti syntetickému hlasovému podvodu v kontaktním centru. Když stojíme na pokraji seismického posunu v kybernetickém útočném krajině, potenciální finanční ztráty se očekávají dosáhnout 10,5 bilionu dolarů do roku 2025, Pulse Deepfake Warranty zvyšuje důvěru zákazníků, nabízí několik klíčových výhod:

• Zvýšená důvěra: Pulse Deepfake Warranty demonstruje důvěru Pindrop ve svých produktech a technologiích, nabízející zákazníkům důvěryhodné bezpečnostní řešení při obsluze jejich účtů.
• Náhrada ztrát: Zákazníci Pindrop mohou obdržet náhradu za syntetické hlasové podvody, které nebyly detekovány produktem Pindrop.
• Kontinuální zlepšování: Žádosti zákazníků Pindrop obdržené v rámci záruky programu pomáhají Pindrop zůstat před novými taktikami syntetického hlasového podvodu.

Jsou nějaké pozoruhodné případové studie, kde technologie Pindrop úspěšně eliminovaly deepfake hrozby? Jaké byly výsledky?

Incident na střední škole Pikesville: Dne 16. ledna 2024 se na Instagramu objevil záznam, který údajně pocházel od ředitele střední školy Pikesville v Baltimoru, Maryland. Audio obsahovalo urážlivé poznámky o černých studentech a učitelích, což vyvolalo vlnu veřejného rozhořčení a vážných obav.

V souvislosti s těmito událostmi provedl Pindrop komplexní vyšetřování, provedl tři nezávislé analýzy, aby odhalil pravdu. Výsledky našeho vyšetřování vedly k nuancovanému závěru: ačkoli lednový audio byl upraven, postrádal definitivní rysy AI-generovaného syntetického projevu. Naše důvěra v tomto zjištění je podporována 97% jistotou na základě našich analytických metrik. Tento zásadní výsledek zdůrazňuje důležitost provedení podrobných a objektivních analýz, než budou učiněna veřejná prohlášení o povaze potenciálně upravených médií.

U velké americké banky objevil Pindrop, že podvodník používal syntetický hlas k obejití ověřování v IVR. Zjistili jsme, že podvodník používal strojově generovaný hlas k obejití IVR ověřování pro cílené účty, poskytoval správné odpovědi na bezpečnostní otázky a v jednom případě dokonce prošel jednorázovým heslem (OTP). Boty, které úspěšně ověřily v IVR, identifikovaly účty, které stojí za to cílit, prostřednictvím základních dotazů na zůstatek. Následující hovory na tyto účty pocházely od skutečného člověka, aby spáchali podvod. Pindrop upozornil banku na tento podvod v reálném čase pomocí technologie Pulse a podařilo se zastavit podvodníka.

V jiné finanční instituci objevil Pindrop, že někteří podvodníci trénovali své vlastní voiceboty, aby napodobovali bankovní automatické odpovědi. V tom, co znělo jako podivuhodný první hovor, voicebot zavolal do IVR banky, ne aby provedl účetní průzkum, ale aby zopakoval IVR výzvy. Více hovorů přišlo do různých větví IVR konverzačního stromu a každých 2 sekundy bot opakoval, co slyšel. O týden později se objevily další hovory, které dělaly totéž, ale tentokrát bot opakoval fráze přesně ve stejném hlasu a manérech jako IVR banky. Věříme, že podvodník trénoval voicebot, aby zrcadlil IVR banky jako výchozí bod smishingového útoku. Díky pomoci Pindrop Pulse se finanční instituci podařilo tento útok odvrátit, než byla způsobena jakákoli škoda.

Nezávislý experiment NPR s audio deepfake: Digitální bezpečnost je neustále se vyvíjející závod mezi podvodníky a poskytovateli bezpečnostních technologií. Existuje několik poskytovatelů, včetně Pindrop, kteří tvrdí, že detekují audio deepfakes konzistentně – NPR otestoval tyto nároky, aby zhodnotil, zda současné technologické řešení jsou schopna detekovat AI-generované audio deepfakes konzistentně.

Pindrop Pulse správně detekoval 81 z 84 audio vzorků, což odpovídá 96,4% přesnosti. Kromě toho Pindrop Pulse detekoval 100% deepfake vzorků. Zatímco jiní poskytovatelé byli také vyhodnoceni ve studii, Pindrop se ukázal jako lídr, prokázáním, že jeho technologie může spolehlivě a přesně detekovat jak deepfake, tak skutečný audio.

Jaké budoucí trendy v hlasovém podvodu a bezpečnosti předpovídáte, zejména s rychlým rozvojem AI technologií? Jak se Pindrop připravuje na řešení těchto?

Očekáváme, že podvod v kontaktních centrech bude pokračovat v růstu v roce 2024. Na základě analýzy míry podvodu napříč odvětvími odhadujeme, že míra podvodu dosáhne 1 z 730 hovorů, což představuje 4-5% nárůst oproti současným úrovním.

Většina zvýšeného podvodu se očekává v bankovním sektoru, zatímco pojištění, makléřství a další finanční segmenty by měly zůstat na současných úrovních. Odhadujeme, že tyto míry podvodu představují expozici podvodu ve výši 7 miliard dolarů pro finanční instituce v USA, které je třeba zabezpečit. Nicméně očekáváme významný posun, zejména s podvodníky, kteří využívají IVR jako testovací půdu. Nedávno jsme pozorovali nárůst podvodníků, kteří manuálně zadávají osobní identifikační informace (PII), aby ověřili údaje o účtu.

Abychom pomohli bojovat proti tomu, budeme pokračovat v rozvoji současných řešení Pindrop a spuštění nových a inovativních nástrojů, jako je Pindrop Pulse, které chrání naše zákazníky.

Mimo současné technologie, jaké nové nástroje a techniky se vyvíjejí pro zlepšení prevence hlasového podvodu a ověřování?

Techniky prevence hlasového podvodu a ověřování se neustále vyvíjejí, aby držely krok s pokroky v technologiích a sofistikovaností podvodných aktivit. Některé vznikající nástroje a techniky zahrnují:

• Kontinuální detekce a vyšetřování podvodu: Poskytuje historický “názor” na případy podvodu s novými informacemi, které jsou nyní k dispozici. S tímto přístupem mohou analytici podvodu “poslouchat” nové signály podvodu, prohledávat historické hovory, které mohou být související, a opětovně hodnotit tyto hovory. To poskytuje společnostem kontinuální a komplexní přehled o podvodu v reálném čase.
• Inteligentní analýza hlasu: Tradiční systémy biometrického rozpoznávání hlasu jsou zranitelné vůči deepfake útokům. Aby se jejich obrana zlepšila, jsou zapotřebí nové technologie, jako je Voice Mismatch a Negative Voice Matching. Tyto technologie poskytují další vrstvu obrany rozpoznáním a diferenciací více hlasů, opakujících se volajících a identifikací, kde může jiný znějící hlas představovat hrozbu.
• Brzká detekce podvodu: Technologie detekce podvodu, které poskytují rychlý a spolehlivý signál podvodu na začátku hovoru, jsou nepostradatelné. Kromě detekce životaschopnosti zahrnují technologie, jako je analýza metadata dopravce, detekce padělání ID volajícího a audio-založená detekce padělání, ochranu proti útokům podvodu na začátku konverzace, kdy jsou obrany nejzranitelnější.

Děkuji za skvělý rozhovor, abyste se dozvěděli více, přečtěte si Zprávu Pindrop o hlasové inteligenci a bezpečnosti 2024 nebo navštivte Pindrop.