Vijay Balasubramaniyan, mede-oprichter en CEO van Pindrop – Interviewreeks

Vijay Balasubramaniyan is mede-oprichter en CEO van Pindrop. Hij heeft verschillende technische en onderzoeksfuncties gehad bij Google (GOOGL ), Siemens, IBM Research en Intel.

Pindrop‘s oplossingen zijn leidende op het gebied van de toekomst van spraak door het standaard te stellen voor identiteit, beveiliging en vertrouwen voor elke spraakinteractie. Pindrop’s oplossingen beschermen enkele van de grootste banken, verzekeraars en retailers ter wereld met behulp van gepatenteerde technologie die intelligentie uit elke oproep en spraak haalt. Pindrop-oplossingen helpen fraudeurs te detecteren en echte klanten te authentiseren, waardoor fraude en operationele kosten worden verlaagd en de klanttevredenheid en de reputatie van het merk worden verbeterd. Pindrop, een particulier bedrijf met hoofdkantoor in Atlanta, GA, werd in 2011 opgericht door Dr. Vijay Balasubramaniyan, Dr. Paul Judge en Dr. Mustaque Ahamad en wordt gesteund door venture capital van Andreessen Horowitz, Citi Ventures, Felicis Ventures, CapitalG, GV, IVP en Vitruvian Partners. Voor meer informatie, bezoek pindrop.com.

Wat zijn de belangrijkste conclusies uit Pindrop’s 2024 Voice Intelligence and Security Report over de huidige staat van spraakgebaseerde fraude en beveiliging?

Het rapport biedt een diepgaande analyse van dringende beveiligingsproblemen en toekomstige trends, met name binnen contactcenters die financiële en niet-financiële instellingen bedienen. Belangrijke bevindingen in het rapport zijn:

• Significante toename van contactcenterfraude: Contactcenterfraude is de afgelopen twee jaar met 60% gestegen en heeft het hoogste niveau bereikt sinds 2019. Aan het einde van dit jaar wordt verwacht dat één op de 730 oproepen naar een contactcenter frauduleus zal zijn.
• Toename van de complexiteit van aanvallers met Deepfakes: Deepfake-aanvallen, waaronder geavanceerde synthetische spraakklonen, nemen toe en vormen een geschatte fraude-risico van $5 miljard voor contactcenters in de VS. Deze technologie wordt gebruikt om fraude-tactieken zoals geautomatiseerde en grootschalige account-reconnaissance, spraak-impersonatie, gerichte smishing en sociale engineering te versterken.
• Traditionele methoden voor fraude-detectie en -authenticatie werken niet: Bedrijven vertrouwen nog steeds op handmatige authenticatie van consumenten, wat tijdrovend, duur en ineffectief is om fraude te stoppen. 350 miljoen slachtoffers van datalekken, $12 miljard uitgegeven aan authenticatie en $10 miljard verloren door fraude zijn bewijs dat de huidige beveiligingsmethoden niet werken.
• Nieuwe benaderingen en technologieën zijn vereist: Liveness-detectie is cruciaal om slechte AI en beveiliging te bestrijden. Spraakanalyse is nog steeds belangrijk, maar moet worden gecombineerd met liveness-detectie en multifactor-authenticatie.

Volgens het rapport zijn 67,5% van de Amerikaanse consumenten bezorgd over deepfakes in de banksector. Kun je uitleggen over welke soorten deepfake-bedreigingen financiële instellingen worden geconfronteerd?

Bankfraude via telefoonkanalen neemt toe vanwege verschillende factoren. Aangezien financiële instellingen zwaar vertrouwen op klanten om verdachte activiteit te bevestigen, kunnen callcenters een belangrijk doelwit voor fraudeurs worden. Fraudeurs gebruiken sociale-engineering-tactieken om klantenservicemedewerkers te misleiden en hen te overtuigen om beperkingen op te heffen of online bankreferenties te resetten. Volgens een Pindrop-bankklant waren 36% van de geïdentificeerde fraude-oproepen voornamelijk gericht op het opheffen van door fraudecontroles opgelegde beperkingen. Een andere Pindrop-bankklant meldt dat 19% van de fraude-oproepen gericht waren op toegang tot online bankieren. Met de opkomst van generatieve AI en deepfakes zijn dit soort aanvallen nog krachtiger en schaalbaarder geworden. Nu kunnen één of twee fraudeurs in een garage meerdere synthetische stemmen creëren en gelijktijdige aanvallen op meerdere financiële instellingen lanceren en hun tactieken versterken. Dit heeft een verhoogd niveau van risico en zorg bij consumenten gecreëerd over de vraag of de banksector klaar is om deze geavanceerde aanvallen af te weren.

Hoe hebben de vooruitgang in generatieve AI bijgedragen aan de toename van deepfakes en welke specifieke uitdagingen stellen deze voor beveiligingssystemen?

Hoewel deepfakes niet nieuw zijn, hebben de vooruitgang in generatieve AI ze in het afgelopen jaar een krachtig vector gemaakt, omdat ze nu op een veel grotere schaal overtuigend kunnen zijn. De vooruitgang in generatieve AI heeft grote taalmodellen meer in staat gesteld om overtuigende spraak en taal te creëren. Nu kan natuurlijk klinkende synthetische (nep-)spraak zeer goedkoop en op grote schaal worden gecreëerd. Deze ontwikkelingen hebben deepfakes toegankelijk gemaakt voor iedereen, inclusief fraudeurs. Deze deepfakes vormen een uitdaging voor beveiligingssystemen door zeer overtuigende phishing-aanvallen, misinformatie en financiële fraude via realistische impersonaties mogelijk te maken. Ze ondermijnen traditionele authenticatiemethoden, creëren aanzienlijke reputatierisico’s en vereisen geavanceerde detectietechnologieën om hun snelle evolutie en schaalbaarheid bij te houden.

Hoe droeg Pindrop Pulse bij aan het identificeren van de TTS-engine die werd gebruikt in de President Biden-robocall-aanval en wat zijn de implicaties hiervan voor toekomstige deepfake-detectie?

Pindrop Pulse speelde een cruciale rol bij het identificeren van ElevenLabs, de TTS-engine die werd gebruikt in de President Biden-robocall-aanval. Met behulp van onze geavanceerde deepfake-detectietechnologie, voerden we een vierfasenanalyseproces uit, bestaande uit audiofiltering en -reiniging, feature-extractie, segmentanalyse en continue scoring. Dit proces stelde ons in staat om niet-spraakframes uit te filteren, audio af te laten nemen tot typische telefoonvoorwaarden en laag-niveau spectro-temporele kenmerken te extraheren die machine-gegenereerde spraak onderscheiden van algemene menselijke spraak.

Door de audio in 155 segmenten te verdelen en liveness-scores toe te kennen, konden we bepalen dat de audio consistent kunstmatig was. Met behulp van “fakeprints” vergeleken we de audio met 122 TTS-systemen en identificeerden we met 99% waarschijnlijkheid dat ElevenLabs of een soortgelijk systeem werd gebruikt. Deze bevinding werd geverifieerd met een waarschijnlijkheid van 84% door de ElevenLabs SpeechAI Classifier. Onze gedetailleerde analyse onthulde deepfake-artefacten, met name in zinnen met rijke fricatieven en ongebruikelijke uitdrukkingen voor President Biden.

Dit geval benadrukt het belang van onze schaalbare en verklarende deepfake-detectiesystemen, die de nauwkeurigheid verhogen, vertrouwen opbouwen en zich aanpassen aan nieuwe technologieën. Het benadrukt ook de noodzaak voor generatieve AI-systemen om waarborgen tegen misbruik te incorporeren, om ervoor te zorgen dat spraakcloning wordt toegestaan door echte personen. Onze aanpak stelt een benchmark voor het aanpakken van synthetische media-bedreigingen, met de nadruk op voortdurende monitoring en onderzoek om voorop te blijven lopen bij de evoluerende deepfake-methoden.

Het rapport noemt significante zorgen over deepfakes die media en politieke instellingen beïnvloeden. Kun je voorbeelden geven van dergelijke incidenten en hun potentiële impact?

Ons onderzoek heeft aangetoond dat Amerikaanse consumenten het meest bezorgd zijn over het risico van deepfakes en spraakklonen in de banksector. Maar daarbuiten vormt de dreiging van deepfakes voor onze media en politieke instellingen een even grote uitdaging. Buiten de VS is het gebruik van deepfakes ook waargenomen in Indonesië (Suharto-deepfake) en Slowakije (Michal Šimečka en Monika Tódová-stemdeepfake).

2024 is een belangrijk verkiezingsjaar in de VS en India. Met 4 miljard mensen in 40 landen die verwacht worden te stemmen, maakt de verspreiding van kunstmatige intelligentie het makkelijker dan ooit om mensen op het internet te misleiden. We verwachten een toename van gerichte deepfake-aanvallen op overheidsinstellingen, socialemediabedrijven, andere nieuwsmedia en het algemene publiek, die zijn bedoeld om wantrouwen in onze instellingen te creëren en desinformatie in het publieke discours te verspreiden.

Kun je uitleggen over de technologieën en methoden die Pindrop gebruikt om deepfakes en synthetische stemmen in real-time te detecteren?

Pindrop gebruikt een reeks geavanceerde technologieën en methoden om deepfakes en synthetische stemmen in real-time te detecteren, waaronder:

• • Liveness-detectie: Pindrop gebruikt grote-schaal machine learning om niet-spraakframes (bijv. stilte, ruis, muziek) te analyseren en laag-niveau spectro-temporele kenmerken te extraheren die machine-gegenereerde spraak onderscheiden van algemene menselijke spraak
  • Audio Fingerprinting – Dit omvat het creëren van een digitale handtekening voor elke stem op basis van zijn akoestische eigenschappen, zoals toon, klank en cadans. Deze handtekeningen worden vervolgens gebruikt om stemmen te vergelijken en te matchen over verschillende oproepen en interacties.
  • Gedragsanalyse – Wordt gebruikt om patronen van gedrag te analyseren die buiten het gewone verloop liggen, waaronder anonieme toegang tot verschillende accounts, snelle bot-activiteit, account-reconnaissance, data-mijnbouw en robot-telefonie.

• Spraakanalyse – Door spraakkenmerken zoals stemholte-eigenschappen, fonetische variaties en spreekstijl te analyseren, kan Pindrop een stemafdruk voor elke persoon creëren. Elke afwijking van de verwachte stemafdruk kan een alarm activeren.

• Multi-laags beveiligingsaanpak – Dit omvat het combineren van verschillende detectiemethoden om resultaten te cross-verifiëren en de nauwkeurigheid van detectie te verhogen. Bijvoorbeeld kunnen audio-fingerprintingresultaten worden gecombineerd met biometrische analyse om een vermoeden te bevestigen.
• Voortdurende verbetering en aanpassing – Pindrop werkt voortdurend aan het updaten van zijn modellen en algoritmen. Dit omvat het incorporeren van nieuwe gegevens, het verfijnen van detectietechnieken en het blijven voorop lopen bij nieuwe bedreigingen. Voortdurende verbetering zorgt ervoor dat de detectiecapaciteiten van Pindrop in de loop van de tijd verbeteren en zich aanpassen aan nieuwe soorten synthetische stem-aanvallen.

Wat is de Pulse Deepfake Warranty en hoe verhoogt deze de vertrouwensbasis van klanten in Pindrop’s capaciteit om deepfake-bedreigingen aan te pakken?

Pulse Deepfake Warranty is een unieke garantie die een vergoeding biedt tegen synthetische stem-fraude in het callcenter. Terwijl we aan de vooravond staan van een seismische verschuiving in het landschap van cyberaanvallen, potentiële financiële verliezen worden verwacht te stijgen tot $10,5 triljoen in 2025, verhoogt Pulse Deepfake Warranty de vertrouwensbasis van klanten door verschillende belangrijke voordelen te bieden:

• Verhoogd vertrouwen: De Pulse Deepfake Warranty toont Pindrop’s vertrouwen in zijn producten en technologie, waardoor klanten een betrouwbaar beveiligingsoplossing krijgen voor hun accountbeheer.
• Schadevergoeding: Pindrop-klanten kunnen een schadevergoeding ontvangen voor synthetische stem-fraudegebeurtenissen die niet worden gedetecteerd door het Pindrop Product Suite.
• Voortdurende verbetering: Pindrop-klantverzoeken die onder de garantieprogramma worden ontvangen, helpen Pindrop om voorop te blijven lopen bij de evoluerende tactieken van synthetische stem-fraude.

Zijn er opvallende casestudy’s waarin Pindrop’s technologieën succesvol deepfake-bedreigingen hebben geminimaliseerd? Wat waren de resultaten?

Het Pikesville High School-incident: Op 16 januari 2024 verscheen een opname op Instagram die ogenschijnlijk de directeur van Pikesville High School in Baltimore, Maryland, liet horen. De audio bevatte beledigende opmerkingen over zwarte studenten en leraren, wat een storm van publieke verontwaardiging en ernstige zorg veroorzaakte.

In het licht van deze ontwikkelingen voerde Pindrop een grondige onderzoek uit, waarbij drie onafhankelijke analyses werden uitgevoerd om de waarheid te achterhalen. De resultaten van ons onderzoek leidden tot een genuanceerde conclusie: hoewel de audio van januari was bewerkt, ontbrak het aan de definitieve kenmerken van AI-gegenereerde synthetische spraak. Onze vertrouwen in deze vaststelling wordt ondersteund door een zekerheid van 97% op basis van onze analyse-metrieken. Deze cruciale bevinding benadrukt het belang van het uitvoeren van gedetailleerde en objectieve analyses voordat er publieke verklaringen worden gedaan over de aard van mogelijk gemanipuleerde media.

Bij een grote Amerikaanse bank ontdekte Pindrop dat een fraudeur synthetische stem gebruikte om authenticatie in de IVR te omzeilen. We ontdekten dat de fraudeur machine-gegenereerde stem gebruikte om IVR-authenticatie voor gerichte accounts te omzeilen, waardoor hij de juiste antwoorden gaf voor de beveiligingsvragen en in één geval zelfs eenmalige wachtwoorden (OTP) doorstuurde. Bots die succesvol werden geauthenticeerd in de IVR identificeerden accounts die het waard waren om te targeten via basis-saldovragen. Latere oproepen naar deze accounts kwamen van een echte persoon om de fraude te plegen. Pindrop waarschuwde de bank voor deze fraude in real-time met behulp van Pulse-technologie en kon de fraudeur stoppen.

Bij een andere financiële instelling ontdekte Pindrop dat sommige fraudeurs hun eigen voicebots trainden om bank-automatiseringsystemen na te bootsen. In een eerste oproep die ongebruikelijk leek, belde een voicebot in naar het IVR van de bank, niet om account-reconnaissance uit te voeren, maar om de IVR-prompts te herhalen. Meerdere oproepen kwamen binnen in verschillende takken van de IVR-conversatieboom, en elke twee seconden herhaalde de bot wat hij hoorde. Een week later werden meer oproepen waargenomen die hetzelfde deden, maar deze keer herhaalde de voicebot de zinnen met precies dezelfde stem en manierismen als het IVR van de bank. We geloven dat een fraudeur een voicebot aan het trainen was om het IVR van de bank na te bootsen als startpunt voor een smishing-aanval. Met behulp van Pindrop Pulse kon de financiële instelling deze aanval verhinderen voordat er schade werd aangericht.

Onafhankelijk NPR Audio Deepfake Experiment: Digitale beveiliging is een constant evoluerende strijd tussen fraudeurs en beveiligingstechnologie-aanbieders. Er zijn verschillende aanbieders, waaronder Pindrop, die beweren audio-deepfakes consistent te detecteren – NPR heeft deze beweringen getest om te beoordelen of de huidige technologie-oplossingen in staat zijn om AI-gegenereerde audio-deepfakes op een consistente basis te detecteren.

Pindrop Pulse detecteerde 81 van de 84 audio-voorbeelden correct, wat resulteert in een nauwkeurigheidspercentage van 96,4%. Bovendien detecteerde Pindrop Pulse 100% van alle deepfake-voorbeelden als zodanig. Terwijl andere aanbieders ook werden geëvalueerd in de studie, bleek Pindrop de leider te zijn door te laten zien dat zijn technologie zowel deepfakes als echte audio betrouwbaar en nauwkeurig kan detecteren.

Wat zijn de toekomstige trends in spraakgebaseerde fraude en beveiliging die u voorziet, met name met de snelle ontwikkeling van AI-technologieën? Hoe bereidt Pindrop zich voor om deze aan te pakken?

We verwachten dat contactcenterfraude in 2024 zal blijven stijgen. Op basis van de jaar-tot-datum-analyse van fraudepercentages over verschillende sectoren, schatten we conservatief dat het fraudepercentage zal stijgen tot 1 op elke 730 oproepen, wat een stijging van 4-5% vertegenwoordigt ten opzichte van de huidige niveaus.

Het merendeel van de toename van de fraude zal de banksector treffen, aangezien verzekeringen, effecten en andere financiële segmenten naar verwachting rond de huidige niveaus zullen blijven. We schatten dat deze fraudepercentages een fraude-expositie van $7 miljard voor financiële instellingen in de VS vertegenwoordigen, die moet worden beveiligd. Echter, we verwachten een significante verschuiving, met name met fraudeurs die IVR’s gebruiken als testgebied. Onlangs hebben we een toename van fraudeurs waargenomen die handmatig persoonlijk identificeerbare informatie (PII) intoetsen om accountgegevens te verifiëren.

Om dit te helpen bestrijden, zullen we onze huidige Pindrop-oplossingen blijven verbeteren en nieuwe, innovatieve tools lanceren, zoals Pindrop Pulse, die onze klanten beschermen.

Wat zijn de nieuwe tools en technieken die worden ontwikkeld om spraakfraudepreventie en -authenticatie te verbeteren?

Spraakfraudepreventie- en -authenticatietechnieken evolueren voortdurend om gelijke tred te houden met de vooruitgang in technologie en de complexiteit van frauduleuze activiteiten. Enkele opkomende tools en technieken zijn:

• Voortdurende fraude-detectie en -onderzoek: Biedt een historisch “terugkijk”-perspectief op fraude-incidenten met nieuwe informatie die nu beschikbaar is. Met deze benadering kunnen fraude-analisten “luisteren” naar nieuwe fraude-signalen, scannen op historische oproepen die mogelijk gerelateerd zijn en deze oproepen opnieuw scoren. Dit biedt bedrijven een voortdurend en omvattend perspectief op fraude in real-time.
• Intelligente spraakanalyse: Traditionele spraakbiometrische systemen zijn kwetsbaar voor deepfake-aanvallen. Om hun verdediging te versterken, zijn nieuwe technologieën zoals Voice Mismatch en Negative Voice Matching nodig. Deze technologieën bieden een extra laag van verdediging door meerdere stemmen, herhaalde bellers en verschillende klinkende stemmen te herkennen en te identificeren.
• Vroege fraude-detectie: Fraude-detectietechnologieën die een snelle en betrouwbare fraude-signalering bieden vroeg in het oproep-proces, zijn waardevol. Naast liveness-detectie bieden technologieën zoals carrier-metadata-analyse, caller ID-spoof-detectie en audio-gebaseerde spoof-detectie bescherming tegen fraude-aanvallen aan het begin van een gesprek wanneer verdedigingen het meest kwetsbaar zijn.

Bedankt voor het geweldige interview, om meer te leren, lees het Pindrop’s 2024 Voice Intelligence and Security Report of bezoek Pindrop.