Vijay Balasubramaniyan, mede-oprichter en CEO van Pindrop – Interviewreeks

Vijay Balasubramaniyan is mede-oprichter en CEO van Pindrop. Hij heeft verschillende technische en onderzoeksfuncties bekleed bij Google, Siemens, IBM Research en Intel.

Pindrop‘s oplossingen zijn leidende op het gebied van de toekomst van spraak door het standaard te stellen voor identiteit, beveiliging en vertrouwen voor elke spraakinteractie. Pindrop’s oplossingen beschermen enkele van ‘s werelds grootste banken, verzekeraars en retailers met behulp van gepatenteerde technologie die inzicht verwerven uit elke oproep en spraak die wordt gegenereerd. Pindrop-oplossingen helpen fraudeurs te detecteren en echte klanten te verifiëren, waardoor fraude en operationele kosten worden verlaagd, terwijl de klanttevredenheid en de bescherming van de merkreputatie worden verbeterd. Pindrop, een particulier bedrijf met hoofdkantoor in Atlanta, GA, werd in 2011 opgericht door Dr. Vijay Balasubramaniyan, Dr. Paul Judge en Dr. Mustaque Ahamad en wordt gesteund door venture capital van Andreessen Horowitz, Citi Ventures, Felicis Ventures, CapitalG, GV, IVP en Vitruvian Partners. Voor meer informatie, bezoek pindrop.com.

Wat zijn de belangrijkste conclusies uit Pindrop’s 2024 Voice Intelligence and Security Report over de huidige staat van spraakgebaseerde fraude en beveiliging?

Het rapport biedt een diepgaande analyse van dringende beveiligingsproblemen en toekomstige trends, met name binnen contactcenters die financiële en niet-financiële instellingen bedienen. Belangrijke bevindingen in het rapport zijn:

• Belangrijke toename van contactcenterfraude: Contactcenterfraude is in de afgelopen twee jaar met 60% toegenomen en heeft het hoogste niveau sinds 2019 bereikt. Aan het einde van dit jaar wordt verwacht dat één op elke 730 oproepen naar een contactcenter frauduleus zal zijn.
• Toename van de geavanceerdheid van aanvallers met behulp van Deepfake: Deepfake-aanvallen, waaronder geavanceerde synthetische stemklonen, nemen toe en vormen een geschatte fraude-risico van $5 miljard voor contactcenters in de VS. Deze technologie wordt gebruikt om fraude-tactieken zoals geautomatiseerde en grootschalige account-reconnaissance, stem-impersonatie, gerichte smishing en sociale manipulatie te versterken.
• Traditionele methoden voor fraude-detectie en -verificatie werken niet: Bedrijven vertrouwen nog steeds op handmatige verificatie van consumenten, wat tijdrovend, duur en ineffectief is om fraude te stoppen. 350 miljoen slachtoffers van datalekken, $12 miljard uitgegeven aan verificatie en $10 miljard verloren als gevolg van fraude zijn bewijs dat de huidige beveiligingsmethoden niet werken.
• Nieuwe benaderingen en technologieën zijn vereist: Liveness-detectie is cruciaal om slechte AI te bestrijden en de beveiliging te verbeteren. Stem-analyse is nog steeds belangrijk, maar moet worden gecombineerd met liveness-detectie en multifactor-authenticatie.

Volgens het rapport zijn 67,5% van de Amerikaanse consumenten bezorgd over deepfakes in de banksector. Kunt u uitleggen over welke soorten deepfake-bedreigingen financiële instellingen het meest te maken krijgen?

Bankfraude via telefoonkanalen neemt toe vanwege verschillende factoren. Aangezien financiële instellingen sterk afhankelijk zijn van klanten om verdachte activiteit te bevestigen, kunnen callcenters een belangrijk doelwit voor fraudeurs worden. Fraudeurs gebruiken sociale manipulatie om klantenservicemedewerkers te misleiden en hen ertoe te brengen beperkingen te verwijderen of online bankgegevens te resetten. Volgens een Pindrop-bankklant waren 36% van de geïdentificeerde fraude-oproepen voornamelijk gericht op het verwijderen van beperkingen die door fraudecontrole waren opgelegd. Een andere Pindrop-bankklant meldt dat 19% van de fraude-oproepen gericht waren op toegang tot online bankieren. Met de opkomst van generatieve AI en deepfakes zijn deze soorten aanvallen krachtiger en schaalbaarder geworden. Nu kunnen één of twee fraudeurs in een garage meerdere synthetische stemmen creëren en gelijktijdige aanvallen op meerdere financiële instellingen lanceren en hun tactieken versterken. Dit heeft een verhoogd niveau van risico en bezorgdheid onder consumenten over of de banksector klaar is om deze geavanceerde aanvallen af te weren.

Hoe hebben de vooruitgang in generatieve AI bijgedragen tot de toename van deepfakes, en welke specifieke uitdagingen vormen deze voor beveiligingssystemen?

Hoewel deepfakes niet nieuw zijn, hebben de vooruitgang in generatieve AI hen het afgelopen jaar tot een krachtig vector gemaakt, omdat ze in staat zijn om geloofwaardige spraak en taal te creëren op een veel grotere schaal. De vooruitgang in generatieve AI heeft grote taalmodellen meer in staat gesteld om geloofwaardige spraak te creëren. Nu kan natuurlijk klinkende synthetische (nep-)spraak zeer goedkoop en op grote schaal worden gecreëerd. Deze ontwikkelingen hebben deepfakes toegankelijk gemaakt voor iedereen, inclusief fraudeurs. Deze deepfakes vormen een uitdaging voor beveiligingssystemen door zeer overtuigende phishing-aanvallen mogelijk te maken, desinformatie te verspreiden en financiële fraude te faciliteren door realistische impersonaties. Ze ondermijnen traditionele authenticatiemethoden, creëren aanzienlijke reputatierisico’s en vereisen geavanceerde detectietechnologieën om hun snelle evolutie en schaalbaarheid bij te houden.

Hoe heeft Pindrop Pulse bijgedragen aan het identificeren van de TTS-engine die werd gebruikt in de President Biden-robocall-aanval, en wat zijn de implicaties hiervan voor toekomstige deepfake-detectie?

Pindrop Pulse speelde een cruciale rol bij het identificeren van ElevenLabs, de TTS-engine die werd gebruikt in de President Biden-robocall-aanval. Met behulp van onze geavanceerde deepfake-detectietechnologie voerden we een vierfasenanalyse uit, bestaande uit audiofiltering en -reiniging, functie-extractie, segmentanalyse en continue scoring. Deze procedure stelde ons in staat om niet-spraakframes te filteren, audio af te laten nemen tot typische telefooncondities en laag-niveau spectro-temporele functies te extraheren.

Door de audio in 155 segmenten te verdelen en liveness-scores toe te kennen, konden we bepalen dat de audio consistent kunstmatig was. Met behulp van “fakeprints” vergeleken we de audio met 122 TTS-systemen en identificeerden we met 99% waarschijnlijkheid dat ElevenLabs of een soortgelijk systeem werd gebruikt. Deze bevinding werd geverifieerd met een waarschijnlijkheid van 84% door de ElevenLabs SpeechAI Classifier. Onze gedetailleerde analyse onthulde deepfake-artefacten, met name in zinnen met rijke fricatieven en ongebruikelijke uitdrukkingen voor President Biden.

Dit geval benadrukt het belang van onze schaalbare en verklarende deepfake-detectiesystemen, die de nauwkeurigheid verbeteren, vertrouwen opbouwen en zich aanpassen aan nieuwe technologieën. Het benadrukt ook de noodzaak voor generatieve AI-systemen om waarborgen te incorporeren tegen misbruik, waardoor stemklonen alleen worden gedaan met toestemming van echte personen. Onze aanpak stelt een benchmark voor het aanpakken van synthetische media-bedreigingen, met de nadruk op voortdurende monitoring en onderzoek om voorop te blijven lopen bij de evolutie van deepfake-methoden.

Het rapport noemt significante zorgen over deepfakes die media- en politieke instellingen treffen. Kunt u voorbeelden geven van dergelijke incidenten en hun potentiële impact?

Onze onderzoek heeft aangetoond dat Amerikaanse consumenten het meest bezorgd zijn over het risico van deepfakes en stemklonen in de banksector. Maar daarbuiten vormt de dreiging van deepfakes voor media- en politieke instellingen een even grote uitdaging. Buiten de VS is het gebruik van deepfakes waargenomen in Indonesië (Suharto-deepfake) en Slowakije (Michal Šimečka en Monika Tódová-stemdeepfake).

2024 is een belangrijk verkiezingsjaar in de VS en India. Met 4 miljard mensen in 40 landen die verwacht worden te stemmen, maakt de verspreiding van artificial intelligence-technologie het gemakkelijker dan ooit om mensen op internet te misleiden. We verwachten een toename van gerichte deepfake-aanvallen op regeringsinstellingen, sociale media-bedrijven, andere nieuwsmedia en de algemene bevolking, die zijn bedoeld om wantrouwen in onze instellingen te creëren en desinformatie in het publieke discours te verspreiden.

Kunt u uitleggen over welke technologieën en methoden Pindrop gebruikt om deepfakes en synthetische stemmen in real-time te detecteren?

Pindrop gebruikt een reeks geavanceerde technologieën en methoden om deepfakes en synthetische stemmen in real-time te detecteren, waaronder:

• • Liveness-detectie: Pindrop gebruikt grote schaal machine learning om niet-spraakframes (bijv. stilte, lawaai, muziek) te analyseren en laag-niveau spectro-temporele functies te extraheren die onderscheid maken tussen machine-generatie en algemene menselijke spraak
  • Audio-fingerprinting – Dit omvat het creëren van een digitale handtekening voor elke stem op basis van zijn akoestische eigenschappen, zoals toon, toonhoogte en cadans. Deze handtekeningen worden vervolgens gebruikt om stemmen te vergelijken en te matchen over verschillende oproepen en interacties.
  • Gedragsanalyse – Wordt gebruikt om patronen van gedrag te analyseren die buiten het gewone liggen, waaronder anonieme toegang tot verschillende accounts, snelle bot-activiteit, account-reconnaissance, data-mijnbouw en robot-dialing.

• Spraak-analyse – Door spraakkenmerken zoals vocale eigenschappen, fonetische variaties en spreekstijl te analyseren, kan Pindrop een stemafdruk voor elke persoon creëren. Elke afwijking van de verwachte stemafdruk kan een alarm activeren.

• Multi-laags beveiligingsaanpak – Dit omvat het combineren van verschillende detectiemethoden om resultaten te cross-verifiëren en de nauwkeurigheid van detectie te verhogen. Bijvoorbeeld, audio-fingerprinting resultaten kunnen worden geverifieerd met biometrische analyse om een vermoeden te bevestigen.
• Voortdurend leren en aanpassen – Pindrop werkt voortdurend aan het updaten van zijn modellen en algoritmen. Dit omvat het incorporeren van nieuwe gegevens, het verfijnen van detectietechnieken en het blijven voorop lopen bij nieuwe bedreigingen. Voortdurend leren zorgt ervoor dat de detectiecapaciteiten van Pindrop in de loop van de tijd verbeteren en zich aanpassen aan nieuwe soorten synthetische stem-aanvallen.

Wat is de Pulse Deepfake Warranty, en hoe verhoogt het de vertrouwensbasis van klanten in Pindrop’s capaciteit om deepfake-bedreigingen aan te pakken?

Pulse Deepfake Warranty is een unieke garantie die een vergoeding biedt tegen synthetische stem-fraude in het callcenter. Terwijl we op de drempel staan van een seismische verschuiving in het cyberaanval-landschap, potentiële financiële verliezen worden verwacht te stijgen tot $10,5 triljoen in 2025, Pulse Deepfake Warranty verhoogt de vertrouwensbasis van klanten door verschillende belangrijke voordelen te bieden:

• Verhoogd vertrouwen: De Pulse Deepfake Warranty toont Pindrop’s vertrouwen in zijn producten en technologie, waardoor klanten een betrouwbaar beveiligingsoplossing krijgen bij het afhandelen van hun account-houders.
• Verliesvergoeding: Pindrop-klanten kunnen een vergoeding ontvangen voor synthetische stem-fraudegebeurtenissen die niet worden gedetecteerd door de Pindrop Product Suite.
• Voortdurende verbetering: Pindrop-klantverzoeken die onder de garantieprogramma worden ontvangen, helpen Pindrop om voorop te blijven lopen bij de evoluerende synthetische stem-fraude-tactieken.

Zijn er opvallende casestudies waarin Pindrop’s technologieën succesvol deepfake-bedreigingen hebben geminimaliseerd? Wat waren de resultaten?

Het Pikesville High School-incident: Op 16 januari 2024 werd een opname op Instagram gepubliceerd die vermeend de directeur van Pikesville High School in Baltimore, Maryland, zou zijn. De audio bevatte beledigende opmerkingen over zwarte studenten en leraren, waardoor een storm van publieke verontwaardiging en ernstige bezorgdheid ontstond.

In het licht van deze ontwikkelingen voerde Pindrop een uitgebreid onderzoek uit, waarbij drie onafhankelijke analyses werden uitgevoerd om de waarheid te achterhalen. De resultaten van ons grondige onderzoek leidden tot een genuanceerde conclusie: hoewel de januari-audio was gewijzigd, ontbraken de definitieve kenmerken van AI-gegenereerde synthetische spraak. Onze vertrouwensbasis in deze vaststelling wordt ondersteund door een 97% zekerheid op basis van onze analyse-metrieken. Deze cruciale bevinding benadrukt het belang van het uitvoeren van gedetailleerde en objectieve analyses voordat publieke verklaringen worden gedaan over de aard van mogelijk gemanipuleerde media.

Bij een grote Amerikaanse bank ontdekte Pindrop dat een fraudeur synthetische stemmen gebruikte om authenticatie in het IVR te omzeilen. We vonden dat de fraudeur machine-generatie gebruikte om IVR-authenticatie voor gerichte accounts te omzeilen, waardoor de juiste antwoorden voor de beveiligingsvragen werden gegeven en in één geval zelfs eenmalige wachtwoorden (OTP) werden doorgegeven. Bots die succesvol werden geauthenticeerd in het IVR identificeerden accounts die het waard waren om te targeten via basis-saldo-onderzoeken. Latere oproepen naar deze accounts kwamen van een echte mens om de fraude te plegen. Pindrop waarschuwde de bank voor deze fraude in real-time met behulp van Pulse-technologie en kon de fraudeur stoppen.

Bij een andere financiële instelling vond Pindrop dat sommige fraudeurs hun eigen voicebots aan het trainen waren om bank-automatische antwoordsystemen na te bootsen. In wat klonk als een vreemde eerste oproep, belde een voicebot in naar het IVR van de bank, niet om account-reconnaissance uit te voeren, maar om de IVR-prompts te herhalen. Meerdere oproepen kwamen binnen in verschillende takken van de IVR-conversatieboom, en elke twee seconden herhaalde de bot wat hij hoorde. Een week later werden meer oproepen waargenomen die hetzelfde deden, maar deze keer herhaalde de voicebot de zinnen in precies dezelfde stem en manierismen als het IVR van de bank. We geloven dat een fraudeur een voicebot aan het trainen was om het IVR van de bank na te bootsen als startpunt voor een smishing-aanval. Met de hulp van Pindrop Pulse kon de financiële instelling deze aanval voorkomen voordat er schade werd aangericht.

Onafhankelijk NPR-audio Deepfake-experiment: Digitale beveiliging is een constant evoluerende strijd tussen fraudeurs en beveiligingstechnologie-aanbieders. Er zijn verschillende aanbieders, waaronder Pindrop, die claimen consistent audio-deepfakes te detecteren – NPR zette deze claims op de proef om te beoordelen of huidige technologie-oplossingen in staat zijn om AI-gegenereerde audio-deepfakes consistent te detecteren.

Pindrop Pulse detecteerde 81 van de 84 audio-voorbeelden correct, wat neerkomt op een nauwkeurigheid van 96,4%. Bovendien detecteerde Pindrop Pulse 100% van alle deepfake-voorbeelden als zodanig. Terwijl andere aanbieders ook werden geëvalueerd in de studie, kwam Pindrop naar voren als leider door te laten zien dat zijn technologie in staat is om zowel deepfake- als echte audio betrouwbaar en nauwkeurig te detecteren.

Welke toekomstige trends in spraakgebaseerde fraude en beveiliging voorziet u, vooral met de snelle ontwikkeling van AI-technologieën? Hoe bereidt Pindrop zich voor om deze aan te pakken?

We verwachten dat contactcenter-fraude in 2024 zal blijven stijgen. Op basis van de tot nu toe geanalyseerde fraude-rates over verticale markten, schatten we conservatief dat de fraude-rate 1 op elke 730 oproepen zal bereiken, wat een stijging van 4-5% ten opzichte van de huidige niveaus betekent.

Het merendeel van de toename van de fraude zal naar verwachting de banksector treffen, aangezien verzekeringen, brokerages en andere financiële segmenten naar verwachting rond de huidige niveaus zullen blijven. We schatten dat deze fraude-rates een fraude-blootstelling van $7 miljard voor financiële instellingen in de VS vertegenwoordigen, die moeten worden beveiligd. Echter, we verwachten een significante verschuiving, met name met fraudeurs die IVR’s gebruiken als testgebied. Onlangs hebben we een toename van fraudeurs waargenomen die handmatig persoonlijk identificeerbare informatie (PII) invoeren om accountgegevens te verifiëren.

Om hiermee om te gaan, zullen we zowel Pindrop’s huidige oplossingen blijven verbeteren als nieuwe en innovatieve tools lanceren, zoals Pindrop Pulse, die onze klanten beschermen.

Behalve de huidige technologieën, welke nieuwe tools en technieken worden ontwikkeld om spraak-fraudepreventie en -verificatie te verbeteren?

Spraak-fraudepreventie- en -verificatietechnieken evolueren voortdurend om gelijke tred te houden met de vooruitgang in technologie en de geavanceerdheid van frauduleuze activiteiten. Enkele opkomende tools en technieken zijn:

• Voortdurende fraude-detectie en -onderzoek: Biedt een historische “look-back” naar fraude-incidenten met nieuwe informatie die nu beschikbaar is. Met deze aanpak kunnen fraude-analisten “luisteren” naar nieuwe fraude-signalen, scannen naar historische oproepen die mogelijk gerelateerd zijn en deze oproepen opnieuw scoren. Dit biedt bedrijven een voortdurende en omvattende kijk op fraude in real-time.
• Intelligente spraak-analyse: Traditionele spraak-biometrische systemen zijn kwetsbaar voor deepfake-aanvallen. Om hun verdediging te versterken, zijn nieuwe technologieën zoals Voice Mismatch en Negative Voice Matching nodig. Deze technologieën bieden een extra laag verdediging door meerdere stemmen te herkennen, herhaalde bellers te identificeren en te bepalen waar een andere klinkende stem een bedreiging kan vormen.
• Vroege fraude-detectie: Fraude-detectie technologieën die een snelle en betrouwbare fraude-signalering bieden vroeg in het oproep-proces, zijn waardevol. Naast liveness-detectie, bieden technologieën zoals carrier-metadata-analyse, caller-ID-spoof-detectie en audio-gebaseerde spoof-detectie bescherming tegen fraude-aanvallen aan het begin van een gesprek, wanneer verdedigingen het meest kwetsbaar zijn.

Bedankt voor het geweldige interview, om meer te leren, lees Pindrop’s 2024 Voice Intelligence and Security Report of bezoek Pindrop.