Vijay Balasubramaniyan, medgrunnlegger og CEO av Pindrop – Intervju-serie

Vijay Balasubramaniyan er medgrunnlegger og CEO av Pindrop. Han har hatt forskjellige ingeniør- og forskningsroller hos Google (GOOGL ), Siemens, IBM Research og Intel.

Pindrop‘s løsninger er ledende i fremtiden for stemme ved å etablere standarden for identitet, sikkerhet og tillit for hver stemmeinteraksjon. Pindrop’s løsninger beskytter noen av verdens største banker, forsikringsselskaper og detaljister ved å bruke patenterert teknologi som trekker ut intelligens fra hver samtale og stemme som møtes. Pindrop-løsninger hjelper med å oppdage svindlere og autentisere ekte kunder, redusere svindel og driftskostnader samtidig som kundeopplevelsen og beskyttelse av varemerke rykte forbedres. Pindrop, et privat eid selskap med hovedkontor i Atlanta, GA, ble grunnlagt i 2011 av Dr. Vijay Balasubramaniyan, Dr. Paul Judge og Dr. Mustaque Ahamad og er venture-backet av Andreessen Horowitz, Citi Ventures, Felicis Ventures, CapitalG, GV, IVP og Vitruvian Partners. For mer informasjon, vennligst besøk pindrop.com.

Hva er de viktigste punktene fra Pindrop’s 2024 Voice Intelligence and Security Report når det gjelder den nåværende tilstanden for stemme-basert svindel og sikkerhet?

Rapporten gir en dybde-innsikt i presserende sikkerhetsproblemer og fremtidige trender, spesielt innen kontaktsentere som betjener finansielle og ikke-finansielle institusjoner. Nøkkel funn i rapporten inkluderer:

• Betydelig økning i kontaktsenter-svindel: Kontaktsenter-svindel har økt med 60% de siste to årene, og nådde det høyeste nivået siden 2019. Ved slutten av dette året, forventes det at en av hver 730 samtaler til et kontaktsenter vil være svindel.
• Økende sofistikasjon av angripere som bruker Deepfakes: Deepfake-angrep, inkludert sofistikerte syntetiske stemme-kloner, øker, og utgjør en estimert $5 milliarder svindel-risiko for amerikanske kontaktsentere. Denne teknologien brukes til å forbedre svindel-taktikker som automatisert og høy-skala konto-rekonnaissance, stemme-impersonasjon, målrettet smishing og sosial ingeniring.
• Tradisjonelle metoder for svindel-oppdaging og autentisering fungerer ikke: Selskaper avhenger fortsatt av manuell autentisering av forbrukere, som er tidskrevende, dyrt og ineffektivt til å stoppe svindel. 350 millioner ofre for data-lekkasjer. $12 milliarder brukt årlig på autentisering og $10 milliarder tapt til svindel er bevis på at nåværende sikkerhetsmetoder ikke fungerer
• Nye tilnærminger og teknologier er nødvendige: Liveness-oppdaging er avgjørende for å bekjempe dårlig AI og forbedre sikkerheten. Stemme-analyse er fortsatt viktig, men må kombineres med liveness-oppdaging og multifaktor-autentisering.

Ifølge rapporten er 67,5% av amerikanske forbrukere bekymret for deepfakes i banksektoren. Kan du forklare de typene deepfake-trusler som finansielle institusjoner står overfor?

Bank-svindel via telefon-kanaler øker på grunn av flere faktorer. Siden finansielle institusjoner avhenger tungt av kunder til å bekrefte mistenkelig aktivitet, kan kontaktsentere bli primære mål for svindlere. Svindlere bruker sosiale ingenierteknikker til å lure kundeservice-representanter, og overbeviser dem om å fjerne restriksjoner eller hjelpe med å tilbakestille online-bank-kredensialer. Ifølge en Pindrop-bank-kunde, var 36% av identifiserte svindel-samtaler hovedsakelig rettet mot å fjerne hold pålagt av svindel-kontroller. En annen Pindrop-bank-kunde rapporterer at 19% av svindel-samtaler var rettet mot å få tilgang til online-banking. Med økningen av generativ AI og deepfakes, har disse angrepene blitt mer potente og skalerbare. Nå kan en eller to svindlere i en garasje skape hvilken som helst syntetisk stemme og lansere samtidige angrep på flere finansielle institusjoner og forbedre sine taktikker. Dette har skapt en forhøyet risiko og bekymring blant forbrukere om hvorvidt banksektoren er forberedt til å avvise disse sofistikerte angrepene.

Hvordan har fremgangen i generativ AI bidratt til økningen av deepfakes, og hva er de spesifikke utfordringene disse stiller for sikkerhetssystemer?

Selv om deepfakes ikke er nye, har fremgangen i generativ AI gjort dem til en potensiell vektor i løpet av det siste året, da de har blitt mer overbevisende i en større skala. Fremgangen i GenAI har gjort store språkmodeller mer dyktige til å skape overbevisende tale og språk. Nå kan naturlig lydende syntetisk (falsk tale) skapes svært billig og i en stor skala. Disse utviklingene har gjort deepfakes tilgjengelige for alle, inkludert svindlere. Disse deepfakes stiller sikkerhetssystemer utfordringer ved å muliggjøre høyt overbevisende phishing-angrep, spre misinformasjon og fasilitere finansiell svindel gjennom realistiske impersonasjoner. De undergraver tradisjonelle autentisering-metoder, skaper betydelige reputasjons-risiko og krever avanserte oppdagingsteknologier for å holde tritt med deres raske utvikling og skalerbarhet.

Hvordan bidro Pindrop Pulse til å identifisere TTS-motoren som ble brukt i President Biden-robocall-angrepet, og hva er implikasjonene for fremtidig deepfake-oppdaging?

Pindrop Pulse spilte en kritisk rolle i å identifisere ElevenLabs, TTS-motoren som ble brukt i President Biden-robocall-angrepet. Ved å bruke vår avanserte deepfake-oppdagingsteknologi, implementerte vi en fire-trinns analyseprosess som inkluderte audio-filtrering og rensing, funksjons-ekstraksjon, segment-analyse og kontinuerlig scoring. Denne prosessen tillot oss å filtere ut nonspeech-rammer, nedsample audio til å replikere typiske telefon-forhold og trekke ut lav-nivå spectro-temporale funksjoner.

Ved å dele audio inn i 155 segmenter og tildele liveness-scorer, bestemte vi at audio var konsekvent kunstig. Ved å bruke “fakeprints”, sammenlignet vi audio mot 122 TTS-systemer og identifiserte med 99% sannsynlighet at ElevenLabs eller et lignende system ble brukt. Dette funnet ble validert med 84% sannsynlighet gjennom ElevenLabs SpeechAI Classifier. Vår detaljerte analyse avdekket deepfake-artefakter, spesielt i fraser med rike fricatives og uvanlige uttrykk for President Biden.

Dette tilfelle understreker viktigheten av våre skalerbare og forklarbare deepfake-oppdagingssystemer, som forbedrer nøyaktighet, bygger tillit og tilpasser seg nye teknologier. Det understreker også behovet for generative AI-systemer å inkorporere sikkerhetstiltak mot misbruk, og sikrer at stemme-kloning er samtykket av ekte individer. Vår tilnærming setter en standard for å håndtere syntetiske medie-trusler, og betoner kontinuerlig overvåking og forskning for å holde tritt med utviklingen av deepfakes.

Rapporten nevner betydelige bekymringer om deepfakes som påvirker media og politiske institusjoner. Kan du gi eksempler på slike hendelser og deres potensielle innvirkning?

Vår forskning har funnet at amerikanske forbrukere er mest bekymret for risikoen av deepfakes og stemme-kloner i bank- og finansiell sektor. Men utenfor dette, stiller truslene av deepfakes mot våre media og politiske institusjoner en like stor utfordring. Utenfor USA, har bruk av deepfakes også blitt observert i Indonesia (Suharto deepfake) og Slovakia (Michal Šimečka og Monika Tódová voice deepfake).

2024 er et viktig valgår i USA og India. Med 4 milliarder mennesker over 40 land forventes å stemme, gjør fremgangen i kunstig intelligens-teknologi det enklere enn noen gang å lure mennesker på internettet. Vi forventer en økning i målrettede deepfake-angrep på regjeringens institusjoner, sosiale medier, andre nyhetsmedier og den generelle befolkningen, som er ment å skape mistillit til våre institusjoner og spre desinformasjon i offentlig diskurs.

Kan du forklare teknologiene og metodene Pindrop bruker for å oppdage deepfakes og syntetiske stemmer i sanntid?

Pindrop bruker en rekke avanserte teknologier og metoder for å oppdage deepfakes og syntetiske stemmer i sanntid, inkludert:

• • Liveness-oppdaging: Pindrop bruker stor-skala maskinlæring til å analysere nonspeech-rammer (f.eks. stillhet, støy, musikk) og trekke ut lav-nivå spectro-temporale funksjoner som skiller mellom maskin-generert og generisk menneskelig tale
  • Audio-fingerprinting – Dette innebærer å skape en digital signatur for hver stemme basert på dens akustiske egenskaper, som tone, tonehøyde og klang. Disse signaturer brukes deretter til å sammenligne og matche stemmer over forskjellige samtaler og interaksjoner.
  • Atferds-analyse – Brukes til å analysere mønster av atferd som ser ut til å være utenfor det vanlige, inkludert anomale aksesser til forskjellige kontoer, rask bot-aktivitet, konto-rekonnaissance, data-mining og robot-tilkobling.

• Stemme-analyse – Ved å analysere stemme-egenskaper som vokal-trakt-egenskaper, fonetiske variasjoner og tale-stil, kan Pindrop skape en stemme-avtrykk for hver enkelt. Enhver avvik fra det forventede stemme-avtrykket kan utløse en advarsel.

• Flere-lag-sikkerhetstilnærming – Dette innebærer å kombinere forskjellige oppdaging-metoder for å kryss-verifisere resultater og øke nøyaktigheten av oppdaging. For eksempel kan audio-fingerprinting-resultater sammenlignes med biometrisk analyse for å bekrefte en mistanke.
• Kontinuerlig læring og tilpasning – Pindrop oppdaterer kontinuerlig sine modeller og algoritmer. Dette inkluderer å inkorporere ny data, finjustere oppdagingsteknikker og holde tritt med nye trusler. Kontinuerlig læring sikrer at deres oppdagingsevner forbedres over tid og tilpasser seg nye typer syntetiske stemme-angrep.

Hva er Pulse Deepfake Warranty, og hvordan forbedrer den kunde-tillit til Pindrop’s evne til å håndtere deepfake-trusler?

Pulse Deepfake Warranty er en første-av- dens-type garanti som tilbyr erstatning mot syntetisk stemme-svindel i kontaktsenteret. Mens vi står på terskelen av en seismisk skift i cyber-angreps-landskapet, potensielle finansielle tap forventes å stige til $10,5 billiarder i 2025, Pulse Deepfake Warranty forbedrer kunde-tillit ved å tilby flere nøkkel-fordeler:

• Forbedret tillit: Pulse Deepfake Warranty demonstrerer Pindrop’s tillit til sine produkter og teknologi, og tilbyr kundene en pålitelig sikkerhetsløsning når de betjener sine konto-eiere.
• Tap-erstatning: Pindrop-kunder kan motta erstatning for syntetisk stemme-svindel som ikke ble oppdaget av Pindrop Produkt-suitten.
• Kontinuerlig forbedringt: Pindrop-kunde-forespørsler mottatt under garantiprogrammet hjelper Pindrop å holde tritt med nye syntetiske stemme-svindel-taktikker.

Er det noen bemerkelsesverdige case-studier hvor Pindrop’s teknologier har suksessfullt motarbeidet deepfake-trusler? Hva var resultater?

Pikesville High School-hendelsen: Den 16. januar 2024, dukket en opptak opp på Instagram som angivelig inneholdt skolens rektor. Audioen inneholdt nedlatende kommentarer om svarte studenter og lærere, og utløste en storm av offentlig protester og alvorlig bekymring.

I lys av disse utviklingene, gjennomførte Pindrop en grundig etterforskning, og utførte tre uavhengige analyser for å avdekke sannheten. Resultatene av vår grundige etterforskning ledet til en nyansert konklusjon: selv om januar-audioen hadde blitt endret, manglet den definitive funksjoner av AI-generert syntetisk tale. Vår tillit til denne bestemmelsen støttes av en 97% sannsynlighet basert på våre analyse-metrikker. Dette avgjørende funn understreker viktigheten av å gjennomføre detaljerte og objektive analyser før offentlige erklæringer om naturen til potensielt manipulert media.

I en stor amerikansk bank, oppdaget Pindrop at en svindler brukte syntetisk stemme for å omgå autentisering i IVR. Vi fant at svindleren brukte maskin-generert stemme for å omgå IVR-autentisering for målrettede kontoer, og ga riktige svar på sikkerhets-spørsmål, og i ett tilfelle, sogar en gang en-time-passord (OTP). Bots som autentiserte i IVR identifiserte kontoer verdt å målrette via grunnleggende saldo-forespørsler. Påfølgende samtaler til disse kontoene var fra en ekte person for å utføre svindelen. Pindrop varslet banken om dette svindelforsøket i sanntid ved å bruke Pulse-teknologi, og kunne stoppe svindleren.

I en annen finansiell institusjon, fant Pindrop at noen svindlere trente sine egne voice-bots for å etterligne bank-automatiserte respons-systemer. I hva som lånte seg som et merkelig første-samtale, ringte en voice-bot inn til bankens IVR ikke for å gjøre konto-rekonnaissance, men for å gjenta IVR-promptene. Flere samtaler kom inn til forskjellige grener av IVR-samtale-treet, og hver gang boten gjentok hva den hørte. En uke senere, ble flere samtaler observert som gjorde det samme, men denne gangen gjentok boten frasene i nøyaktig samme stemme og manér som bankens IVR. Vi tror at en svindler trente en voice-bot for å speile bankens IVR som en start på en smishing-angrep. Med hjelp av Pindrop Pulse, kunne den finansielle institusjonen avverge dette angrepet før noen skade ble gjort.

Uavhengig NPR Audio Deepfake-eksperiment: Digital sikkerhet er en konstant evoluerende kappløp mellom svindlere og sikkerhetsteknologi-leverandører. Det finnes flere leverandører, inkludert Pindrop, som har hevdet å kunne oppdage audio-deepfakes konsekvent – NPR testet disse påstandene for å vurdere om nåværende teknologiløsninger er i stand til å oppdage AI-generert audio-deepfakes på en konsekvent basis.

Pindrop Pulse oppdaget 81 av de 84 audio-eksemplene korrekt, noe som tilsvarer en nøyaktighet på 96,4%. I tillegg oppdaget Pindrop Pulse 100% av alle deepfake-eksempler som slike. Mens andre leverandører også ble evaluert i studien, kom Pindrop ut som leder ved å demonstrere at deres teknologi kan pålitelig og nøyaktig oppdage både deepfake og ekte audio.

Hva er fremtidige trender i stemme-basert svindel og sikkerhet som du forutser, spesielt med den raske utviklingen av AI-teknologier? Hvordan forbereder Pindrop seg til å håndtere disse?

Vi forventer at kontaktsenter-svindel vil fortsette å øke i 2024. Basert på år-til-dato-analyse av svindel-rater over forskjellige sektorer, estimerer vi konservativt at svindel-raten vil nå 1 av hver 730 samtaler, noe som representerer en 4-5% økning i forhold til nåværende nivåer.

Det meste av den økte svindelen forventes å ramme bank-sektoren, mens forsikring, megling og andre finansielle segmenter forventes å forbli på nåværende nivåer. Vi estimerer at disse svindel-ratene representerer en svindel-eksponering på $7 milliarder for finansielle institusjoner i USA, som må sikres. Imidlertid forventer vi en betydelig skift, spesielt med svindlere som bruker IVR som en test-grunn. Nylig har vi observert en økning i svindlere som manuelt setter inn personlig identifiserbar informasjon (PII) for å verifisere konto-detaler.

For å hjelpe med å bekjempe dette, vil vi fortsette å både forbedre Pindrop’s nåværende løsninger og lansere nye og innovative verktøy, som Pindrop Pulse, som beskytter våre kunder.

Utenfor nåværende teknologier, hva nye verktøy og teknikker utvikles for å forbedre stemme-svindel-forebygging og autentisering?

Stemme-svindel-forebygging og autentiseringsteknikker utvikles kontinuerlig for å holde tritt med fremgangen i teknologi og sofistikasjonen av svindel-aktiviteter. Noen nye verktøy og teknikker inkluderer:

• Kontinuerlig svindel-oppdaging og etterforskning: Gir en historisk “tilbake-blikk” på svindel-eksempler med ny informasjon som nå er tilgjengelig. Med denne tilnærmingen kan svindel-analytikere “lytte” etter nye svindel-signal, skanne etter historiske samtaler som kan være relatert, og om-scorere disse samtaler. Dette gir selskaper en kontinuerlig og omfattende perspektiv på svindel i sanntid.
• Intelligent stemme-analyse: Tradisjonelle stemme-biometriske systemer er sårbare for deepfake-angrep. For å forbedre deres forsvar, trengs nye teknologier som Voice Mismatch og Negative Voice Matching. Disse teknologiene gir en ekstra forsvarslag ved å gjenkjenne og skille mellom flere stemmer, gjentakende ringere og identifisere hvor en annen lydende stemme kan utgjøre en trussel.
• Tidlig svindel-oppdaging: Svindel-oppdagingsteknologier som gir en rask og pålitelig svindel-signal tidlig i samtale-prosessen er uvurderlige. I tillegg til liveness-oppdaging, teknologier som carrier-metadata-analyse, caller ID-spoof-oppdaging og audio-basert spoof-oppdaging gir beskyttelse mot svindel-angrep i begynnelsen av en samtale når forsvar er på sitt mest sårbare.

Takk for det flotte intervjuet, for å lære mer, les Pindrop’s 2024 Voice Intelligence and Security Report eller besøk Pindrop.