Vijay Balasubramaniyan, Co-Fondator & CEO al Pindrop – Seria de Interviuri

Vijay Balasubramaniyan este Co-Fondator & CEO al Pindrop. A ocupat diverse roluri de inginerie și cercetare la Google (GOOGL ), Siemens, IBM Research și Intel.

Pindrop‘s soluții duc drumul spre viitorul vocii, stabilind standardele pentru identitate, securitate și încredere pentru fiecare interacțiune vocală. Soluțiile Pindrop protejează unele dintre cele mai mari bănci, asigurători și retaileri din lume, folosind tehnologie brevetată care extrage informații din fiecare apel și voce întâlnită. Soluțiile Pindrop ajută la detectarea fraudei și la autentificarea clienților legitimi, reducând frauda și costurile operaționale, în timp ce îmbunătățesc experiența clienților și protejează reputația mărcii. Pindrop, o companie privată cu sediul în Atlanta, GA, a fost fondată în 2011 de Dr. Vijay Balasubramaniyan, Dr. Paul Judge și Dr. Mustaque Ahamad și este sprijinită de Andreessen Horowitz, Citi Ventures, Felicis Ventures, CapitalG, GV, IVP și Vitruvian Partners. Pentru mai multe informații, vă rugăm să vizitați pindrop.com.

Care sunt principalele concluzii din Raportul de Inteligență și Securitate a Vocii Pindrop 2024 cu privire la starea actuală a fraudei și securității bazate pe voce?

Raportul oferă o analiză profundă a problemelor de securitate presante și a tendințelor viitoare, în special în centrele de contact care deservesc instituții financiare și nefinanciare. Principalele constatări din raport includ:

• Cresterea semnificativă a fraudei în centrele de contact: Frauda în centrele de contact a crescut cu 60% în ultimii doi ani, ajungând la nivelul cel mai ridicat din 2019. Până la sfârșitul acestui an, se estimează că unul din 730 de apeluri către un centru de contact va fi fraudulos.
• Cresterea sofisticării atacatorilor care utilizează Deepfake: Atacurile Deepfake, inclusiv clonele de voce sintetice sofisticate, sunt în creștere, reprezentând un risc de fraudă estimat la 5 miliarde de dolari pentru centrele de contact din SUA. Această tehnologie este utilizată pentru a îmbunătăți tactici de fraudă, cum ar fi recunoașterea automată și la scară largă a conturilor, imitația vocii, smishing-ul țintit și ingineria socială.
• Metodele tradiționale de detectare și autentificare a fraudei nu funcționează: Companiile încă se bazează pe autentificarea manuală a consumatorilor, care este timp-consuming, scumpă și ineficientă în stoparea fraudei. 350 de milioane de victime ale breșelor de date. 12 miliarde de dolari cheltuiți anual pe autentificare și 10 miliarde de dolari pierduți din cauza fraudei sunt dovezi că metodele actuale de securitate nu funcționează.
• Sunt necesare abordări și tehnologii noi: Detectarea liveness este crucială pentru lupta împotriva AI-ului rău și pentru îmbunătățirea securității. Analiza vocii este încă importantă, dar trebuie să fie combinată cu detectarea liveness și autentificarea multifactorială.

Conform raportului, 67,5% dintre consumatorii americani sunt îngrijorați de deepfake-uri în sectorul bancar. Puteți explica tipurile de amenințări cu deepfake-uri cu care se confruntă instituțiile financiare?

Frauda bancară prin canale telefonice este în creștere din cauza mai multor factori. Deoarece instituțiile financiare se bazează puternic pe clienți pentru a confirma activitatea suspectă, centrele de contact pot deveni ținte principale pentru fraude. Fraudele utilizează tactici de inginerie socială pentru a înșela reprezentanții serviciului clienți, convingându-i să elimine restricțiile sau să ajute la resetarea credențialelor de online banking. Conform unui client bancar Pindrop, 36% din apelurile de fraudă identificate au avut ca scop principal eliminarea ținuturilor impuse de controalele de fraudă. Un alt client bancar Pindrop raportează că 19% din apelurile de fraudă au avut ca scop accesul la online banking. Cu creșterea inteligenței artificiale generative și a deepfake-urilor, aceste tipuri de atacuri au devenit mai puternice și mai scalabile. Acum, unul sau doi fraude pot crea orice număr de voci sintetice și lansa atacuri simultane asupra mai multor instituții financiare și amplifica tactici. Acest lucru a creat un nivel ridicat de risc și îngrijorare printre consumatori cu privire la faptul dacă sectorul bancar este pregătit să respingă aceste atacuri sofisticate.

Cum au contribuit progresele în inteligența artificială generativă la creșterea deepfake-urilor și care sunt provocările specifice pe care le ridică pentru sistemele de securitate?

Deși deepfake-urile nu sunt noi, progresele în inteligența artificială generativă le-au făcut o amenințare puternică în ultimul an, deoarece au devenit mai convingătoare la o scară mai largă. Progresele în inteligența artificială generativă au făcut modelele de limbaj mai capabile să creeze vorbire și limbaj credibil. Acum, vorbirea sintetică naturală poate fi creată foarte ieftin și la scară largă. Aceste dezvoltări au făcut deepfake-urile accesibile tuturor, inclusiv fraudele. Deepfake-urile provoacă sistemele de securitate, permițând atacuri de phishing foarte convingătoare, răspândirea de informații false și facilitarea fraudei financiare prin imitații realiste. Erodează metodele tradiționale de autentificare, creează riscuri semnificative de reputație și necesită tehnologii de detectare avansate pentru a ține pasul cu evoluția și scalabilitatea lor rapidă.

Cum a contribuit Pindrop Pulse la identificarea motorului TTS utilizat în atacul de robocall al președintelui Biden și care sunt implicațiile pentru detectarea viitoare a deepfake-urilor?

Pindrop Pulse a jucat un rol critic în identificarea motorului TTS ElevenLabs, utilizat în atacul de robocall al președintelui Biden. Utilizând tehnologia noastră avansată de detectare a deepfake-urilor, am implementat un proces de analiză în patru etape, care a implicat filtrarea cadrelor de nonspeech, extragerea caracteristicilor spectro-temporale de nivel scăzut și analiza segmentelor. Acest proces ne-a permis să filtrăm cadrele de nonspeech, să redimensionăm audio-ul pentru a replica condițiile telefonice tipice și să extragem caracteristici spectro-temporale de nivel scăzut care să diferențieze vorbirea generată de mașină de cea umană.

Prin împărțirea audio-ului în 155 de segmente și atribuirea de scoruri de liveness, am determinat că audio-ul a fost în mod constant artificial. Utilizând “fakeprints”, am comparat audio-ul cu 122 de sisteme TTS și am identificat cu o probabilitate de 99% că ElevenLabs sau un sistem similar a fost utilizat. Această constatare a fost validată cu o probabilitate de 84% prin clasificatorul ElevenLabs SpeechAI. Analiza noastră detaliată a relevat artefacte de deepfake, în special în fraze cu fricative bogate și expresii neobișnuite pentru președintele Biden. Acest caz subliniază importanța sistemelor noastre de detectare a deepfake-urilor scalabile și explicabile, care îmbunătățesc acuratețea, construiesc încrederea și se adaptează la noi tehnologii.

Raportul menționează preocupări semnificative cu privire la deepfake-urile care afectează instituțiile media și politice. Puteți oferi exemple de astfel de incidente și impactul lor potențial?

Cercetarea noastră a arătat că consumatorii americani sunt cei mai îngrijorați de riscul deepfake-urilor și al clonelor de voce în sectorul bancar. Dar, dincolo de acest lucru, amenințarea deepfake-urilor la adresa instituțiilor media și politice reprezintă o provocare la fel de semnificativă. În afara SUA, utilizarea deepfake-urilor a fost observată și în Indonezia (deepfake-ul lui Suharto) și în Slovacia (deepfake-ul vocilor lui Michal Šimečka și Monika Tódová). Anul 2024 este un an electoral important în SUA și în India. Cu 4 miliarde de oameni din 40 de țări care vor vota, tehnologia inteligenței artificiale face ca este mai ușor ca oamenii să fie înșelați pe internet. Ne așteptăm la o creștere a atacurilor de deepfake țintite asupra instituțiilor guvernamentale, companiilor de social media, altor instituții media și populației generale, menite să creeze neîncredere în instituțiile noastre și să răspândească informații false în discursul public.

Puteți explica tehnologiile și metodologiile utilizate de Pindrop pentru a detecta deepfake-urile și vociile sintetice în timp real?

Pindrop utilizează o gamă de tehnologii și metodologii avansate pentru a detecta deepfake-urile și vociile sintetice în timp real, inclusiv:

• • Detectarea liveness: Pindrop utilizează învățarea automată la scară largă pentru a analiza cadrele de nonspeech (de exemplu, liniște, zgomot, muzică) și pentru a extrage caracteristici spectro-temporale de nivel scăzut care să diferențieze vorbirea generată de mașină de cea umană.
  • Amprentarea audio – Aceasta implică crearea unei semnături digitale pentru fiecare voce pe baza proprietăților sale acustice, cum ar fi tonul, pitch-ul și cadența. Aceste semnături sunt utilizate pentru a compara și a potrivi voci în diferite apeluri și interacțiuni.
  • Analiza comportamentului – Se utilizează pentru a analiza modelele de comportament care par a fi în afara obișnuitului, inclusiv accesul anormal la diverse conturi, activitatea bot-ului rapidă, recunoașterea conturilor și dialing-ul robotic.

• Analiza vocii – Prin analiza caracteristicilor vocii, cum ar fi caracteristicile tractului vocal, variațiile fonetice și stilul de vorbire, Pindrop poate crea o amprentă vocală pentru fiecare individ. Orice abatere de la amprenta vocală așteptată poate declanșa un alert.

• Abordarea securității multistratificate – Acest lucru implică combinarea diferitelor metode de detectare pentru a verifica rezultatele și a crește acuratețea detectării. De exemplu, rezultatele amprentării audio pot fi corelate cu analiza biometrică pentru a confirma o suspiciune.
• Învățarea continuă și adaptarea – Pindrop actualizează în mod continuu modelele și algoritmii săi. Acest lucru implică încorporarea de noi date, rafinarea tehnicilor de detectare și menținerea în fața amenințărilor emergente. Învățarea continuă asigură că capacitățile de detectare se îmbunătățesc în timp și se adaptează la noi tipuri de atacuri cu voci sintetice.

Ce este Garanția Deepfake Pulse și cum îmbunătățește încrederea clienților în capacitățile Pindrop de a face față amenințărilor cu deepfake-uri?

Garanția Deepfake Pulse este o garanție fără precedent care oferă despăgubiri pentru frauda cu voce sintetică în centrul de contact. Pe măsură ce ne aflăm la începutul unui seism în peisajul atacurilor cibernetice, daunele financiare potențiale se așteaptă să ajungă la 10,5 trilioane de dolari până în 2025, Garanția Deepfake Pulse îmbunătățește încrederea clienților prin oferirea mai multor avantaje cheie:

• Încredere sporită: Garanția Deepfake Pulse demonstrează încrederea Pindrop în produsele și tehnologia sa, oferind clienților o soluție de securitate de încredere atunci când deservește deținătorii de conturi.
• Despăgubire pentru pierderi: Clienții Pindrop pot primi despăgubiri pentru evenimente de fraudă cu voce sintetică nedetectate de Suita de Produse Pindrop.
• Îmbunătățire continuă: Cererile clienților Pindrop primite în cadrul programului de garanție ajută Pindrop să rămână în fața tacticilor de fraudă cu voce sintetică în evoluție.

Există studii de caz notabile în care tehnologiile Pindrop au mitigat cu succes amenințările cu deepfake-uri? Care au fost rezultatele?

Incidentul de la Liceul Pikesville: La 16 ianuarie 2024, a apărut o înregistrare pe Instagram care pretindea a fi a directorului Liceului Pikesville din Baltimore, Maryland. Audio-ul conținea remarci jignitoare despre elevi și profesori afro-americani, declanșând o furtună de indignare publică și o preocupare serioasă.

În lumina acestor dezvoltări, Pindrop a efectuat o anchetă cuprinzătoare, realizând trei analize independente pentru a descoperi adevărul. Rezultatele anchetei noastre amănunțite au condus la o concluzie nuanțată: deși înregistrarea audio din ianuarie fusese modificată, lipsea caracteristicile definitive ale vorbirii sintetice generate de IA. Încrederea noastră în această determinare este susținută de o certitudine de 97% pe baza metricilor noastre de analiză. Această constatare crucială subliniază importanța realizării unor analize detaliate și obiective înainte de a face declarații publice despre natura unor materiale posibil manipulate.

La o mare bancă americană, Pindrop a descoperit că un fraudator utiliza voce sintetică pentru a ocoli autentificarea în IVR. Am găsit că fraudatorul utiliza voce generată de mașină pentru a ocoli autentificarea IVR pentru conturi țintite, oferind răspunsuri corecte pentru întrebările de securitate și, într-un caz, chiar trecând parolele cu o singură utilizare (OTP). Boturile care s-au autentificat cu succes în IVR au identificat conturi care merita să fie țintite prin intermediul unor anchete de bază asupra soldurilor. Apelurile ulterioare către aceste conturi au fost de la un om real pentru a comite frauda. Pindrop a alertat banca cu privire la această fraudă în timp real, utilizând tehnologia Pulse, și a reușit să oprească fraudatorul.

La o altă instituție financiară, Pindrop a descoperit că unii fraude au antrenat propriile voicebot-uri pentru a imita sistemele automate de răspuns ale băncii. În ceea ce părea a fi un apel inițial ciudat, un voicebot a sunat la IVR-ul băncii nu pentru a face o recunoaștere a contului, ci pentru a repeta prompturile IVR. Mai multe apeluri au fost observate făcând același lucru, dar de data aceasta, botul a repetat frazele în aceeași voce și manierism ca IVR-ul băncii. Credem că un fraudator antrena un voicebot pentru a imita IVR-ul băncii ca punct de plecare pentru un atac de smishing. Cu ajutorul Pindrop Pulse, instituția financiară a putut preveni acest atac înainte de a cauza vreun prejudiciu.

Experimentul independent de audio Deepfake al NPR: Securitatea digitală este o cursă armată constantă între fraude și furnizorii de tehnologie de securitate. Există mai mulți furnizori, inclusiv Pindrop, care au afirmat că pot detecta în mod constant deepfake-uri audio – NPR a testat aceste afirmații pentru a evalua dacă soluțiile tehnologice actuale sunt capabile să detecteze în mod constant deepfake-uri audio generate de IA.

Pindrop Pulse a detectat corect 81 din cele 84 de mostre audio, ceea ce se traduce printr-un nivel de acuratețe de 96,4%. În plus, Pindrop Pulse a detectat 100% din toate mostrele de deepfake ca atare. În timp ce alte furnizori au fost, de asemenea, evaluați în studiu, Pindrop a ieșit în evidență prin demonstrarea capacității sale de a detecta în mod fiabil și precis atât deepfake-urile, cât și vorbirea autentică.

Care sunt tendințele viitoare în materie de fraudă și securitate vocală, în special cu dezvoltarea rapidă a tehnologiilor de inteligență artificială? Cum se pregătește Pindrop să abordeze acestea?

Ne așteptăm ca frauda în centrele de contact să continue să crească în 2024. Pe baza analizei ratelor de fraudă de până în prezent, pe verticală, estimăm în mod conservator că rata de fraudă va ajunge la 1 din 730 de apeluri, reprezentând o creștere de 4-5% față de nivelurile actuale. Cele mai multe dintre aceste creșteri ale fraudei vor afecta sectorul bancar, în timp ce asigurările, brokerajele și alte segmente financiare se așteaptă să rămână la nivelurile actuale. Estimăm că aceste rate de fraudă reprezintă o expunere la fraudă de 7 miliarde de dolari pentru instituțiile financiare din SUA, care trebuie să fie protejate. Cu toate acestea, ne așteptăm la o schimbare semnificativă, în special cu fraudele care utilizează IVR-urile ca teren de testare. Recent, am observat o creștere a fraudei care introduc manual informații cu caracter personal (PII) pentru a verifica detalii de cont.

Pentru a combate acest lucru, vom continua să îmbunătățim soluțiile actuale Pindrop și să lansăm unelte noi și inovatoare, cum ar fi Pindrop Pulse, care protejează clienții noștri.

Dincolo de tehnologiile actuale, care sunt uneltele și tehnicile noi care sunt dezvoltate pentru a îmbunătăți prevenirea fraudei vocale și autentificarea?

Tehnicile de prevenire a fraudei vocale și de autentificare sunt în continuă evoluție pentru a ține pasul cu progresele tehnologice și sofisticarea activităților frauduloase. Unele unelte și tehnici emergente includ:

• Detectarea continuă a fraudei și ancheta: Oferă o perspectivă istorică asupra incidentelor de fraudă cu informații noi disponibile. Cu această abordare, analiștii de fraudă pot “asculta” pentru noi semnale de fraudă, scana pentru apeluri istorice care ar putea fi legate și rescora aceste apeluri. Acest lucru oferă companiilor o perspectivă continuă și cuprinzătoare asupra fraudei în timp real.
• Analiza inteligentă a vocii: Sistemele tradiționale de biometrie vocală sunt vulnerabile la atacuri de deepfake. Pentru a-și îmbunătăți apărarea, sunt necesare tehnologii noi, cum ar fi Voice Mismatch și Negative Voice Matching. Aceste tehnologii oferă un strat suplimentar de protecție prin recunoașterea și diferențierea mai multor voci, a apelurilor repetitive și identificarea unor voci care ar putea reprezenta o amenințare.
• Detectarea timpurie a fraudei: Tehnologiile de detectare a fraudei care oferă un semnal de fraudă rapid și fiabil la începutul procesului de apel sunt deosebit de valoroase. În plus față de detectarea liveness, tehnologii precum analiza metadatelor de la operator, detectarea spoofing-ului ID-ului apelant și detectarea audio-based a spoofing-ului oferă protecție împotriva atacurilor de fraudă la începutul unei conversații, când apărările sunt cel mai vulnerabile.

Mulțumim pentru acest interviu excelent. Pentru a afla mai multe, citiți Raportul de Inteligență și Securitate a Vocii Pindrop 2024 sau vizitați Pindrop.