Vijay Balasubramaniyan, Pindropin perustaja ja toimitusjohtaja – Haastattelusarja

Vijay Balasubramaniyan on Pindropin perustaja ja toimitusjohtaja. Hän on työskennellyt erilaisissa insinööri- ja tutkimustehtävissä Googlella, Siemensillä, IBM Researchilla ja Intelillä.

Pindropin ratkaisut ovat johtavassa asemassa äänen tulevaisuuden suhteen ja luovat standardin identiteetille, turvallisuudelle ja luottamukselle jokaiselle ääniin perustuvalle vuorovaikutukselle. Pindropin ratkaisut suojelivat joitakin maailman suurimmista pankeista, vakuutusyhtiöistä ja vähittäiskaupan yrityksistä patentoituja teknologioita, jotka poimivat älykkyyttä jokaisesta puhelusta ja äänestä. Pindropin ratkaisut auttavat havaitsemaan huijareita ja todentamaan aitoja asiakkaita, vähentämällä petoksia ja toimintakustannuksia samalla kun parannetaan asiakaskokemusta ja suojelee brändin mainetta. Pindrop on yksityinen yritys, jonka pääkonttori sijaitsee Atlantassa, Georgiassa, ja se perustettiin vuonna 2011 tohtori Vijay Balasubramaniyanin, tohtori Paul Judgen ja tohtori Mustaque Ahamadin toimesta. Yritys on saanut rahoitusta Andreessen Horowitzilta, Citi Venturesilta, Felicis Venturesilta, CapitalG:ltä, GV:ltä, IVP:ltä ja Vitruvian Partnersilta. Lisätietoja saat viittomalla pindrop.comiin.

Mitä ovat Pindropin 2024 Voice Intelligence and Security Reportin keskeiset johtopäätökset nykyisestä ääniin perustuvasta petoksesta ja turvallisuudesta?

Raportti antaa syvän analyysin painavista turvallisuuskysymyksistä ja tulevista trendeistä, erityisesti asiakaspalvelukeskuksissa, jotka palvelevat rahoitus- ja ei-rahoituslaitoksia. Raportin keskeiset löydökset ovat:

• Merkitsevä lisäys asiakaspalvelun petoksissa: Asiakaspalvelun petokset ovat lisääntyneet 60 % viimeisen kahden vuoden aikana ja ovat saavuttaneet korkeimman tason sitten vuoden 2019. Vuoden loppuun mennessä yksi joka 730 puhelusta asiakaspalveluun on odotettavissa olevan petollinen.
• Lisääntynyt hyökkääjien monimutkaisuus käyttäen Deepfake: Deepfake-hyökkäykset, mukaan lukien monimutkaiset äänikloonit, ovat lisääntyneet ja aiheuttavat arviolta 5 miljardin dollarin petosriskin Yhdysvaltain asiakaspalvelukeskuksille. Tätä teknologiaa käytetään vahvistamaan petostaktiikoita, kuten automaattista ja laajamittaista tilin tiedustelua, äänen jäljittelyä, kohdennettua smishiä ja sosiaalista insinööritaitoa.
• Perinteiset petosten havaitsemisen ja todennuksen menetelmät eivät toimi: Yritykset luottavat edelleen kuluttajien manuaaliseen todennukseen, joka on aikaa vievää, kallista ja tehokasta estämään petoksia. 350 miljoonaa uhria tietovuodoista. 12 miljardia dollaria kulutetaan vuosittain todennukseen ja 10 miljardia dollaria menetetään petoksiin ovat näyttöä siitä, että nykyiset turvallisuusmenetelmät eivät toimi
• Uusia lähestymistapoja ja teknologioita vaaditaan: Livenes-havainti on olennainen taistelussa pahaa AI:ta ja turvallisuuden parantamiseksi. Äänianalyysi on edelleen tärkeää, mutta se on yhdistettävä livenes-havainnontiin ja monikerroksiseen todennukseen.

Raportin mukaan 67,5 % Yhdysvaltain kuluttajista on huolissaan deepfakeista pankkisektorilla. Voitko selittää deepfake-uhkia, joita rahoituslaitokset kohtaavat?

Puhelinkanavien kautta tapahtuva pankkipetos on lisääntynyt useista syistä. Koska rahoituslaitokset luottavat voimakkaasti asiakkaisiin vahvistamaan epäilyttävää toimintaa, asiakaspalvelukeskukset voivat muodostua petollisten hyökkäysten kohteiksi. Petolliset käyttävät sosiaalisen insinöörityksen taktiikoita pettääkseen asiakaspalvelun edustajia, jotta he voivat poistaa rajoituksia tai auttaa palauttamaan verkkopankkitunnukset. Yhden Pindropin pankkiasiakkaan mukaan 36 % tunnistetuista petospuheluista pyrki pääasiallisesti poistamaan rajoitukset, jotka oli asetettu petosvalvonnassa. Toisen Pindropin pankkiasiakkaan mukaan 19 % petospuheluista pyrki saamaan pääsyn verkkopankkiin. Generatiivisen älytekniikan ja deepfakeiden kasvun myötä nämä hyökkäykset ovat muodostuneet monimutkaisemmiksi ja skaalautuvammiksi. Nykyään yksi tai kaksi petollista voi luoda useita ääniklooneja ja käynnistää samanaikaisia hyökkäyksiä useita rahoituslaitoksia vastaan ja vahvistaa taktiikoitaan. Tämä on luonut korkean riskiotason ja huolenaiheen kuluttajien keskuudessa siitä, onko pankkisektori valmistautunut torjumaan nämä monimutkaiset hyökkäykset.

Kuinka älytekniikan edistys on vaikuttanut deepfakeiden kasvuun, ja mitä haasteita nämä asettavat turvallisuusjärjestelmiin?

Vaikka deepfakeit eivät ole uusia, älytekniikan edistys on tehnyt niistä voimakkaan hyökkäysvektorin viimeisen vuoden aikana, koska ne ovat pystyneet muodostumaan uskottavammiksi suuremmassa mittakaavassa. Älytekniikan edistys on tehnyt suurista kieliopillisista malleista älykkäämmät luomaan uskottavaa puhetta ja kieltä. Nyt luonnollisen äänenkaltaiset äänikloonit voidaan luoda edullisesti ja suuressa mittakaavassa. Nämä kehitykset ovat tehneet deepfakeit kaikkien saataville, mukaan lukien petolliset. Nämä deepfakeit haastavat turvallisuusjärjestelmiä mahdollistamalla uskottavia phishing-hyökkäyksiä, levittämällä virheellistä tietoa ja mahdollistaen rahanvaihtoa äänen jäljittelyn kautta. Ne horjuttavat perinteisiä todennusmenetelmiä, luovat merkittäviä maineeseen liittyviä riskejä ja vaativat edistyneitä havaintoteknologioita pysyäkseen mukana nopean kehityksensä ja skaalautuvuutensa kanssa.

Kuinka Pindrop Pulse osallistui TTS-pelien käytön tunnistamiseen Presidentti Bidenin robokirjeessä, ja mitkä ovat tämän seuraukset tulevaisuuden deepfake-havainnolle?

Pindrop Pulse pelasi kriittistä roolia ElevenLabsin, TTS-pelin, tunnistamisessa, jota käytettiin Presidentti Bidenin robokirjeessä. Käyttämällä edistynyttä deepfake-havaintoteknologiaamme, toteutimme nelivaiheisen analyysiprosessin, joka käsitti äänisuodatuksen ja puhdistuksen, piirteiden poiston, segmentin analyysin ja jatkuvaan arviointiin. Tämä prosessi mahdollisti äänirameiden suodattamisen, äänen alennuksen tyypillisten puhelintilanteiden mukaan ja poistamalla matalatasoisen spektri-temporaalisen analyysin, joka erottaa konegeneroivan ja yleisen ihmisen puheen.

Jaettuamme äänen 155 segmenttiin ja määritettyämme elävyyden arvosanan, päättelimme, että ääni oli jatkuvasti epäaidosti. Käyttämällä “fakeprinttejä”, vertasimme ääntä 122 TTS-järjestelmään ja tunnistimme 99 %:n todennäköisyydellä, että ElevenLabs tai vastaava järjestelmä oli käytössä. Tämä löytö vahvistettiin 84 %:n todennäköisyydellä ElevenLabs SpeechAI-luokittelijalla. Yksityiskohtainen analyysi paljasti deepfake-merkit, erityisesti lauseissa, joissa oli rikkaat frikatiivit ja epätavalliset ilmaisut Presidentti Bidenille.

Tämä tapaus korostaa skaalautuvien ja selitettävien deepfake-havaintojärjestelmien tärkeyttä, jotka parantavat tarkkuutta, luottamusta ja mukautuvat uusiin teknologioihin. Se korostaa myös generatiivisten älyjärjestelmien tarvetta sisällyttää suojauskeinoja väärinkäytön estämiseksi ja varmistamaan, että äänen kloonaus on todellisten yksilöiden suostumuksella. Lähestymistapamme asettaa standardin synteettisten median uhkien torjunnalle ja korostaa jatkuvaa seurantaa ja tutkimusta pysyäkseen mukana kehittyvien deepfake-menetelmien kanssa.

Raportti mainitsee merkittäviä huolenaiheita deepfakeista, jotka vaikuttavat mediaan ja poliittisiin instituutioihin. Voitko antaa esimerkkejä tällaisista tapauksista ja niiden potentiaalisista vaikutuksista?

Tutkimuksemme on osoittanut, että Yhdysvaltain kuluttajat ovat eniten huolissaan deepfakeista pankkisektorilla. Mutta siitä huolimatta deepfakeiden uhka median ja poliittisten instituutioiden turvallisuudelle muodostaa yhtä suuren haasteen. Ulkomailla on myös havaittu deepfakeiden käyttöä, kuten Indonesiassa (Suharton deepfake) ja Slovakiassa (Michal Šimečkan ja Monika Tódován äänen deepfake).

Vuosi 2024 on merkittävä vaalivuosi Yhdysvalloissa ja Intiassa. Neljä miljardia ihmistä 40 maassa on odotettavissa äänestävän, ja älytekniikan nopea kehitys tekee helpoksi petollisten harjoittaa hyökkäyksiä internetissä. Odotamme deepfake-hyökkäysten lisääntymistä hallituksellisia laitoksia, sosiaalisen median yrityksiä, muita uutismediaa ja yleisöä vastaan, joiden tarkoituksena on luoda epäluottamusta instituutioihimme ja levittää virheellistä tietoa julkiseen keskusteluun.

Voitko selittää teknologioita ja menetelmiä, joita Pindrop käyttää deepfakeiden ja synteettisten äänien havaitsemiseen reaaliajassa?

Pindrop käyttää laajaa valikoimaa edistyneitä teknologioita ja menetelmiä deepfakeiden ja synteettisten äänien havaitsemiseen reaaliajassa, mukaan lukien

• • Elävyyden havainto: Pindrop käyttää laajamittaista koneoppimista analysoimaan äänirameja (esim. hiljaisuutta, melua, musiikkia) ja poistamaan matalatasoisen spektri-temporaalisen analyysin, joka erottaa konegeneroivan ja yleisen ihmisen puheen
  • Äänensormenjälki – Tämä käsittää digitaalisen allekirjoituksen luomisen kullekin äänelle sen akustisten ominaisuuksien perusteella, kuten sävelkorkeus, sävy ja tahti. Nämä allekirjoitukset verrataan ja vertaillaan ääniä eri puheluissa ja vuorovaikutuksissa.
  • Käyttäytymisen analyysi – Käytetään epätavallisten käyttäytymismallien analysointiin, mukaan lukien anomaalinen pääsy useisiin tileihin, nopea bot-toiminta, tilitiedustelu, datakaivuu ja robottiin puhaltaminen.

• Äänen analyysi – Äänipiirteiden analysointi, kuten ääniväylän ominaisuuksien, fonetiikan vaihteluiden ja puhetapojen perusteella, Pindrop voi luoda äänijäljen kullekin yksilölle. Mikä tahansa poikkeama odotetusta äänijäljestä voi laukaista hälytyksen.

• Monikerroksinen turvallisuuslähestymistapa – Tämä käsittää eri havaintomenetelmien yhdistämisen tulosten varmistamiseksi ja havaintotarkkuuden parantamiseksi. Esimerkiksi äänensormenjäljen tuloksia voidaan verrata biometrisen analyysin kanssa vahvistamaan epäily.
• Jatkuva oppiminen ja mukautuminen – Pindrop päivittää jatkuvasti mallejaan ja algoritmejaan. Tämä käsittää uuden datan sisällyttämisen, havaintotekniikoiden tarkentamisen ja pysymisen kehittyvien uhkien edellä. Jatkuva oppiminen varmistaa, että havaintokyky paranee ajan myötä ja mukautuu uusiin synteettisten äänihyökkäyksiin.

Mikä on Pulse Deepfake Warranty, ja miten se lisää asiakkaiden luottamusta Pindropin kykyyn torjua deepfake-uhkia?

Pulse Deepfake Warranty on ensimmäinen laatuaan takuu, joka tarjoaa korvausta synteettisen äänen petoksista asiakaspalvelukeskuksissa. Koska olemme älykkään hyökkäysmaiseman merkittävän muutoksen kynnyksellä, odotetaan, että potentiaaliset taloudelliset vahingot nousevat 10,5 biljoonaan dollariin vuoteen 2025 mennessä, Pulse Deepfake Warranty lisää asiakkaiden luottamusta useilla tavoilla:

• Lisääntynyt luottamus: Pulse Deepfake Warranty osoittaa Pindropin luottamusta tuotteisiinsa ja teknologiaansa, tarjoten asiakkaille luotettavan turvallisuusratkaisun tilienhaltijoiden palvelussa.
• Vahingonkorvaus: Pindropin asiakkaat voivat saada korvauksen synteettisen äänen petostapahtumista, joita Pindropin tuotepaketti ei havaitse.
• Jatkuva parantaminen: Pindropin asiakkaiden pyynnöt, jotka saadaan takuuohjelman kautta, auttavat Pindropia pysymään synteettisen äänen petosstrategioiden edellä.

Onko merkittäviä tapaustutkimuksia, joissa Pindropin teknologiat ovat onnistuneesti torjuneet deepfake-uhkia? Mitkä olivat tulokset?

Pikesville High Schoolin tapaus: 16. tammikuuta 2024 Instagramiin ilmestyi äänitallenne, joka osoittautui Pikesville High Schoolin rehtorin ääneksi Baltimoressa, Marylandissa. Äänitallenne sisälsi halventavia kommentteja mustista opiskelijoista ja opettajista, mikä aiheutti suuren julkisen kohun ja vakavan huolen.

Tästä kehityksestä johtuen Pindrop suoritti perusteellisen tutkimuksen ja suoritti kolme riippumattomaa analyysia paljastaakseen totuuden. Tutkimuksen tulokset johtivat monimutkaiseen johtopäätökseen: vaikka tammikuun äänitallenne oli muutettu, se ei ollut varsinainen AI:lla generoitu synteettinen puhetta. Meidän tutkimuksemme antoi 97 %:n varmuuden, että tämä johtopäätös perustui analyysimetreihimme. Tämä ratkaiseva löytö korostaa yksityiskohtaisen ja objektiivisen analyysin merkitystä ennen julkisia julistuksia manipuloidun median luonteesta.

Yhdysvaltain suuressa pankissa Pindrop havaitsi, että petollinen henkilö käytti synteettistä ääntä ohittaakseen IVR-todennuksen. Löysimme, että petollinen henkilö käytti konegeneroivaa ääntä ohittaakseen IVR-todennuksen kohdennetuille tileille, antaen oikeat vastaukset turvallisuuskysymyksiin ja yhdessä tapauksessa jopa yhden kertaisen salasanan (OTP). Botit, jotka onnistuivat todentamaan IVR:ssä, tunnistivat tilejä perusbalanssikyselyjen kautta. Myöhemmät puhelut näihin tileihin olivat oikean ihmisen tekemiä, jotta petos voitiin tehdä. Pindrop varoitti pankkia tästä petoksesta reaaliajassa Pulse-tekniikan avulla ja onnistui estämään petollisen.

Toisessa rahoituslaitoksessa Pindrop havaitsi, että jotkut petolliset kouluttivat omia äänibottejaan jäljitelläkseen pankin automaattista vastausta. Mitä kuulosti ensimmäiseltä kuulostelemiselta, äänibotti soitti pankin IVR:ään, mutta ei tehdäkseen tilin tiedustelua, vaan toistamaan IVR-kysymyksiä. Useita puheluita tuli eri haaraan IVR-keskustelupuuhun, ja joka kahden sekunnin välein botti toisti, mitä kuuli. Viikko myöhemmin havaittiin enemmän puheluita, jotka toistivat samat lauseet täsmälleen samalla äänellä ja äänen sävyllä kuin pankin IVR. Uskomme, että petollinen koulutti äänibottia jäljittelemään pankin IVR:ää smishing-hyökkäyksen aloittamiseksi. Pindrop Pulsen avulla rahoituslaitos pystyi estämään hyökkäyksen ennen kuin se aiheutti vahinkoa.

Riippumaton NPR-äänideepfake-koe: Digitaalinen turvallisuus on jatkuvasti kehittyvä asekilpailu petollisten ja turvallisuusratkaisujen välillä. On useita tarjoajia, mukaan lukien Pindrop, jotka ovat väittäneet pystyvänsä havaitsemaan ääni-deepfakeit johdonmukaisesti – NPR asetti nämä väitteet koetuksi arvioidakseen, ovatko nykyiset teknologiaratkaisut kykeneviä havaitsemaan älykkäät äänideepfakeit johdonmukaisesti.

Pindrop Pulse havaitsi oikein 81 ääninäytteestä 84:stä, mikä vastaa 96,4 %:n tarkkuutta. Lisäksi Pindrop Pulse havaitsi 100 % deepfake-näytteistä. Vaikka muita tarjoajia arvioitiin myös tutkimuksessa, Pindrop osoitti, että sen teknologia voi luotettavasti ja tarkasti havaita sekä deepfake- että aitoja ääniä.

Mitä tulevaisuuden trendejä ääniin perustuvassa petoksessa ja turvallisuudessa odotetaan, erityisesti älytekniikan nopean kehityksen valossa? Miten Pindrop valmistautuu näiden haasteiden torjumiseen?

Odotamme, että asiakaspalvelun petokset jatkavat kasvamistaan vuonna 2024. Vuoden alusta alkaen tehdyn petosvaihteluiden analyysin perusteella arvioimme, että petosaste saavuttaa 1/730 puheluihin, mikä edustaa 4-5 %:n kasvua nykyisistä tasosta.

Suurin osa lisääntyneistä petoksista vaikuttaa pankkisektorille, kun taas vakuutus-, brokerage- ja muut rahoitussektorit odotetaan pysyvän nykyisellä tasolla. Arvioimme, että nämä petosasteet edustavat 7 miljardin dollarin petosaltista Yhdysvaltain rahoituslaitoksille, joka on turvattava. Odotamme kuitenkin merkittävää muutosta, erityisesti petollisten käytön IVR:ää testausmaana. Viime aikoina olemme havainneet petollisten manuaalisen henkilökohtaisen tunnistetiedon syöttämisen vahvistaakseen tilin yksityiskohtia.

Tätä vastaan Pindrop jatkaa sekä nykyisten ratkaisujen kehittämistä että uusien ja innovatiivisten työkalujen, kuten Pindrop Pulsen, käyttöönottoa, jotka suojelevat asiakkaitamme.

Mitä uusia työkaluja ja menetelmiä kehitetään ääniin perustuvan petostorjunnan ja todennuksen parantamiseksi?

Ääniin perustuvat petostorjunta- ja todennusmenetelmät kehittyvät jatkuvasti älytekniikan edistymisen ja petollisten toimien monimutkaisuuden myötä. Jotkut kehittyvät työkalut ja menetelmät ovat:

• Jatkuva petostentorjunta ja tutkinta: Tarjoaa historiallisen “takaisin katselemisen” petostapauksiin uuden saatavilla olevan tiedon kanssa. Tällä lähestymistavalla petostentutkijat voivat “kuunnella” uusia petosmerkkejä, skannata historiallisia puheluita, jotka saattavat olla liittyneitä, ja uudelleenarvioida näitä puheluita. Tämä tarjoaa yrityksille jatkuvaan ja kattavaan näkymään petoksesta reaaliajassa.
• Älykäs äänen analyysi: Perinteiset äänibioometriset järjestelmät ovat haavoittuvaisia deepfake-hyökkäyksille. Niiden puolustusten vahvistamiseksi tarvitaan uusia teknologioita, kuten Voice Mismatch ja Negative Voice Matching. Nämä teknologiat tarjoavat lisäkerroksen suojaa tunnistamalla ja erottamalla useita ääniä, toistuvia soittajia ja tunnistamalla, missä erilainen ääni voi muodostua uhkaksi.
• Aikainen petostentorjunta: Petostentorjuntateknologiat, jotka tarjoavat nopean ja luotettavan petosmerkin puhelun alussa, ovat arvokkaita. Lisäksi livenes-havainnolle, teknologiat, kuten operaattorin metatietojen analyysi, caller ID -väärentämisen havaitseminen ja ääniin perustuva väärentämisen havaitseminen, tarjoavat suojaa petoshyökkäyksiä vastaan keskustelun alussa, kun puolustukset ovat haavoittuvimmillaan.

Kiitos haastattelusta, lue lisää Pindropin 2024 Voice Intelligence and Security Reportista tai vieraile Pindropilla.