Vijay Balasubramaniyan, Pindropin perustaja ja toimitusjohtaja – Haastattelu

Vijay Balasubramaniyan on Pindropin perustaja ja toimitusjohtaja. Hän on toiminut erilaisissa insinööri- ja tutkimustehtävissä Googlella, Siemensillä, IBM Researchilla ja Intelillä.

Pindrop:in ratkaisut ovat johtavassa asemassa äänen tulevaisuuden suhteen ja luovat standardin identiteetille, turvallisuudelle ja luottamukselle jokaisessa ääniin perustuvassa vuorovaikutuksessa. Pindropin ratkaisut suojelivat joitakin maailman suurimmista pankeista, vakuutusyhtiöistä ja vähittäiskauppiailta patentoituja teknologioita, jotka poimivat älykkyyttä jokaisesta puhelusta ja äänestä. Pindropin ratkaisut auttavat havaitsemaan huijareita ja todentamaan aitoja asiakkaita, vähentämällä huijausta ja operatiivisia kustannuksia samalla kun parannetaan asiakaskokemusta ja suojellaan brändin mainetta. Pindrop on yksityinen yritys, jonka pääkonttori sijaitsee Atlantassa, GA, ja se perustettiin vuonna 2011 tohtoreiden Vijay Balasubramaniyan, Paul Judge ja Mustaque Ahamad toimesta. Yritys on rahoitettu pääomasijoittajien Andreessen Horowitz, Citi Ventures, Felicis Ventures, CapitalG, GV, IVP ja Vitruvian Partners toimesta. Lisätietoja saat pindrop.com:ista.

Mitä ovat tärkeimmät johtopäätökset Pindropin 2024 Voice Intelligence and Security Report:ista ääniin perustuvan huijauden ja turvallisuuden nykytilasta?

Raportti tarjoaa syvän analyysin painostaviin turvallisuuskysymyksiin ja tuleviin trendeihin, erityisesti asiakaspalvelukeskuksissa, jotka palvelevat rahoitus- ja ei-rahoituslaitoksia. Raportin keskeiset löydökset ovat:

• Asiakaspalvelukeskuksen huijaus kasvaa: Asiakaspalvelukeskuksen huijaus on kasvanut 60 % viimeisen kahden vuoden aikana ja on saavuttanut korkeimman tason vuoden 2019 jälkeen. Vuoden loppuun mennessä yksi 730 puhelusta asiakaspalvelukeskukseen odotetaan olevan huijaus.
• Hyökkääjien kasvava monimutkaisuus deepfake-kloonien käytössä: Deepfake-hyökkäykset, mukaan lukien kehittyneet äänikloonit, ovat kasvamassa, ja ne aiheuttavat arviolta 5 miljardin dollarin huijausvaaran Yhdysvaltain asiakaspalvelukeskuksille. Tätä teknologiaa käytetään huijaustaktiikoiden tehostamiseen, kuten automaattisessa ja laajamittaisessa tilin tiedustelussa, äänen matkimisessa, kohdennetussa smishingissä ja sosiaali-insinööritöissä.
• Perinteiset huijausten havaitsemisen ja todennuksen menetelmät eivät toimi: Yritykset luottavat edelleen kuluttajien manuaaliseen todennukseen, joka on aikaa vievää, kallista ja tehokasta huijauden estämisessä. 350 miljoonaa tietovuodon uhria. 12 miljardia dollaria kulutetaan vuosittain todennukseen ja 10 miljardia dollaria menetetään huijaamiseen, mikä osoittaa, että nykyiset turvallisuusmenetelmät eivät toimi.
• Uusia lähestymistapoja ja teknologioita vaaditaan: Elävyyden havaitseminen on tärkeää pahojen AI-teknologioiden torjunnassa ja turvallisuuden parantamisessa. Äänianalyysi on edelleen tärkeää, mutta sitä on yhdistettävä elävyyden havaitsemiseen ja monikerroksiseen todennukseen.

Raportin mukaan 67,5 % Yhdysvaltain kuluttajista on huolissaan deepfakeista pankkisektorilla. Voitko selittää tarkemmin pankkisektorin kohtaamia deepfake-uhkia?

Pankkisektoriin kohdistuva huijaus puhelinkanavissa on kasvamassa useiden tekijöiden vuoksi. Koska rahoituslaitokset luottavat asiakkaisiin epäilyttävien toimien vahvistamisessa, asiakaspalvelukeskukset voivat muodostua huijareiden tärkeiksi kohteiksi. Huijareiden käyttävät sosiaali-insinööritöitä pettääkseen asiakaspalvelijat, jotta heidät vakuutetaan poistamaan rajoitukset tai avustamaan verkkopankkitunnusten resetoimisessa. Yhden Pindropin pankkiasiakkaan mukaan 36 % tunnistetuista huijauspuheluista pyrki pääasiallisesti poistamaan huijausvalvonnasta asetetut pidäkkeet. Toisen Pindropin pankkiasiakkaan mukaan 19 % huijauspuheluista pyrki saamaan pääsyn verkkopankkiin. Generatiivisen AI:n ja deepfakeiden kasvun myötä nämä hyökkäykset ovat muodostuneet voimakkaammiksi ja skaalautuvammiksi. Nykyään yksi tai kaksi huijaria autotallissa voi luoda useita ääniklooneja ja käynnistää samanaikaisia hyökkäyksiä useita rahoituslaitoksia vastaan ja tehostaa taktiikkaansa. Tämä on luonut korkean riskin ja huolenaiheen kuluttajien keskuudessa siitä, onko pankkisektori valmistautunut torjumaan nämä kehittyneet hyökkäykset.

Kuinka generatiivisen AI:n edistysaskelit ovat vaikuttaneet deepfakeiden kasvuun, ja mitä tarkkaan ottaen haasteita ne aiheuttavat turvallisuusjärjestelmiin?

Vaikka deepfakeit eivät ole uusia, generatiivisen AI:n edistysaskelit ovat tehneet niistä voimakkaan hyökkäysvektorin viimeisen vuoden aikana, koska ne ovat pystyneet muodostumaan uskottavammiksi suuremmassa mittakaavassa. Generatiivisen AI:n edistysaskelit ovat tehneet suurista kielimalleista osaavampia luomaan uskottavaa puhetta ja kieltä. Nykyään luonnollisen kuuloinen synteettinen (väärennetty) puhe voidaan luoda hyvin edullisesti ja suuressa mittakaavassa. Nämä kehitysaskelit ovat tehneet deepfakeit kaikkien, myös huijareiden, saataville. Nämä deepfakeit haastavat turvallisuusjärjestelmiä mahdollistamalla vakuuttavat phishing-hyökkäykset, levittämällä virheellistä tietoa ja helpottamalla taloudellista huijausta realistisilla matkimisilla. Ne horjuttavat perinteisiä todennusmenetelmiä, luovat merkittäviä maineeseen liittyviä riskejä ja vaativat edistyneitä havaitsemisteknologioita pysyäkseen mukana nopean kehityksensä ja skaalautuvuutensa kanssa.

Kuinka Pindrop Pulse osallistui TTS-moottorin tunnistamiseen, jota käytettiin presidentti Bidenin robokelpoisessa hyökkäyksessä, ja mitkä ovat tämän seuraukset tulevaisuuden deepfake-havaitsemiselle?

Pindrop Pulse oli avainasemassa TTS-moottorin tunnistamisessa, jota käytettiin presidentti Bidenin robokelpoisessa hyökkäyksessä. Käyttämällä edistynyttä deepfake-havaitsemisteknologiaamme, toteutimme nelivaiheisen analyysiprosessin, joka käsitti äänisuodatuksen ja puhdistuksen, piirteinpoiston, segmenttianalyysin ja jatkuvaan arvosteluun. Tämä prosessi mahdollisti äänen suodattamisen, äänen alennuksen tyypillisten puhelintilanteiden mukaan ja matalatasoisten spektro-temporaalisten piirteiden poisto.

Jaettuamme äänen 155 segmenttiin ja määritettyämme elävyyden arvosanat, päättelimme, että ääni oli jatkuvasti epäaidosti. Käyttämällä “väärennöksiä”, vertasimme ääntä 122 TTS-järjestelmään ja tunnistimme 99 %:n todennäköisyydellä, että ElevenLabs tai vastaava järjestelmä oli käytössä. Tämä löytö vahvistettiin 84 %:n todennäköisyydellä ElevenLabs SpeechAI-luokittelijan avulla. Yksityiskohtainen analyysi paljasti deepfake-artefakteja, erityisesti lauseissa, joissa on rikkaat frikatiivit ja epätavalliset ilmaisut presidentti Bidenille.

Tämä tapaus korostaa skaalautuvien ja selitettävien deepfake-havaitsemisjärjestelmiemme tärkeyttä, jotka parantavat tarkkuutta, luovat luottamusta ja sopeutuvat uusiin teknologioihin. Se korostaa myös generatiivisten AI-järjestelmien tarvetta sisällyttää suojauskeinoja väärinkäytön estämiseksi, varmistamalla, että äänikloonaus on todellisten yksilöiden suostumusta.

Raportti mainitsee merkittäviä huolenaiheita deepfakeiden vaikutuksesta mediaan ja poliittisiin laitoksiin. Voitko antaa esimerkkejä tällaisista tapauksista ja niiden mahdollisista vaikutuksista?

Tutkimuksemme on osoittanut, että Yhdysvaltain kuluttajat ovat eniten huolissaan deepfakeiden ja äänikloonien vaarasta pankkisektorilla. Mutta siitä huolimatta deepfakeiden uhka median ja poliittisten laitosten turvallisuudelle muodostaa yhtä suuren haasteen. Yhdysvaltojen ulkopuolella on havaittu deepfakeiden käyttö myös Indonesiassa (Suharton deepfake) ja Slovakiassa (Michal Šimečkan ja Monika Tódován äänideepfake).

Vuosi 2024 on merkittävä vaalivuosi Yhdysvalloissa ja Intiassa. Neljä miljardia ihmistä 40 maassa odotetaan äänestävän, ja tekoälytekniikan lisääntyminen tekee helpoksi pettää ihmisiä internetissä. Odotamme deepfake-hyökkäysten lisääntymistä hallituksia, sosiaalisen median yhtiöitä, muita uutismediaa ja yleisöä vastaan, joiden tarkoituksena on luoda epäluottamusta laitoksiimme ja levittää virheellistä tietoa julkiseen keskusteluun.

Voitko selittää teknologioita ja menetelmiä, joita Pindrop käyttää deepfakeiden ja synteettisten äänien havaitsemiseen reaaliajassa?

Pindrop käyttää laajaa valikoimaa edistyneitä teknologioita ja menetelmiä deepfakeiden ja synteettisten äänien havaitsemiseen reaaliajassa, mukaan lukien:

• • Elävyyden havaitseminen: Pindrop käyttää suurta mittakaavaa koneoppimista analysoimaan äänetöntä kehystä (esim. hiljaisuutta, melua, musiikkia) ja poimimaan matalatasoisia spektro-temporaalisia piirteitä, jotka erottavat konegeneroituja ja yleisiä ihmisen puhetta.
  • Äänensormenjälki – Tämä käsittää digitaalisen allekirjoituksen luomisen kullekin äänelle sen akustisten ominaisuuksien perusteella, kuten sävelkorkeus, sävy ja tahti. Nämä allekirjoitukset käytetään vertaamaan ja vastaamaan ääniä eri puheluissa ja vuorovaikutuksissa.
  • Käyttäytymisanalyysi – Käytetään analysoimaan epätavallisia käyttäytymismalleja, kuten anomaalista pääsyä eri tileihin, nopeaa bot-toimintaa, tilitiedustelua, datakaiverrusta ja robotti-puheluita.

• Äänianalyysi – Analysoimalla äänen piirteitä, kuten ääniväylän ominaisuuksia, foneettisia variansseja ja puhetyyliä, Pindrop voi luoda äänijäljen kullekin yksilölle. Mikä tahansa poikkeama odotetusta äänijäljestä voi laukaista hälytyksen.

• Monikerroksinen turvallisuuslähestymistapa – Tämä käsittää eri havaitsemismenetelmien yhdistämisen tulosten ristivarmistamiseksi ja havaitsemistarkkuuden lisäämiseksi. Esimerkiksi äänensormenjäljen tulokset voidaan ristivarmistaa biometrisen analyysin kanssa epäilyn vahvistamiseksi.
• Jatkuva oppiminen ja sopeutuminen – Pindrop päivittää jatkuvasti mallejaan ja algoritmejaan. Tämä käsittää uuden datan sisällyttämisen, havaitsemistekniikoiden tarkentamisen ja pysymisen uusimpien uhkien edellä. Jatkuva oppiminen varmistaa, että havaitsemiskyky heikkenee ajan myötä ja sopeutuu uusille synteettisten äänihyökkäysten tyypeille.

Mikä on Pulse Deepfake Warranty, ja miten se lisää asiakkaiden luottamusta Pindropin kykyyn torjua deepfake-uhkia?

Pulse Deepfake Warranty on ensimmäinen laatuaan takuu, joka tarjoaa korvausta synteettisen äänihuijauksia vastaan asiakaspalvelukeskuksissa. Kun olemme äärimmäisen merkittävän kyberhyökkäysmaiseman partaalla, mahdolliset taloudelliset vahingot odotetaan nousevan 10,5 biljoonaan dollariin vuoteen 2025 mennessä, Pulse Deepfake Warranty lisää asiakkaiden luottamusta useilla tärkeillä eduilla:

• Luottamuksen vahvistaminen: Pulse Deepfake Warranty osoittaa Pindropin luottamusta tuotteisiinsa ja teknologiaansa, tarjoten asiakkaille luotettavan turvallisuusratkaisun asiakkaiden tilejä palvellessaan.
• Vahingon korvaus: Pindropin asiakkaat voivat saada korvauksen synteettisistä äänihuijauksista, joita Pindropin tuotepaketti ei havaitse.
• Jatkuva parantaminen: Pindropin asiakkaiden pyynnöt, jotka saadaan takuuprogrammin kautta, auttavat Pindropia pysymään mukana kehittyvien synteettisten äänihuijausten taktiikoiden kanssa.

Onko merkittäviä case-tutkimuksia, joissa Pindropin teknologiat ovat onnistuneesti torjuneet deepfake-uhkia? Mitkä olivat tulokset?

Pikesvillen lukion tapaus: 16. tammikuuta 2024 Instagramiin ilmestyi äänitallenne, joka väitti olevan Pikesvillen lukion rehtorin ääni Baltimoressa, Marylandissa. Ääni sisälsi halventavia huomautuksia mustaa väestöä ja opettajia kohtaan, mikä aiheutti suuren julkisen vastalauseen ja vakavan huolen.

Tämän kehityksen valossa Pindrop suoritti perusteellisen tutkimuksen ja suoritti kolme riippumattomaa analyysiä totuuden paljastamiseksi. Tutkimuksen tulokset johtivat hienoiseen johtopäätökseen: vaikka tammikuun ääni oli muutettu, se puuttui AI:n generoiman synteettisen puheen määrättyjen piirteiden. Meidän tutkimuksemme luottamus on 97 %:n varmuudella perustuu analyysimetreihimme. Tämä ratkaiseva löytö korostaa yksityiskohtaisen ja objektiivisen analyysin tekemisen tärkeyttä ennen julkisia julistuksia manipuloitujen medioista.

Yhdysvaltain suuressa pankissa Pindrop havaitsi, että huijari käytti synteettistä ääntä ohittamaan todennuksen IVR:ssä. Löysimme, että huijari käytti konegeneroituja ääniä ohittamaan IVR-todennuksen kohdistetuissa tileissä, antamalla oikeat vastaukset turvallisuuskysymyksiin ja yhdessä tapauksessa jopa ohittamalla yksikertaiset salasanat (OTP). Botit, jotka onnistuivat todennuksessa IVR:ssä, tunnistivat tilejä, joita voitiin kohdistaa perustiedustelun kautta. Myöhemmät puhelut näihin tileihin olivat oikeilta ihmisiltä, jotka suorittivat huijausta. Pindrop hälytti pankille tästä huijaamisesta reaaliajassa Pulse-teknologian avulla ja pystyi estämään huijauksen.

Toisessa rahoituslaitoksessa Pindrop havaitsi, että jotkut huijareiden kouluttivat omia äänibottejaan matkimaan pankin automaattista vastausjärjestelmää. Mitä kuulosti epätavalliselta ensimmäisellä kerralla, äänibotti soitti pankin IVR:ään, mutta ei tekemään tilitiedustelua, vaan toistamaan IVR-vastauksia. Useita puheluita tuli eri osiin IVR-keskustelupuuta, ja joka kaksi sekuntia botti toisti, mitä kuuli. Viikon kuluttua havaittiin lisää puheluita, jotka toistivat samat lauseet täsmälleen samalla äänellä ja tyylillä kuin pankin IVR. Uskomme, että huijari koulutti äänibottia matkimaan pankin IVR:ää smishing-hyökkäyksen aloittamiseksi. Pindrop Pulsen avulla rahoituslaitos pystyi torjumaan hyökkäyksen ennen kuin siitä aiheutui vahinkoa.

Riippumaton NPR-ääni-deepfake-koe: Digitaalinen turvallisuus on jatkuvasti kehittyvä asekilpailu huijareiden ja turvallisuusteknologian tarjoajien välillä. On useita tarjoajia, kuten Pindrop, jotka ovat väittäneet havaitsevansa äänideepfakeit johdonmukaisesti – NPR asetti nämä väitteet koettelee arvioidakseen, voivatko nykyiset teknologiaratkaisut havaita AI-generoituja äänideepfakeit johdonmukaisesti.

Pindrop Pulse havaitsi oikein 81 ääninäytteestä 84:stä, mikä vastaa 96,4 %:n osumatarkkuutta. Lisäksi Pindrop Pulse havaitsi 100 %:n deepfake-näytteistä. Vaikka muita tarjoajia arvioitiin tutkimuksessa, Pindrop nousi johtoon osoittamalla, että sen teknologia voi luotettavasti ja tarkasti havaita sekä deepfake- että aitoja ääniä.

Mitä tulevaisuuden trendejä ääniin perustuvassa huijaamisessa ja turvallisuudessa odotat, erityisesti nopean AI-teknologian kehityksen valossa? Miten Pindrop valmistautuu näihin?

Odotamme, että asiakaspalvelukeskuksen huijaus jatkaa kasvuaan vuonna 2024. Vuoden alusta analyysimme mukaan arviomme mukaan huijausaste saavuttaa 1/730 puhelua, mikä edustaa 4-5 %:n kasvua nykyisistä tasosta.

Suurin osa lisääntynyttä huijausta odotetaan vaikuttavan pankkisektoriin, kun taas vakuutus-, välitys- ja muut rahoitussegmentit odotetaan pysyvän nykyisellä tasolla. Arviomme mukaan nämä huijausasteet edustavat 7 miljardin dollarin huijausvaaraa Yhdysvaltain rahoituslaitoksille, jota on suojattava. Odotamme kuitenkin merkittävää muutosta, erityisesti huijareiden käyttäessä IVR:ää testausmaana. Viime aikoina olemme havainneet huijareiden manuaalisen henkilökohtaisten tunnistetietojen syöttämisen tarkistaakseen tilitietoja.

Auttaaksemme tätä, jatkamme sekä Pindropin nykyisten ratkaisujen kehittämistä että uusien ja innovatiivisten työkalujen, kuten Pindrop Pulsen, lanseeraamista, jotka suojelivat asiakkaitamme.

Mitä uusia työkaluja ja menetelmiä kehitetään äänihuijausten ehkäisemiseen ja todennukseen?

Äänihuijausten ehkäisemisen ja todennuksen menetelmät kehittyvät jatkuvasti teknologian edetessä ja huijauksen monimutkaisuuden kasvaessa. Jotkut kehittyvät työkalut ja menetelmät ovat:

• Jatkuva huijausten havaitseminen ja tutkinta: Tarjoaa historiallisen “takaisin katse” huijaustapauksiin uuden nyt saatavilla olevan tiedon kanssa. Tällä lähestymistavalla huijaustutkijat voivat “kuunnella” uusia huijausmerkkejä, skannata historiallisia puheluita, jotka saattavat olla liittyneitä, ja uudelleenarvioida nämä puhelut. Tämä tarjoaa yrityksille jatkuvaan ja kattavaan näkymän huijaamiseen reaaliajassa.
• Älykäs äänianalyysi: Perinteiset äänibioometriset järjestelmät ovat haavoittuvaisia deepfake-hyökkäyksille. Niiden puolustusten vahvistamiseksi uusia teknologioita, kuten Voice Mismatch ja Negative Voice Matching, tarvitaan. Nämä teknologiat tarjoavat lisäkerroksen puolustusta tunnistamalla ja erottamalla useita ääniä, toistuvia soittajia ja tunnistamalla, missä erilaisen kuuloinen ääni voi muodostua uhkaksi.
• Varhainen huijausten havaitseminen: Huijausten havaitsemisteknologiat, jotka tarjoavat nopean ja luotettavan huijausmerkin puhelun alussa, ovat arvokkaita. Lisäksi elävyyden havaitsemisen, kuljettajan metadata-analyysin, caller ID-väärinkäytön ja ääniin perustuvan spoof-havaitsemisen kaltaiset teknologiat tarjoavat suojaa huijaushyökkäyksiltä puhelun alussa, kun puolustukset ovat haavoittuvimmillaan.

Kiitos haastattelusta, lue lisää Pindropin 2024 Voice Intelligence and Security Report:sta tai vieraile Pindrop:illa.