Tekoälypohjainen valheenilmaisin asiakaspalvelupuheluihin

Saksalaiset tutkijat ovat käyttäneet koneoppimista luomaan äänenanalyysijärjestelmän, jonka tarkoituksena on toimia tekoälypohjaisena valheenilmaisimena asiakkaiden kanssa käytävissä ääniviestinnissä asiakaspalvelu- ja tukihenkilöstön kanssa.

Järjestelmä käyttää erityisesti luotua äänitallennusaineistoa, joka koostuu 40 opiskelijan ja opettajan keskusteluista kiistellyistä aiheista, kuten kuolemanrangaistuksen moraalisuudesta ja korkeakoulumaksuista. Malli on koulutettu arkkitehtuuriin, joka käyttää Convolutional Neural Networks (CNN) – ja Long Short-Term Memory (LSTM) -menetelmiä, ja se saavutti ilmoitetun 98 prosentin täsmäytyisyysasteen.

Vaikka työn ilmoitettu tarkoitus mainitsee asiakasviestinnän, tutkijat myöntävät, että se toimii käytännössä yleispurposed valheenilmaisimena:

‘Tulokset ovat sovellettavissa laajaan joukkoon palveluprosesseja ja erityisesti hyödyllisiä kaikille asiakastilanteille, jotka tapahtuvat puhelimen kautta. Esitetty algoritmi voidaan soveltaa mihin tahansa tilanteeseen, jossa on hyödyllistä agentille tietää, onko asiakas puhuu vakaumuksestaan.

‘Tämä voisi esimerkiksi johtaa epäilyttävien vakuutusvaatimusten tai valehtelun vähentymiseen työhaastatteluissa. Tämä ei ainoastaan vähentäisi palveluyritysten operatiivisia tappioita, vaan myös rohkaisi asiakkaita olemaan reippaampia.’

Aineiston luominen

Puuttuvan sopivan julkisesti saatavilla olevan aineiston vuoksi saksankielisessä versiossa, tutkijat – Neu-Ulmin soveltavan tieteiden yliopistosta (HNU) – loivat oman lähdemateriaalinsa. Ilmoitukset julkaistiin yliopistossa ja paikallisissa koulussa, ja 40 vapaaehtoista valittiin vähintään 16-vuotiaiksi. Vapaaehtoiset palkittiin 10 euron arvoisella Amazon-lahjakortilla.

Sessiot järjestettiin keskusteluklubin mallin mukaan, joka suunniteltiin polarisoimaan mielipiteitä ja herättämään voimakkaita reaktioita kiistellyistä aiheista, jolloin mallinnettiin stressi, joka voi esiintyä ongelmallisissa asiakaspalvelupuhelussa puhelimessa.

Aiheista, joista vapaaehtoiset puhuivat vapaasti kolme minuuttia julkisesti, olivat:

– Pitäisikö kuolemanrangaistus ja julkiset teloitukset ottaa uudelleen käyttöön Saksassa?
– Pitäisikö korkeakoulumaksuja periä Saksassa?
– Pitäisikö kovien huumeiden, kuten heroiinin ja kristallin metan, käyttöä laillistaa Saksassa?
– Pitäisikö ravintolaketjuja, jotka tarjoavat epäterveellistä nopeaa ruokaa, kuten McDonald’s tai Burger King, kielletä Saksassa?

Esikäsittely

Projekti suosi äänen puheen akustisten ominaisuuksien analyysiä automaattisessa puheentunnistuslähestymistavassa (ASR) verrattuna NLP-lähestymistapaan (jossa puhe analyysoidaan kielellisellä tasolla, ja “keskustelun lämpötila” voidaan johtaa suoraan kielenkäytöstä).

Esikäsitellyt otokset analysoitiin aluksi Mel-frequency Cepstral Coefficients (MFCC) -menetelmällä, joka on luotettava ja vanha menetelmä, jota edelleen käytetään laajasti puheen analyysissä. Koska menetelmä ehdotettiin ensimmäisen kerran vuonna 1980, se on huomattavan niukka laskentaresursseja suhteen tunnistamalla toistuvia kuvioita puheessa, ja se on kestävä eri äänenlaatuversioille. Koska sessiot toteutettiin VOIP-alustoilla lukitusolosuhteissa joulukuussa 2020, oli tärkeää, että äänitysmalli pystyi huomioimaan huonolaatuisen äänen, kun tarve vaati.

On mielenkiintoista huomata, että kaksi edellä mainittua teknistä rajoitusta (rajoitettu CPU-resursseja 1980-luvun alussa ja VOIP-yhteyden ominaisuudet ruuhkaisessa verkkoympäristössä) yhdistyvät tässä “teknisesti niukkaan” malliin, joka on (ilmeisesti) epätavallisen kestävä olosuhteissa, jotka eivät ole ihanteellisia ja resursseja on vähän – mukaillen kohdeareenaa tuloksena olevalle algoritmille.

Tämän jälkeen Fast Fourier Transform (FFT) -algoritmi sovellettiin ääniosuuksiin antamaan spektriprofiili kullekin “äänekehykselle”, ennen lopullista kartoitusta Mel-asteikolle.

Koulutus, tulokset ja rajoitukset

Koulutuksen aikana erotetut ominaisuusvektorit ohjataan aikajakoon convolutionaaliverkkokerrokseen, tasoitetaan ja ohjataan sitten LSTM-kerrokseen.

Koulutusprosessin arkkitehtuuri tekoälypohjaiselle totuudenmukaisuudenilmaisimelle. Lähde: https://arxiv.org/ftp/arxiv/papers/2107/2107.11175.pdf

Lopuksi kaikki hermosolmut yhdistetään toisiinsa luomaan binääripäätös siitä, onko puhuja puhuu asioita, joita hän uskoo olevan totta.

Koulutuksen jälkeen järjestelmä saavutti 98,91 prosentin tarkkuustason aikeen tunnistamisessa (jossa puhuttu sisältö ei välttämättä heijasta aiketta). Tutkijat katsovat, että työ osoittaa empiirisesti vakaumusten tunnistamisen äänikuvioiden perusteella, ja että tämä voidaan saavuttaa ilman NLP-tyylistä kielen dekonstruktioita.

Rajoitusten osalta tutkijat myöntävät, että testinäytteessä on pieni. Vaikka artikkeli ei mainitse sitä eksplisiittisesti, matalavoluumisen testidatan voi vähentää myöhemmän soveltamisen, jos oletukset, arkkitehtuurin ominaisuudet ja yleinen koulutusprosessi ovat ylioppimisen alaisia testidatan kanssa. Artikkelissa mainitaan, että kuusi kahdeksasta mallista, jotka rakennettiin projektin aikana, oli ylioppimisen alaisia jossakin vaiheessa oppimisprosessissa, ja että on tehtävä lisää työtä yleistämällä mallin parametreja.

Lisäksi, tällaisen tutkimuksen on otettava huomioon kansalliset ominaisuudet, ja artikkelissa mainitaan, että Saksalaiset koehenkilöt, jotka osallistuivat aineiston luomiseen, saattavat olla viestintätavoissa, jotka eivät ole suoraan toistettavissa kulttuurien välillä – tilanne, joka todennäköisesti esiintyy missä tahansa vastaavassa tutkimuksessa missä tahansa maassa.