En AI-basert løgndetektor for samtaler i call-sentere

Forskere i Tyskland har brukt maskinlæring til å utvikle et lydanalyse-system som primært er ment å fungere som en AI-basert løgndetektor for kunder i audio-kommunikasjon med call-senter og support-personale.

Systemet bruker en spesiallaget datasett av lydopptak fra 40 studenter og lærere under debatter om kontroversielle emner, inkludert moralen i dødsstraff og avgifter for utdanning. Modellen ble trent på en arkitektur som bruker Convolutional Neural Networks (CNN) og Long Short-Term Memory (LSTM), og oppnådde en rapportert nøyaktighetsrate på 98%.

Til tross for at det erklærte formålet med arbeidet nevner kundekommunikasjon, innrømmer forskerne at det i praksis fungerer som en generell løgndetektor:

‘Funnene er anvendbare på et bredt spekter av serviceprosesser og spesielt nyttige for alle kundeinteraksjoner som skjer via telefon. Algoritmen som er presentert kan brukes i enhver situasjon der det er nyttig for agenten å vite om en kunde snakker med sin overbevisning.

‘Dette kunne, for eksempel, føre til en reduksjon i tvilsomme forsikringskrav eller usannferdige uttalelser i jobbintervjuer. Dette ville ikke bare redusere driftstap for service-selskaper, men også oppmuntre kunder til å være mer sanneferdige.’

Datasett-generering

I fravær av en passende offentlig tilgjengelig datasett på tysk, skapte forskerne – fra Neu-Ulm University of Applied Sciences (HNU) – sitt eget kilde-materiale. Plakater ble satt opp ved universitetet og på lokale skoler, og 40 frivillige ble valgt med en minimumsalder på 16 år. Frivillige ble betalt med en 10 euro Amazon-voucher.

Sesjonene ble gjennomført på en debatt-klubb-modell designet for å polarisere mening og vekke sterke reaksjoner rundt kontroversielle emner, effektivt modellering av stress som kan oppstå i problematiske kunde-samtaler på telefon.

Emnene som frivillige måtte snakke fritt om i tre minutter offentlig var:

– Bør dødsstraff og offentlige henrettelser gjeninnføres i Tyskland?
– Bør kost-dekkende avgifter for utdanning tas ut i Tyskland?
– Bør bruken av hard narkotika som heroin og crystal meth legaliseres i Tyskland?
– Bør restaurant-kjeder som serverer usunne hurtigmat, som McDonald’s eller Burger King, forbys i Tyskland?

Forbearbeiding

Prosjektet favoriserte analysen av akustiske tale-egenskaper i en Automatic Speech Recognition (ASR)-tilnærming over en NLP-tilnærming (hvor tale analyseres på et lingvistisk nivå, og ‘temperaturen’ i diskursen infers direkte fra språkbruk).

De forbehandlede eksemplene ble analysert initialt via Mel-frequency Cepstral Coefficients (MFCCs), en pålitelig og eldre metode som fortsatt er svært populær i tale-analyse. Siden metoden først ble foreslått i 1980, er den bemerkelsesverdig sparsom med beregningsressurser når det gjelder å gjenkjenne gjentakende mønster i tale, og er motstandsdyktig mot ulike nivåer av lydkvalitet. Ettersom sesjonene ble gjennomført over VOIP-plattformer i låst kondisjoner i desember 2020, var det viktig å ha en innspillingsramme som kunne håndtere dårlig lydkvalitet når det var nødvendig.

Det er interessant å merke seg at de to ovennevnte tekniske begrensningene (begrensede CPU-ressurser på begynnelsen av 1980-tallet og de eksentriske VOIP-tilkoblingene i et congestet nettverkskontekst) kombinerer her for å skape hva som effektivt er et ‘teknisk sparsomt’ modell som (apparat) er usedvanlig robust i fravær av ideelle arbeidsforhold og høynivå-ressurser – etterligner mål-arenaen for den resulterende algoritmen.

Deretter ble en Fast Fourier Transform (FFT)-algoritme brukt mot lydsegmentene for å levere en spektral profil av hver ‘lyd-ramme’, før final mapping til Mel-skalaen.

Trening, resultater og begrensninger

Under trening blir de ekstraherte egenskapsvektorene sendt til et tid-distribuert konvolusjonsnettverkslag, flattet og deretter sendt til et LSTM-lag.

Arkitektur for treningprosessen for AI-sannhetssensoren. Kilde: https://arxiv.org/ftp/arxiv/papers/2107/2107.11175.pdf

Til slutt er alle neuroner koblet sammen for å generere en binær prediksjon for om taleren sier ting som de tror er sanne.

I tester etter trening oppnådde systemet en nøyaktighetsnivå på opptil 98,91% når det gjelder å avgjøre hensikt (hvor det talte innholdet ikke nødvendigvis reflekterer hensikten). Forskerne mener at arbeidet empirisk demonstrerer overbevisnings-identifikasjon basert på tale-mønster, og at dette kan oppnås uten NLP-stil dekonstruksjon av språk.

I forhold til begrensninger innrømmer forskerne at test-eksemplet er lite. Selv om papiret ikke uttrykkelig sier det, kan lav-volum test-data redusere senere anvendelighet i tilfelle at antagelsene, arkitektoniske egenskapene og den generelle treningsprosessen er over-tilpasset dataene. Papiret noterer at seks av de åtte modellene som ble konstruert gjennom prosjektet var over-tilpasset på et tidspunkt i læreprosessen, og at det er videre arbeid å gjøre for å generalisere anvendeligheten av parameterne som er satt for modellen.

Further, forskning av denne typen må ta hensyn til nasjonale karakteristika, og papiret noterer at de tyske subjektene som var involvert i genereringen av dataene kan ha kommunikasjonsmønster som ikke er direkte reproducerbare på tvers av kulturer – en situasjon som ville oppstå i enhver slik studie i enhver nasjon.