Een AI-gebaseerde leugendetector voor callcentergesprekken

Onderzoekers in Duitsland hebben machine learning gebruikt om een audiobestanalysesysteem te creëren dat voornamelijk bedoeld is als een AI-gebaseerde leugendetector voor klanten in audiocommunicaties met callcenter- en ondersteunend personeel.

Het systeem gebruikt een speciaal gecreëerde dataset van audiorecordingen door 40 studenten en leraren tijdens debatten over omstreden onderwerpen, waaronder de moraliteit van de doodstraf en collegegeld. Het model werd getraind op een architectuur die Convolutional Neural Networks (CNN’s) en Long Short-Term Memory (LSTM) gebruikt en behaalde een gerapporteerde nauwkeurigheid van 98%.

Hoewel de vermelde bedoeling van het werk verwijst naar klantcommunicaties, geven de onderzoekers toe dat het effectief werkt als een algemene leugendetector:

‘De resultaten zijn van toepassing op een breed scala aan serviceprocessen en specifiek nuttig voor alle klantinteracties die via de telefoon plaatsvinden. De gepresenteerde algoritme kan in elke situatie worden toegepast waarin het voor de agent nuttig is om te weten of een klant naar zijn/haar overtuiging spreekt.

‘Dit kan bijvoorbeeld leiden tot een vermindering van twijfelachtige verzekeringsclaims of onwaarachtige verklaringen in sollicitatiegesprekken. Dit zou niet alleen operationele verliezen voor servicebedrijven verminderen, maar ook klanten aanmoedigen om eerlijker te zijn.’

Dataset Generatie

In afwezigheid van een geschikte openbaar beschikbare dataset in de Duitse taal, hebben de onderzoekers – van de Neu-Ulm Universiteit van Toegepaste Wetenschappen (HNU) – hun eigen bronmateriaal gecreëerd. Vliegers werden opgehangen aan de universiteit en op lokale scholen, en 40 vrijwilligers werden geselecteerd met een minimumleeftijd van 16. Vrijwilligers werden betaald met een Amazon-voucher van 10 euro.

De sessies werden uitgevoerd op een debatclubmodel ontworpen om mening te polariseren en sterke reacties op te wekken rond omstreden onderwerpen, waardoor effectief het stressniveau werd gemodelleerd dat kan optreden in problematische klantgesprekken op de telefoon.

De onderwerpen waarover de vrijwilligers drie minuten in het openbaar moesten spreken, waren:

– Moet de doodstraf en openbare executies in Duitsland opnieuw worden ingevoerd?
– Moeten kostendekkende collegegeld in Duitsland in rekening worden gebracht?
– Moet het gebruik van harde drugs zoals heroïne en crystal meth in Duitsland worden gelegaliseerd?
– Moeten restaurantketens die ongezonde fastfood serveren, zoals McDonald’s of Burger King, in Duitsland worden verboden?

Pre-Processing

Het project gaf de voorkeur aan de analyse van akoestische spraakkenmerken in een Automatic Speech Recognition (ASR)-aanpak boven een NLP-aanpak (waar spraak op een linguïstisch niveau wordt geanalyseerd en de ‘temperatuur’ van de discours rechtstreeks uit het taalgebruik wordt afgeleid).

De vooraf verwerkte uitgezette monsters werden aanvankelijk geanalyseerd via Mel-frequency Cepstral Coefficients (MFCC’s), een betrouwbare, oude methode die nog steeds erg populair is in spraakanalyse. Sinds de methode voor het eerst in 1980 werd voorgesteld, is het opvallend zuinig met rekenbronnen in termen van het herkennen van terugkerende patronen in spraak en is het bestand tegen verschillende niveaus van audiokwaliteit. Omdat de sessies werden uitgevoerd via VOIP-platforms in lockdown-omstandigheden in december 2020, was het belangrijk om een opnamekader te hebben dat rekening kon houden met slechte audiokwaliteit wanneer nodig.

Het is interessant om op te merken dat de twee genoemde technische beperkingen (beperkte CPU-bronnen in de vroege jaren 80 en de eigenaardigheden van VOIP-connectiviteit in een overbelast netwerk) hier samenkomen om effectief een ‘technisch schaars’ model te creëren dat (blijkbaar) ongewoon robuust is in de afwezigheid van ideale werkomstandigheden en hoge bronnen – het doelgebied voor het resulterende algoritme nabootst.

Vervolgens werd een Fast Fourier Transform (FFT)-algoritme toegepast op de audiosegmenten om een spectrale profiel van elk ‘audioframe’ te leveren, voordat de finale toewijzing aan de Mel-schaal plaatsvond.

Training, Resultaten en Beperkingen

Tijdens de training worden de geëxtraheerde kenmerkvector aan een tijdgedistribueerd convolutioneel netwerklaag doorgegeven, platgemaakt en vervolgens doorgegeven aan een LSTM-laag.

Architectuur van het trainingsproces voor de AI-leugendetector. Bron: https://arxiv.org/ftp/arxiv/papers/2107/2107.11175.pdf

Uiteindelijk zijn alle neuronen met elkaar verbonden om een binaire voorspelling te genereren of de spreker dingen zegt die hij/zij voor waar houdt.

In tests na de training bereikte het systeem een nauwkeurigheidsniveau van maximaal 98,91% in termen van intentiebepaling (waar de gesproken inhoud de intentie niet noodzakelijk weerspiegelt). De onderzoekers menen dat het werk empirisch aantoont dat overtuigingsidentificatie op basis van spraakpatronen kan worden bereikt en dat dit kan worden gedaan zonder NLP-stijl deconstructie van taal.

Wat betreft de beperkingen, geven de onderzoekers toe dat de teststeekproef klein is. Hoewel het artikel dit niet expliciet vermeldt, kan lage-volumetestgegevens de latere toepasbaarheid verminderen in het geval dat de aannamen, geëngineerde kenmerken en het algemene trainingsproces overmatig zijn aangepast aan de gegevens. Het artikel vermeldt dat zes van de acht modellen die gedurende het project zijn gebouwd, op een bepaald moment in het leerproces overmatig waren aangepast, en dat er nog meer werk moet worden gedaan om de toepasbaarheid van de parameters die voor het model zijn ingesteld, te generaliseren.

Verder moet onderzoek van deze aard rekening houden met nationale kenmerken, en het artikel vermeldt dat de Duitse onderwerpen die betrokken waren bij de generatie van de gegevens, communicatiepatronen kunnen hebben die niet direct overdraagbaar zijn naar andere culturen – een situatie die waarschijnlijk zou optreden in een dergelijke studie in elk land.