Een op AI gebaseerde leugendetector voor callcentergesprekken

Onderzoekers in Duitsland hebben machinaal leren gebruikt om een ​​audioanalysesysteem te creëren dat in de eerste plaats bedoeld is om te fungeren als een op AI gebaseerde leugendetector voor klanten in audiocommunicatie met callcenter- en ondersteunend personeel.

De system maakt gebruik van een speciaal gemaakte dataset van audio-opnamen van 40 studenten en docenten tijdens debatten over controversiële onderwerpen, waaronder de moraliteit van de doodstraf en collegegeld. Het model is getraind op een architectuur die gebruik maakt van Convolutional Neural Networks (CNN's) en Long Short-Term Memory (LSTM), en behaalde een gerapporteerde nauwkeurigheid van 98%.

Hoewel de verklaarde bedoeling van het werk klantcommunicatie citeert, geven de onderzoekers toe dat het effectief werkt als een algemene leugendetector:

'De bevindingen zijn toepasbaar op een breed scala aan serviceprocessen en specifiek bruikbaar voor alle klantinteracties die via de telefoon plaatsvinden. Het gepresenteerde algoritme kan worden toegepast in elke situatie waarin het nuttig is voor de agent om te weten of een klant spreekt met haar/zijn overtuiging.

'Dit kan bijvoorbeeld leiden tot minder dubieuze verzekeringsclaims of onware verklaringen in sollicitatiegesprekken. Dit zou niet alleen operationele verliezen voor dienstverlenende bedrijven verminderen, maar klanten ook aanmoedigen om eerlijker te zijn.'

Gegevensset genereren

Bij gebrek aan een geschikte openbaar beschikbare dataset in de Duitse taal, creëerden de onderzoekers - van Neu-Ulm University of Applied Sciences (HNU) - hun eigen bronnenmateriaal. Er werden flyers uitgedeeld op de universiteit en op lokale scholen, waarbij 40 vrijwilligers werden geselecteerd met een minimumleeftijd van 16 jaar. Vrijwilligers werden betaald met een Amazon-voucher van 10 euro.

De sessies werden gehouden volgens een debatclubmodel dat is ontworpen om meningen te polariseren en sterke reacties op te wekken rond opruiende onderwerpen, waardoor de stress die kan optreden in problematische klantgesprekken aan de telefoon effectief wordt gemodelleerd.

De onderwerpen waarover de vrijwilligers drie minuten vrijuit moesten spreken in het openbaar waren:

– Moeten de doodstraf en openbare executies in Duitsland opnieuw worden ingevoerd?
– Moet er in Duitsland kostendekkend collegegeld worden berekend?
– Moet het gebruik van harddrugs zoals heroïne en crystal meth in Duitsland worden gelegaliseerd?
– Moeten restaurantketens die ongezond fastfood serveren, zoals McDonald's of Burger King, verboden worden in Duitsland?

Voorbewerking

Het project verkoos de analyse van akoestische spraakkenmerken in een Automatic Speech Recognition (ASR)-benadering boven een NLP-benadering (waarbij spraak op taalkundig niveau wordt geanalyseerd en de 'temperatuur' van het discours direct wordt afgeleid uit het taalgebruik).

De voorbewerkte geëxtraheerde monsters werden aanvankelijk geanalyseerd via Mel-frequency Cepstral Coefficients (MFCC's), een betrouwbare, oudere methode die nog steeds erg populair is bij spraakanalyse. Sinds de methode voor het eerst werd voorgesteld in 1980, is deze opmerkelijk zuinig met computermiddelen in termen van het herkennen van terugkerende patronen in spraak, en is zij bestand tegen verschillende niveaus van audio-opnamekwaliteit. Omdat de sessies in december 2020 tijdens lockdown-omstandigheden plaatsvonden via VOIP-platforms, was het belangrijk om een ​​opnameframework te hebben dat indien nodig rekening kon houden met audio van slechte kwaliteit.

Het is interessant om op te merken dat de twee bovengenoemde technische beperkingen (beperkte CPU-bronnen in de vroege jaren tachtig en de excentriciteiten van VOIP-connectiviteit in een overbelaste netwerkcontext) hier samenkomen om te creëren wat in feite een 'technisch schaars' model is dat (blijkbaar) ongebruikelijk robuust is. bij afwezigheid van ideale werkomstandigheden en middelen van hoog niveau - het nabootsen van de doelarena voor het resulterende algoritme.

Daarna een snelle Fourier-transformatie (FFT) algoritme werd toegepast op de audiosegmenten om een ​​spectraal profiel van elk 'audioframe' te leveren, voordat het uiteindelijk werd toegewezen aan de Mel-schaal.

Training, resultaten en beperkingen

Tijdens de training worden de geëxtraheerde kenmerkvectoren doorgegeven aan een in de tijd verdeelde convolutionele netwerklaag, afgevlakt en vervolgens doorgegeven aan een LSTM-laag.

Architectuur van het trainingsproces voor de AI-waarheidsdetector. Bron: https://arxiv.org/ftp/arxiv/papers/2107/2107.11175.pdf

Ten slotte zijn alle neuronen met elkaar verbonden om een ​​binaire voorspelling te genereren voor het al dan niet zeggen van dingen waarvan de spreker denkt dat ze waar zijn.

In tests na de training behaalde het systeem een ​​nauwkeurigheidsniveau van maximaal 98.91% in termen van intentieonderscheiding (waarbij de gesproken inhoud mogelijk niet de intentie weergeeft). De onderzoekers zijn van mening dat het werk op empirische wijze overtuigingsidentificatie op basis van stempatronen aantoont, en dat dit kan worden bereikt zonder deconstructie van taal in NLP-stijl.

Qua beperkingen geven de onderzoekers toe dat de teststeekproef klein is. Hoewel het artikel het niet expliciet vermeldt, kunnen testgegevens met een laag volume de latere toepasbaarheid verminderen in het geval dat de aannames, ontworpen functies en het algemene trainingsproces te veel passen bij de gegevens. In het artikel wordt opgemerkt dat zes van de acht modellen die tijdens het project zijn gebouwd, op een bepaald moment in het leerproces te veel zijn aangepast en dat er nog werk aan de winkel is om de toepasbaarheid van de parameters die voor het model zijn ingesteld, te generaliseren.

Verder moet dit soort onderzoek rekening houden met nationale kenmerken, en de paper merkt op dat de Duitse proefpersonen die betrokken zijn bij het genereren van de gegevens mogelijk communicatiepatronen hebben die niet direct tussen culturen kunnen worden gerepliceerd - een situatie die zich waarschijnlijk zou voordoen in een dergelijk onderzoek in welke natie dan ook.