En AI-baserad lögnedetektor för samtal på callcenter

Forskare i Tyskland har använt maskinlärning för att skapa ett ljudanalysystem som främst är tänkt att fungera som en AI-baserad lögnedetektor för kunder i ljudkommunikation med callcenter- och supportpersonal.

Systemet använder en särskilt skapad dataset av ljudinspelningar av 40 studenter och lärare under debatter om kontroversiella ämnen, inklusive dödsstraffets moral och avgifter för högskoleutbildning. Modellen tränades på en arkitektur som använder Convolutional Neural Networks (CNN) och Long Short-Term Memory (LSTM), och uppnådde en rapporterad noggrannhet på 98%.

Även om det uttryckta syftet med arbetet citerar kundkommunikation, medger forskarna att det i praktiken fungerar som en allmän lögnedetektor:

‘Resultaten är tillämpliga på en bred range av serviceprocesser och specifikt användbara för alla kundinteraktioner som sker via telefon. Algoritmen som presenteras kan appliceras i alla situationer där det är hjälpsamt för agenten att veta om en kund talar med övertygelse.

‘Detta kunde, till exempel, leda till en minskning av tvivelaktiga försäkringsanspråk eller osanna uttalanden i jobbintervjuer. Detta skulle inte bara minska operativa förluster för serviceföretag, utan också uppmuntra kunder att vara mer ärliga.’

Dataset Generation

I avsaknad av en lämplig offentligt tillgänglig dataset på tyska, skapade forskarna – från Neu-Ulm University of Applied Sciences (HNU) – sitt eget källmaterial. Affischer sattes upp på universitetet och på lokala skolor, och 40 volontärer valdes med en minimiålder på 16. Volontärerna fick betalt med en 10-euro Amazon-voucher.

Sessionsen genomfördes enligt en debattklubbmodell som var utformad för att polarisera åsikter och framkalla starka reaktioner kring kontroversiella ämnen, vilket effektivt modellerade den stress som kan uppstå i problematiska kundsamtal på telefon.

Ämnena som volontärerna fick tala fritt om under tre minuter i offentligheten var:

– Bör dödsstraff och offentliga avrättningar återinföras i Tyskland?
– Bör avgiftsbelagd högskoleutbildning införas i Tyskland?
– Bör användning av hårda droger som heroin och kristallmetamfetamin legaliseras i Tyskland?
– Bör restaurangkedjor som serverar ohälsosam snabbmat, som McDonald’s eller Burger King, förbjudas i Tyskland?

Pre-Processing

Projektet föredrog analysen av akustiska taldrag i en Automatic Speech Recognition (ASR)-ansats över en NLP-ansats (där talet analyseras på en lingvistisk nivå, och “temperaturen” i diskursen infereras direkt från språkanvändning).

De förbehandlade extraherade proverna analyserades initialt via Mel-frequency Cepstral Coefficients (MFCC), en tillförlitlig och äldre metod som fortfarande är mycket populär inom talsanalys. Eftersom metoden först föreslogs 1980 är den noterbart snål med beräkningsresurser när det gäller att känna igen återkommande mönster i tal, och är robust mot olika nivåer av ljudkvalitet. Eftersom sessionsen genomfördes via VOIP-plattformar under låsning i december 2020 var det viktigt att ha ett inspelningssystem som kunde hantera dålig ljudkvalitet när det behövdes.

Det är intressant att notera att de två ovannämnda tekniska begränsningarna (begränsade CPU-resurser i början av 1980-talet och de excentriska VOIP-anslutningarna i ett nätverkskontext) kombineras här för att skapa vad som effektivt är ett “tekniskt sparsamt” modell som (tydligen) är ovanligt robust i avsaknad av idealiska arbetsförhållanden och högnivåresurser – vilket efterliknar den målarena som den resulterande algoritmen är avsedd för.

Därefter applicerades en Fast Fourier Transform (FFT)-algoritm mot ljudsegmenten för att tillhandahålla en spektral profil av varje “ljudram”, innan den slutliga mappningen till Mel-skalan.

Träning, Resultat och Begränsningar

Under träningen passerades de extraherade funktionella vektorerna till ett tidsdistribuerat konvolutionsnätverkslager, plattades och sedan passerades till ett LSTM-lager.

Arkitektur för träningen av AI-sanningssägaren. Källa: https://arxiv.org/ftp/arxiv/papers/2107/2107.11175.pdf

Till slut anslöts alla neuroner till varandra för att generera en binär förutsägelse för om talaren säger saker som de tror på.

I tester efter träningen uppnådde systemet en noggrannhetsnivå på upp till 98,91% när det gäller avsiktsbestämning (där den talade innehållet inte nödvändigtvis återspeglar avsikten). Forskarna anser att arbetet empiriskt demonstrerar övertygelseidentifiering baserat på röstmönster, och att detta kan uppnås utan NLP-stil dekonstruktion av språk.

När det gäller begränsningar medger forskarna att testexemplaret är litet. Även om artikeln inte uttryckligen säger det, kan lågvolymtestdata minska senare tillämpbarhet i händelse av att antaganden, arkitekturerad funktioner och den allmänna träningsprocessen är överanpassade till data. Artikeln noterar att sex av de åtta modellerna som konstruerades under projektet var överanpassade vid någon punkt i inlärningsprocessen, och att det finns mer arbete att göra för att generalisera tillämpbarheten av parametrarna som ställts in för modellen.

Ytterligare, forskning av denna natur måste ta hänsyn till nationella egenskaper, och artikeln noterar att de tyska deltagarna som var inblandade i datagenereringen kan ha kommunikationsmönster som inte direkt kan replikeras över kulturer – en situation som sannolikt skulle uppstå i någon sådan studie i någon nation.