AI-Based Lie Detector pro Konverzace v Call Centrech

Výzkumníci v Německu použili strojové učení k vytvoření audioanalytického systému, který má primárně sloužit jako AI-based lie detector pro zákazníky v audio komunikaci s call centry a podpůrným personálem.

Systém používá speciálně vytvořenou sadu audio nahrávek od 40 studentů a učitelů během debat na sporná témata, včetně morálky trestu smrti a poplatků za studium. Model byl trénován na architektuře, která používá Convolutional Neural Networks (CNNs) a Long Short-Term Memory (LSTM), a dosáhl hlášené přesnosti 98%.

Přestože uvedený záměr práce cituje komunikaci se zákazníky, výzkumníci připouštějí, že efektivní funguje jako obecný detektor lži:

‘Zjištění jsou použitelná pro širokou škálu servisních procesů a zejména užitečná pro všechny zákaznické interakce, které probíhají prostřednictvím telefonu. Algoritmus prezentovaný zde může být aplikován v jakékoli situaci, kdy je pro agenta užitečné vědět, zda zákazník mluví podle svého přesvědčení.

‘To by mohlo, například, vést ke snížení pochybných pojistných nároků nebo nepravdivých prohlášení během pracovních pohovorů. To by nejenom snížilo provozní ztráty pro servisní společnosti, ale také by povzbudilo zákazníky, aby byli více pravdiví.’

Generování Datasety

Vzhledem k absenci vhodného veřejně dostupného datasetu v německém jazyce, výzkumníci – z Neu-Ulm University of Applied Sciences (HNU) – vytvořili svou vlastní zdrojovou materiálu. Letáky byly umístěny na univerzitě a ve místních školách, a 40 dobrovolníků bylo vybráno s minimálním věkem 16 let. Dobrovolníci byli odměněni 10eurovou voucherem od Amazonu.

Sezení byla prováděna na modelu debatního klubu, který byl navržen tak, aby polarizoval názory a vyvolal silné reakce kolem sporných témat, efektivní simulaci stresu, který může nastat v problémových zákaznických konverzacích na telefonu.

Témata, o kterých měli dobrovolníci mluvit volně po dobu tří minut ve veřejném prostoru, byla:

– Měla by být znovu zavedena tresty smrti a veřejné popravy v Německu?
– Měla by být účtována poplatky za studium v Německu?
– Měla by být legalizována užívání tvrdých drog, jako je heroin a crystal meth, v Německu?
– Měla by být zakázána restaurace, které servírují nezdravé rychlé občerstvení, jako je McDonald’s nebo Burger King, v Německu?

Předzpracování

Projekt upřednostňoval analýzu akustických vlastností řeči v Automatic Speech Recognition (ASR) přístupu před NLP přístupem (kde je řeč analyzována na lingvistické úrovni a “teplota” diskuse je odvozena přímo z použití jazyka).

Předzpracované extrahované vzorky byly analyzovány inicialně pomocí Mel-frequency Cepstral Coefficients (MFCCs), spolehlivé, starší metody, která je stále velmi populární ve zpracování řeči. Od doby, kdy byla metoda poprvé navržena v roce 1980, je pozoruhodně úsporná z hlediska rozpoznávání opakujících se vzorců v řeči a je odolná vůči různým úrovním kvality audiozáznamu. Vzhledem k tomu, že sezení byla prováděna přes VOIP platformy v lockdownových podmínkách v prosinci 2020, bylo důležité mít záznamový rámec, který by mohl zohlednit špatnou kvalitu audiozáznamu, pokud je to nutné.

Je zajímavé poznamenat, že dvě výše uvedené technické omezení (omezené zdroje CPU v počátcích 80. let a excentricity VOIP konektivity v přetíženém síťovém kontextu) se zde kombinují, aby vytvořily efektivní “technicky řídký” model, který je (zdá se) neobvykle robustní v nepřítomnosti ideálních pracovních podmínek a vysokých zdrojů – imitující cílovou arénu pro výsledný algoritmus.

Poté byl aplikován algoritmus Fast Fourier Transform (FFT) proti audio segmentům, aby se dodal spektrální profil každého “audio rámce”, před konečným mapováním na Mel Škálu.

Trénink, Výsledky a Omezení

Během tréninku jsou extrahované vektorové funkce předány časově distribuovanému konvolučnímu síťovému vrstvě, zploštěny a poté předány LSTM vrstvě.

Architektura tréninkového procesu pro AI detektor pravdy. Zdroj: https://arxiv.org/ftp/arxiv/papers/2107/2107.11175.pdf

Nakonec jsou všechny neurony propojeny, aby vygenerovaly binární předpověď, zda mluvčí říká věci, které věří, že jsou pravdivé.

V testech po tréninku dosáhl systém úrovně přesnosti až 98,91 % z hlediska rozlišení záměru (kde mluvený obsah nemusí odrážet záměr). Výzkumníci se domnívají, že práce empiricky prokázala identifikaci přesvědčení na základě vzorců hlasu a že to lze dosáhnout bez NLP-stylu dekonstrukce jazyka.

Co se týče omezení, výzkumníci připouštějí, že testovací vzorek je malý. Přestože práce výslovně nestanovuje, nízkovýkonový testovací data mohou snížit pozdější použitelnost v případě, že předpoklady, architektonické funkce a obecný tréninkový proces jsou nadměrně přizpůsobeny datům. Práce poznamenává, že šest z osmi modelů vytvořených během projektu bylo v某 okamžiku učení nadměrně přizpůsobeno, a že je zapotřebí další práce na obecnosti použitelnosti parametrů nastavených pro model.

Dále, výzkum této povahy musí zohlednit národní charakteristiky, a práce poznamenává, že němečtí subjekti zapojení do generování dat mohou mít komunikační vzorce, které nejsou přímo replikovatelné napříč kulturami – situace, která by se pravděpodobně vyskytla v jakémkoli takovém studiu v jakékoli zemi.