Un detector de minciuni bazat pe inteligență artificială pentru conversații din centrele de apel

Cercetătorii din Germania au utilizat învățarea automată pentru a crea un sistem de analiză audio menit să funcționeze în primul rând ca un detector de minciuni bazat pe inteligență artificială pentru clienții care se angajează în comunicări audio cu personalul centrelor de apel și suport.

Sistemul utilizează un set de date audio special create, constând în înregistrări ale 40 de studenți și profesori care au participat la dezbateri pe subiecte controversate, inclusiv moralitatea pedepsei cu moartea și taxele de școlarizare. Modelul a fost instruit pe o arhitectură care utilizează Rețele Neurale Convolutionale (CNN) și Memorie pe Termen Lung (LSTM) și a obținut o rată de acuratețe raportată de 98%.

Deși intenția declarată a lucrării menționează comunicările cu clienții, cercetătorii admit că acesta funcționează eficient ca un detector de minciuni general:

‘Rezultatele sunt aplicabile unui spectru larg de procese de servicii și sunt în mod special utile pentru toate interacțiunile cu clienții care au loc prin telefon. Algoritmul prezentat poate fi aplicat în orice situație în care este util pentru agent să știe dacă un client vorbește cu convingere.

‘Acest lucru ar putea, de exemplu, duce la o reducere a cererilor de asigurare îndoielnice sau a declarațiilor neadevărate în interviurile de angajare. Acest lucru nu numai că ar reduce pierderile operaționale pentru companiile de servicii, dar ar încuraja și clienții să fie mai sinceri.’

Generarea setului de date

În absența unui set de date publice adecvat în limba germană, cercetătorii – de la Universitatea de Științe Aplicate Neu-Ulm (HNU) – și-au creat propriul material sursă. Au fost afișate pliante la universitate și la școli locale, iar 40 de voluntari au fost selectați cu vârsta minimă de 16 ani. Voluntarii au primit o voucher de 10 euro de la Amazon.

Ședințele au fost conduse pe un model de club de dezbateri conceput pentru a polariza opinia și a provoca reacții puternice în jurul unor subiecte incendiare, modelând astfel stresul care poate apărea în conversații problematice ale clienților la telefon.

Subiectele pe care voluntarii trebuiau să vorbească liber timp de trei minute în public au fost:

– Ar trebui să fie reintrodusă pedeapsa cu moartea și execuțiile publice în Germania?
– Ar trebui să se perceapă taxe de școlarizare care să acopere costurile în Germania?
– Ar trebui să fie legalizată utilizarea drogurilor tari, cum ar fi heroina și metadona, în Germania?
– Ar trebui să fie interzise lanțurile de restaurante care servesc alimente rapide nesănătoase, cum ar fi McDonald’s sau Burger King, în Germania?

Pre-procesare

Proiectul a favorizat analiza caracteristicilor acustice ale vorbirii într-un sistem de recunoaștere automată a vorbirii (ASR) mai degrabă decât o abordare NLP (în care vorbirea este analizată la nivel lingvistic, iar “temperatura” discursului este inferată direct din utilizarea limbajului).

Probele extrase și pre-procesate au fost analizate inițial prin Coeficienți Cepstrali Mel-Frecvență (MFCC), o metodă veche, dar încă foarte populară în analiza vorbirii. Deoarece metoda a fost propusă pentru prima dată în 1980, este remarcată pentru recunoașterea pattern-urilor recurente în vorbire și este rezistentă la diferite niveluri de calitate a capturii audio. Deoarece ședințele au fost desfășurate pe platforme VOIP în condiții de izolare în decembrie 2020, a fost important să se utilizeze un cadru de înregistrare care să poată ține cont de calitatea slabă a audio atunci când este necesar.

Este interesant de remarcat că cele două limitări tehnice menționate (resursele CPU limitate la începutul anilor 1980 și excentricitățile conectivității VOIP într-un context de rețea aglomerată) se combină aici pentru a crea ceea ce este, în esență, un model “tehnic sărac” care pare a fi neobișnuit de robust în absența condițiilor de lucru ideale și a resurselor de înalt nivel – imitând astfel arena țintă pentru algoritmul rezultat.

Ulterior, a fost aplicat un algoritm de Transformare Fourier Rapidă (FFT) asupra segmentelor audio pentru a furniza un profil spectral al fiecărui “cadru audio”, înainte de a fi mappat final pe scara Mel.

Antrenare, Rezultate și Limitări

În timpul antrenării, vectorii de caracteristici extrase sunt transmiși către o rețea convoluțională distribuită în timp, apoi aplatizați și transmiși către un strat LSTM.

Arhitectura procesului de antrenare pentru detectorul de adevăr bazat pe IA. Sursă: https://arxiv.org/ftp/arxiv/papers/2107/2107.11175.pdf

În final, toți neuronii sunt conectați unii cu alții pentru a genera o predicție binară pentru a determina dacă vorbitorul spune lucruri pe care le consideră adevărate.

În testele efectuate după antrenare, sistemul a obținut un nivel de acuratețe de până la 98,91% în ceea ce privește discernerea intenției (în care conținutul vorbit poate să nu reflecte intenția). Cercetătorii consideră că lucrarea demonstrează empiric identificarea convingerii pe baza pattern-urilor vocale și că acest lucru poate fi realizat fără a necesita o deconstrucție de tip NLP a limbajului.

În ceea ce privește limitările, cercetătorii admit că eşantionul de testare este mic. Deși lucrarea nu menționează explicit acest lucru, datele de testare cu volum redus pot reduce ulterioara aplicabilitate în cazul în care ipotezele, caracteristicile arhitecturale și procesul general de antrenare sunt supra-ajustate la date. Lucrarea menționează că șase dintre cele opt modele construite pe parcursul proiectului au fost supra-ajustate la un moment dat în procesul de învățare și că există nevoie de lucrări suplimentare pentru a generaliza aplicabilitatea parametrilor stabiliți pentru model.

În continuare, cercetătorii consideră că o astfel de cercetare trebuie să țină cont de caracteristicile naționale, iar lucrarea menționează că subiecții germani implicați în generarea datelor pot avea pattern-uri de comunicare care nu sunt direct reproduse în culturi diferite – o situație care ar putea apărea în orice astfel de studiu în orice țară.