Onderzoekers komen dichter bij het bereiken van “emotioneel intelligente” AI

Onderzoekers aan het Japan Advanced Institute of Science and Technology hebben biologische signalen geïntegreerd met machine learning-methoden om “emotioneel intelligente” AI mogelijk te maken. Emotionele intelligentie kan leiden tot meer natuurlijke interacties tussen mens en machine, zeggen de onderzoekers.

De nieuwe studie werd gepubliceerd in het tijdschrift IEEE Transactions on Affective Computing.

Emotionele intelligentie bereiken

Spraak- en taalherkenningstechnologieën zoals Alexa en Siri evolueren constant, en de toevoeging van emotionele intelligentie kan hen naar het volgende niveau brengen. Dit zou betekenen dat deze systemen de emotionele staat van de gebruiker kunnen herkennen, evenals taal begrijpen en meer empathische antwoorden genereren.

“Multimodale sentimentanalyse” is een groep methoden die de gouden standaard vormt voor AI-dialoogsysteem met sentimentdetectie, en ze kunnen automatisch de psychologische staat van een persoon analyseren uit hun spraak, gezichtsuitdrukkingen, stemkleur en houding. Ze zijn essentieel voor het creëren van mensgerichte AI-systemen en kunnen leiden tot de ontwikkeling van een emotioneel intelligente AI met “beyond-human capabilities”. Deze capaciteiten zouden de AI helpen om de sentimenten van de gebruiker te begrijpen voordat een passend antwoord wordt gevormd.

Onwaarneembare signalen analyseren

Huidige schattingsmethoden focussen voornamelijk op waarneembare informatie, wat de informatie in onwaarneembare signalen buiten beschouwing laat, die fysiologische signalen kunnen omvatten. Deze soorten signalen bevatten veel waardevolle gegevens die de sentimentenschatting kunnen verbeteren.

In de studie werden fysiologische signalen voor het eerst toegevoegd aan de multimodale sentimentanalyse. Het team van onderzoekers dat deze studie uitvoerde, omvatte Associate Professor Shogo Okada van het Japan Advanced Institute of Science and Technology (JSAIT) en Prof. Kazunori Komatani van het Institute of Scientific and Industrial Research van de Osaka University.

“Mensen zijn erg goed in het verbergen van hun gevoelens,” zegt Dr. Okada. “De interne emotionele staat van een gebruiker wordt niet altijd nauwkeurig weerspiegeld door de inhoud van het dialoog, maar aangezien het moeilijk is voor een persoon om zijn biologische signalen, zoals hartslag, bewust te controleren, kan het nuttig zijn om deze te gebruiken voor het schatten van hun emotionele staat. Dit kan leiden tot een AI met sentimentenschattingcapaciteiten die die van de mens te boven gaan.”

De studie van het team omvatte de analyse van 2.468 uitwisselingen met een dialoog-AI, die werden verkregen van 26 deelnemers. Met deze gegevens konden de onderzoekers het niveau van plezier dat de gebruiker ervoer tijdens het gesprek schatten.

De gebruiker werd vervolgens gevraagd om te beoordelen hoe leuk of saai het gesprek was. De multimodale dialoogdataset met de naam “Hazumi1911” werd door het team gebruikt. Deze dataset combineert spraakherkenning, stemkleursensoren, houdingdetectie en gezichtsuitdrukking met huidpotentiaal, een vorm van fysiologische responsdetectie.

“Bij het vergelijken van alle afzonderlijke informatiebronnen, bleek de biologische signaalgegevens effectiever te zijn dan stem en gezichtsuitdrukking,” vervolgde Dr. Okada. “Toen we de taalinformatie combineerden met biologische signaalgegevens om de zelfbeoordeelde interne staat te schatten tijdens het praten met het systeem, werd de prestatie van de AI vergelijkbaar met die van een mens.”

De nieuwe bevindingen suggereren dat de detectie van fysiologische signalen bij mensen kan leiden tot zeer emotioneel intelligente AI-gebaseerde dialoogsysteem. Emotioneel intelligente AI-systemen kunnen dan worden gebruikt om geestelijke ziektes te identificeren en te monitoren door veranderingen in dagelijkse emotionele staten te detecteren. Een andere mogelijke toepassing is in het onderwijs, waar ze kunnen identificeren of een leerling geïnteresseerd is in een onderwerp of verveeld, wat kan worden gebruikt om onderwijsstrategieën aan te passen.