Forskere kommer nærmere å oppnå “emosjonelt intelligente” AI

Forskere ved Japan Advanced Institute of Science and Technology har integrert biologiske signaler med maskinlæringsmetoder for å muliggjøre “emosjonelt intelligente” AI. Emosjonell intelligens kan føre til mer naturlige menneske-maskin-interaksjoner, ifølge forskerne. 

Den nye studien ble publisert i tidsskriftet IEEE Transactions on Affective Computing.

Å oppnå emosjonell intelligens

Tale- og språkgjenkjenningsteknologier som Alexa og Siri utvikles kontinuerlig, og tilføyelsen av emosjonell intelligens kan ta dem til neste nivå. Dette vil bety at disse systemene kan gjenkjenne brukerens emosjonelle tilstand, samt forstå språk og generere mer empatisk respons. 

“Multimodal sentimentanalyse” er en gruppe metoder som utgjør gullstandarden for AI-dialogsystemer med sentimentdeteksjon, og de kan automatisk analysere en persons psykologiske tilstand fra deres tale, ansiktsuttrykk, stemmefarge og kroppsspråk. De er fundamentale for å skape menneskesenterte AI-systemer og kan føre til utviklingen av en emosjonelt intelligent AI med “beyond-human capabilities”. Disse evnene vil hjelpe AI-en til å forstå brukerens mening før den former en passende respons. 

Analysere uobserverbare signaler

Gjeldende estimasjonsmetoder fokuserer hovedsakelig på observerbar informasjon, som utelukker informasjon i uobserverbare signaler, som kan inkludere fysiologiske signaler. Disse typene signaler inneholder mye verdifull data som kan forbedre sentimentestimat. 

I studien ble fysiologiske signaler lagt til multimodal sentimentanalyse for første gang. Teamet av forskere som utførte denne studien inkluderte associate professor Shogo Okada fra Japan Advanced Institute of Science and Technology (JSAIT), og professor Kazunori Komatani fra Institute of Scientific and Industrial Research ved Osaka University. 

“Mennesker er svært gode til å skjule sine følelser,” sier Dr. Okada. “Den indre emosjonelle tilstanden til en bruker reflekteres ikke alltid nøyaktig av dialogens innhold, men siden det er vanskelig for en person å bevisst kontrollere sine biologiske signaler, som hjertefrekvens, kan det være nyttig å bruke disse til å estimere deres emosjonelle tilstand. Dette kan gjøre det mulig å lage en AI med sentimentestimat som er bedre enn mennesker.” 

Teamets studie omfattet analyse av 2 468 utvekslinger med en dialog-AI hentet fra 26 deltakere. Med denne datoen kunne teamet estimere nivået av glede som brukeren opplevde under samtalen. 

Brukeren ble deretter bedt om å vurdere hvor morsom eller kjedelig samtalen var. Den multimodale dialogdatamengden kalt “Hazumi1911” ble brukt av teamet. Denne datamengden kombinerer talegjenkjenning, stemmefargesensorer, kroppsspråkdetteksjon og ansiktsuttrykk med hudpotensial, som er en form for fysiologisk responsdeteksjon.

“Ved å sammenligne alle separate informasjonskilder, viste det seg at de biologiske signalinformasjonene var mer effektive enn stemme og ansiktsuttrykk,” fortsatte Dr. Okada. “Når vi kombinerte språkinformasjonen med biologisk signalinformasjon for å estimere den selv-vurderte indre tilstanden under samtalen med systemet, ble AI-ens ytelse sammenlignbar med en menneskes.”

De nye funnene tyder på at deteksjon av fysiologiske signaler hos mennesker kan føre til høyt emosjonelt intelligente AI-baserte dialogsistem. Emosjonelt intelligente AI-systemer kan deretter brukes til å identifisere og overvåke psykiske lidelser ved å registrere endringer i daglige emosjonelle tilstander. En annen mulig bruksområde er i utdanning, hvor de kan identifisere om en lærer er interessert i et emne eller kjedelig, noe som kan brukes til å endre undervisningsstrategier.