Forskare kommer närmare att uppnå “känslomässigt intelligent” AI

Forskare vid Japan Advanced Institute of Science and Technology har integrerat biologiska signaler med maskinlärningsmetoder för att möjliggöra “känslomässigt intelligent” AI. Känslomässig intelligens kan leda till mer naturliga människa-maskin-interaktioner, säger forskarna. 

Den nya studien publicerades i tidskriften IEEE Transactions on Affective Computing.

Att uppnå känslomässig intelligens

Tal- och språkkänningsteknologier som Alexa och Siri utvecklas ständigt, och tillägget av känslomässig intelligens kan ta dem till nästa nivå. Detta skulle innebära att dessa system kan känna igen användarens känslomässiga tillstånd, samt förstå språk och generera mer empatiska svar. 

“Multimodal sentimentanalys” är en grupp metoder som utgör guldstandarden för AI-samtalssystem med sentimentdetektering, och de kan automatiskt analysera en persons psykologiska tillstånd från deras tal, ansiktsuttryck, röstfärg och kroppshållning. De är grundläggande för att skapa människocentrerade AI-system och kan leda till utvecklingen av en känslomässigt intelligent AI med “bortom mänskliga förmågor”. Dessa förmågor skulle hjälpa AI att förstå användarens känslor innan de bildar ett lämpligt svar. 

Att analysera icke-observerbara signaler

Nuvarande estimationsmetoder fokuserar främst på observerbar information, vilket lämnar ut information i icke-observerbara signaler, som kan inkludera fysiologiska signaler. Dessa typer av signaler innehåller mycket värdefull data som kan förbättra sentimentestimering. 

I studien lades fysiologiska signaler till multimodal sentimentanalys för första gången. Forskarteamet som genomförde denna studie inkluderade associate professor Shogo Okada från Japan Advanced Institute of Science and Technology (JSAIT), och professor Kazunori Komatani från Institute of Scientific and Industrial Research vid Osaka University. 

“Människor är mycket bra på att dölja sina känslor,” säger Dr. Okada. “Den inre känslomässiga tillståndet hos en användare återspeglas inte alltid korrekt av dialoginnehållet, men eftersom det är svårt för en person att medvetet kontrollera sina biologiska signaler, såsom hjärtfrekvens, kan det vara användbart att använda dessa för att uppskatta deras känslomässiga tillstånd. Detta kan göra det möjligt för en AI med sentimentestimeringsförmågor som är bortom mänskliga.” 

Teamets studie omfattade analysen av 2 468 utbyten med en dialog-AI som erhållits från 26 deltagare. Med denna data kunde teamet uppskatta den nivå av njutning som användaren upplevde under samtalet. 

Användaren bad sedan att bedöma hur underhållande eller tråkigt samtalet var. Den multimodala dialogdatamängden som kallas “Hazumi1911” användes av teamet. Denna datamängd kombinerar taligenkänning, röstfärgssensorer, kroppshållningsdetektering och ansiktsuttryck med hudpotential, som är en form av fysiologisk responskänslighet.

“När vi jämförde alla separata källor till information visade det sig att den biologiska signalinformationen var mer effektiv än röst och ansiktsuttryck,” fortsatte Dr. Okada. “När vi kombinerade språkinformationen med biologisk signalinformation för att uppskatta den självbedömda inre tillståndet under samtalet med systemet, blev AI-prestationen jämförbar med den hos en människa.” 

De nya resultaten tyder på att upptäckten av fysiologiska signaler hos människor kan leda till högt känslomässigt intelligent AI-baserat dialogsysten. Känslomässigt intelligent AI-system kan sedan användas för att identifiera och övervaka psykisk ohälsa genom att känna av förändringar i dagliga känslomässiga tillstånd. Ett annat möjligt användningsfall är inom utbildning, där de kan identifiera om en lärling är intresserad av ett ämne eller uttråkad, vilket kan användas för att ändra undervisningsstrategier.