Forskare närmar sig att uppnå “känslomässigt intelligenta” AI

Forskare vid Japan Advanced Institute of Science and Technology har integrerat biologiska signaler med maskinlärningsmetoder för att möjliggöra “känslomässigt intelligenta” AI. Känslomässig intelligens kan leda till mer naturliga människa-maskin-interaktioner, säger forskarna.

Den nya studien publicerades i tidskriften IEEE Transactions on Affective Computing.

Att uppnå känslomässig intelligens

Tal- och språkigenkänningstekniker som Alexa och Siri utvecklas ständigt, och tillägget av känslomässig intelligens kan ta dem till nästa nivå. Detta skulle innebära att dessa system kan känna igen användarens känslomässiga tillstånd, samt förstå språk och generera mer empatiska svar.

“Multimodal sentimentanalys” är en grupp metoder som utgör guldstandarden för AI-samtalssystem med sentimentdetektering, och de kan automatiskt analysera en persons psykologiska tillstånd från deras tal, ansiktsuttryck, röstfärg och kroppsspråk. De är grundläggande för att skapa människocentrerade AI-system och kan leda till utvecklingen av en känslomässigt intelligent AI med “bortom-mänskliga förmågor”. Dessa förmågor skulle hjälpa AI att förstå användarens känslor innan de bildar ett lämpligt svar.

Att analysera iakttagbara signaler

Nuvarande estimationsmetoder fokuserar främst på iakttagbar information, vilket lämnar ut information i iakttagbara signaler, som kan inkludera fysiologiska signaler. Dessa typer av signaler innehåller mycket värdefull data som kan förbättra sentimentestimering.

I studien lades fysiologiska signaler till multimodal sentimentanalys för första gången. Forskarteamet som genomförde denna studie inkluderade associate professor Shogo Okada från Japan Advanced Institute of Science and Technology (JSAIT), och professor Kazunori Komatani från Institute of Scientific and Industrial Research vid Osaka University.

“Människor är mycket bra på att dölja sina känslor,” säger Dr. Okada. “Den inre känslomässiga tillståndet hos en användare återspeglas inte alltid korrekt av dialoginnehållet, men eftersom det är svårt för en person att medvetet kontrollera sina biologiska signaler, såsom hjärtfrekvens, kan det vara användbart att använda dessa för att uppskatta deras känslomässiga tillstånd. Detta kan göra det möjligt för en AI med sentimentestimeringsförmågor som är bortom mänskliga.”

Teamets studie omfattade analys av 2 468 utbyten med en dialog-AI som erhållits från 26 deltagare. Med denna data kunde teamet uppskatta den nivå av njutning som användaren upplevde under samtalet.

Användaren bad sedan att bedöma hur underhållande eller tråkigt samtalet var. Den multimodala dialogdatamängden som kallades “Hazumi1911” användes av teamet. Denna datamängd kombinerar taligenkänning, röstfärgssensorer, kroppsspråksdetektering och ansiktsuttryck med hudpotential, som är en form av fysiologisk responskänslighet.

“När vi jämförde alla separata informationskällor visade det sig att den biologiska signalinformationen var mer effektiv än röst och ansiktsuttryck,” fortsatte Dr. Okada. “När vi kombinerade språkinformationen med biologisk signalinformation för att uppskatta den självbedömda inre tillståndet under samtalet med systemet, blev AI-prestationen jämförbar med en människas.”

De nya resultaten tyder på att upptäckten av fysiologiska signaler hos människor kan leda till högt känslomässigt intelligenta AI-baserade dialogs system. Känslomässigt intelligenta AI-system kunde då användas för att identifiera och övervaka mental ohälsa genom att känna av förändringar i dagliga känslomässiga tillstånd. Ett annat möjligt användningsområde är inom utbildning, där de kunde identifiera om en lärande är intresserad av ett ämne eller uttråkad, vilket kunde användas för att ändra undervisningsstrategier.