Forskningslag utvikler AI-teknikk for 3D-ansiktsuttrykksdeteksjon

Et felles forskningslag ledet av professor Ki-Hun Jeong og Doheon Lee fra Korea Advanced Institute of Science and Technology (KAIST) har utviklet en ny teknikk for ansiktsuttrykksdeteksjon ved å kombinere nær-infrarød lysfeltkamera-teknikker med kunstig intelligens (AI).

Forskningen ble publisert i Advanced Intelligent Systems.

Lysfeltkameraer

Lysfeltkameraer inneholder mikro-linsenyler foran bilde-sensoren, og dette gjør det mulig for dem å passe inn i en smarttelefon. Samtidig kan de fortsatt tilegne seg romlige og retningsspesifikke informasjon om lyset med ett enkelt bilde.

Denne avbildningsteknikken brukes til å rekonstruere bilder på mange forskjellige måter, som multiviews, fokus og 3D-bildeakvisisjon.

Med det sagt, har teknikken noen begrensninger. Eksisterende lysfeltkameraer har slitt med å gi nøyaktig bildekontrast og 3D-rekonstruksjon av og til på grunn av skyggen som skyldes eksterne lyskilder i miljøet.

Forskningslaget kunne stabilisere nøyaktigheten av 3D-bilde-rekonstruksjonen som avhengig av miljølys, og teknikken gjorde det mulig for dem å overvinne begrensningene til eksisterende lysfeltkameraer. De utviklet en ny kamera som var optimalisert for 3D-bilde-rekonstruksjon av ansiktsuttrykk, og de brukte det til å tilegne seg høykvalitets 3D-rekonstruksjonsbilder av ansiktsuttrykk av forskjellige emosjoner. De kunne oppnå dette uavhengig av lysforholdene i miljøet.

Maskinlæring for å skille uttrykk

Laget brukte deretter maskinlæring til å skille ansiktsuttrykkene i de tilegnede 3D-bildene, som oppnådde en nøyaktighetsrate på 85%. De beregnede også avhengigheten av avstandsinformasjon, som varierer med ansiktsuttrykk i 3D-bilder, for å identifisere informasjonen et lysfeltkamera bruker til å skille menneskelige uttrykk.

“Den sub-miniatyrlysfeltkameraet utviklet av forskningslaget har potensialet til å bli den nye plattformen for å kvantitativt analysere ansiktsuttrykk og emosjoner hos mennesker”, sa professor Ki-Hun Jeong.

Denne forskningen kan ha en stor innvirkning på en rekke industrier.

“Den kan bli brukt i ulike felt, inkludert mobil helse, felt-diagnose, sosial kognisjon og menneske-maskin-interaksjoner”, sa han.