Forskningslag utvikler AI-teknikk for 3D-ansiktsuttrykksdeteksjon

Et felles forskningslag ledet av professor Ki-Hun Jeong og Doheon Lee fra Korea Advanced Institute of Science and Technology (KAIST) har utviklet en ny teknikk for ansiktsuttrykksdeteksjon ved å kombinere nær-infrarød lysfeltkamerateknikk med kunstig intelligens (AI).

Forskningen ble publisert i Advanced Intelligent Systems.

Lysfeltkameraer

Lysfeltkameraer inneholder mikro-linsenytre i fronten av bildesensoren, og dette gjør det mulig for dem å passe inn i en smarttelefon. Samtidig kan de fortsatt tilegne seg romlige og retningsspesifikke informasjon om lyset med ett enkelt bilde.

Denne bildeteknikken brukes til å rekonstruere bilder på mange forskjellige måter, som multiviews, fokus og 3D-bildeakvisisjon.

Med det sagt, har teknikken noen begrensninger. Eksisterende lysfeltkameraer har slitt med å gi nøyaktig bildekontrast og 3D-rekonstruksjon av og til på grunn av skyggen forårsaket av eksterne lyskilder i miljøet.

Forskningslaget var i stand til å stabilisere nøyaktigheten av 3D-bilde-rekonstruksjonen som avhenger av miljølyset, og teknikken gjorde det mulig for dem å overvinne begrensningene til eksisterende lysfeltkameraer. De utviklet en ny kamera som var optimalisert for 3D-bilde-rekonstruksjon av ansiktsuttrykk, og de brukte den til å tilegne seg høykvalitets 3D-rekonstruksjonsbilder av ansiktsuttrykk av forskjellige emosjoner. De kunne oppnå dette uavhengig av lysforholdene i miljøet.

Maskinlæring for å skille uttrykk

Laget brukte deretter maskinlæring for å skille ansiktsuttrykkene i de tilegnede 3D-bildene, som oppnådde en nøyaktighetsrate på 85 %. De beregnede også avhengigheten av avstandsinformasjon, som varierer med ansiktsuttrykk i 3D-bilder, for å identifisere informasjonen som et lysfeltkamera bruker for å skille menneskelige uttrykk.

“Den sub-miniatur-lysfeltkameraet som er utviklet av forskningslaget har potensialet til å bli den nye plattformen for å kvantitativt analysere ansiktsuttrykk og emosjoner hos mennesker,” sa professor Ki-Hun Jeong.

Dette forskningen kan ha en stor innvirkning på en rekke industrier.

“Det kan bli brukt i ulike felt, inkludert mobil helse, felt-diagnose, sosial kognisjon og menneske-maskin-interaksjoner,” sa han.