Forskningsgrupp utvecklar AI-teknik för 3D-ansiktsuttrycksdetektering

En gemensam forskargrupp ledd av professorerna Ki-Hun Jeong och Doheon Lee från Korea Advanced Institute of Science and Technology (KAIST) har utvecklat en ny teknik för ansiktsuttrycksdetektering genom att kombinera nära-infraröda ljusfältskameratekniker med artificiell intelligens (AI).

Forskningen publicerades i Advanced Intelligent Systems.

Ljusfältskameror

Ljusfältskameror innehåller mikrolinsarrayer framför bildsensorn, vilket gör att de kan placeras i en smartphone. Samtidigt kan de fortfarande fånga den rumsliga och riktade informationen om ljuset med ett enda skott.

Denna avbildningsteknik används för att rekonstruera bilder på många olika sätt, såsom multivyer, omfokusering och 3D-bildacquisition.

Med det sagt har tekniken vissa begränsningar. Existerande ljusfältskameror har haft svårt att tillhandahålla exakt bildkontrast och 3D-rekonstruktion vid vissa tillfällen på grund av skuggor orsakade av externa ljuskällor i miljön.

Forskningsgruppen kunde stabilisera noggrannheten i 3D-bildrekonstruktionen som berodde på miljöljus, och tekniken gjorde det möjligt för dem att övervinna begränsningarna i existerande ljusfältskameror. De utvecklade en ny kamera som var optimerad för 3D-bildrekonstruktion av ansiktsuttryck, och de använde den för att fånga högkvalitativa 3D-rekonstruktionsbilder av ansiktsuttryck med olika känslor. De kunde uppnå detta oavsett miljöns belysningsförhållanden.

Maskinlärande för att skilja uttryck

Gruppen använde sedan maskinlärande för att skilja ansiktsuttrycken i de förvärvade 3D-bilderna, vilket uppnådde en noggrannhetsgrad på 85 %. De beräknade också beroendet av avståndsinformation, som varierar med ansiktsuttryck i 3D-bilder, för att identifiera den information som en ljusfältskamera använder för att skilja mänskliga uttryck.

“Den subminiatyrljusfältskamera som utvecklats av forskargruppen har potentialen att bli den nya plattformen för att kvantitativt analysera ansiktsuttryck och känslor hos människor”, sa professor Ki-Hun Jeong.

Denna forskning kan ha en stor inverkan på en bred range av industrier.

“Den kan tillämpas inom olika områden, inklusive mobil hälsovård, fält diagnos, social kognition och människa-maskin interaktioner”, sa han.