Onderzoeksteam ontwikkelt AI-techniek voor 3D-detectie van gezichtsuitdrukkingen

Een gezamenlijk onderzoeksteam onder leiding van de professoren Ki-Hun Jeong en Doheon Lee van het Korea Advanced Institute of Science and Technology (KAIST) heeft een nieuwe techniek ontwikkeld voor het detecteren van gezichtsuitdrukkingen door nabij-infrarood lichtveldcameratechnieken te combineren met kunstmatige intelligentie (AI). ).

Het onderzoek is gepubliceerd in Geavanceerde intelligente systemen.

Lichtveldcamera's

Lichtveldcamera's bevatten micro-lens-arrays voor de beeldsensor, waardoor ze in een smartphone passen. Tegelijkertijd kunnen ze nog steeds de ruimtelijke en directionele informatie van het licht met een enkele opname verkrijgen. 

Deze beeldvormingstechniek wordt gebruikt om beelden op veel verschillende manieren te reconstrueren, zoals multiviews, herfocussering en 3D-beeldacquisitie. 

Dat gezegd hebbende, heeft de techniek enkele beperkingen. Bestaande lichtveldcamera's hebben soms moeite om een ​​nauwkeurig beeldcontrast en 3D-reconstructie te bieden vanwege de schaduwen die worden veroorzaakt door externe lichtbronnen in de omgeving. 

Het onderzoeksteam was in staat om de nauwkeurigheid van de 3D-beeldreconstructie te stabiliseren die afhankelijk was van omgevingslicht, en de techniek stelde hen in staat de beperkingen van bestaande lichtveldcamera's te overwinnen. Ze ontwikkelden een nieuwe camera die was geoptimaliseerd voor de 3D-beeldreconstructie van gezichtsuitdrukkingen en gebruikten deze om hoogwaardige 3D-reconstructiebeelden van gezichtsuitdrukkingen van verschillende emoties te verkrijgen. Ze konden dit bereiken ongeacht de lichtomstandigheden in de omgeving.

Machine Learning om uitdrukkingen te onderscheiden

Het team gebruikte vervolgens machine learning om de gezichtsuitdrukkingen in de verkregen 3D-beelden te onderscheiden, wat een nauwkeurigheidspercentage van 85% behaalde. Ze berekenden ook de onderlinge afhankelijkheid van afstandsinformatie, die varieert met gezichtsuitdrukking in 3D-beelden, om de informatie te identificeren die een lichtveldcamera gebruikt om menselijke uitdrukkingen te onderscheiden. 

"De sub-miniatuur lichtveldcamera die door het onderzoeksteam is ontwikkeld, heeft het potentieel om het nieuwe platform te worden om de gezichtsuitdrukkingen en emoties van mensen kwantitatief te analyseren", zei professor Ki-Hun Jeong. 

Dit onderzoek kan een grote impact hebben op een breed scala van industrieën. 

 "Het kan op verschillende gebieden worden toegepast, waaronder mobiele gezondheidszorg, velddiagnose, sociale cognitie en mens-machine-interacties", zei hij.