Forschungsteam entwickelt AI-Technik für 3D-Gesichtsausdrucksdetektion

Ein gemeinsames Forschungsteam unter der Leitung von Professoren Ki-Hun Jeong und Doheon Lee vom Korea Advanced Institute of Science and Technology (KAIST) hat eine neue Technik für die Gesichtsausdrucksdetektion entwickelt, indem es Nahinfrarot-Lichtfeldkameratechniken mit künstlicher Intelligenz (KI) kombiniert.

Die Forschung wurde in Advanced Intelligent Systems.

Lichtfeldkameras

Lichtfeldkameras enthalten Mikrolinsenarrays vor dem Bildsensor, was es ihnen ermöglicht, in ein Smartphone zu passen. Gleichzeitig können sie noch die räumliche und richtungsbezogene Information des Lichts mit einem einzigen Schuss erfassen.

Diese Bildgebungstechnik wird verwendet, um Bilder auf viele verschiedene Arten zu rekonstruieren, wie z. B. Multiviews, Refocusing und 3D-Bildakquisition.

Allerdings hat die Technik einige Einschränkungen. Bestehende Lichtfeldkameras haben Schwierigkeiten, genaue Bildkontraste und 3D-Rekonstruktionen zu liefern, da sie von den Schatten verursacht werden, die durch externe Lichtquellen in der Umgebung entstehen.

Das Forschungsteam konnte die Genauigkeit der 3D-Bildrekonstruktion, die von der Umgebungsbeleuchtung abhängt, stabilisieren, und die Technik ermöglichte es ihnen, die Einschränkungen bestehender Lichtfeldkameras zu überwinden. Sie entwickelten eine neue Kamera, die für die 3D-Bildrekonstruktion von Gesichtsausdrücken optimiert war, und verwendeten sie, um hochwertige 3D-Rekonstruktionsbilder von Gesichtsausdrücken mit verschiedenen Emotionen zu erfassen. Sie konnten dies unabhängig von den Beleuchtungsbedingungen der Umgebung erreichen.

Machine Learning zur Unterscheidung von Ausdrücken

Das Team verwendete dann Machine Learning, um die Gesichtsausdrücke in den erfassten 3D-Bildern zu unterscheiden, was eine Genauigkeitsrate von 85 % erreichte. Sie berechneten auch die Interdependenz der Distanzinformation, die sich mit dem Gesichtsausdruck in 3D-Bildern ändert, um die Informationen zu identifizieren, die eine Lichtfeldkamera verwendet, um menschliche Ausdrücke zu unterscheiden.

“Die subminiaturisierte Lichtfeldkamera, die vom Forschungsteam entwickelt wurde, hat das Potenzial, eine neue Plattform zur quantitativen Analyse von Gesichtsausdrücken und Emotionen von Menschen zu werden”, sagte Professor Ki-Hun Jeong.

Diese Forschung könnte einen großen Einfluss auf eine breite Palette von Branchen haben.

“Sie könnte in verschiedenen Bereichen wie mobiler Gesundheitsversorgung, Felddiagnose, sozialer Kognition und Mensch-Maschine-Interaktionen angewendet werden”, sagte er.