연구 팀, 3D 얼굴 표정 감지 위한 AI 기술 개발

KAIST의 Ki-Hun Jeong 교수와 Doheon Lee 교수가 이끄는 공동 연구 팀은 근적외선 라이트 필드 카메라 기술과 인공 지능(AI)을 결합하여 얼굴 표정 감지 위한 새로운 기술을 개발했다.

이 연구는 Advanced Intelligent Systems에 발표되었다.

라이트 필드 카메라

라이트 필드 카메라는 이미지 센서 앞에 마이크로 렌즈 어레이를 가지고 있으며, 이는 스마트폰에 적합하도록 설계되었다.同時에, 단일 샷으로 빛의 공간 및 방향 정보를 획득할 수 있다.

이 이미징 기술은 다중 뷰, 리포커스, 3D 이미지 획득 등 다양한 방식으로 이미지를 재구성하는데 사용된다.

그러나, 이 기술에는 일부 제한이 있다. 기존의 라이트 필드 카메라는 외부 광원으로 인한 그림자로 인해 정확한 이미지 대조 및 3D 재구성을 제공하지 못하는 경우가 있다.

연구 팀은 환경 광에 의존하는 3D 이미지 재구성의 정확성을 안정화 시킬 수 있었으며, 기존의 라이트 필드 카메라의 제한을 극복할 수 있었다. 그들은 얼굴 표정의 3D 이미지 재구성을 최적화한 새로운 카메라를 개발하여 다양한 감정의 얼굴 표정의 높은 품질의 3D 재구성 이미지를 획득할 수 있었다. 이는 환경의 조명 조건과 관계없이 가능했다.

기계 학습을 통한 표정 구분

팀은 획득한 3D 이미지의 얼굴 표정을 구분하기 위해 기계 학습을 사용했으며, 85%의 정확도를 달성했다. 또한, 3D 이미지에서 얼굴 표정에 따라 변하는 거리 정보의 상호 의존성을 계산하여 라이트 필드 카메라가 인간의 표정을 구분하는 데 사용하는 정보를 식별했다.

“연구 팀이 개발한 초소형 라이트 필드 카메라는 인간의 얼굴 표정과 감정을 정량적으로 분석하는 새로운 플랫폼이 될 수 있다”라고 Ki-Hun Jeong 교수는 말했다.

이 연구는 다양한 산업에 큰 영향을 미칠 수 있다.

“모바일 헬스케어, 현장 진단, 사회 인지, 인간-기계 상호 작용을 포함한 다양한 분야에 적용될 수 있다”라고 그는 말했다.