Исследовательская группа разработала технику ИИ для обнаружения 3D выражений лица

Совместная исследовательская группа под руководством профессоров Ki-Hun Jeong и Doheon Lee из Корейского института передовых технологий (KAIST) разработала новую технику для обнаружения выражений лица, сочетая техники камер с ближним инфракрасным световым полем и искусственным интеллектом (ИИ).

Исследование было опубликовано в Advanced Intelligent Systems.

Камеры со световым полем

Камеры со световым полем содержат микролинзовые массивы перед датчиком изображения, что позволяет им поместиться в смартфон. В то же время они могут получить пространственную и направленную информацию о свете за один снимок.

Эта техника изображения используется для реконструкции изображений различными способами, такими как многовидовые, перефокусировка и получение 3D-изображений.

Однако эта техника имеет некоторые ограничения. Существующие камеры со световым полем испытывали трудности с обеспечением точного контраста изображения и 3D-реконструкции из-за теней, вызванных внешними источниками света в окружающей среде.

Исследовательская группа смогла стабилизировать точность 3D-реконструкции изображения, зависящую от окружающего света, и эта техника позволила им преодолеть ограничения существующих камер со световым полем. Они разработали новую камеру, оптимизированную для 3D-реконструкции выражений лица, и использовали ее для получения высококачественных 3D-реконструкций выражений лица различных эмоций. Они смогли добиться этого независимо от условий освещения окружающей среды.

Машинное обучение для различения выражений

Затем команда использовала машинное обучение для различения выражений лица на полученных 3D-изображениях, что позволило достичь точности 85%. Они также рассчитали взаимозависимость информации о расстоянии, которая варьируется с выражением лица на 3D-изображениях, чтобы определить информацию, которую камера со световым полем использует для различения человеческих выражений.

“Миниатюрная камера со световым полем, разработанная исследовательской группой, имеет потенциал стать новой платформой для количественного анализа выражений лица и эмоций человека”, – сказал профессор Ki-Hun Jeong.

Это исследование может иметь большое влияние на широкий спектр отраслей.

“Оно может быть применено в различных областях, включая мобильное здравоохранение, полевую диагностику, социальное познание и взаимодействие человека и машины”, – сказал он.