Исследовательская группа разработала технику ИИ для обнаружения 3D-фациальных выражений

Совместная исследовательская группа под руководством профессоров Ki-Hun Jeong и Doheon Lee из Корейского института передовых технологий (KAIST) разработала новую технику для обнаружения фациальных выражений, сочетая методы камер с ближним инфракрасным световым полем и искусственным интеллектом (ИИ).

Исследование было опубликовано в Advanced Intelligent Systems.

Камеры с световым полем

Камеры с световым полем содержат микролинзовые массивы перед датчиком изображения, что позволяет им поместиться в смартфон. В то же время они могут приобретать пространственную и направленную информацию о свете за один снимок.

Эта методика используется для реконструкции изображений различными способами, такими как многовидовые, ребфокусированные и 3D-изображения.

Однако эта методика имеет некоторые ограничения. Существующие камеры с световым полем испытывали трудности в обеспечении точного контраста изображения и 3D-реконструкции из-за теней, вызванных внешними источниками света в окружающей среде.

Исследовательская группа смогла стабилизировать точность 3D-реконструкции изображения, зависящую от окружающего света, и разработала новую камеру, оптимизированную для 3D-реконструкции фациальных выражений. Они использовали ее для получения высококачественных 3D-реконструкций изображений фациальных выражений различных эмоций, независимо от условий освещения окружающей среды.

Машинное обучение для различения выражений

Затем команда использовала машинное обучение для различения фациальных выражений в полученных 3D-изображениях, достигнув точности 85%. Они также рассчитали взаимозависимость информации о расстоянии, которая варьируется с фациальным выражением в 3D-изображениях, чтобы определить информацию, которую камера с световым полем использует для различения человеческих выражений.

“Миниатюрная камера с световым полем, разработанная исследовательской группой, имеет потенциал стать новой платформой для количественного анализа фациальных выражений и эмоций человека”, – сказал профессор Ki-Hun Jeong.

Это исследование может иметь значительное влияние на широкий спектр отраслей.

“Оно может быть применено в различных областях, включая мобильную медицину, полевую диагностику, социальное познание и взаимодействие человека и машины”, – сказал он.