Розробка команди дослідників техніки штучного інтелекту для виявлення виразів обличчя в 3D

Спільна команда дослідників під керівництвом професорів Ki-Hun Jeong і Doheon Lee з Korea Advanced Institute of Science and Technology (KAIST) розробила нову техніку для виявлення виразів обличчя шляхом поєднання технік камер з ближнім інфрачервоним світлом та штучним інтелектом (AI).

Дослідження було опубліковано в Advanced Intelligent Systems.

Камери зі світловим полем

Камери зі світловим полем містять мікролінзові масиви перед сенсором зображення, що дозволяє їм поміститися в смартфон. Одночасно вони можуть отримувати просторову та напрямкову інформацію про світло за один знімок.

Ця техніка зображення використовується для реконструкції зображень багатьма різними способами, такими як багатовиглядні, перефокусування та отримання 3D-зображень.

Однак, ця техніка має деякі обмеження. Існуючі камери зі світловим полем мали труднощі з забезпеченням точної контрастності зображення та 3D-реконструкції через тінь, викликану зовнішніми джерелами світла в середовищі.

Команда дослідників змогла стабілізувати точність 3D-реконструкції зображення, що залежала від освітлення середовища, і ця техніка дозволила їм подолати обмеження існуючих камер зі світловим полем. Вони розробили нову камеру, оптимізовану для 3D-реконструкції виразів обличчя, і використали її для отримання високоякісних 3D-реконструкцій виразів обличчя різних емоцій. Вони змогли досягти цього незалежно від умов освітлення середовища.

Машинне навчання для розпізнавання виразів

Потім команда використала машинне навчання для розпізнавання виразів обличчя в отриманих 3D-зображеннях, що досягло 85% точності. Вони також розрахували взаємозалежність інформації про відстань, яка змінюється з виразом обличчя в 3D-зображеннях, щоб ідентифікувати інформацію, яку камера зі світловим полем використовує для розпізнавання людських виразів.

“Розроблена командою дослідників субмініатюрна камера зі світловим полем має потенціал стати новою платформою для кількісного аналізу виразів обличчя та емоцій людини”, сказав професор Ki-Hun Jeong.

Це дослідження може мати великий вплив на широкий спектр галузей.

“Воно може бути застосовано в різних галузях, включаючи мобільний охорону здоров’я, польову діагностику, соціальну когніцію та взаємодію людини з машиною”, сказав він.