Tyrėjų komanda kuria AI techniką, skirtą 3D veido išraiškos aptikimui

Bendra tyrimų grupė, vadovaujama profesorių Ki-Hun Jeong ir Doheon Lee iš Korėjos pažangiojo mokslo ir technologijų instituto (KAIST), sukūrė naują veido išraiškos aptikimo techniką, derindama infraraudonųjų spindulių šviesos lauko kamerų metodus su dirbtiniu intelektu (AI). ).

Tyrimas buvo paskelbtas Pažangios išmaniosios sistemos.

Šviesos lauko kameros

Šviesos lauko kamerose prieš vaizdo jutiklį yra mikroobjektyvų matricos, todėl jos gali tilpti į išmanųjį telefoną. Tuo pačiu metu jie vis tiek gali gauti šviesos erdvinę ir kryptinę informaciją vienu šūviu. 

Ši vaizdo gavimo technika naudojama vaizdams atkurti įvairiais būdais, pvz., kelių vaizdų, perfokusavimo ir 3D vaizdo gavimo. 

Atsižvelgiant į tai, technika turi tam tikrų apribojimų. Esamos šviesos lauko kameros kartais stengdavosi užtikrinti tikslų vaizdo kontrastą ir 3D rekonstrukciją dėl šešėlių, kuriuos sukelia išoriniai šviesos šaltiniai aplinkoje. 

Tyrėjų komanda sugebėjo stabilizuoti 3D vaizdo rekonstrukcijos tikslumą, priklausantį nuo aplinkos šviesos, ir ši technika leido įveikti esamų šviesos lauko kamerų apribojimus. Jie sukūrė naują fotoaparatą, kuris buvo optimizuotas veido išraiškų 3D vaizdo atkūrimui, ir panaudojo ją norėdami gauti aukštos kokybės 3D atkūrimo įvairių emocijų veido išraiškų vaizdus. Jie galėtų tai pasiekti nepaisant aplinkos apšvietimo sąlygų.

Mašininis mokymasis atskirti išraiškas

Tada komanda naudojo mašininį mokymąsi, kad atskirtų veido išraiškas gautuose 3D vaizduose, kurių tikslumas buvo 85%. Jie taip pat apskaičiavo atstumo informacijos tarpusavio priklausomybę, kuri skiriasi priklausomai nuo veido išraiškos 3D vaizduose, kad nustatytų informaciją, kurią šviesos lauko kamera naudoja žmogaus išraiškoms atskirti. 

„Tyrėjų komandos sukurta subminiatiūrinė šviesos lauko kamera gali tapti nauja platforma, skirta kiekybiškai analizuoti žmonių veido išraiškas ir emocijas“, – sakė profesorius Ki-Hun Jeong. 

Šis tyrimas gali turėti didelį poveikį įvairioms pramonės šakoms. 

 „Jis galėtų būti taikomas įvairiose srityse, įskaitant mobiliąją sveikatos priežiūrą, lauko diagnostiką, socialinį pažinimą ir žmogaus bei mašinos sąveiką“, – sakė jis.