Forskere udvikler nye teknikker til forbedring af dårlige billeder

Et hold af forskere fra Yale-NUS College har udviklet nye computer vision- og deep learning-tilgange til at udtrække mere præcis data fra lavniveaubilleder i videoer, som er påvirket af miljøfaktorer som regn og natbelysning. De har også forbedret nøjagtigheden af 3D-humanposeestimation i videoer.

Computer vision-teknologi, som bruges i applikationer som automatiske overvågningsystemer, selvstændige køretøjer og sundheds- og socialafstandsredskaber, påvirkes ofte af miljøfaktorer, som kan forårsage problemer med de udtrukne data.

Den nye forskning blev præsenteret på 2021-konferencen om computer vision og mønstergenkendelse (CVPR).

Miljøpåvirkning på billeder

Forhold som lav belysning og menneskeskabte lys-effekter som gløden, glimt og oversvømmelseslys påvirker natbilleder. Regnbilleder påvirkes også af regnstreger eller regnansamling.

Yale-NUS College Associate Professor of Science Robby Tan ledede forskerholdet.

“Mange computer vision-systemer som automatiske overvågnings- og selvstændige køretøjer, afhænger af klart syn på inputvideoerne for at fungere godt. For eksempel kan selvstændige køretøjer ikke fungere robustt i kraftig regn, og automatiske overvågningsystemer fejler ofte om natten, især hvis scenerne er mørke eller der er betydelig gløden eller oversvømmelseslys,” sagde Assoc. Prof Tan.

Holdet afhængte af to separate studier, som introducerede deep learning-algoritmer til at forbedre kvaliteten af natbilleder og regnbilleder.

Den første studie fokuserede på at forøge lysstyrken samtidig med at undertrykke støj og lys-effekter, såsom gløden, glimt og oversvømmelseslys, for at skabe klare natbilleder. Den nye teknik er rettet mod at forbedre klarensen i natbilleder og videoer, når der er uundgåelig gløden, som eksisterende metoder endnu ikke har kunnet gøre.

I lande, hvor kraftig regn er almindelig, påvirker regnansamling synligheden i videoer negativt. Den anden studie havde til formål at løse problemet ved at introducere en metode, der anvender en rammejustering, som giver bedre visuel information uden at være påvirket af regnstreger, som ofte optræder tilfældigt i forskellige rammer. Holdet anvendte en bevægelig kamera til at anvende dybdeestimation, som hjalp med at fjerne regnforhængseffekten. Mens eksisterende metoder drejer sig om at fjerne regnstreger, kan de nyligt udviklede metoder fjerne både regnstreger og regnforhængseffekten samtidig.

Billede: Yale-NUS College

3D-humanposeestimation

Sammen med de nye teknikker præsenterede holdet også deres forskning i 3D-humanposeestimation, som kan anvendes i videoovervågning, videospil og sportsudsendelser.

3D-multipersonposeestimation fra en monokulær video, eller video optaget med en enkelt kamera, er blevet stadig mere forsknet i de seneste år. I modsætning til videoer fra multiple kameraer er monokulære videoer mere fleksible og kan optages med en enkelt kamera, såsom en mobiltelefon.

Med det sagt påvirker høj aktivitet, såsom multiple personer i samme scene, nøjagtigheden i menneskeopdækning. Dette er især sandt, når personer interagerer tæt eller overlapper hinanden i den monokulære video.

Holdets tredje studie estimerede 3D-humanpose fra en video ved at kombinere to eksisterende metoder, som var top-down- og bottom-up-tilgange. Den nye metode giver mere pålidelig poseestimation i multiperson-sammenhænge sammenlignet med de to andre, og den er bedre udstyret til at håndtere afstanden mellem personer.

“Som en næste skridt i vores 3D-humanposeestimationsforskning, som støttes af National Research (NRC ) Foundation, vil vi se på, hvordan vi kan beskytte privatlivsoplysningerne i videoer. For synsforbedringsmetoderne stræber vi efter at bidrage til fremskridt i computer vision-feltet, som er kritisk for mange applikationer, der kan påvirke vores daglige liv, såsom at enable selvstændige køretøjer til at fungere bedre under ugunstige vejrforhold,” sagde Assoc. Prof Tan.