Forskare utvecklar nya tekniker för att förbättra försämrade bilder

Ett team av forskare vid Yale-NUS College har utvecklat nya metoder för datorseende och djupinlärning för att extrahera mer exakta data från syn på låg nivå i videor orsakade av miljöfaktorer som regn och nattliga förhållanden. De förbättrade också noggrannheten i 3D-uppskattning av mänskliga poser i videor. 

Datorseendeteknologi, som används i applikationer som automatiska övervakningssystem, autonoma fordon och sjukvårds- och sociala distansverktyg, påverkas ofta av miljöfaktorer, vilket kan orsaka problem med den extraherade informationen.

Den nya forskningen presenterades på 2021 års konferens om datorseende och mönsterigenkänning (CVPR). 

Miljöpåverkan på bilder

Förhållanden som svagt ljus och mänskligt skapade ljuseffekter som bländning, glöd och strålkastare påverkar nattbilder. Regnbilder påverkas också av regnstrimmor eller regnansamling. 

Yale-NUS College docent i vetenskap Robby Tan ledde forskargruppen. 

"Många datorseendesystem, som automatisk övervakning och självkörande bilar, förlitar sig på tydlig synlighet av ingångsvideorna för att fungera bra. Till exempel kan självkörande bilar inte fungera robust i kraftigt regn och automatiska övervakningssystem för CCTV misslyckas ofta på natten, särskilt om scenerna är mörka eller det finns betydande bländning eller strålkastare, säger Assoc. Prof Tan.

Teamet förlitade sig på två separata studier som introducerade algoritmer för djupinlärning för att förbättra kvaliteten på nattvideor och regnvideor. 

Den första studien fokuserade på att öka ljusstyrkan och samtidigt dämpa brus och ljuseffekter, såsom bländning, glöd och strålkastare för att skapa tydliga nattbilder. Den nya tekniken syftar till att förbättra klarheten i nattbilder och videor när det finns oundviklig bländning, vilket befintliga metoder ännu inte har gjort. 

I länder där det är vanligt med kraftiga regn, påverkar regnansamling negativt synligheten i videor. Den andra studien syftade till att ta itu med problemet genom att introducera en metod som använder en ramjustering, som möjliggör bättre visuell information utan att påverkas av regnstråk, som ofta dyker upp slumpmässigt i olika ramar. Teamet använde en rörlig kamera för att använda djupuppskattning, vilket hjälpte till att ta bort regnslöjaeffekten. Medan befintliga metoder kretsar kring att ta bort regnstrimmor, kan de nyutvecklade ta bort både regnstrimmor och regnvelingeffekten samtidigt. 

Bild: Yale-NUS College

Uppskattning av mänsklig ställning i 3D

Tillsammans med de nya teknikerna presenterade teamet också sin forskning om 3D-uppskattning av mänskliga poser, som kan användas i videoövervakning, videospel och sportutsändningar. 

Uppskattning av 3D-poser för flera personer från en monokulär video, eller video tagen från en enda kamera, har undersökts alltmer under de senaste åren. Till skillnad från videor från flera kameror är monokulära videor mer flexibla och kan tas med en enda kamera, till exempel en mobiltelefon. 

Med det sagt, hög aktivitet som flera individer i samma scen påverkar noggrannheten i mänsklig upptäckt. Detta gäller särskilt när individer interagerar nära eller överlappar varandra i den monokulära videon. 

Teamets tredje studie uppskattade 3D-mänsklig pose från en video genom att kombinera två befintliga metoder, som var uppifrån och ner och nedifrån och upp. Den nya metoden ger en mer tillförlitlig ställningsuppskattning i multi-person-miljöer jämfört med de andra två, och den är bättre utrustad för att hantera avstånd mellan individer. 

"Som ett nästa steg i vår forskning om 3D-uppskattning av mänskliga poser, som stöds av National Research Foundation, kommer vi att titta på hur vi kan skydda videornas sekretessinformation. När det gäller synförbättrande metoder strävar vi efter att bidra till framsteg inom datorseende, eftersom de är avgörande för många applikationer som kan påverka våra dagliga liv, till exempel att göra det möjligt för självkörande bilar att fungera bättre i ogynnsamma väderförhållanden, säger han. Assoc. Prof Tan.