Forskare utvecklar nya tekniker för att förbättra försämrade bilder

Ett team av forskare vid Yale-NUS College har utvecklat nya datorseende- och djupinlärningsmetoder för att extrahera mer exakt data från lågnivåseende i videor som orsakats av miljöfaktorer som regn och nattliga förhållanden. De har också förbättrat noggrannheten för 3D-mänsklig posestimation i videor.

Datorseende-teknologi, som används i applikationer som automatiska övervakningssystem, autonoma fordon och hälsosamt och socialt distanseringsverktyg, påverkas ofta av miljöfaktorer, vilket kan orsaka problem med den extraherade datan.

Den nya forskningen presenterades vid 2021 års konferens om datorseende och mönsterigenkänning (CVPR).

Miljöpåverkan på bilder

Förhållanden som låg ljusstyrka och människoskapade ljuseffekter som bländning, glöd och strålkastare påverkar nattliga bilder. Regnbilder påverkas också av regnstreck eller regnansamling.

Yale-NUS College Associate Professor of Science Robby Tan ledde forskningsteamet.

“Många datorseende-system, som automatisk övervakning och självkörande bilar, är beroende av tydlig sikt på ingångsvideorna för att fungera bra. Till exempel kan självkörande bilar inte fungera robust i kraftig regn och CCTV-automatiska övervakningssystem fungerar ofta inte på natten, särskilt om scenerna är mörka eller det finns betydande bländning eller strålkastare”, sa Assoc. Prof Tan.

Teamet förlitade sig på två separata studier som introducerade djupinlärningsalgoritmer för att förbättra kvaliteten på nattliga videor och regnvideos.

Den första studien fokuserade på att öka ljusstyrkan samtidigt som den dämpade brus och ljuseffekter, såsom bländning, glöd och strålkastare, för att skapa tydliga nattliga bilder. Den nya tekniken syftar till att förbättra tydligheten i nattliga bilder och videor när det finns oundviklig bländning, vilket befintliga metoder ännu inte har gjort.

I länder där kraftig regn är vanligt, påverkar regnansamlingen negativt synligheten i videor. Den andra studien syftade till att lösa problemet genom att introducera en metod som använder bildjustering, vilket möjliggör bättre visuell information utan att påverkas av regnstreck, som ofta visas slumpmässigt i olika bilder. Teamet använde en rörlig kamera för att använda djupskattning, vilket hjälpte till att ta bort regnslöjan. Medan befintliga metoder kretsar kring att ta bort regnstreck, kan de nyligen utvecklade metoderna ta bort både regnstreck och regnslöjan samtidigt.

Bild: Yale-NUS College

3D-mänsklig posestimation

Tillsammans med de nya teknikerna presenterade teamet också sin forskning om 3D-mänsklig posestimation, som kan användas i videoövervakning, videospel och sportutsändningar.

3D-multipersonposestimation från en monokulär video, eller video som tagits med en enda kamera, har varit ett alltmer forskat område under de senaste åren. Till skillnad från videor från flera kameror är monokulära videor mer flexibla och kan tas med en enda kamera, såsom en mobiltelefon.

Med det sagt, påverkar hög aktivitet som flera individer i samma scen noggrannheten i människodetektering. Detta är särskilt sant när individer interagerar nära eller överlappar varandra i den monokulära videon.

Teamets tredje studie uppskattade 3D-mänsklig pose från en video genom att kombinera två befintliga metoder, som var topp-ned och botten-upp-strategier. Den nya metoden producerar mer tillförlitlig posestimation i multi-person-sammanhang när jämfört med de andra två, och den är bättre utrustad för att hantera avståndet mellan individer.

“Som en nästa steg i vår 3D-mänsklig posestimation, som stöds av National Research (NRC ) Foundation, kommer vi att undersöka hur man kan skydda sekretessinformationen i videorna. För synförbättringsmetoderna strävar vi efter att bidra till framsteg inom området datorseende, eftersom de är avgörande för många applikationer som kan påverka våra dagliga liv, såsom att möjliggöra självkörande bilar att fungera bättre i ogynnsamma väderförhållanden”, sa Assoc. Prof Tan.