Onderzoekers ontwikkelen nieuwe technieken voor het verbeteren van gedegradeerde beelden

Een team van onderzoekers aan het Yale-NUS College heeft nieuwe benaderingen voor computerzicht en diepe leerlingen ontwikkeld om meer nauwkeurige gegevens te extraheren uit laag-niveau-zicht in video’s veroorzaakt door milieufactoren zoals regen en nachtcondities. Zij hebben ook de nauwkeurigheid van 3D-menselijke pose-estimatie in video’s verbeterd.

Computerzichttechnologie, die wordt gebruikt in toepassingen zoals automatische bewakingsystemen, autonome voertuigen en hulpmiddelen voor gezondheid en sociale afstand, wordt vaak beïnvloed door milieufactoren, die problemen kunnen veroorzaken met de geëxtraheerde gegevens.

Het nieuwe onderzoek werd gepresenteerd op de 2021 Conferentie over Computerzicht en Patroonherkenning (CVPR).

Milieueffect op beelden

Omstandigheden zoals weinig licht en door de mens gemaakte lichteffecten zoals glans, gloed en overbelichting beïnvloeden nachtbeelden. Regenbeelden worden ook beïnvloed door regenstrepen of regenaccumulatie.

Associate Professor of Science Robby Tan van het Yale-NUS College leidde het onderzoeksteam.

“Veel computerzichtsystemen, zoals automatische bewakings- en zelfrijdende auto’s, zijn afhankelijk van een duidelijk zicht van de invoervideo’s om goed te werken. Bijvoorbeeld, zelfrijdende auto’s kunnen niet robuust werken in zware regen en CCTV-automatische bewakingsystemen falen vaak ‘s nachts, vooral als de scènes donker zijn of er veel glans of overbelichting is,” zei Assoc. Prof Tan.

Het team steunde op twee afzonderlijke studies die diepe leerlingen introduceerden om de kwaliteit van nachtvideo’s en regenvideo’s te verbeteren.

De eerste studie richtte zich op het verhogen van de helderheid en het tegelijkertijd onderdrukken van ruis en lichteffecten, zoals glans, gloed en overbelichting, om duidelijke nachtbeelden te creëren. De nieuwe techniek is gericht op het verbeteren van de duidelijkheid in nachtbeelden en video’s wanneer er onvermijdelijke glans is, wat bestaande methoden nog niet hebben gedaan.

In landen waar zware regen veel voorkomt, heeft regenaccumulatie een negatieve invloed op de zichtbaarheid in video’s. De tweede studie zette zich in om dit probleem aan te pakken door een methode te introduceren die een frame-alignment gebruikt, waardoor betere visuele informatie mogelijk wordt zonder te worden beïnvloed door regenstrepen, die vaak willekeurig in verschillende frames verschijnen. Het team gebruikte een bewegende camera om diepteschatting te gebruiken, waardoor het regenvelingeffect kon worden verwijderd. Terwijl bestaande methoden zich richten op het verwijderen van regenstrepen, kunnen de nieuw ontwikkelde methoden zowel regenstrepen als het regenvelingeffect tegelijkertijd verwijderen.

Afbeelding: Yale-NUS College

3D-menselijke pose-estimatie

Naast de nieuwe technieken presenteerde het team ook onderzoek naar 3D-menselijke pose-estimatie, dat kan worden gebruikt in video-bewaking, videospelletjes en sportuitzendingen.

3D-multipersoonpose-estimatie uit een monocular video, of video gemaakt met één camera, is de afgelopen jaren steeds meer onderzocht. In tegenstelling tot video’s gemaakt met meerdere camera’s, zijn monocular video’s flexibeler en kunnen ze worden gemaakt met één camera, zoals een mobiele telefoon.

Met dat gezegd, heeft hoge activiteit zoals meerdere personen in dezelfde scène invloed op de nauwkeurigheid van menselijke detectie. Dit is vooral het geval wanneer personen nauw met elkaar interacteren of elkaar overlappen in de monocular video.

Het onderzoek van het team schatte de 3D-menselijke pose in van een video door twee bestaande methoden te combineren, namelijk de top-down- en bottom-up-benaderingen. De nieuwe methode produceert een meer betrouwbare pose-estimatie in multi-persooninstellingen in vergelijking met de andere twee, en is beter uitgerust om afstand tussen personen te hanteren.

“Als volgende stap in ons onderzoek naar 3D-menselijke pose-estimatie, dat wordt ondersteund door de National Research (NRC ) Foundation, zullen we onderzoeken hoe we de privacyinformatie van de video’s kunnen beschermen. Voor de zichtbaarheidsverbeteringsmethoden streven we ernaar om bij te dragen aan de vooruitgang in het veld van computerzicht, aangezien deze cruciaal zijn voor veel toepassingen die ons dagelijks leven kunnen beïnvloeden, zoals het mogelijk maken van zelfrijdende auto’s om beter te werken in slechte weersomstandigheden,” zei Assoc. Prof Tan.