Výzkumníci vyvinuli nové techniky pro zlepšení kvality poškozených obrazů

Tým výzkumníků z Yale-NUS College vyvinul nové přístupy počítačového vidění a hlubokého učení pro extrakci více přesných dat z nízkoúrovňového vidění ve videích způsobených environmentálními faktory, jako je déšť a noční podmínky. Zlepšili také přesnost odhadu 3D lidské pozice ve videích.

Technologie počítačového vidění, která se používá v aplikacích, jako jsou automatické systémy dohledu, autonomní vozidla a nástroje pro zdravotnictví a sociální distancování, je často ovlivněna environmentálními faktory, které mohou způsobit problémy s extrahovanými daty.

Nový výzkum byl prezentován na konferenci o počítačovém vidění a rozpoznávání vzorců (CVPR) 2021.

Vliv prostředí na obrázky

Podmínky, jako je nízké osvětlení a lidské světelné efekty, jako je oslnění, svítání a záplavy, ovlivňují noční obrázky. Obrázky deště jsou také ovlivněny déšťovými pruhy nebo akumulací deště.

Tým výzkumníků byl veden asociálním profesorem Robbym Tanem z Yale-NUS College.

“Mnoho systémů počítačového vidění, jako je automatický dohled a autonomní vozidla, závisí na jasném vidění vstupních videí, aby fungovaly dobře. Například autonomní vozidla nemohou fungovat robustně v silném dešti a systémy automatického dohledu často selhávají v noci, zejména pokud jsou scény tmavé nebo je zde významné oslnění nebo záplavy,” řekl asociální profesor Tan.

Tým se spoléhal na dvě samostatné studie, které zavedly algoritmy hlubokého učení pro zlepšení kvality nočních videí a videí deště.

První studie se zaměřila na zvýšení jasu a současně potlačení šumu a světelných efektů, jako je oslnění, svítání a záplavy, aby vytvořila jasnější noční obrázky. Nová technika je zaměřena na zlepšení jasnosti nočních obrázků a videí, kdy je nevyhnutelné oslnění, což stávající metody dosud nedokázaly.

V zemích, kde je častý silný déšť, akumulace deště negativně ovlivňuje viditelnost ve videích. Druhá studie se pokusila řešit tento problém zavedením metody, která využívá zarovnání snímků, což umožňuje lepší vizuální informace bez ovlivnění déšťovými pruhy, které často náhodně objevují v různých snímcích. Tým použil pohyblivou kameru pro odhad hloubky, což pomohlo odstranit efekt déšťového závoje. Zatímco stávající metody se zaměřují na odstranění déšťových pruhů, nově vyvinuté metody mohou odstranit jak déšťové pruhy, tak i efekt déšťového závoje současně.

Obrázek: Yale-NUS College

3D odhad lidské pozice

Spolu s novými technikami tým také prezentoval svůj výzkum 3D odhadu lidské pozice, který lze použít ve video dohledu, video hrách a sportovním vysílání.

3D odhad více lidských pozic z monokulárního videa, nebo videa pořízeného z jedné kamery, byl v posledních letech stále více zkoumán. Na rozdíl od videí z více kamer jsou monokulární videa flexibilnější a lze je pořídit s jednou kamerou, jako je mobilní telefon.

S tím said, vysoké aktivity, jako je více jedinců ve stejné scéně, ovlivňují přesnost lidského rozpoznání. To je zejména pravda, když jedinci interagují úzce nebo se překrývají ve stejném monokulárním videu.

Týmova třetí studie odhadovala 3D lidskou pozici z videa kombinací dvou stávajících metod, které byly top-down a bottom-up přístupy. Nová metoda produkuje spolehlivější odhad pozice v multi-pozicích ve srovnání s ostatními dvěma, a je lépe vybavena pro zpracování vzdálenosti mezi jedinci.

“Jako další krok v našem výzkumu 3D odhadu lidské pozice, který je podporován Národní výzkumnou nadací, budeme se zabývat tím, jak chránit soukromí informací ve videích. Pro metody zlepšení viditelnosti se snažíme přispět k pokroku v oblasti počítačového vidění, protože jsou kritické pro mnoho aplikací, které mohou ovlivnit náš denní život, jako je umožnění autonomním vozidlům fungovat lépe v nepříznivých povětrnostních podmínkách,” řekl asociální profesor Tan.