Tutkijat kehittivät uusia menetelmiä heikentyneiden kuvien parantamiseksi

Yalen-NUS-korkeakoulun tutkijaryhmä on kehittänyt uusia tietokoneen näkemisen ja syvän oppimisen lähestymistapoja, joiden avulla voidaan saada tarkempaa dataa matalan tason visuaalisesta aistimuksesta videoissa, jotka ovat heikentyneet ympäristötekijöiden vuoksi, kuten sateen ja yöaikaisen valaistuksen vuoksi. He myös paransivat 3D-ihmisen asennon arvioinnin tarkkuutta videoissa.

Tietokoneen näkemisen teknologia, jota käytetään sovelluksissa kuten automaattisissa valvontajärjestelmissä, itseohjautuvissa ajoneuvoissa ja terveydenhuolto- ja sosiaalietäisyyden työkaluissa, vaikuttaa usein ympäristötekijöihin, jotka voivat aiheuttaa ongelmia poistetusta datasta.

Uusi tutkimus esiteltiin 2021 Conference on Computer Vision and Pattern Recognition (CVPR):ssa.

Ympäristön vaikutus kuviin

Olosuhteet, kuten heikko valaistus ja ihmisten tekemät valoefektit, kuten heijastus, loiste ja valonheittimet, vaikuttavat yöaikaisiin kuviin. Sateen kuviin vaikuttavat myös sateen juovat tai sateen kertyminen.

Yalen-NUS-korkeakoulun tieteen apulaisprofessori Robby Tan johti tutkijaryhmää.

“Monet tietokoneen näkemisen järjestelmät, kuten automaattinen valvonta ja itseohjautuvat ajoneuvot, riippuvat selkeästä näkyvyydestä syötteenä olevista videoista, jotta ne toimisivat hyvin. Esimerkiksi itseohjautuvat ajoneuvot eivät toimi luotettavasti voimakkaassa sateessa, ja CCTV-automatiikan valvontajärjestelmät usein epäonnistuvat yöllä, erityisesti, jos kohteet ovat pimeitä tai siinä on merkittävästi heijastusta tai valonheittimiä”, sanoi apulaisprofessori Tan.

Tutkijaryhmä nojautui kahteen erilliseen tutkimukseen, jotka esittelivät syvän oppimisen algoritmeja parantamaan yöaikaisten ja sateen videojen laatua.

Ensimmäinen tutkimus keskittyi kirkkauden lisäämiseen samalla, kun se tukahdutti melua ja valoefektejä, kuten heijastusta, loistetta ja valonheittimiä, jotta saataisiin selkeät yöaikaiset kuvat. Uusi tekniikka on tarkoitettu parantamaan selkeyttä yöaikaisissa kuvissa ja videoissa, kun on väistämätön heijastus, jota olemassa olevat menetelmät eivät ole vielä onnistuneet tekemään.

Maissa, joissa runsas sade on yleistä, sateen kertyminen vaikuttaa negatiivisesti videojen näkyvyyteen. Toisessa tutkimuksessa esiteltiin menetelmä, joka käyttää kehyskohtaamista, joka mahdollistaa paremman visuaalisen tiedon ilman, että siihen vaikuttaa sateen juovat, jotka usein ilmestyvät satunnaisesti eri kehyksissä. Tutkijaryhmä käytti liikkuvaa kameraa syvyysarvioinnin toteuttamiseen, mikä auttoi poistamaan sateen verhoiluvaikutuksen. Kun olemassa olevat menetelmät pyrkivät poistamaan sateen juovat, uusissa menetelmissä voidaan poistaa sekä sateen juovat että sateen verhoiluvaikutus samanaikaisesti.

Kuva: Yalen-NUS-korkeakoulu

3D-ihmisen asennon arviointi

Uusien menetelmien ohella tutkijaryhmä esitteli myös tutkimuksensa 3D-ihmisen asennon arvioinnista, jota voidaan käyttää videovalvonnassa, videopelien kehittämisessä ja urheilulähetyksissä.

3D-monikäyttäjän asennon arviointi yksittäisestä kamerasta otetusta videosta on ollut kasvavaa kiinnostusta viime vuosina. Toisin kuin useiden kameroiden video, yksittäisen kameran video on joustavampi ja voidaan ottaa yhdellä kameralla, kuten matkapuhelimella.

Sanottuna, korkea aktiivisuus, kuten useat yksilöt samassa kohteessa, vaikuttaa tarkkuuteen ihmisen havaitsemisessa. Tämä on erityisen totta, kun yksilöt ovat vuorovaikutuksessa toistensa kanssa tai päällekkäin monokulaarisen videon kanssa.

Tutkijaryhmän kolmas tutkimus arvioi 3D-ihmisen asentoa videosta yhdistämällä kaksi olemassa olevaa menetelmää, jotka olivat ylhäältä-alas- ja alhaalta-ylos-lähestymistapoja. Uusi menetelmä tuottaa luotettavampaa asennon arviointia moniyksilökohtaisissa asetelmissa verrattuna muihin kahteen, ja se on paremmin varustettu käsittelemään etäisyyttä yksilöiden välillä.

“Seuraavana askelena 3D-ihmisen asennon arviointitutkimuksessamme, jota tukee Kansallinen tutkimussäätiö, tarkastelemme, miten voimme suojella videoiden yksityisyyttietoja. Näkyvyyden parantamismenetelmillämme pyrimme edistämään tietokoneen näkemisen alaa, joka on kriittinen monille sovelluksille, jotka voivat vaikuttaa arkeemme, kuten mahdollistamalla itseohjautuvien ajoneuvojen toimimisen paremmin epäsuotuisissa sääolosuhteissa”, sanoi apulaisprofessori Tan.