Forskere bruker dyp læring for å gjøre landemerkefotografier 4D

Forskere ved Cornell University har utviklet en ny metode som bruker dyp læring for å gjøre verdens landemerkefotografier 4D. Teamet baserte seg på offentlig tilgjengelige turistfotografier av store punkter som Trevi-fontenen i Roma, og resultatene er 3D-bilder som kan manøvreres og vise endringer i utseende over tid.

Den nylig utviklede metoden tar inn og syntetiserer titusener av ubrukte og udattede fotografier, og det er et stort skritt fremover for datamaskinsyn.

Arbeidet har tittelen «Crowdsampling the Plenoptic Function», og det ble presentert på den virtuelle europeiske konferansen om datamaskinsyn, som fant sted mellom 23. og 28. august.

Noah Snavely er en assosiert professor i datavitenskap ved Cornell Tech og seniorforfatter av artikkelen. Andre bidragsytere inkluderer Cornell-doktoranden Zhengqi Li, som er første forfatter av artikkelen, samt Abe Davis, assisterende professor i datavitenskap i Fakultetet for datavitenskap og informasjonsvitenskap, og Cornell Tech-doktoranden Wenqi Xian.

«Det er en ny måte å modellere scener som ikke bare lar deg flytte hodet og se, for eksempel, fontenen fra forskjellige vinkler, men også gir deg kontroller for å endre tiden», sa Snavely.

«Hvis du virkelig gikk til Trevi-fontenen på ferie, ville utseendet avhenge av hva slags tid du gikk — om natten ville det være belyst av flomlys fra bunnen. Om ettermiddagen ville det være sollys, med mindre du gikk på en skygge dag», fortsatte han. «Vi lærte hele rekken av utseender, basert på tid på dagen og vær, fra disse uorganiserte fotosamlinger, så du kan utforske hele rekken og samtidig flytte deg rundt i scenen».

Tradisjonelle datamaskinsynsbegrensninger

Siden det kan være så mange forskjellige teksturer som må replikeres, er det vanskelig for tradisjonell datamaskinsyn å representere steder nøyaktig gjennom fotografier.

«Den virkelige verden er så mangfoldig i utseende og har forskjellige typer materialer — blanke ting, vann, tynne strukturer», sa Snavely.

Foruten disse barrierene, sliter tradisjonell datamaskinsyn også med inkonsistent data. Plenoptisk funksjon er hvordan noe ser ut fra hver mulig vinkel i rom og tid, men for å replikere dette, er hundredvis av webkameraer nødvendige på stedet. Ikke bare det, men de må også være i gang hele dagen og natten. Dette kan gjøres, men det er en ekstremt ressurskrevende oppgave når man ser på antall scener hvor denne metoden ville være nødvendig.

Å lære fra andre fotografier

For å komme rundt dette, utviklet forskerlaget den nye metoden.

«Det kan hende ikke finnes et fotografi tatt klokken 16.00 fra denne eksakte vinkelen i datasaet. Så vi må lære fra et fotografi tatt klokken 21.00 på ett sted, og et fotografi tatt klokken 16.03 fra et annet sted», sa Snavely. «Og vi vet ikke granulariteten av når disse fotografiene ble tatt. Men ved å bruke dyp læring kan vi slutte hva scenen ville ha sett ut som på et gitt tidspunkt og sted».

En ny scenerepresentasjon kalt Deep Multiplane Images ble introdusert av forskerne for å interpolere utseende i fire dimensjoner, som er 3D og endringer over tid.

Ifølge Snavely, «Vi bruker samme ide som ble funnet opp for å lage 3D-effekter i 2D-animasjon for å lage 3D-effekter i virkelige scener, for å lage denne dype multilag-bilden ved å tilpasse den til alle disse forskjellige målingene fra turistfotografiene. Det er interessant at det noenlunde stammer fra denne svært gamle, klassiske teknikken som ble brukt i animasjon».

Studien viste at den trenede modellen kunne lage en scene med 50 000 offentlig tilgjengelige bilder fra forskjellige steder. Laget tror at det kan ha implikasjoner i mange områder, inkludert datamaskinsynsforskning og virtuell turisme.

«Du kan få følelsen av å være der virkelig», sa Snavely. «Det fungerer overraskende godt for en rekke scener».

Prosjektet fikk støtte fra tidligere Google-sjef og filantrop Eric Schmidt, samt Wendt Schmidt.

https://www.youtube.com/watch?v=MAVFKWX8LYo&feature=emb_title