Forskare använder djupinlärning för att omvandla landmärkesfoton till 4D

Forskare vid Cornell University har utvecklat en ny metod som använder djupinlärning för att omvandla världsberömda landmärkesfoton till 4D. Teamet använde offentligt tillgängliga turistfoton av stora sevärdheter som Fontana di Trevi i Rom, och slutresultatet är 3D-bilder som kan manövreras och visa förändringar i utseende över tid.

Den nyligen utvecklade metoden tar in och syntetiserar tiotusentals otaggade och odaterade foton, och det är ett stort steg framåt för datorseende.

Arbetet har titeln “Crowdsampling the Plenoptic Function” och presenterades på den virtuella europeiska konferensen om datorseende, som ägde rum mellan 23-28 augusti.

Noah Snavely är associate professor i datavetenskap vid Cornell Tech och senior författare till artikeln. Andra bidragsgivare inkluderar Cornell-doktoranden Zhengqi Li, som är första författare till artikeln, samt Abe Davis, biträdande professor i datavetenskap vid Faculty of Computing and Information Science, och Cornell Tech-doktoranden Wenqi Xian.

“Det är ett nytt sätt att modellera scener som inte bara tillåter dig att flytta på huvudet och se, säg, fontänen från olika vinklar, utan också ger dig kontroller för att ändra tiden”, sa Snavely.

“Om du verkligen gick till Fontana di Trevi på din semester, skulle utseendet bero på vilken tid du gick – på natten skulle det vara upplyst av strålkastare från botten. På eftermiddagen skulle det vara solbelyst, såvida du inte gick på en molnig dag”, fortsatte han. “Vi lärde oss hela utseendets omfång, baserat på tid på dagen och väder, från dessa oorganiserade fotosamlingar, så att du kan utforska hela omfånget och samtidigt flytta runt i scenen.”

Traditionella datorseendelimitationer

Eftersom det kan finnas så många olika texturer som måste återges, är det svårt för traditionellt datorseende att återge platser exakt genom foton.

“Den riktiga världen är så mångfaldig till sitt utseende och har olika typer av material – blanka saker, vatten, tunna strukturer”, sa Snavely.

Förutom dessa hinder kämpar traditionellt datorseende också med inkonsekvent data. Plenoptisk funktion är hur något ser ut från varje möjlig vinkel i rum och tid, men för att återge detta krävs hundratals webbkameror på platsen. Inte nog med det, utan de skulle också behöva spela in hela dagen och natten. Detta kan göras, men det är en extremt resurskrävande uppgift när man tittar på antalet scener där denna metod skulle krävas.

Lärande från andra foton

För att komma runt detta utvecklade forskarteamet den nya metoden.

“Det kan finnas en foto tagen klockan 16.00 från denna exakta vinkel i datamängden. Så vi måste lära av en foto tagen klockan 21.00 på en plats, och en foto tagen klockan 16.03 från en annan plats”, sa Snavely. “Och vi vet inte granulariteten för när dessa foton togs. Men med hjälp av djupinlärning kan vi sluta oss till hur scenen skulle ha sett ut vid en given tid och plats.”

En ny scenrepresentation som kallas Deep Multiplane Images introducerades av forskarna för att interpolera utseende i fyra dimensioner, som är 3D och förändringar över tid.

Enligt Snavely, “Vi använder samma idé som uppfanns för att skapa 3D-effekter i 2D-animering för att skapa 3D-effekter i verkliga scener, för att skapa denna djupa multilayerbild genom att anpassa den till alla dessa disparata mätningar från turistfotona. Det är intressant att det nästan härrör från denna mycket gamla, klassiska teknik som används i animering.”

Studien visade att den tränade modellen kunde skapa en scen med 50 000 offentligt tillgängliga bilder från olika webbplatser. Teamet tror att det kan ha implikationer inom många områden, inklusive datorseende och virtuell turism.

“Du kan få känslan av att verkligen vara där”, sa Snavely. “Det fungerar förvånansvärt bra för en mängd scener.”

Projektet fick stöd från före detta Google-VD och filantropen Eric Schmidt, samt Wendt Schmidt.

https://www.youtube.com/watch?v=MAVFKWX8LYo&feature=emb_title