Onderzoekers gebruiken diepe leeromgeving om landmarkfoto’s 4D te maken

Onderzoekers aan de Cornell University hebben een nieuwe methode ontwikkeld die diepe leeromgeving gebruikt om wereldberoemde landmarkfoto’s 4D te maken. Het team vertrouwde op openbaar beschikbare toeristenfoto’s van grote bezienswaardigheden zoals de Trevifontein in Rome, en de eindresultaten zijn 3D-afbeeldingen die manoeuvreerbaar zijn en veranderingen in uiterlijk over tijd kunnen laten zien.

De nieuw ontwikkelde methode neemt tienduizenden ongemarkeerde en ongedateerde foto’s en synthetiseert deze, en het is een grote stap vooruit voor computerzicht.

Het werk is getiteld “Crowdsampling the Plenoptic Function“, en het werd gepresenteerd op de virtuele Europese Conferentie over Computerzicht, die plaatsvond tussen 23 en 28 augustus.

Noah Snavely is een associate professor in de computerwetenschap aan Cornell Tech en senior auteur van het artikel. Andere bijdragers zijn Cornell-doctoraalstudent Zhengqi Li, eerste auteur van het artikel, evenals Abe Davis, assistent-professor in de computerwetenschap in de Faculteit voor Informatica en Informatiewetenschap, en Cornell Tech-doctoraalstudent Wenqi Xian.

“Het is een nieuwe manier van scènemodellering die niet alleen toelaat om je hoofd te bewegen en de fontein vanuit verschillende gezichtspunten te zien, maar ook controleert voor veranderingen in de tijd”, zei Snavely.

“Als je echt naar de Trevifontein op je vakantie ging, zou de manier waarop het eruitzag afhankelijk zijn van het tijdstip waarop je ging – ‘s nachts zou het verlicht zijn door floodlights van onderen. In de middag zou het zonlicht zijn, tenzij je op een bewolkte dag ging. We leerden het hele bereik van uiterlijken, op basis van het tijdstip van de dag en het weer, uit deze ongeorganiseerde fotocollecties, zodat je het hele bereik kunt verkennen en tegelijkertijd rond het scène kunt bewegen”.

Traditionele beperkingen van computerzicht

Aangezien er zo veel verschillende texturen aanwezig kunnen zijn die gereproduceerd moeten worden, is het moeilijk voor traditioneel computerzicht om plaatsen nauwkeurig weer te geven via foto’s.

“De echte wereld is zo divers in zijn uiterlijk en heeft verschillende soorten materialen – glanzende dingen, water, dunne structuren”, zei Snavely.

Naast deze barrières heeft traditioneel computerzicht ook moeite met inconsistentie in de gegevens. De plenoptische functie is hoe iets eruitziet vanuit elk mogelijk gezichtspunt in de ruimte en tijd, maar om dit te reproduceren, zijn honderden webcams nodig op de scène. Niet alleen dat, maar ze zouden de hele dag en nacht moeten opnemen. Dit kan gedaan worden, maar het is een extreem resource-intensieve taak wanneer je kijkt naar het aantal scènes waarbij deze methode nodig is.

Leren van andere foto’s

Om hieromheen te komen, ontwikkelde het team van onderzoekers de nieuwe methode.

“Er kan geen foto genomen zijn om 16.00 uur vanuit dit exacte gezichtspunt in de dataset. Dus we moeten leren van een foto genomen om 21.00 uur op een locatie, en een foto genomen om 16.03 uur op een andere locatie”, zei Snavely. “En we weten niet de granulariteit van wanneer deze foto’s genomen zijn. Maar met diepe leeromgeving kunnen we afleiden hoe het scène eruit zou hebben gezien op elk gegeven tijdstip en plaats”.

Een nieuwe scènemodellering genaamd Deep Multiplane Images werd geïntroduceerd door de onderzoekers om het uiterlijk in vier dimensies te interpoleren, die 3D en veranderingen over tijd zijn.

Volgens Snavely, “We gebruiken hetzelfde idee dat is uitgevonden voor het creëren van 3D-effecten in 2D-animatie om 3D-effecten in echte scènes te creëren, om deze diepe multilaagse afbeelding te maken door het aan te passen aan al deze afwijkende metingen van de toeristenfoto’s. Het is interessant dat het een beetje voortkomt uit deze oude, klassieke techniek die wordt gebruikt in animatie”.

De studie toonde aan dat het getrainde model een scène kon creëren met 50.000 openbaar beschikbare afbeeldingen van verschillende sites. Het team gelooft dat het implicaties kan hebben in veel gebieden, waaronder computerzichtonderzoek en virtuele toerisme.

“Je kunt het gevoel krijgen dat je er echt bent”, zei Snavely. “Het werkt verrassend goed voor een reeks scènes”.

Het project kreeg steun van de voormalige CEO van Google (GOOGL ) en filantroop Eric Schmidt, evenals Wendt Schmidt.

https://www.youtube.com/watch?v=MAVFKWX8LYo&feature=emb_title