Forscher verwenden Deep Learning, um Landmarken-Fotos in 4D umzuwandeln

Forscher an der Cornell University haben eine neue Methode entwickelt, die Deep Learning verwendet, um Fotos von Weltlandmarken in 4D umzuwandeln. Das Team stützte sich auf öffentlich zugängliche Touristenfotos von wichtigen Punkten wie dem Trevi-Brunnen in Rom, und die Ergebnisse sind 3D-Bilder, die manövrierbar sind und Veränderungen im Aussehen über die Zeit hinweg zeigen können.

Die neu entwickelte Methode nimmt und synthetisiert Zehntausende von unmarkierten und undatierten Fotos, und sie ist ein großer Schritt vorwärts für die Computer-Vision.

Die Arbeit ist betitelt „Crowdsampling the Plenoptic Function“ und wurde auf der virtuellen Europäischen Konferenz für Computer-Vision präsentiert, die zwischen dem 23. und 28. August stattfand.

Noah Snavely ist Associate Professor für Informatik an der Cornell Tech und Senior-Autor des Papiers. Andere Mitwirkende sind der Cornell-Doktorand Zhengqi Li, Erstautor des Papiers, sowie Abe Davis, Assistant Professor für Informatik in der Fakultät für Informatik und Informationssysteme, und der Cornell Tech-Doktorand Wenqi Xian.

„Es ist eine neue Art, eine Szene zu modellieren, die es nicht nur ermöglicht, den Kopf zu bewegen und den Brunnen aus verschiedenen Perspektiven zu sehen, sondern auch Kontrollen für die Änderung der Zeit bietet“, sagte Snavely.

„Wenn man wirklich zum Trevi-Brunnen auf Urlaub gegangen ist, würde das Aussehen davon abhängen, zu welcher Zeit man dort war – nachts würde es von Flutlichtern von unten beleuchtet werden. Am Nachmittag würde es von der Sonne beleuchtet werden, es sei denn, man ging an einem bewölkten Tag“, fuhr er fort. „Wir haben den gesamten Bereich von Erscheinungsbildern auf der Grundlage von Zeit und Wetter aus diesen unorganisierten Fotocollections gelernt, so dass man den gesamten Bereich erkunden und gleichzeitig durch die Szene navigieren kann.“

Traditionelle Grenzen der Computer-Vision

Da es so viele verschiedene Texturen gibt, die reproduziert werden müssen, ist es für die traditionelle Computer-Vision schwierig, Orte genau durch Fotos darzustellen.

„Die reale Welt ist so vielfältig in ihrem Aussehen und hat verschiedene Arten von Materialien – glänzende Dinge, Wasser, dünne Strukturen“, sagte Snavely.

Neben diesen Barrieren kämpft die traditionelle Computer-Vision auch mit inkonsistenten Daten. Die Plenoptische Funktion ist, wie etwas aus jeder möglichen Perspektive im Raum und in der Zeit aussieht, aber um dies zu reproduzieren, wären Hunderte von Webcams an der Szene erforderlich. Nicht nur das, sondern sie müssten auch den ganzen Tag und die ganze Nacht aufzeichnen. Dies könnte gemacht werden, aber es ist eine extrem ressourcenintensive Aufgabe, wenn man die Anzahl der Szenen betrachtet, in denen diese Methode erforderlich wäre.

Das Lernen aus anderen Fotos

Um dies zu umgehen, entwickelte das Team von Forschern die neue Methode.

„Es gibt vielleicht kein Foto, das um 16 Uhr von dieser exakten Perspektive in der Datenmenge aufgenommen wurde. Also müssen wir aus einem Foto lernen, das um 21 Uhr an einem Ort und ein Foto, das um 16:03 an einem anderen Ort aufgenommen wurde“, sagte Snavely. „Und wir wissen nicht, wie genau diese Fotos aufgenommen wurden. Aber mit Deep Learning können wir ableiten, wie die Szene zu einem bestimmten Zeitpunkt und an einem bestimmten Ort ausgesehen hätte.“

Eine neue Szenen-Darstellung namens Deep Multiplane Images wurde von den Forschern eingeführt, um das Aussehen in vier Dimensionen zu interpolieren, nämlich 3D und Veränderungen über die Zeit.

Laut Snavely „verwenden wir die gleiche Idee, die für die Erstellung von 3D-Effekten in 2D-Animationen erfunden wurde, um 3D-Effekte in realen Szenen zu erstellen, um dieses tiefere Multilayer-Bild durch Anpassen an all diese disparaten Messungen aus den Touristen-Fotos zu erstellen. Es ist interessant, dass es fast von dieser sehr alten, klassischen Technik aus der Animation stammt.“

Die Studie zeigte, dass das trainierte Modell eine Szene mit 50.000 öffentlich zugänglichen Bildern von verschiedenen Websites erstellen konnte. Das Team glaubt, dass es Auswirkungen in vielen Bereichen haben könnte, einschließlich Computer-Vision-Forschung und virtuellem Tourismus.

„Man kann das Gefühl haben, wirklich dort zu sein“, sagte Snavely. „Es funktioniert überraschend gut für eine Vielzahl von Szenen.“

Das Projekt erhielt Unterstützung von dem ehemaligen Google-CEO und Philanthropen Eric Schmidt sowie von Wendt Schmidt.

https://www.youtube.com/watch?v=MAVFKWX8LYo&feature=emb_title