Ερευνητές Χρησιμοποιούν Βαθιά Μάθηση για να Μετατρέψουν Φωτογραφίες Ορόσημων σε 4Δ

Ερευνητές στο Πανεπιστήμιο Κορνέλ έχουν αναπτύξει μια νέα μέθοδο που χρησιμοποιεί βαθιά μάθηση για να μετατρέψει φωτογραφίες ορόσημων του κόσμου σε 4Δ. Η ομάδα βασίστηκε σε δημόσιες φωτογραφίες τουριστών από σημαντικά σημεία όπως η Κρήνη Τρέβι στη Ρώμη, και τα τελικά αποτελέσματα είναι εικόνες 3Δ που μπορούν να χειριστούν και να δείξουν αλλαγές στην εμφάνιση με την πάροδο του χρόνου.

Η νέα μέθοδος λαμβάνει και συνθέτει δεκάδες χιλιάδες φωτογραφίες χωρίς ετικέτες και ημερομηνίες, και είναι ένα μεγάλο βήμα για την υπολογιστική όραση.

Το έργο έχει τον τίτλο “Crowdsampling the Plenoptic Function” και παρουσιάστηκε στη διαδικτυακή Ευρωπαϊκή Διάσκεψη για την Υπολογιστική Όραση, η οποία πραγματοποιήθηκε μεταξύ 23-28 Αυγούστου.

Ο Noah Snavely είναι αναπληρωτής καθηγητής επιστήμης υπολογιστών στο Cornell Tech και senior συγγραφέας της εργασίας. Άλλοι συντελεστές περιλαμβάνουν τον διδάκτορα του Κορνέλ Zhengqi Li, τον πρώτο συγγραφέα της εργασίας, καθώς και τον Abe Davis, βοηθό καθηγητή επιστήμης υπολογιστών στη Σχολή Υπολογιστικών και Πληροφοριακών Επιστημών, και τον διδάκτορα του Cornell Tech Wenqi Xian.

«Είναι ένας νέος τρόπος για να μοντελοποιήσουμε την σκηνή που δεν σας επιτρέπει μόνο να μετακινήσετε το κεφάλι σας και να δείτε, π.χ. την κρήνη από διαφορετικές οπτικές γωνίες, αλλά σας δίνει επίσης ελέγχους για αλλαγή του χρόνου», είπε ο Snavely.

«Εάν πήγατε πραγματικά στη Κρήνη Τρέβι στις διακοπές σας, το πώς θα φαινόταν θα εξαρτώταν από το πότε πήγατε — τη νύχτα, θα ήταν φωτισμένη από φωτιστικά από το κάτω μέρος. Το απόγευμα, θα ήταν φωτισμένη από τον ήλιο, εκτός αν πήγατε σε μια συννεφιασμένη μέρα», συνέχισε. «Μαθαίνουμε ολόκληρη την ποικιλία εμφανίσεων, με βάση την ώρα της ημέρας και το καιρό, από αυτές τις ανεπίσημες συλλογές φωτογραφιών, ώστε να μπορείτε να εξερευνήσετε ολόκληρη την ποικιλία και ταυτόχρονα να μετακινείστε γύρω από τη σκηνή».

Παραδοσιακές Περιορισμοί της Υπολογιστικής Όρασης

Καθώς υπάρχουν τόσο πολλές διαφορετικές υφές που πρέπει να αναπαραχθούν, είναι δύσκολο για την παραδοσιακή υπολογιστική όραση να αναπαραστήσει τα μέρη ακριβώς μέσω φωτογραφιών.

«Ο πραγματικός κόσμος είναι τόσο διαφορετικός στην εμφάνισή του και έχει διαφορετικά είδη υλικών — λεία αντικείμενα, νερό, λεπτές δομές», είπε ο Snavely.

Εκτός από αυτά τα εμπόδια, η παραδοσιακή υπολογιστική όραση επίσης δυσκολεύεται με ασυνεπή δεδομένα. Η πλενοπτική συνάρτηση είναι το πώς κάτι φαίνεται από κάθε δυνατή οπτική γωνία στο χώρο και τον χρόνο, αλλά για να αναπαραχθεί αυτό, απαιτούνται εκατοντάδες webcams στη σκηνή. Όχι μόνο αυτό, αλλά θα πρέπει επίσης να καταγράφονται καθ’ όλη τη διάρκεια της ημέρας και της νύχτας. Αυτό θα μπορούσε να γίνει, αλλά είναι một εξαιρετικά απαιτητική εργασία όταν εξετάζουμε τον αριθμό των σκηνών όπου αυτή η μέθοδος θα ήταν απαραίτητη.

Μάθηση από Άλλες Φωτογραφίες

Για να ξεπεραστούν αυτά τα προβλήματα, η ομάδα ερευνητών ανέπτυξε τη νέα μέθοδο.

«Μожет να μην υπάρχει φωτογραφία που τραβήχτηκε στις 4 μ.μ. από αυτήν την ακριβή οπτική γωνία στη βάση δεδομένων. Έτσι, πρέπει να μάθουμε από μια φωτογραφία που τραβήχτηκε στις 9 μ.μ. σε μια τοποθεσία και μια φωτογραφία που τραβήχτηκε στις 4:03 από μια άλλη τοποθεσία», είπε ο Snavely. «Και δεν γνωρίζουμε τη λεπτομέρεια του πότε τραβήχτηκαν αυτές οι φωτογραφίες. Αλλά με τη χρήση βαθιάς μάθησης, μπορούμε να συναγάγουμε τι θα φαινόταν η σκηνή σε οποιαδήποτε δεδομένη στιγμή και τοποθεσία».

Μια νέα αναπαράσταση σκηνής που ονομάζεται Deep Multiplane Images εισήχθη από τους ερευνητές για να.interpolate την εμφάνιση σε τέσσερις διαστάσεις, που είναι 3Δ και αλλαγές με την πάροδο του χρόνου.

Σύμφωνα με τον Snavely, «Χρησιμοποιούμε την ίδια ιδέα που εφευρέθηκε για τη δημιουργία 3Δ εφέ σε 2Δ animation για να δημιουργήσουμε 3Δ εφέ σε πραγματικές σκηνές, για να δημιουργήσουμε αυτή τη βαθιά πολυεπίπεδη εικόνα με την προσαρμογή της σε όλα αυτά τα διαφορετικά μέτρα από τις φωτογραφίες των τουριστών. Είναι ενδιαφέρον ότι αυτό προέρχεται από αυτήν την παλιά, κλασική τεχνική που χρησιμοποιείται στην animation».

Η μελέτη απέδειξε ότι το εκπαιδευμένο μοντέλο θα μπορούσε να δημιουργήσει μια σκηνή με 50.000 δημόσιες φωτογραφίες από διάφορους ιστότοπους. Η ομάδα πιστεύει ότι θα μπορούσε να έχει επιπτώσεις σε πολλές περιοχές, συμπεριλαμβανομένης της έρευνας υπολογιστικής όρασης και της εικονικής τουρισμού.

«Μπορείτε να πάρει την αίσθηση του να είστε πραγματικά εκεί», είπε ο Snavely. «Λειτουργεί εξαιρετικά καλά για eine σειρά από σκηνές».

Το έργο έλαβε υποστήριξη από τον πρώην CEO της Google (GOOGL ) και φιλάνθρωπο Eric Schmidt, καθώς και από τον Wendt Schmidt.

https://www.youtube.com/watch?v=MAVFKWX8LYo&feature=emb_title