I ricercatori utilizzano l’apprendimento profondo per trasformare le foto dei luoghi di interesse in 4D

I ricercatori dell’Università di Cornell hanno sviluppato un nuovo metodo che utilizza l’apprendimento profondo per trasformare le foto dei luoghi di interesse del mondo in 4D. Il team si è basato su foto di turisti pubblicamente disponibili di punti di riferimento importanti come la Fontana di Trevi a Roma, e i risultati finali sono immagini 3D che possono essere manovrate e mostrare cambiamenti nell’aspetto nel tempo.

Il nuovo metodo sviluppato elabora e sintetizza decine di migliaia di foto non etichettate e non datate, e rappresenta un grande passo avanti per la visione artificiale.

Il lavoro è intitolato “Crowdsampling the Plenoptic Function” e è stato presentato alla Conferenza virtuale europea sulla visione artificiale, che si è svolta tra il 23 e il 28 agosto.

Noah Snavely è un professore associato di scienze informatiche alla Cornell Tech e autore senior del paper. Altri contributori includono lo studente di dottorato di Cornell Zhengqi Li, autore principale del paper, nonché Abe Davis, professore assistente di scienze informatiche nella Facoltà di informatica e scienze dell’informazione, e lo studente di dottorato di Cornell Tech Wenqi Xian.

“È un nuovo modo di modellare una scena che non solo ti consente di muovere la testa e vedere, ad esempio, la fontana da diversi punti di vista, ma ti dà anche controlli per cambiare il tempo”, ha detto Snavely.

“Se sei realmente andato alla Fontana di Trevi durante la tua vacanza, l’aspetto sarebbe diverso a seconda dell’ora in cui sei andato – di notte, sarebbe illuminata da riflettori dal basso. Nel pomeriggio, sarebbe illuminata dal sole, a meno che non sia andato in una giornata nuvolosa”, ha continuato. “Abbiamo imparato l’intera gamma di aspetti, in base all’ora del giorno e alle condizioni meteorologiche, da queste raccolte di foto non organizzate, in modo da poter esplorare l’intera gamma e muoverti contemporaneamente nella scena.”

Limitazioni della visione artificiale tradizionale

Poiché possono esserci così tanti diversi tipi di texture presenti che devono essere riprodotti, è difficile per la visione artificiale tradizionale rappresentare i luoghi in modo accurato attraverso le foto.

“Il mondo reale è così diverso nel suo aspetto e ha diversi tipi di materiali – cose lucenti, acqua, strutture sottili”, ha detto Snavely.

Oltre a queste barriere, la visione artificiale tradizionale lotta anche con dati inconsistenti. La funzione plenotica è come qualcosa appaia da ogni possibile punto di vista nello spazio e nel tempo, ma per riprodurla, sono necessari centinaia di webcam sulla scena. Non solo, ma dovrebbero anche registrare tutto il giorno e la notte. Ciò potrebbe essere fatto, ma è un compito estremamente pesante in termini di risorse quando si considera il numero di scene in cui questo metodo sarebbe necessario.

Apprendere da altre foto

Per superare questo limite, il team di ricercatori ha sviluppato il nuovo metodo.

“Potrebbe non esserci una foto scattata alle 16:00 da questo esatto punto di vista nel set di dati. Quindi dobbiamo imparare da una foto scattata alle 21:00 in un luogo e da una foto scattata alle 16:03 in un altro luogo”, ha detto Snavely. “E non sappiamo la granularità di quando queste foto sono state scattate. Ma utilizzando l’apprendimento profondo, possiamo dedurre come la scena sarebbe apparsa in qualsiasi momento e luogo dato.”

I ricercatori hanno introdotto una nuova rappresentazione della scena chiamata Deep Multiplane Images per interpolare l’aspetto in quattro dimensioni, che sono 3D e cambiamenti nel tempo.

Secondo Snavely, “Utilizziamo la stessa idea inventata per creare effetti 3D nell’animazione 2D per creare effetti 3D in scene del mondo reale, per creare questa immagine multistrato profonda adattandola a tutte queste misurazioni disparate dalle foto dei turisti. È interessante che derivi da questa vecchia tecnica classica utilizzata nell’animazione.”

Lo studio ha dimostrato che il modello addestrato poteva creare una scena con 50.000 immagini pubblicamente disponibili da vari siti. Il team ritiene che potrebbe avere implicazioni in molte aree, tra cui la ricerca sulla visione artificiale e il turismo virtuale.

“Puoi avere la sensazione di essere realmente lì”, ha detto Snavely. “Funziona in modo sorprendentemente efficace per una gamma di scene.”

Il progetto ha ricevuto il sostegno dell’ex CEO di Google (GOOGL ) e filantropo Eric Schmidt, nonché di Wendt Schmidt.

https://www.youtube.com/watch?v=MAVFKWX8LYo&feature=emb_title