Les chercheurs utilisent l’apprentissage profond pour transformer les photos de monuments en 4D

Les chercheurs de l’Université Cornell ont développé une nouvelle méthode qui utilise l’apprentissage profond pour transformer les photos de monuments du monde en 4D. L’équipe s’est appuyée sur des photos de touristes publiques de points importants comme la fontaine de Trevi à Rome, et les résultats finaux sont des images 3D qui peuvent être manipulées et montrer des changements d’apparence dans le temps. 

La nouvelle méthode développée prend en compte et synthétise des dizaines de milliers de photos non étiquetées et non datées, et c’est un grand pas en avant pour la vision par ordinateur.

Le travail est intitulé « Crowdsampling the Plenoptic Function », et il a été présenté à la conférence virtuelle européenne sur la vision par ordinateur, qui a eu lieu entre le 23 et le 28 août.

Noah Snavely est professeur associé de sciences informatiques à Cornell Tech et auteur principal de l’article. Les autres contributeurs incluent l’étudiant doctoral de Cornell Zhengqi Li, auteur principal de l’article, ainsi que Abe Davis, professeur adjoint de sciences informatiques à la Faculté de calcul et de sciences de l’information, et l’étudiant doctoral de Cornell Tech Wenqi Xian. 

« C’est une nouvelle façon de modéliser une scène qui ne permet pas seulement de bouger la tête et de voir, disons, la fontaine de Trevi sous différents angles, mais qui donne également des contrôles pour changer le temps », a déclaré Snavely. 

« Si vous étiez vraiment à la fontaine de Trevi pendant vos vacances, son apparence dépendrait de l’heure à laquelle vous y étiez — la nuit, elle serait éclairée par des projecteurs du bas. L’après-midi, elle serait ensoleillée, à moins que vous n’y alliez un jour nuageux », a-t-il continué. « Nous avons appris toute la gamme d’apparences, en fonction de l’heure du jour et de la météo, à partir de ces collections de photos non organisées, de telle sorte que vous puissiez explorer toute la gamme et vous déplacer simultanément dans la scène. » 

Limitations de la vision par ordinateur traditionnelle

Puisqu’il peut y avoir de nombreuses textures différentes à reproduire, il est difficile pour la vision par ordinateur traditionnelle de représenter les lieux avec précision à partir de photos. 

« Le monde réel est si diversifié dans son apparence et comporte différents types de matériaux — objets brillants, eau, structures minces », a déclaré Snavely. 

En plus de ces obstacles, la vision par ordinateur traditionnelle a également du mal avec les données incohérentes. La fonction plénoptique est la façon dont quelque chose apparaît de tous les points de vue possibles dans l’espace et le temps, mais pour reproduire cela, des centaines de webcam sont nécessaires sur le site. Non seulement cela, mais elles devraient également enregistrer tout au long de la journée et de la nuit. Cela pourrait être fait, mais c’est une tâche extrêmement lourde en termes de ressources lorsque l’on regarde le nombre de scènes où cette méthode serait requise. 

Apprendre d’autres photos

Pour contourner cela, l’équipe de chercheurs a développé la nouvelle méthode. 

« Il n’y a peut-être pas de photo prise à 16 heures de ce point de vue exact dans l’ensemble de données. Nous devons donc apprendre à partir d’une photo prise à 21 heures à un endroit et d’une photo prise à 16h03 à un autre endroit », a déclaré Snavely. « Et nous ne connaissons pas la granularité de la prise de ces photos. Mais en utilisant l’apprentissage profond, nous pouvons déduire à quoi la scène aurait ressemblé à un moment et un endroit donnés. » 

Une nouvelle représentation de scène appelée Deep Multiplane Images a été introduite par les chercheurs pour interpoler l’apparence en quatre dimensions, qui sont 3D et les changements dans le temps. 

Selon Snavely, « Nous utilisons la même idée inventée pour créer des effets 3D dans l’animation 2D pour créer des effets 3D dans des scènes du monde réel, pour créer cette image multilayer profonde en l’ajustant à toutes ces mesures disparates provenant des photos de touristes. C’est intéressant que cela provienne de cette très ancienne technique classique utilisée dans l’animation. » 

L’étude a démontré que le modèle formé pouvait créer une scène avec 50 000 images publiques provenant de divers sites. L’équipe pense qu’il pourrait avoir des implications dans de nombreux domaines, notamment la recherche en vision par ordinateur et le tourisme virtuel.

« Vous pouvez avoir le sentiment d’être vraiment là », a déclaré Snavely. « Cela fonctionne de manière surprenante pour une gamme de scènes. »

Le projet a reçu le soutien de l’ancien PDG de Google (GOOGL ) et philanthrope Eric Schmidt, ainsi que de Wendt Schmidt. 

https://www.youtube.com/watch?v=MAVFKWX8LYo&feature=emb_title