Le NeRF fait un pas de plus vers le remplacement du CGI

Les chercheurs du MIT et de Google ont fait un grand pas dans la résolution de l’un des principaux obstacles pour une technologie émergente basée sur l’IA qui pourrait éventuellement remplacer le CGI – la séparation des images de champ de rayonnement neuronal (NeRF) en leurs composants visuels constitutifs, afin que les images puissent être retexturées et rééclairées.

L’approche nouvelle, appelée NeRFactor, divise efficacement les images capturées en normales par objet (sur lesquelles des textures peuvent être assignées), visibilité de la lumière, albedo (la proportion de lumière incidente qui est réfléchie loin d’une surface) et fonctions de réflexion bidirectionnelle (BRDF).

Avec ces facettes isolées, il est possible non seulement de substituer des textures pour des objets ou des groupes d’objets individuels, mais également d’ajouter des sources de lumière et des ombres nouvelles et uniques, en ignorant celles qui ont été capturées par les tableaux de caméras multiples qui génèrent les entrées pour les images NeRF.

Normales, visibilité, albedo et BRDF séparés sous NeRFactor. Source: https://www.youtube.com/watch?v=UUVSPJlwhPg

Le modèle prend en charge les ombres douces ou dures à partir de sources de lumière arbitraires et définies par l’utilisateur, et sépare les quatre aspects des vidéos capturées de manière programmatique, en utilisant une perte de reconstruction, des données provenant de calculs précédents de BRDF et une régularisation de lissage simple.

Flux de travail de NeRFactor, extrayant séparément des facettes actionnables d’images dérivées de tableaux de caméras multiples. Source: https://arxiv.org/pdf/2106.01970.pdf

NeRFactor utilise une sonde de lumière HDR, une approche bien établie qui a envahi la scène industrielle et artistique visuelle depuis son introduction en 1998, pour évaluer les routes possibles pour les rayons, ce qui permet une éclairage arbitraire. Puisque cela génère un nombre incalculable de paramètres possibles, la sonde de lumière est filtrée à travers un perceptron multi-couche (MLP), qui mappe la géométrie perçue à la sonde sans essayer de calculer une carte de volume de lumière complète pour l’espace du modèle.

Deux modèles de champ de rayonnement neuronal sont utilisés pour démontrer cinq modèles d’éclairage possibles sous NeRFactor. Cliquez sur l’image pour une résolution plus élevée.

Raison de réflexion

La nouvelle recherche est peut-être la plus significative dans la séparation des couches d’images capturées qui contrôlent la réflexion. Cela reste l’un des plus grands défis pour les images de champ de rayonnement neuronal, puisque un système NeRF vraiment nouveau et flexible aura besoin non seulement de pouvoir substituer des textures, mais crucialement aura besoin d’une façon de réfléchir les objets en mouvement (en plus de l’environnement fixe général) qui serait normalement pris en compte dans un flux de travail CGI.

Cette question a été notée récemment à propos de la nouvelle recherche impressionnante d’Intel sur la transformation de la vidéo de jeu en vidéo photoréaliste via des réseaux de neurones convolutionnels. Dans de tels flux de travail, de nombreux aspects « cuits » du matériau source devraient devenir discrets et interchangeables, et cela est sans doute plus facile à résoudre pour la rééclairage (qui est une fonction de la géométrie rendue dans NeRF) que pour les réflexions (qui utilisent une géométrie « hors écran » qui est entièrement en dehors de la portée du modèle).

Par conséquent, l’isolement des couches dans les vidéos NeRF qui facilitent la réflexion rapproche NeRF d’une étape de plus pour résoudre son défi de réflexion.

L’utilisation d’un environnement HDR résout déjà le problème de la génération de réflexions d’environnement du monde (c’est-à-dire les ciels, les paysages et d’autres facteurs ambiants « fixes »), mais de nouvelles approches seront nécessaires pour introduire des réflexions dynamiques et en mouvement.

Photogrammétrie avec NeRF

Les images de champ de rayonnement neuronal utilisent l’analyse d’apprentissage automatique pour développer un espace volumétrique complet à partir d’une scène ou d’un objet qui a été capturé à partir de plusieurs angles.

Diverses méthodes basées sur NeRF qui ont émergé au cours de la dernière année ont utilisé un certain nombre d’appareils photo contributeurs; certains utilisent 16 caméras ou plus, d’autres aussi peu que une ou deux. Dans tous les cas, les points de vue intermédiaires sont « remplis » (c’est-à-dire interprétés) afin que la scène ou l’objet puisse être navigué de manière fluide.

L’entité résultante est un espace volumétrique complet, avec une compréhension intrinsèque 3D qui peut être exploitée de nombreuses manières, notamment la capacité de générer des maillages CG traditionnels à partir de la somme 3D-parsée des images d’entrée.

NeRF dans le contexte d’un « nouveau CGI »

Les images de champ de rayonnement neuronal sont dessinées directement à partir d’images du monde réel, y compris des images en mouvement de personnes, d’objets et de scènes. En revanche, une méthodologie CGI « étudie » et interprète le monde, nécessitant des travailleurs qualifiés pour construire des maillages, des rigs et des textures qui utilisent des images du monde réel (c’est-à-dire des captures faciales et environnementales).

De plus, le CGI a eu des problèmes persistants avec l’effet de la « vallée de l’incroyable » dans ses efforts pour recréer des similitudes humaines, ce qui ne pose aucune contrainte à une approche basée sur NeRF, qui capture simplement des vidéos ou des images de personnes réelles et les manipule.

En outre, NeRF peut générer directement une géométrie de maillage CGI traditionnel à partir de photos lorsque cela est nécessaire, et peut en effet supplanter de nombreuses procédures manuelles qui ont toujours été nécessaires dans les images générées par ordinateur.

Défis pour NeRF

Cette dernière recherche de MIT et Google intervient dans le contexte d’un véritable flot de documents NeRF au cours de la dernière année, dont beaucoup ont proposé des solutions aux divers défis posés par le document initial de 2020.

En avril, l’innovation d’un consortium de recherche chinois a fourni un moyen de isoler de manière discrète les chronologies individuelles des facettes d’une scène NeRF, y compris les personnes.

La recherche chinoise permet aux utilisateurs de copier, coller et redimensionner des éléments capturés, les détachant de la chronologie linéaire de la vidéo source originale. Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Cette approche ne permet pas seulement de réimaginer la scène à partir de n’importe quel angle capturé par le tableau de caméras (et non seulement la vue unique représentée dans une capture de vidéo typique), mais permet également un composite versatile – et même la capacité de représenter deux facettes à partir de la même vidéo qui fonctionnent dans leurs propres chronologies individuelles (ou même fonctionnant à l’envers, si nécessaire).

La recherche chinoise permet aux utilisateurs de copier, coller et redimensionner des éléments capturés, les détachant de la chronologie linéaire de la vidéo source originale. Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

L’un des plus grands défis pour NeRF est de réduire les ressources considérables nécessaires pour former une scène, et cela a été abordé dans un certain nombre de documents récents. Par exemple, l’Institut Max Planck pour les systèmes intelligents a récemment introduit KiloNeRF, qui non seulement accélère les temps de rendu d’un facteur 1000, mais permet même à NeRF de fonctionner de manière interactive.

KiloNeRF exécutant un environnement interactif à 50fps sur un GTX 1080ti. Source: https://github.com/creiser/kilonerf

Cependant, l’innovation de vitesse NeRF qui a vraiment capturé l’imagination des chercheurs et du public en 2021 a été la collaboration PlenOctrees, menée par l’UC Berkeley, qui propose un rendu en temps réel des champs de rayonnement neuronal:

L’effet des capacités interactives de PlenOctrees a été reproduit dans une interface web en direct.

Mouvement interactif d’un objet PlenOctrees dans Firefox (le mouvement est plus fluide et plus dynamique que ce que représente ce GIF). Source: http://alexyu.net/plenoctrees/demo/

En outre, Recursive-NeRF (à partir d’un document de mai 2021 par des chercheurs de l’Université Tsinghua) propose un rendu récursif de haute qualité sur demande. Au lieu d’obliger l’utilisateur à rendre des scènes entières, y compris des parties qui peuvent ne pas être vues, Recursive-NeRF fournit quelque chose de similaire à la compression avec perte de JPEG, et peut générer des sous-NeRF distincts pour gérer des images supplémentaires sur demande – réalisant ainsi une économie considérable de ressources de calcul.

Maintien du détail tout en éliminant les calculs de rendu inutiles avec Recursive-NeRF. Cliquez sur l’image pour une résolution plus élevée. Source: https://arxiv.org/pdf/2105.09103.pdf

D’autres approches incluent FastNeRF, qui prétend atteindre un rendu neuronal de haute fidélité à 200fps.

Il a été noté que de nombreuses techniques d’optimisation pour NeRF impliquent « cuire » la scène, en s’engageant sur les aspects qui doivent être rendus et en éliminant les autres facettes, ce qui limite l’exploration mais accélère considérablement l’interactivité.

Le revers de la médaille est que la pression passe de la GPU à la mémoire, car les scènes « cuites » occupent une quantité considérable d’espace disque; jusqu’à un certain point, cela peut être atténué en échantillonnant les données « cuites », bien que cela implique également un certain engagement, en termes de fermeture de voies d’exploration ou d’interactivité.

En ce qui concerne la capture de mouvement et le rigging, une nouvelle approche de l’Université Zheijang et de l’Université Cornell, révélée en mai, a proposé une méthode pour recréer des humains animables en utilisant des champs de poids de mélange et des structures de squelette interprétées à partir de la vidéo d’entrée:

Structure squelettique dérivée dans Animatable NeRF. Source: https://www.youtube.com/watch?v=eWOSWbmfJo4

Quand NeRF aura-t-il son moment « Jurassic Park »?

Malgré le rythme rapide des progrès de la synthèse d’images via les champs de rayonnement neuronal, ce n’est qu’à cette période que toute sorte de « loi de la thermodynamique » sera établie pour savoir à quel point NeRF peut devenir déployable. En termes de chronologie analogue à l’histoire du CGI, NeRF est actuellement en train de planer autour de 1973, juste avant la première utilisation du CGI dans Westworld.

Cela ne signifie pas que NeRF devra nécessairement attendre neuf ans pour son jalon équivalent Wrath Of Khan, ou des décennies pour les avancées que le CGI a réalisées sous le patronage enthousiaste de James Cameron en 1989 dans The Abyss ou en 1991 dans Terminator 2 – et puis, le moment de percée technologique réel dans Jurassic Park en 1993.

La scène d’imagerie a considérablement changé depuis la longue période de stagnation des effets visuels photochimiques, qui a dominé la production de films et de télévision depuis la naissance du cinéma jusqu’au début des années 1990. L’avènement de la révolution de l’ordinateur personnel et l’accélération de la loi de Moore ont conduit à la révolution du CGI, qui aurait pu concevablement avoir lieu dès les années 1960.

Il reste à voir s’il existe une barrière si implacable qu’elle pourrait retenir les progrès de NeRF pendant aussi longtemps – et si les innovations ultérieures en vision par ordinateur pourraient ne pas en même temps dépasser NeRF comme principal prétendant au trône du CGI, caractérisant les champs de rayonnement neuronal comme la « machine à fax » éphémère de la synthèse d’images neuronales.

À ce jour, NeRF n’a pas été utilisé dans aucun contexte en dehors de la recherche académique; mais il est notable que des acteurs majeurs tels que Google Research, et de nombreux laboratoires de recherche en vision par ordinateur les plus éminents, sont en compétition pour la dernière avancée de NeRF.

Beaucoup des plus grands obstacles de NeRF ont commencé à être directement abordés cette année; si les recherches ultérieures offrent une solution au problème de réflexion, et si les nombreuses recherches d’optimisation de NeRF se concrétisent en une solution décisive aux demandes considérables de traitement et/ou de stockage de la technologie, NeRF a vraiment une chance de devenir le « nouveau CGI » dans les cinq prochaines années.