NeRFocus : Apportant un contrôle de mise au point léger aux champs de radiance neuronaux

De nouvelles recherches en Chine offrent une méthode pour obtenir un contrôle abordable des effets de profondeur de champ pour les champs de radiance neuronaux (NeRF), permettant à l’utilisateur final de faire la mise au point et de changer dynamiquement la configuration de l’objectif virtuel dans l’espace de rendu.

Intitulé NeRFocus, la technique implémente une approche novatrice d’imagerie à objectif mince pour la traversée de la mise au point, et innove la formation P, une stratégie de formation probabiliste qui élimine le besoin de jeux de données dédiés pour la profondeur de champ, et simplifie un flux de travail de formation avec mise au point.

Le document est intitulé NeRFocus: Champ de radiance neuronal pour la mise au point synthétique 3D, et vient de quatre chercheurs de l’École des études supérieures de Shenzhen à l’Université de Pékin, et du Laboratoire Peng Cheng à Shenzhen, un institut financé par le gouvernement provincial du Guangdong.

Aborder le locus de l’attention fovéale dans NeRF

Si NeRF doit prendre sa place en tant que technologie de conduite valable pour la réalité virtuelle et la réalité augmentée, il aura besoin d’une méthode légère pour permettre un rendu fovéal réaliste, où la majorité des ressources de rendu s’accumulent autour du regard de l’utilisateur, plutôt que d’être distribuées de manière indiscriminée à basse résolution sur tout l’espace visuel disponible.

À partir du document de 2021 Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality, nous voyons le locus de l’attention dans un schéma de rendu fovéal novateur pour NeRF. Source: https://arxiv.org/pdf/2103.16365.pdf

Une partie essentielle de l’authenticité des déploiements futurs de NeRF égocentrique sera la capacité du système à refléter la capacité de l’œil humain à changer de mise au point le long d’un plan de perspective récessif (voir la première image ci-dessus).

Ce gradient de mise au point est également un indicateur perceptuel de l’échelle de la scène; la vue d’un hélicoptère volant au-dessus d’une ville n’aura pas de champs de mise au point navigables, car toute la scène existe au-delà de la capacité de mise au point la plus externe de l’utilisateur, tandis que l’examen d’une scène miniature ou de « champ proche » ne permettra pas seulement de « faire la mise au point », mais devrait, pour des raisons de réalisme, contenir une profondeur de champ étroite par défaut.

Ci-dessous se trouve une vidéo démontrant les capacités initiales de NeRFocus, fournie par l’auteur correspondant du document:

Au-delà des plans focaux restreints

Conscient des exigences de contrôle de la mise au point, un certain nombre de projets NeRF au cours des dernières années ont prévu cela, bien que toutes les tentatives à ce jour soient essentiellement des solutions de contournement ou impliquent des routines de post-traitement notables qui les rendent peu susceptibles de contribuer aux environnements en temps réel finalement envisagés pour les technologies de champs de radiance neuronaux.

Le contrôle de la mise au point synthétique dans les cadres de rendu neuronal a été tenté par diverses méthodes au cours des 5-6 dernières années – par exemple, en utilisant un réseau de segmentation pour clôturer les données de premier plan et d’arrière-plan, puis pour défausser génériquement l’arrière-plan – une solution courante pour les effets de mise au point à deux plans simples.

À partir du document ‘Automatic Portrait Segmentation for Image Stylization’, une séparation de plans de mise au point de style animation, banale. Source: https://jiaya.me/papers/portrait_eg16.pdf

Les représentations multiplans ajoutent quelques « cellules d’animation » virtuelles à ce paradigme, par exemple en utilisant l’estimation de la profondeur pour découper la scène en un gradient de plans de mise au point distincts, puis en orchestrant des noyaux dépendants de la profondeur pour synthétiser le flou.

En outre, et très pertinent pour les environnements AR/VR potentiels, la disparité entre les deux vues d’un dispositif de caméra stéréo peut être utilisée comme proxy de profondeur – une méthode proposée par Google Research en 2015.

À partir du document mené par Google Fast Bilateral-Space Stereo for Synthetic Defocus, la différence entre les deux vues fournit une carte de profondeur qui peut faciliter le flou. Cependant, cette approche est peu authentique dans la situation envisagée ci-dessus, où la photo est clairement prise avec un objectif de 35-50 mm (standard SLR), mais la défusion extrême de l’arrière-plan ne se produirait jamais qu’avec un objectif dépassant 200 mm, qui a le type de plan de mise au point très contraint qui produit une profondeur de champ étroite dans les environnements humains de taille normale. Source

Les approches de ce type tendent à démontrer des artefacts de bord, car elles tentent de représenter deux sphères de mise au point distinctes et limitées par des bords comme un gradient de mise au point continu.

En 2021, l’initiative RawNeRF a offert une fonctionnalité HDR, avec un contrôle plus grand sur les situations de faible luminosité, et une capacité apparemment impressionnante pour faire la mise au point:

RawNeRF fait la mise au point de manière magnifique (même si, dans ce cas, de manière peu authentique, en raison de plans de mise au point irréalistes), mais cela se fait au prix d’un coût de calcul élevé. Source: https://bmild.github.io/rawnerf/

Cependant, RawNeRF nécessite une précalcul des représentations multiplans de NeRF formé, ce qui entraîne un flux de travail qui ne peut pas être facilement adapté à des implémentations plus légères ou à plus faible latence de NeRF.

Modélisation d’un objectif virtuel

NeRF lui-même est basé sur le modèle d’imagerie à trou de serrure, qui rend toute la scène de manière nette de la même manière qu’une scène CGI par défaut (avant les différentes approches qui rendent le flou comme un effet post-traitement ou inné basé sur la profondeur de champ).

NeRFocus crée un objectif virtuel « mince » (plutôt qu’un « objectif sans verre ») qui calcule le chemin du faisceau de chaque pixel entrant et le rend directement, en inversant effectivement le processus standard de capture d’image, qui opère post facto sur la lumière d’entrée qui a déjà été affectée par les propriétés réfractives de la conception de l’objectif.

Ce modèle introduit une gamme de possibilités pour le rendu de contenu à l’intérieur du frustum (le plus grand cercle d’influence représenté dans l’image ci-dessus).

Le calcul de la couleur et de la densité correctes pour chaque perceptron multi-couche (MLP) dans cette gamme plus large de possibilités est une tâche supplémentaire. Cela a été résolu auparavant en appliquant une formation supervisée à un grand nombre d’images DLSR, impliquant la création de jeux de données supplémentaires pour un flux de travail de formation probabiliste – impliquant essentiellement la préparation et le stockage laborieux de ressources calculées multiples qui peuvent ou non être nécessaires.

NeRFocus surmonte cela grâce à la formation P, où les jeux de données de formation sont générés sur la base d’opérations de flou de base. Ainsi, le modèle est formé avec des opérations de flou innées et navigables.

Le diamètre de l’ouverture est réglé à zéro pendant la formation, et des probabilités prédéfinies sont utilisées pour choisir un noyau de flou au hasard. Ce diamètre obtenu est utilisé pour mettre à l’échelle les diamètres de chaque cône composite, permettant au MLP de prédire avec précision la radiance et la densité des frustums (les larges cercles dans les images ci-dessus, représentant la zone de transformation maximale pour chaque pixel)

Les auteurs du nouveau document observent que NeRFocus est potentiellement compatible avec l’approche HDR de RawNeRF, qui pourrait potentiellement aider au rendu de certaines sections difficiles, telles que les highlights de mise au point floue, et de nombreux autres effets à forte intensité de calcul qui ont mis au défi les flux de travail CGI pendant trente ans ou plus.

Le processus n’implique pas d’exigences supplémentaires en termes de temps et/ou de paramètres par rapport aux approches antérieures telles que NeRF de base et Mip-NeRF (et, probablement Mip-NeRF 360, bien que cela ne soit pas abordé dans le document), et est applicable en tant qu’extension générale de la méthodologie centrale des champs de radiance neuronaux. Premièrement publié le 12 mars 2022.