Comment fonctionne la reconstruction 3D en une seule vue ?

Traditionnellement, les modèles de reconstruction d’objets en une seule vue basés sur les réseaux de neurones convolutionnels ont montré des performances remarquables dans les tâches de reconstruction. Ces dernières années, la reconstruction 3D en une seule vue est devenue un sujet de recherche populaire dans la communauté de l’IA. Indépendamment de la méthodologie spécifique employée, tous les modèles de reconstruction 3D en une seule vue partagent l’approche commune d’incorporer un réseau encodeur-décodeur dans leur cadre. Ce réseau effectue un raisonnement complexe sur la structure 3D dans l’espace de sortie.

Dans cet article, nous allons explorer comment la reconstruction 3D en une seule vue fonctionne en temps réel et les défis actuels auxquels ces cadres sont confrontés dans les tâches de reconstruction. Nous allons discuter des différents composants clés et des méthodes utilisées par les modèles de reconstruction 3D en une seule vue et explorer les stratégies qui pourraient améliorer les performances de ces cadres. De plus, nous allons analyser les résultats produits par les cadres d’état de l’art qui emploient des méthodes encodeur-décodeur. Commençons.

Reconstruction d’objets 3D en une seule vue

La reconstruction d’objets 3D en une seule vue consiste à générer un modèle 3D d’un objet à partir d’une seule vue, ou en termes plus simples, à partir d’une seule image. Par exemple, déduire la structure 3D d’un objet, tel qu’une moto, à partir d’une image, est un processus complexe. Il combine des connaissances sur l’agencement structurel des parties, des indices d’image de bas niveau et des informations sémantiques de haut niveau. Ce spectre englobe deux aspects principaux : reconstruction et reconnaissance. Le processus de reconstruction discerne la structure 3D de l’image d’entrée en utilisant des indices tels que l’ombrage, la texture et les effets visuels. En revanche, le processus de reconnaissance classe l’image d’entrée et récupère un modèle 3D approprié à partir d’une base de données.

Les modèles actuels de reconstruction d’objets 3D en une seule vue peuvent varier en architecture, mais ils sont unifiés par l’inclusion d’une structure encodeur-décodeur dans leur cadre. Dans cette structure, l’encodeur mappe l’image d’entrée à une représentation latente, tandis que le décodeur effectue des inférences complexes sur la structure 3D de l’espace de sortie. Pour exécuter avec succès cette tâche, le réseau doit intégrer à la fois des informations de haut niveau et de bas niveau. De plus, de nombreux modèles d’état de l’art qui emploient des méthodes encodeur-décodeur pour les tâches de reconstruction 3D en une seule vue s’appuient sur la reconnaissance, ce qui limite leurs capacités de reconstruction. Cependant, les performances des réseaux de neurones convolutionnels modernes dans la reconstruction d’objets 3D en une seule vue peuvent être surpassées sans inférer explicitement la structure 3D de l’objet. Cependant, la dominance de la reconnaissance dans les réseaux de neurones convolutionnels pour les tâches de reconstruction d’objets en une seule vue est influencée par diverses procédures expérimentales, notamment les protocoles d’évaluation et la composition des ensembles de données. De tels facteurs permettent au cadre de trouver une solution de contournement, dans ce cas, la reconnaissance d’images.

Traditionnellement, les cadres de reconstruction d’objets 3D en une seule vue abordent les tâches de reconstruction en utilisant l’approche de forme à partir de l’ombrage, avec la texture et le flou servant d’vues exotiques pour les tâches de reconstruction. Puisque ces techniques utilisent un seul indice de profondeur, elles sont capables de fournir un raisonnement pour les parties visibles d’une surface. De plus, de nombreux cadres de reconstruction 3D en une seule vue utilisent plusieurs indices ainsi que des connaissances structurelles pour estimer la profondeur à partir d’une seule image monocular, une combinaison qui permet à ces cadres de prédire la profondeur des surfaces visibles. Les cadres d’estimation de profondeur plus récents déployés des structures de réseaux de neurones convolutionnels pour extraire la profondeur d’une image monocular.

Cependant, pour une reconstruction 3D en une seule vue efficace, les modèles ne doivent pas seulement raisonner sur la structure 3D des objets visibles dans l’image, mais ils doivent également halluciner les parties invisibles dans l’image en utilisant certaines priorités apprises à partir des données. Pour atteindre cet objectif, la majorité des modèles déployés actuellement des structures de réseaux de neurones convolutionnels pour mapper les images 2D en formes 3D en utilisant une supervision directe 3D, tandis que de nombreux autres cadres déployaient des représentations basées sur des voxels de la forme 3D et utilisaient une représentation latente pour générer des convolutions 3D. Certains cadres partitionnent également l’espace de sortie de manière hiérarchique pour améliorer l’efficacité computationnelle et de mémoire, ce qui permet au modèle de prédire des formes 3D à plus haute résolution. Les recherches récentes se concentrent sur l’utilisation de formes de supervision plus faibles pour les prédictions de forme 3D en utilisant des réseaux de neurones convolutionnels, soit en comparant les formes prédites et leurs prédictions de vérité terrain pour former des régresseurs de forme, soit en utilisant plusieurs signaux d’apprentissage pour former des formes moyennes qui aident le modèle à prédire les déformations. Une autre raison derrière les progrès limités dans la reconstruction 3D en une seule vue est la quantité limitée de données d’entraînement disponibles pour la tâche.

En poursuivant, la reconstruction 3D en une seule vue est une tâche complexe car elle interprète non seulement les données visuelles de manière géométrique, mais également sémantique. Bien qu’elles ne soient pas complètement différentes, elles couvrent différents spectres allant de la reconstruction géométrique à la reconnaissance sémantique. Les tâches de reconstruction nécessitent un raisonnement par pixel de la structure 3D de l’objet dans l’image. Les tâches de reconstruction ne nécessitent pas de compréhension sémantique du contenu de l’image et peuvent être réalisées en utilisant des indices d’image de bas niveau, notamment la texture, la couleur, l’ombrage, les ombres, la perspective et la mise au point. La reconnaissance, en revanche, est un cas extrême d’utilisation de la sémantique d’image, car les tâches de reconnaissance utilisent des objets entiers et consistent à classer l’objet dans l’entrée et à récupérer la forme correspondante à partir de la base de données. Bien que les tâches de reconnaissance puissent fournir un raisonnement robuste sur les parties de l’objet non visibles dans les images, la solution sémantique n’est réalisable que si elle peut être expliquée par un objet présent dans la base de données.

Bien que les tâches de reconnaissance et de reconstruction puissent différer les unes des autres de manière significative, elles tendent toutes deux à ignorer des informations précieuses contenues dans l’image d’entrée. Il est conseillé d’utiliser ces deux tâches en harmonie les unes avec les autres pour obtenir les meilleurs résultats possibles et des formes 3D précises pour la reconstruction d’objets, c’est-à-dire que pour une reconstruction 3D en une seule vue optimale, le modèle devrait employer des connaissances structurelles, des indices d’image de bas niveau et une compréhension de haut niveau de l’objet.

Reconstruction 3D en une seule vue : configuration conventionnelle

Pour expliquer la configuration conventionnelle et analyser la configuration d’un cadre de reconstruction 3D en une seule vue, nous allons déployer une configuration standard pour estimer la forme 3D en utilisant une seule vue ou image de l’objet. L’ensemble de données utilisé pour l’entraînement est l’ensemble de données ShapeNet, et évalue les performances à travers 13 classes, ce qui permet au modèle de comprendre comment le nombre de classes dans un ensemble de données détermine les performances d’estimation de forme du modèle.

La majorité des réseaux de neurones convolutionnels modernes utilisent une seule image pour prédire des modèles 3D à haute résolution, et ces cadres peuvent être catégorisés en fonction de la représentation de leur sortie : cartes de profondeur, nuages de points et grilles de voxels. Le modèle utilise OGN ou Octree Generating Networks comme méthode représentative qui a historiquement surpassé l’approche de grille de voxels et/ou peut couvrir les représentations de sortie dominantes. Contrairement aux méthodes existantes qui utilisent des représentations de sortie, l’approche OGN permet au modèle de prédire des formes à haute résolution et utilise des octrees pour représenter de manière efficace l’espace occupé.

Repères

Pour évaluer les résultats, le modèle déployé deux repères qui considèrent le problème comme une tâche de reconnaissance pure. Le premier repère est basé sur le regroupement, tandis que le deuxième repère effectue une récupération de base de données.

Regroupement

Dans le repère de regroupement, le modèle utilise l’algorithme K-Means pour regrouper ou regrouper les formes d’entraînement en sous-catégories K, et exécute l’algorithme sur des voxelisations 32*32*32 aplatis en un vecteur. Après avoir déterminé les affectations de regroupement, le modèle bascule vers le travail avec des modèles à résolution plus élevée. Le modèle calcule ensuite la forme moyenne à l’intérieur de chaque regroupement, et seuille les formes moyennes où la valeur optimale est calculée en maximisant la moyenne de l’intersection sur l’union sur les modèles. Puisque le modèle connaît la relation entre les formes 3D et les images dans les données d’entraînement, le modèle peut facilement faire correspondre l’image avec son regroupement correspondant.

Récupération

Le repère de récupération apprend à intégrer des formes et des images dans un espace commun. Le modèle considère la similarité paire des formes 3D dans l’ensemble d’entraînement pour construire l’espace d’intégration. Le modèle réalise cela en utilisant l’approche de mise à l’échelle multidimensionnelle avec la mise à l’échelle de Sammon pour compresser chaque ligne de la matrice en un descripteur de faible dimension. De plus, pour calculer la similarité entre deux formes arbitraires, le modèle utilise le descripteur de champ lumineux. De plus, le modèle forme un réseau de neurones convolutionnels pour mapper les images à un descripteur pour intégrer les images dans l’espace.

Analyse

Les modèles de reconstruction 3D en une seule vue suivent différentes stratégies en raison desquelles ils surpassent d’autres modèles dans certains domaines, tandis qu’ils sont en retard dans d’autres. Pour comparer les différents cadres et évaluer leurs performances, nous avons différents métriques, dont l’un est le score IoU moyen.

Comme on peut le voir dans l’image ci-dessus, malgré des architectures différentes, les modèles de reconstruction 3D actuels livrent des performances presque similaires. Cependant, il est intéressant de noter que, malgré le fait qu’il s’agisse d’une méthode de reconnaissance pure, le cadre de récupération surpasse les autres modèles en termes de score IoU moyen et médian. Le cadre de regroupement livre des résultats solides, surpassant les cadres AtlasNet, OGN et Matryoshka. Cependant, le résultat le plus inattendu de cette analyse reste l’Oracle (ORCL ) NN qui surpasse toutes les autres méthodes, malgré l’emploi d’une architecture de récupération parfaite. Bien que le calcul du score IoU moyen aide à la comparaison, il ne fournit pas une image complète, car la variance dans les résultats est élevée, quelle que soit la méthode.

Métriques d’évaluation communes

Les modèles de reconstruction 3D en une seule vue utilisent souvent différentes métriques d’évaluation pour analyser leurs performances sur une large gamme de tâches. Voici quelques-unes des métriques d’évaluation les plus couramment utilisées.

Intersection sur l’union

La moyenne de l’intersection sur l’union est une métrique couramment utilisée comme mesure quantitative pour servir de référence pour les modèles de reconstruction 3D en une seule vue. Bien que l’IoU fournisse certaines informations sur les performances du modèle, il n’est pas considéré comme la seule métrique pour évaluer une méthode, car il indique la qualité de la forme prédite par le modèle uniquement si les valeurs sont suffisamment élevées avec une différence significative observée entre les scores de bas et de moyen niveau pour deux formes données.

Distance de Chamfer

La distance de Chamfer est définie sur les nuages de points et a été conçue pour être appliquée à différentes représentations 3D de manière satisfaisante. Cependant, la métrique d’évaluation de la distance de Chamfer est très sensible aux valeurs aberrantes, ce qui en fait une mesure problématique pour évaluer les performances du modèle, la distance de la valeur aberrante par rapport à la forme de référence déterminant de manière significative la qualité de la génération.

F-Score

Le F-Score est une métrique d’évaluation couramment utilisée par la majorité des modèles de reconstruction 3D multi-vue. La métrique F-Score est définie comme la moyenne harmonique entre rappel et précision, et évalue la distance entre les surfaces des objets de manière explicite. La précision compte le pourcentage de points reconstruits situés dans une distance prédéfinie par rapport à la vérité terrain pour mesurer l’exactitude de la reconstruction. Le rappel, d’un autre côté, compte le pourcentage de points de la vérité terrain situés dans une distance prédéfinie par rapport à la reconstruction pour mesurer l’exhaustivité de la reconstruction. De plus, en faisant varier le seuil de distance, les développeurs peuvent contrôler la sévérité de la métrique F-Score.

Analyse par classe

La similarité des performances livrées par les cadres ci-dessus ne peut pas être le résultat de méthodes exécutées sur différents sous-ensembles de classes, et la figure suivante démontre les performances relatives cohérentes à travers les différentes classes, avec le repère de récupération Oracle NN atteignant le meilleur résultat de tous, et toutes les méthodes observant une variance élevée pour toutes les classes.

De plus, le nombre d’échantillons d’entraînement disponibles pour une classe pourrait amener à penser qu’il influence les performances par classe. Cependant, comme le démontre la figure suivante, le nombre d’échantillons disponibles pour une classe n’influence pas les performances par classe, et le nombre d’échantillons dans une classe et son score IoU moyen ne sont pas corrélés.

Analyse qualitative

Les résultats quantitatifs discutés dans la section ci-dessus sont étayés par des résultats qualitatifs, comme le montre l’image suivante.

Pour la majorité des classes, il n’y a pas de différence significative entre le repère de regroupement et les prédictions faites par les méthodes basées sur le décodeur. L’approche de regroupement échoue à livrer des résultats lorsque la distance entre l’échantillon et la forme moyenne du regroupement est élevée, ou dans les situations où la forme moyenne elle-même ne peut pas décrire le regroupement de manière suffisante. D’un autre côté, les cadres qui emploient des méthodes basées sur le décodeur et l’architecture de récupération livrent les résultats les plus précis et les plus attrayants, car ils sont capables d’inclure des détails fins dans le modèle 3D généré.

Reconstruction 3D en une seule vue : Pensées finales

Dans cet article, nous avons discuté de la reconstruction d’objets 3D en une seule vue et avons expliqué comment elle fonctionne, et avons discuté de deux repères : la récupération et la classification, avec le repère de récupération surpassant les modèles d’état de l’art actuels. Enfin, bien que la reconstruction d’objets 3D en une seule vue soit l’un des sujets les plus chauds et les plus recherchés dans la communauté de l’IA, et malgré les progrès significatifs réalisés au cours des dernières années, la reconstruction d’objets 3D en une seule vue est loin d’être parfaite, avec des obstacles importants à surmonter dans les années à venir.