Améliorer le réalisme photoréaliste des simulations de conduite avec les réseaux antagonistes génératifs

Une nouvelle initiative de recherche entre les États-Unis et la Chine a proposé l’utilisation de réseaux antagonistes génératifs (GAN) pour augmenter le réalisme des simulateurs de conduite.

Dans une approche novatrice du défi de production de scénarios de conduite photoréalistes, les chercheurs ont développé une méthode hybride qui joue sur les forces de différentes approches, en mélangeant la sortie plus photoréaliste des systèmes basés sur CycleGAN avec des éléments générés de manière plus conventionnelle, qui nécessitent un niveau de détail et de cohérence plus élevé, tels que les marquages routiers et les véhicules observés du point de vue du conducteur.

Hybrid Generative Neural Graphics (HGNG) offre une nouvelle direction pour les simulations de conduite qui conserve l’exactitude des modèles 3D pour les éléments essentiels (tels que les marquages routiers et les véhicules), tout en jouant sur les forces des GAN dans la génération d’arrière-plans et de détails ambiants intéressants et non répétitifs. Source

Le système, appelé Hybrid Generative Neural Graphics (HGNG), injecte une sortie limitée d’un simulateur de conduite basé sur CGI dans un pipeline GAN, où le cadre SPADE de NVIDIA prend le relais pour la génération d’environnement.

L’avantage, selon les auteurs, est que les environnements de conduite deviendront potentiellement plus diversifiés, créant une expérience plus immersive. Actuellement, même la conversion de la sortie CGI en rendu neural photoréaliste ne peut pas résoudre le problème de répétition, car les images d’origine qui entrent dans le pipeline neural sont contraintes par les limites des environnements de modélisation, et leur tendance à répéter les textures et les maillages.

Images converties à partir du document ‘Enhancing photorealism enhancement’, qui restent dépendantes des images CGI, y compris l’arrière-plan et les détails ambiants, ce qui limite la variété de l’environnement dans l’expérience simulée. Source: https://www.youtube.com/watch?v=P1IcaBn3ej0

Le document indique*:

‘La fidélité d’un simulateur de conduite conventionnel dépend de la qualité de son pipeline graphique, qui se compose de modèles 3D, de textures et d’un moteur de rendu. Des modèles 3D et des textures de haute qualité nécessitent un travail d’artisanat, tandis que le moteur de rendu doit exécuter des calculs physiques compliqués pour la représentation réaliste de l’éclairage et de l’ombrage.’

Le nouveau document est intitulé Photorealism in Driving Simulations: Blending Generative Adversarial Image Synthesis with Rendering, et provient de chercheurs du Département de génie électrique et informatique de l’Université d’État de l’Ohio, et de Chongqing Changan Automobile Co Ltd à Chongqing, en Chine.

Matériel de base

HGNG transforme la disposition sémantique d’une scène générée par CGI en mélangeant des éléments de premier plan partiellement rendus avec des environnements générés par GAN. Bien que les chercheurs aient expérimenté avec différents ensembles de données pour entraîner les modèles, l’ensemble de données le plus efficace s’est avéré être l’ensemble de données KITTI Vision Benchmark Suite, qui présente principalement des captures de matériel de point de vue du conducteur de la ville allemande de Karlsruhe.

HGNG génère une disposition sémantique à partir de la sortie CGI, puis interpose SPADE, avec des encodages de style variables, pour créer des images d’arrière-plan photoréalistes aléatoires et diversifiées, y compris des objets proches dans les scènes urbaines. Le nouveau document indique que les motifs répétitifs, qui sont courants dans les pipelines CGI à ressources limitées, ‘brisent l’immersion’ pour les conducteurs humains utilisant un simulateur, et que les arrière-plans plus variés que peut fournir un GAN peuvent atténuer ce problème.

Les chercheurs ont expérimenté avec les réseaux antagonistes génératifs conditionnels (cGAN) et les réseaux antagonistes génératifs cycliques (CyGAN) en tant que réseaux génératifs, constatant finalement que chacun a des forces et des faiblesses: cGAN nécessite des ensembles de données appariés, et CyGAN ne le fait pas. Cependant, CyGAN ne peut pas actuellement surpasser l’état de l’art dans les simulateurs conventionnels, en attendant des améliorations supplémentaires dans l’adaptation de domaine et la cohérence cyclique. Par conséquent, cGAN, avec ses exigences de données appariées supplémentaires, obtient les meilleurs résultats pour le moment.

L’architecture conceptuelle de HGNG.

Dans le pipeline de graphiques neuronaux HGNG, des représentations 2D sont formées à partir de scènes synthétisées par CGI. Les objets qui sont transmis au flux GAN à partir du rendu CGI sont limités aux éléments ‘essentiels’, tels que les marquages routiers et les véhicules, que un GAN lui-même ne peut pas actuellement rendre avec une cohérence temporelle et une intégrité adéquates pour un simulateur de conduite. L’image synthétisée par cGAN est ensuite mélangée avec le rendu partiel basé sur la physique.

Tests

Pour tester le système, les chercheurs ont utilisé SPADE, entraîné sur Cityscapes, pour convertir la disposition sémantique de la scène en sortie photoréaliste. La source CGI provenait du simulateur de conduite open source CARLA, qui utilise le moteur Unreal Engine 4 (UE4).

Sortie du simulateur de conduite open source CARLA. Source: https://arxiv.org/pdf/1711.03938.pdf

Le moteur d’éclairage et d’ombrage de UE4 a fourni la disposition sémantique et les images partiellement rendues, avec seulement les véhicules et les marquages de voie de sortie. Le mélange a été réalisé avec une instance GP-GAN entraînée sur la base de données Transient Attributes Database, et toutes les expériences ont été exécutées sur une carte graphique NVIDIA RTX 2080 avec 8 Go de GDDR6 VRAM.

Les chercheurs ont testé la réention sémantique – la capacité de l’image de sortie à correspondre au masque de segmentation sémantique initial destiné à servir de modèle pour la scène.

Dans les images de test ci-dessus, nous voyons que dans l’image ‘rendu uniquement’ (en bas à gauche), le rendu complet n’obtient pas d’ombres plausibles. Les chercheurs notent que ici (cercle jaune) les ombres des arbres qui tombent sur le trottoir ont été classées à tort par DeepLabV3 (le cadre de segmentation sémantique utilisé pour ces expériences) comme ‘contenu de route’.

Dans la colonne du milieu, nous voyons que les véhicules créés par cGAN n’ont pas une définition suffisamment cohérente pour être utilisables dans un simulateur de conduite (cercle rouge). Dans la colonne la plus à droite, l’image mélangée correspond à la définition sémantique originale, tout en conservant les éléments essentiels basés sur CGI.

Pour évaluer le réalisme, les chercheurs ont utilisé la distance de Fréchet pour l’inception (FID) comme mesure de performance, puisqu’elle peut fonctionner sur des données appariées ou non appariées.

Trois ensembles de données ont été utilisés comme référence: Cityscapes, KITTI et ADE20K.

Les images de sortie ont été comparées les unes aux autres à l’aide de scores FID, et par rapport au pipeline basé sur la physique (c’est-à-dire CGI), tout en évaluant la rétention sémantique.

Dans les résultats ci-dessus, qui concernent la rétention sémantique, les scores plus élevés sont meilleurs, avec l’approche pyramidale basée sur cGAN (l’une des pipelines testées par les chercheurs) obtenant le score le plus élevé.

Les résultats ci-dessus concernent les scores FID, avec HGNG obtenant le score le plus élevé grâce à l’utilisation de l’ensemble de données KITTI.

La méthode ‘Rendu uniquement’ (notée [23]) concerne la sortie de CARLA, un flux CGI qui n’est pas censé être photoréaliste.

Les résultats qualitatifs sur le moteur de rendu conventionnel (‘c’ dans l’image ci-dessus) présentent des informations d’arrière-plan non réalistes, telles que des arbres et de la végétation, tout en nécessitant des modèles détaillés et un chargement de maillage juste-à-temps, ainsi que d’autres procédures gourmandes en processeur. Au milieu (b), nous voyons que cGAN ne parvient pas à obtenir une définition suffisante pour les éléments essentiels, les voitures et les marquages routiers. Dans la sortie mélangée proposée (a), la définition des véhicules et des marquages routiers est bonne, tandis que l’environnement ambiant est diversifié et photoréaliste.

Le document conclut en suggérant que la cohérence temporelle de la section générée par GAN du pipeline de rendu pourrait être augmentée grâce à l’utilisation de plus grands ensembles de données urbains, et que les travaux futurs dans cette direction pourraient offrir une alternative réelle aux transformations neuronales coûteuses des flux basés sur CGI, tout en fournissant un réalisme et une diversité plus grands.

* Ma conversion des citations en ligne des auteurs en hyperliens.

Publié pour la première fois le 23 juillet 2022.