Conversion de LiDAR en images photo-réalistes avec un réseau antagoniste génératif

Plus tôt cette semaine, des images ont été publiées montrant un système de conduite autonome Tesla entrant en collision directe avec le côté d’un véhicule immobilisé sur une autoroute en juin 2021. Le fait que la voiture était sombre et difficile à discerner a suscité des discussions sur les limites de la confiance en la vision par ordinateur dans les scénarios de conduite autonome.

Les images publiées en décembre 2021 montrent le moment de l’impact. Source: https://twitter.com/greentheonly/status/1473307236952940548

Bien que la compression vidéo dans les images partagées donne une impression légèrement exagérée de la façon dont le camion immobilisé ‘s’est faufilé’ sur le conducteur dans ce cas, une vidéo de meilleure qualité de la même scène montre qu’un conducteur entièrement alerte aurait également eu du mal à réagir avec autre chose qu’un dérapage tardif ou un freinage semi-effectif.

Les images ajoutent à la controverse autour de la décision de Tesla d’supprimer les capteurs radar pour l’Autopilot, annoncée en mai 2021, et de son point de vue sur la préférence pour les systèmes basés sur la vision plutôt que d’autres technologies d’écho-localisation telles que le LiDAR.

Par coïncidence, un nouvel article de recherche d’Israël cette semaine propose une approche pour combiner les domaines du LiDAR et de la vision par ordinateur, en convertissant les nuages de points LiDAR en images photo-réalistes à l’aide d’un réseau antagoniste génératif (GAN).

Dans le nouveau projet d’Israël, les voitures noires identifiées dans les images LiDAR sont converties en un scénario de ‘jour’ pour les analyses basées sur la vision par ordinateur, similaire à l’approche que Tesla suit pour le développement de son système Autopilot. Source: https://arxiv.org/pdf/2112.11245.pdf

Les auteurs déclarent:

‘Nos modèles ont appris à prédire des images réalistes à partir de données de nuages de points, même des images avec des voitures noires.

‘Les voitures noires sont difficiles à détecter directement à partir de nuages de points en raison de leur faible niveau de réflectivité. Cette approche pourrait être utilisée à l’avenir pour effectuer la reconnaissance d’objets visuels sur des images photo-réalistes générées à partir de nuages de points LiDAR.’

Images photo-réalistes basées sur LiDAR

Le nouvel article est intitulé Génération d’images photo-réalistes à partir de nuages de points LiDAR avec des réseaux antagonistes génératifs, et provient de sept chercheurs de trois facultés universitaires israéliennes, ainsi que de six chercheurs de l’entreprise israélienne Innoviz Technologies.

Les chercheurs ont cherché à découvrir si des images synthétiques basées sur GAN pouvaient être produites à un taux approprié à partir des nuages de points générés par les systèmes LiDAR, de telle sorte que le flux d’images subséquent puisse être utilisé dans les flux de travail de reconnaissance d’objets et de segmentation sémantique.

Données

L’idée centrale, comme dans de nombreux projets de translittération d’images novateurs, est de former un algorithme sur des données appariées, où les images de nuages de points LiDAR (qui reposent sur la lumière émise par le dispositif) sont formées contre un cadre correspondant d’une caméra avant.

Étant donné que les images ont été prises pendant la journée, où un système de vision par ordinateur peut plus facilement individualiser un véhicule noir (comme celui que la Tesla a heurté en juin), cette formation devrait fournir un sol central plus résistant aux conditions sombres.

Les données ont été collectées à l’aide d’un capteur LiDAR InnovizOne, qui offre un taux de capture de 10fps ou 15fps, selon le modèle.

Données LiDAR capturées par un dispositif Innoviz. Source: https://www.youtube.com/watch?v=wmcaf_VpsQI

Le jeu de données résultant contenait environ 30 000 images et 200 000 points 3D collectés. Les chercheurs ont effectué deux tests: l’un dans lequel les données de nuage de points ne contenaient que des informations de réflectivité; et un second, dans lequel les données de nuage de points avaient deux canaux, l’un pour la réflectivité et l’autre pour la distance.

Pour le premier test, le GAN a été formé pendant 50 époques, au-delà desquelles la sur-ajustement a été constaté.

Images créées par le GAN à partir du premier test. À gauche, données de nuage de points; au milieu, cadres réels à partir de la séquence d’images, utilisés comme référence; à droite, les représentations synthétiques créées par le réseau antagoniste génératif.

Les auteurs commentent:

‘L’ensemble de test est une nouvelle séquence d’images que le GAN n’a jamais vue avant le test. Cela a été prédit en utilisant uniquement des informations de réflectivité à partir des données de nuage de points.

‘Nous avons choisi de montrer des cadres avec des voitures noires car les voitures noires sont généralement difficiles à détecter à partir de données LiDAR. Nous pouvons voir que le générateur a appris à générer des voitures noires, probablement à partir d’informations contextuelles, en raison du fait que les couleurs et les formes exactes des objets dans les images prédites ne sont pas identiques à celles des images réelles.’

Pour le deuxième test, les auteurs ont formé le GAN pendant 40 époques avec une taille de lot de 1, ce qui a donné lieu à une présentation similaire de ‘voitures noires représentatives’ obtenues principalement à partir du contexte. Cette configuration a également été utilisée pour générer une vidéo qui montre les images générées par le GAN (représentées ci-dessus, dans l’image d’exemple ci-dessous) avec les images de référence.

Évaluation

Le processus habituel d’évaluation et de comparaison avec les méthodes actuelles n’a pas été possible avec ce projet, en raison de sa nature unique. Au lieu de cela, les chercheurs ont conçu une métrique personnalisée concernant l’étendue à laquelle les voitures (parties mineures et fugaces de la séquence d’images source) sont représentées dans les images de sortie.

Ils ont sélectionné 100 paires d’images LiDAR/générées à partir de chaque ensemble et ont divisé effectivement le nombre d’images de voitures présentes dans les images source par le nombre présent dans les données synthétiques produites, produisant une échelle de notation de 0 à 1.

Les auteurs déclarent:

‘Le score dans les deux tests était compris entre 0,7 et 0,8. Compte tenu du fait que la qualité générale des images prédites est inférieure à celle des images réelles (il est plus difficile en général de détecter des objets dans des images de qualité inférieure), ce score indique que la grande majorité des voitures présentes dans les images de référence sont présentes dans les images prédites.’

Les chercheurs ont conclu que la détection de véhicules noirs, qui constitue un problème pour les systèmes basés sur la vision par ordinateur et pour le LiDAR, peut être effectuée en identifiant un manque de données pour les sections de l’image:

‘Le fait que dans les images prédites, les informations de couleur et les formes exactes ne sont pas identiques à celles des images réelles, suggère que la prédiction de voitures noires est principalement dérivée d’informations contextuelles et non de la réflectivité LiDAR des points eux-mêmes.

‘Nous suggérons que, en plus du système LiDAR conventionnel, un second système qui génère des images photo-réalistes à partir de nuages de points LiDAR fonctionnerait simultanément pour la reconnaissance d’objets visuels en temps réel.’

Les chercheurs ont l’intention de développer le travail à l’avenir, avec des ensembles de données plus importants.

Latence et la pile de traitement SDV encombrée

Un commentateur sur le message Twitter partagé de l’accident d’Autopilot a estimé qu’en se déplaçant à environ 75 mph (110 pieds par seconde), une alimentation vidéo fonctionnant à 20 fps ne couvrirait que 5,5 pieds par trame. Cependant, si le véhicule exécutait le dernier matériel et logiciel de Tesla, la fréquence d’images serait de 36 fps (pour la caméra principale), ce qui fixe le taux d’évaluation à 110 pieds par seconde (trois pieds par trame).

Outre le coût et l’ergonomie, le problème de l’utilisation du LiDAR comme flux de données supplémentaire est l’ampleur du ‘bouchon’ d’informations de l’entrée du cadre de traitement SDV. Combiné avec la nature critique de la tâche, cela semble avoir forcé le radar et le LiDAR hors de la pile Autopilot en faveur des méthodes d’évaluation basées sur les images.

Par conséquent, il semble peu probable qu’un système utilisant le LiDAR – qui en soi ajouterait à un goulet d’étranglement de traitement sur l’Autopilot – pour déduire des images photo-réalistes soit réalisable du point de vue de Tesla.

Le fondateur de Tesla, Elon Musk, n’est pas un critique absolu du LiDAR, qu’il fait remarquer est utilisé par SpaceX pour les procédures d’amarrage, mais considère que la technologie est ‘inutile’ pour les véhicules autonomes. Musk suggère qu’une longueur d’onde de pénétration d’occlusion, telle que la précision du radar ~4mm, serait plus utile.

Cependant, à partir de juin 2021, les véhicules Tesla ne sont pas équipés de radar non plus. Il ne semble pas y avoir beaucoup de projets conçus pour générer des flux d’images à partir de radar de la même manière que le projet israélien actuel tente de le faire (bien que le Département de l’Énergie des États-Unis ait parrainé une tentative de génération d’images GAN à partir de radar en 2018).

Publié pour la première fois le 23 décembre 2021.