Données synthétiques : combler le fossé d’occlusion avec Grand Theft Auto

Les chercheurs de l’Université de l’Illinois ont créé un nouveau jeu de données de vision par ordinateur qui utilise des images synthétiques générées par un moteur de jeu Grand Theft Auto pour aider à résoudre l’un des obstacles les plus épineux de la segmentation sémantique – la reconnaissance d’objets qui ne sont que partiellement visibles dans les images et les vidéos sources.

À cette fin, comme décrit dans le document, les chercheurs ont utilisé le moteur de jeu GTA-V pour générer un jeu de données synthétiques qui ne contient pas seulement un nombre record d’instances d’occlusion, mais qui présente également une segmentation et un étiquetage sémantiques parfaits, et prend en compte les informations temporelles d’une manière qui n’est pas abordée par les jeux de données open source similaires.

Compréhension complète de la scène

La vidéo ci-dessous, publiée comme matériel de support pour la recherche, illustre les avantages d’une compréhension complète 3D d’une scène, dans laquelle les objets obscurcis sont connus et exposés dans la scène dans toutes les circonstances, permettant ainsi au système d’évaluation d’apprendre à associer les vues partiellement occluses à l’objet entier (étiqueté).