Synthetische Daten: Bridging the Occlusion Gap With Grand Theft Auto

Forscher an der University of Illinois haben ein neues Computer-Vision-Datenset erstellt, das synthetische Bilder verwendet, die von einem Grand Theft Auto-Spiel-Engine generiert wurden, um eines der größten Hindernisse in der semantischen Segmentierung zu lösen – die Erkennung von Objekten, die nur teilweise in Quellbildern und -videos sichtbar sind.

Um dies zu erreichen, haben die Forscher, wie in dem Paper beschrieben, die GTA-V-Spiel-Engine verwendet, um ein synthetisches Datenset zu generieren, das nicht nur eine rekordbrechende Anzahl von Occlusion-Instanzen aufweist, sondern auch eine perfekte semantische Segmentierung und Beschriftung bietet und temporale Informationen auf eine Weise berücksichtigt, die von ähnlichen Open-Source-Datensets nicht behandelt wird.

Vollständiges Szenenverständnis

Das folgende Video, das als unterstützendes Material für die Forschung veröffentlicht wurde, zeigt die Vorteile eines vollständigen 3D-Verständnisses einer Szene, bei dem verdeckte Objekte bekannt und in der Szene in allen Umständen freigelegt werden, sodass das Bewertungssystem lernen kann, teilweise verdeckte Ansichten mit dem gesamten (beschrifteten) Objekt in Verbindung zu bringen.

Quelle: http://sailvos.web.illinois.edu/_site/index.html

Das resultierende Datenset, genannt SAIL-VOS 3D, wird von den Autoren als das erste synthetische Video-Mesh-Datenset mit Frame-für-Frame-Annotation, Instanz-Ebene-Segmentierung, Ground-Truth-Tiefe für Szenenansichten und 2D-Annotationen beschrieben, die durch Begrenzungsboxen gekennzeichnet sind.

Quelle (Klicken zum Vergrößern)

Die Annotationen von SAIL-VOS 3D umfassen Tiefe, Instanz-Ebene-Modus und amodale Segmentierung, semantische Labels und 3D-Netze. Die Daten umfassen 484 Videos mit insgesamt 237.611 Frames bei einer Auflösung von 1280×800, einschließlich Kameraschwenks.

Oben, die ursprünglichen CGI-Frames; zweite Reihe, Instanz-Ebene-Segmentierung; dritte Reihe, amodale Segmentierung, die die Tiefe des Szenenverständnisses und die Transparenz zeigt, die in den Daten verfügbar sind. Quelle (Klicken zum Vergrößern)

Die Daten teilen sich in 6.807 Clips mit einem Durchschnitt von 34,6 Frames pro Clip auf, und die Daten werden mit 3.460.213 Objektinstanzen annotiert, die von 3.576 Mesh-Modellen im GTA-V-Spiel-Engine stammen. Diese werden auf insgesamt 178 semantische Kategorien verteilt.

Mesh-Rekonstruktion und automatische Beschriftung

Da spätere Datensatzforschung wahrscheinlich auf reale Bilder erfolgen wird, werden die Netze in SAIL-VOS 3D von dem maschinellen Lern-Framework generiert, anstatt aus dem GTA-V-Engine abgeleitet zu werden.

Mit einem programmatischen und im Wesentlichen ‘holografischen’ Verständnis der gesamten Szenenrepräsentation können SAIL-VOS 3D-Bilder Repräsentationen von Objekten synthesieren, die normalerweise durch Occlusionen verdeckt sind, wie z. B. den weit entfernten Arm der sich umdrehenden Figur hier, auf eine Weise, die ansonsten von vielen repräsentativen Instanzen in realen Bildern abhängen würde. (Klicken zum Vergrößern) Quelle: https://arxiv.org/pdf/2105.08612.pdf

Da jedes Objekt in der GTA-V-Welt eine eindeutige ID enthält, ruft SAIL-VOS diese aus dem Rendering-Engine mithilfe der GTA-V-Script-Hook-Bibliothek ab. Dies löst das Problem der erneuten Erfassung des Subjekts, wenn es vorübergehend aus dem Blickfeld verschwindet, da die Beschriftung persistent und zuverlässig ist. Es gibt 162 Objekte in der Umgebung, die die Forscher auf eine entsprechende Anzahl von Klassen abgebildet haben.

Vielfalt von Szenen und Objekten

Viele der Objekte in der GTA-V-Engine sind in der Natur häufig vorkommend, und daher enthält das SAIL-VOS-Inventar ein glückliches 60% der Klassen, die in dem häufig verwendeten MS-COCO-Datenset von Microsoft aus dem Jahr 2014 vorhanden sind.

Das SAIL-VOS-Datenset enthält eine große Vielfalt von Innen- und Außenszenen unter verschiedenen Wetterbedingungen, mit Charakteren in verschiedenen Kleidungsstücken. (Klicken zum Vergrößern)

Anwendbarkeit

Um die Kompatibilität mit der allgemeinen Forschung in diesem Bereich sicherzustellen und zu bestätigen, dass dieser synthetische Ansatz nicht-synthetische Projekte nutzen kann, haben die Forscher das Datenset mithilfe des framebasierten Erkennungsansatzes ausgewertet, der für MS-COCO und die 2012er PASCAL Visual Object Classes (VOC) Challenge verwendet wird, wobei die Durchschnittsgenauigkeit als Metrik verwendet wird.

Die Forscher fanden heraus, dass eine Vor-Trainierung auf dem SAIL-VOS-Datenset die Leistung der Intersection over Union (IoU) um 19% verbessert, mit einer entsprechenden Verbesserung der VideoMatch-Leistung, von 55% auf 74% bei nicht gesehenen Daten.

Es gab jedoch Fälle extremer Occlusion, in denen die älteren Methoden nicht in der Lage waren, ein Objekt oder eine Person zu erkennen, obwohl die Forscher vorhersagten, dass dies in Zukunft durch die Untersuchung benachbarter Frames zur Ermittlung der Begründung für die amodale Maske behoben werden könnte.

In den beiden rechten Bildern haben traditionelle Segmentierungsalgorithmen versagt, die weibliche Figur von dem sehr begrenzten Teil ihres Kopfes zu erkennen, der sichtbar ist. Spätere Innovationen mit optischer Flussevaluierung können diese Ergebnisse verbessern. (Klicken zum Vergrößern)