KI-Bildschneiden, das Szenen versteht

In dem Bonus-Dokumentarfilm, der der 2003er DVD-Veröffentlichung von Alien³ (1992) beilag, erinnerte sich der visuelle Effekt-Legende Richard Edlund mit Schrecken an das “Sumo-Ringen” der photochemischen Matte-Extraktion, das die visuellen Effektarbeiten zwischen den späten 1930er und den späten 1980er Jahren dominierte. Edlund beschrieb die trial-and-error-Natur des Prozesses als “Sumo-Ringen” im Vergleich zu den digitalen Blue-/Green-Screen-Techniken, die in den frühen 1990er Jahren (und er hat seitdem zu diesem Vergleich zurückgekehrt).

Das Extrahieren eines Vordergrund-Elements (wie einer Person oder einem Raumschiffmodell) aus einem Hintergrund, damit das ausgeschnittene Bild in eine Hintergrund-Platte komponiert werden kann, wurde ursprünglich durch das Filmen des Vordergrund-Objekts vor einem einheitlichen blauen oder grünen Hintergrund erreicht.

Mühsame photochemische Extraktionsprozesse für einen VFX-Shot von ILM für ‘Die Rückkehr der Jedi-Ritter’ (1983). Quelle: https://www.youtube.com/watch?v=qwMLOjqPmbQ

Im resultierenden Footage wurde die Hintergrundfarbe anschließend chemisch isoliert und als Vorlage verwendet, um das Vordergrund-Objekt (oder die Person) in einem optischen Drucker als “schwimmendes” Objekt in einer ansonsten transparenten Filmzelle auszudrucken.

Der Prozess wurde als Farbtrennung-Überlagerung (CSO) bezeichnet – obwohl dieser Begriff später mehr mit den groben ‘Chromakey’ Videoeffekten in lower-budgeted Fernsehproduktionen der 1970er und 1980er Jahre assoziiert wurde, die mit analogen statt chemischen oder digitalen Mitteln erreicht wurden.

Eine Demonstration der Farbtrennung-Überlagerung im Jahr 1970 für die britische Kinderfernsehsendung ‘Blue Peter’. Quelle: https://www.bbc.co.uk/archive/blue_peter_noakes_CSO/zwb9vwx

Unabhängig davon, ob es sich um Film- oder Videoelemente handelte, konnte das extrahierte Footage anschließend in jedes andere Footage eingefügt werden.

Obwohl Disneys bemerkenswert teureres und proprietäres Natrium-Dampf-Verfahren (das auf Gelb abgestimmt war und auch verwendet wurde für Alfred Hitchcocks 1963er Horrorfilm The Birds) bessere Definitionen und knalligere Matten lieferte, blieb die photochemische Extraktion mühsam und unzuverlässig.

Disneys proprietäres Natrium-Dampf-Extraktionsverfahren erforderte Hintergründe in der Nähe des gelben Endes des Spektrums. Hier ist Angela Lansbury während der Produktion einer VFX-behafteten Szene für ‘Bedknobs and Broomsticks’ (1971) an Drähten aufgehängt. Quelle

Jenseits der digitalen Schneidetechnik

In den 1990er Jahren verdrängte die digitale Revolution die Chemikalien, aber nicht die Notwendigkeit von Green Screens. Es war nun möglich, den grünen (oder eine andere Farbe) Hintergrund einfach durch das Suchen nach Pixeln innerhalb eines Toleranzbereichs dieser Farbe in Pixel-Bearbeitungssoftware wie Photoshop und einer neuen Generation von Video-Compositing-Suiten, die automatisch die farbigen Hintergründe ausschalten konnten, zu entfernen. Fast über Nacht wurden sechzig Jahre der optischen Druckindustrie der Vergangenheit angehörig.

Die letzten zehn Jahre der GPU-beschleunigten Computer-Vision-Forschung führen die Matte-Extraktion in ein drittes Zeitalter, bei dem Forscher mit der Entwicklung von Systemen betraut sind, die hochwertige Matten ohne die Notwendigkeit von Green Screens extrahieren können. Allein auf Arxiv sind Papers im Zusammenhang mit Innovationen in der maschinellen Lernung-basierten Vordergrund-Extraktion ein wöchentliches Feature.

Uns ins Bild setzen

Dieser Schwerpunkt akademischer und industrieller Interessen an KI-Extraktion hat bereits den Consumer-Bereich beeinflusst: grobe, aber funktionierende Implementierungen sind uns allen in Form von Zoom und Skype Filtern bekannt, die unsere Hintergründe in Video-Konferenzen durch tropische Inseln ersetzen können.

Wie Zoom letzte Woche feststellte, benötigen die besten Matten immer noch ein Green Screen.

Links, ein Mann vor einem Green Screen, mit gut extrahiertem Haar über Zooms Virtual Background-Funktion. Rechts, eine Frau vor einem normalen häuslichen Hintergrund, mit algorithmisch extrahiertem Haar, weniger genau und mit höheren Rechenanforderungen. Quelle: https://support.zoom.us/hc/en-us/articles/210707503-Changing-your-Virtual-Background-image

Ein weiterer Beitrag von der Zoom-Support-Plattform warnt davor, dass die Extraktion ohne Green Screen auch höhere Rechenanforderungen an der Aufnahmegerät erfordert.

Die Notwendigkeit, es herauszuschneiden

Verbesserungen in Qualität, Portabilität und Ressourcenökonomie für “in der Wildbahn”-Matte-Extraktions-Systeme (d. h. das Isolieren von Personen ohne die Notwendigkeit von Green Screens) sind relevant für viele mehr Sektoren und Verfolgungen als nur Video-Konferenz-Filter.

Für die Entwicklung von Datensätzen bietet eine verbesserte Gesichts-, Vollkopf- und Vollkörpererkennung die Möglichkeit, sicherzustellen, dass extraneous Hintergrund-Elemente nicht in Computer-Vision-Modelle von menschlichen Subjekten eingebaut werden; genauere Isolierung würde semantische Segmentierung Techniken verbessern, die darauf abzielen, Domänen zu unterscheiden und zu assimilieren (d. h. ‘Katze’, ‘Person’, ‘Boot’), und VAE und Transformer basierte Bildsynthese-Systeme wie OpenAIs neues DALL-E 2 verbessern; und bessere Extraktions-Algorithmen würden den Bedarf an teurer manueller Rotoskopie in teuren VFX-Pipelines reduzieren.

Tatsächlich hat die Vorherrschaft von multimodalen (in der Regel Text/Bild) Methoden, bei denen eine Domäne wie “Katze” sowohl als Bild als auch mit assoziierten Text-Referenzen codiert wird, bereits Einzug in die Bildverarbeitung gehalten. Ein jüngeres Beispiel ist die Text2Live Architektur, die multimodale (Text/Bild) Training verwendet, um Videos von Dingen wie Kristall-Schwänen und Glas-Giraffen zu erstellen.

Szenen-bewusste KI-Schneidetechnik

Ein großer Teil der Forschung zur KI-basierten automatischen Schneidetechnik konzentrierte sich auf die Erkennung von Grenzen und die Bewertung von pixelbasierten Gruppierungen innerhalb eines Bildes oder Video-Frames. Neue Forschung aus China bietet jedoch eine Extraktions-Pipeline, die die Abgrenzung und die Matte-Qualität durch die Nutzung von textbasierten Beschreibungen einer Szene (einem multimodalen Ansatz, der in den letzten 3-4 Jahren im Computer-Vision-Forschungssektor an Bedeutung gewonnen hat) verbessert, und behauptet, in mehreren Aspekten besser als vorherige Methoden zu sein.

Ein Beispiel für die SPG-IM-Extraktion (letztes Bild, unten rechts), im Vergleich zu vorherigen Methoden. Quelle: https://arxiv.org/pdf/2204.09276.pdf

Die Herausforderung, die sich dem Extraktions-Forschungs-Subsektor stellt, besteht darin, Workflows zu entwickeln, die ein Minimum an manueller Annotation und menschlicher Intervention erfordern – idealerweise keine. Abgesehen von den Kosteneinsparungen bemerken die Forscher des neuen Papers, dass Annotationen und manuelle Segmentierungen, die von ausgelagerten Crowdworkern in verschiedenen Kulturen durchgeführt werden, dazu führen können, dass Bilder auf unterschiedliche Weise beschriftet oder sogar segmentiert werden, was zu inkonsistenten und unbefriedigenden Algorithmen führt.

Ein Beispiel dafür ist die subjektive Interpretation dessen, was ein “Vordergrund-Objekt” definiert:

Aus dem neuen Paper: Vorherige Methoden LFM und MODNet (‘GT’ bedeutet Ground Truth, ein ‘ideales’ Ergebnis, das oft manuell oder nicht-algorithmisch erreicht wird), haben unterschiedliche und verschieden effektive Ansätze zur Definition von Vordergrund-Inhalt, während die neue SPG-IM-Methode ‘nahes Inhalt’ durch Szenen-Kontext effektiver abgrenzt.

Um dies zu bewältigen, haben die Forscher eine zweistufige Pipeline mit dem Namen Situational Perception Guided Image Matting (SPG-IM) entwickelt. Die zweistufige Encoder/Decoder-Architektur umfasst Situational Perception Distillation (SPD) und Situational Perception Guided Matting (SPGM).

Die SPG-IM-Architektur.

Erstens werden visuell-textuelle Feature-Transformationen in der SPD vorab trainiert, die passende Untertitel für ihre zugehörigen Bilder generieren. Danach wird die Vorhersage der Vordergrund-Maske durch die Verbindung der Pipeline mit einer neuen Saliency-Vorhersage Technik ermöglicht.

Dann gibt die SPGM eine geschätzte Alpha-Matte basierend auf dem rohen RGB-Bild-Eingabe und der in der ersten Module generierten Maske aus.

Das Ziel ist die szenen-bewusste Führung, bei der das System ein kontextuelles Verständnis davon hat, was das Bild besteht, sodass es beispielsweise die Herausforderung des Extrahierens von komplexem Haar aus einem Hintergrund gegen bekannte Merkmale einer solchen spezifischen Aufgabe abgrenzen kann.

Im folgenden Beispiel versteht die SPG-IM, dass die Seile intrinsic zu einem ‘Fallschirm’ sind, während die MODNet diese Details nicht erkennen und definieren kann. Ebenso wird die vollständige Struktur des Spielplatz-Geräts in der MODNet willkürlich verloren.

Das neue Paper trägt den Titel Situational Perception Guided Image Matting und stammt von Forschern am OPPO Research Institute, PicUp.ai und Xmotors.

Intelligente automatisierte Matten

Die SPG-IM bietet auch ein adaptives Fokustransformations-Netzwerk (AFT), das lokale Details und globale Kontexte getrennt verarbeiten kann, was zu “intelligenten Matten” führt.

Das Verständnis des Szenen-Kontexts, in diesem Fall ‘Mädchen mit Pferd’, kann die Vordergrund-Extraktion einfacher machen als vorherige Methoden.

Das Paper besagt:

‘Wir glauben, dass visuelle Repräsentationen aus der visuell-textuellen Aufgabe, z. B. Bildunterschrift, sich auf semantisch umfassendere Signale zwischen a) Objekt zu Objekt und b) Objekt zu Umgebung konzentrieren, um Beschreibungen zu generieren, die sowohl die globalen Informationen als auch die lokalen Details abdecken. Darüber hinaus ist im Vergleich zur teuren Pixel-Annotierung der Bild-Matte die textuelle Beschriftung sehr kostengünstig zu sammeln.’

Die SPD-Verzweigung der Architektur wird gemeinsam mit dem Transformer-basierten textuellen Decoder der University of Michigan, VirTex, vorab trainiert, der visuelle Repräsentationen aus semantisch dichten Bildunterschriften lernt.

VirTex trainiert gemeinsam ein ConvNet und Transformer über Bild-Untertitel-Paare und überträgt die gewonnenen Erkenntnisse auf nachgelagerte Vision-Aufgaben wie Objekterkennung. Quelle: https://arxiv.org/pdf/2006.06666.pdf

Unter anderem testeten die Forscher die SPG-IM gegen state-of-the-art Trimap basierte Methoden Deep Image Matting (DIM), IndexNet, Context-Aware Image Matting (CAM), Guided Contextual Attention (GCA), FBA, und Semantic Image Mapping (SIM).

Andere vorherige Frameworks, die getestet wurden, umfassten trimap-freie Ansätze LFM, HAttMatting, und MODNet. Für einen fairen Vergleich wurden die Testmethoden basierend auf den unterschiedlichen Methoden angepasst; wenn der Code nicht verfügbar war, wurden die Techniken des Papers aus der beschriebenen Architektur rekonstruiert.

Das neue Paper besagt:

‘Unsere SPG-IM übertrifft alle konkurrierenden trimap-freien Methoden ([LFM], [HAttMatting] und [MODNet]) um einen großen Betrag. Darüber hinaus zeigt unser Modell auch bemerkenswerte Überlegenheit über die state-of-the-art (SOTA) trimap-basierten und masken-gesteuerten Methoden in Bezug auf alle vier Metriken über die öffentlichen Datensätze (d. h. Composition-1K, Distinction-646 und Human-2K) und unserem Multi-Object-1K-Benchmark.’

Und fährt fort:

‘Es kann offensichtlich beobachtet werden, dass unsere Methode feine Details (z. B. Haarspitzen, transparente Texturen und Grenzen) ohne die Führung einer Trimap bewahrt. Darüber hinaus kann unsere SPG-IM im Vergleich zu anderen konkurrierenden trimap-freien Modellen bessere globale semantische Vollständigkeit bewahren.’

Erstveröffentlicht am 24. April 2022.