Verbesserung der AI-Hintergrundentfernung ohne teure menschliche Annotation

Neue Forschungsergebnisse zeigen, dass AI Menschen aus Videos herauslösen kann, ohne teure menschliche Annotation, und so die Qualität und Stabilität verbessert

Die meisten von uns haben bereits Erfahrungen damit gemacht, durch einfache Hintergrund-Änderungs-/Verdeckungs-Filter auf Video-Chat-Plattformen “herausgelöscht” zu werden – und wir haben möglicherweise die Grenzen solcher Systeme bemerkt, die auf den häufigsten Arten von Fällen trainiert werden, die in einer Video-Konferenz vorkommen, und nicht robust gegen unerwartete Objekte sind – oder sogar gegen vorhersehbare Objekte wie Finger:

Ein typisches Beispiel für ein AI-gestütztes Foreground-Extraktionssystem, das zu viel des Quellsubjekts ausschneidet. Quelle

Die einfachste Lösung, die immer beliebter wird, insbesondere im Hinblick auf Vision-Language-Modelle (VLMs), die nicht speziell für solche Aufgaben trainiert sind, besteht darin, ein bestehendes Modell feinzujustieren auf Daten, die wahrscheinlich von dem System erfasst werden:

Zwei hochvolumige, extrem annotierte Datensätze bilden die Grundlage für die Lösungen, die im Paper “Real-Time High-Resolution Background Matting” von 2020 vorgestellt werden. Quelle

Ein solches Datenmaterial muss jedoch annotiert werden, und zwar auf Kosten und mit erheblichem Zeitaufwand durch Menschen; und in jedem Fall führt dies zu einem sehr spezifischen und nicht verallgemeinerten Werkzeug, das viel Geld kostet und normalerweise nicht für eine Vielzahl von Aufgaben eingesetzt werden kann.

Trotzdem ist die Entwicklung solcher “gezielter” Modelle derzeit der kürzeste Weg zu effektiver Inferenz in verschiedenen Domänen, nicht nur bei Video- und Bild-Matting (d. h. Hintergrundentfernung/Vordergrund-Masken).

Bisher haben viele der unbeaufsichtigten Lösungen, die angeboten wurden, das Problem mehr oder weniger nur verschoben.

Sogar jetzt, trotz der Verbreitung von AI-gestützten Filtern auf Plattformen wie Zoom, empfiehlt Zoom weiterhin eine grüne Wand als optimale Lösung für die Hintergrundentfernung – eine aufwändige und eher “professionelle” Lösung, die uns möglicherweise ein wenig unwohl machen würde.

Ausschneiden!

In letzter Zeit ist das Interesse an der Verwendung der Segment-Anything (SAM)-Familie zur automatisierten und feingranulierten Extraktion gewachsen. Da SAM ursprünglich entwickelt wurde, um die Annotation zu unterstützen und nicht, um scharfe Konturen zu liefern, die in einem visuellen Effekt-Pipeline akzeptabel sind, sind die Standard-Grenzen nicht geeignet, um die Herausforderung allein zu bewältigen:

Klicken Sie zum Abspielen, falls erforderlich. Ein Beispiel für die groben Ränder, die von einem Segment-Anything-Modell erstellt werden – ideal für die Annotation, aber nicht gut genug für VFX-Drop-out. Quelle 

Ein kürzlich aus China stammendes Angebot hat einen anspruchsvolleren Weg vorgeschlagen, um SAM-Modelle zur Extraktion zu verwenden – indem ein grundlegendes Tracking-Modell wie SAM mit einer Region-Vorschlags-Brücke mit dedizierten Matting-Köpfen kombiniert wird. Auf diese Weise kann das System die Kantenfeinheit iterativ verfeinern und herausfordernde Kanten wie Haare in Bewegung auflösen:

Klicken Sie zum Abspielen, falls erforderlich. Von der ergänzenden Website zum neuen Paper, eine Sammlung von ergänzenden Videos, die die Raffinesse der Methode der Autoren für die Extraktion demonstrieren. Quelle 

Wesentlich ist, dass das neue kombinierte System nur auf Bildern und nicht auf Videos trainiert wird und keine zusätzliche menschliche Annotation erfordert – die traditionelle Hürde gegen Fortschritte in diesem und verschiedenen anderen AI-Bereichen.

Beispiele für feingranulierte Bild- und Video-Matting, die mit der neuen Methode erreicht werden, mit herausfordernden Fällen wie Haaren, Transparenz und Bewegung, die neben In-the-Wild-Sequenzen gezeigt werden, bei denen die Methode – so behaupten die Autoren – sauberere, stabilere Ergebnisse als vorherige Ansätze liefert. Quelle

Mit drei experimentellen Modellen, die für die Arbeit erstellt wurden, behaupten die Autoren, eine neue Spitzenleistung in dieser Aufgabe zu erreichen, während sie die höheren Verallgemeinerungsfähigkeiten des Basis-Modells beibehalten, was bedeutet, dass die Methode ein Allzweck-Modell mit zusätzlichen Fähigkeiten liefert, anstatt eines abgekapselten Werkzeugs, das auf eine einzelne Aufgabe abzielt.

Die Autoren erklären:

‘Umfassende Experimente zeigen, dass SAM2Matting eine Spitzenleistung (SOTA) auf Bild- und Video-Matting erreicht, wobei Video-Matting in einer streng zero-shot-Manier ausgewertet wird.

‘Umfangreiche In-the-Wild-Ergebnisse demonstrieren außerdem seine starke Verallgemeinerung auf offene Szenarien mit schneller Bewegung, komplexen Hintergründen und Ziel-Attachment (z. B. Mann auf einem Fahrrad).

‘Darüber hinaus sind unsere Matting-Komponenten leicht und effizient, was es dem SAM2.1-Tiny-Variant ermöglicht, mit weniger als 5 GB GPU-Speicher auf einem 200-Frame-1080p-Video mit 40 Bildern pro Sekunde zu laufen.’

Das neue Paper trägt den Titel SAM2Matting: Verallgemeinerte Bild- und Video-Matting und stammt von vier Autoren der Fudan-Universität und der Shanghai-Universität für Finanzen und Wirtschaft. Die Arbeit hat ein GitHub-Repository, das zum Zeitpunkt des Schreibens Checkpoints verschiedener Varianten, Inferenz-Code und eine interaktive Demo veröffentlicht hat, mit der Veröffentlichung von Trainings-Code, der in Aussicht gestellt wird. Darüber hinaus gibt es eine Projekt-Website.

Methode

Die Methode der Autoren trennt die Verfolgung von der feinen Detail-Extraktion mithilfe eines Video-Objekt-Segmentierung (VOS)-Trackers, um eine zeitlich konsistente grobe Maske für jeden Frame zu erstellen, während eine dedizierte Matting-Pipeline die Grenzen verfeinert:

Überblick über die Pipeline, bei der ein flexibles Prompt und ein Eingabe-Video in einen Video-Objekt-Segmentierung-Tracker einfließen, um eine grobe Maske zu erstellen, die von einem ROI-Detektor verfeinert und in eine Trimap umgewandelt wird, bevor ein progressives Multi-Scale-Prädiktor die endgültige hochauflösende Maske generiert.

Ein Region-of-Interest (ROI)-Detektor identifiziert dann Regionen mit feinen Details oder Halbtransparenz, die in eine Trimap (eine dreigeteilte Maske, die Vordergrund, Hintergrund und unsichere Bereiche teilt) umgewandelt werden, die die Verfeinerung leitet, bevor ein Progressive Alpha Predictor die endgültige Maske durch einen grob-fein-Kaskadeprozess über mehrere Skalen generiert

Herkömmliche Matting-Systeme leiten normalerweise Regionen von Interesse mithilfe einfacher morphologischer Operationen ab oder indem sie die Maske direkt wiederverwenden – Ansätze, die feine Details übersehen oder Bereiche einschließen können, die keine Verfeinerung erfordern:

Vergleich des standardmäßigen maskenbasierten Prozesses mit Ground-Truth-Trimaps, der zeigt, wie einfache morphologische Operationen grobe, gleichmäßige Grenzen erzeugen, die feine Strukturen wie Haare und Transparenz verpassen, was zu Detailverlust in der endgültigen Maske führt.

Zinseszins

Im Gegensatz dazu behandelt der vorgeschlagene Region-of-Interest-Detektor diesen Schritt als pixelweises Klassifizierungsaufgabe (d. h. jedes einzelne Pixel im Bild als separate Entscheidung behandelnd und ihm eine Kennzeichnung zuweisend, basierend darauf, ob es zu einer matting-kritischen Region gehört oder nicht), die die VOS-Maske, den aktuellen Frame und multi-skalierte Bildmerkmale integriert, um matting-kritische Regionen genauer zu isolieren.

In dem neuen Ansatz wird die vorhergesagte ROI zunächst in eine pseudo-Trimap umgewandelt, die den definitiven Vordergrund und Hintergrund von unsicheren Regionen trennt, wobei die Tracker-Maske verwendet wird, um bekannte Bereiche zuzuweisen, während die ROI als mehrdeutig markiert wird, sodass nachfolgende Verarbeitungsschritte sich explizit auf Grenzen konzentrieren können, an denen Details aufgelöst werden müssen.

Die Verfeinerung wird dann von einem Progressive Alpha Predictor gehandhabt, der das Matting als schrittweisen Prozess behandelt, der Zwischenergebnisse von grob zu feiner Skala überträgt, wobei jeder Schritt das Bild, die Trimap und die vorherige Schätzung verwendet, um die Struktur schrittweise zu schärfen und feine Details wiederherzustellen.

Im Endstadium wird die höchstaufgelöste Ausgabe aufgesampelt, um die vollständige Maske zu erstellen, wodurch breite Formen frühzeitig etabliert werden können, während feinere Elemente wie Haare und Transparenz in späteren Durchgängen aufgelöst werden.

Während des Trainings froren die Autoren den VOS-Tracker ein und trainierten nur die Matting-Komponenten auf hochwertigen Bild-Daten – was es ermöglichte, feine Details zu verfeinern, ohne die Konsistenz der Verfolgung zu beeinträchtigen. Die Überwachung wurde pro Frame angewendet, wobei Regionen von Interesse aus der Ground-Truth-Alpha-Maske abgeleitet und verwendet wurden, um das Lernen zu leiten, während der ROI-Detektor mit Verlusten trainiert wurde, die darauf abzielten, genaue Grenz-Klassifizierung zu fördern und hakelige Artefakte zu reduzieren.

Für Alpha-Schätzung wurden Verluste über mehrere Skalen angewendet, um Details schrittweise zu verbessern, zusammen mit einer zusätzlichen Einschränkung, die darauf abzielte, die vorhergesagte Maske mit der ursprünglichen Maske auszurichten – was half, die Struktur zu bewahren und hohle oder gebrochene Regionen im Endausgang zu vermeiden.

Daten und Tests

Acht Bild-Matting-Datensätze wurden ursprünglich für die Versuche verwendet: I-HIM50K; P3M-10k; CelebAHairMask-HQ; AIM-500; Distinctions-646; AM-2K; UHRIM; und RefMatte; und drei Varianten des ‘Sam2Matting’-Ansatzes wurden als VOS-Tracker entwickelt, jeweils unter Verwendung von SAM2.1-Tiny; SAM2.1-Base+; und dem konzeptfokussierten SAM3.

Der Tracker-Teil wurde eingefroren, und nur die Matting-Komponenten wurden optimiert. Alle Versionen wurden fünf Epochen lang auf vier NVIDIA A6000-GPUs trainiert, jeweils mit einer VRAM-Zuweisung von 48 GB. Eine Batch-Größe von 32 wurde verwendet, unter dem AdamW-Optimizer. Die verwendeten Metriken waren Mittlerer absoluter Unterschied (MAD); Mittlerer quadratischer Fehler (MSE); Gradient (Grad); Konnektivität (Conn); und dtSSD (nur für Video-Matting).

Quantitative Tests

Die Autoren begannen mit quantitativen Tests des neuen Systems auf Bild-Matting, unter Verwendung der Benchmarks P3M-500-NP; AM-2K (‘GFM’ in den Ergebnissen); MAM (‘Matte Anything’, in den Ergebnissen); E2E-HIM; Lightweight; und PPM-100 (‘MODNet’, in den Ergebnissen):

Quantitative Ergebnisse auf Bild-Matting-Benchmarks über P3M-500-NP, AM-2K-Test und PPM-100, mit niedrigeren Werten, die bessere Leistung über alle Metriken hinweg anzeigen, und die besten, zweitbesten und drittbesten Ergebnisse in rot, orange und gelb hervorgehoben.

Von diesen Ergebnissen heißt es im Paper:

‘Wie gezeigt [oben], übertreffen alle drei Varianten von SAM2Matting konsistent die vorherigen Baselines über verschiedene Metriken hinweg. Zum Beispiel erreicht die SAM2.1-Tiny-Variante einen 11,48 niedrigeren MAD-Wert als MAM auf P3M-500-NP.’

Die Autoren behaupten, dass die Ergebnisse insgesamt darauf hindeuten, dass ihr Ansatz aufgrund des Kernkonzepts bessere Ergebnisse erzielt und nicht aufgrund des Niveaus der Datenkuratierung.

Qualitative Tests

Für die menschliche Matting in qualitativen Tests fanden die Autoren heraus, dass Sam2Matting die wettbewerbsfähigen Baselines übertraf:

Qualitativer Vergleich auf menschlicher und In-the-Wild-Video-Matting, bei dem SAM2Matting feine Haarsträhnen und halbtransparente Regionen genauer als RVM und MatAnyone bewahrt, sauberere Grenzen und weniger fehlende Strukturen in herausfordernden Bereichen erzeugt.

Wie unten gezeigt, kämpfen bestehende Video-Matting-Systeme wie MatAnyone2 und MaGGIe, die auf domänen-spezifischen und oft menschen-zentrierten Datensätzen trainiert wurden, darum, sich auf In-the-Wild-Sequenzen zu verallgemeinern, insbesondere bei der Verarbeitung von schnell bewegten Objekten wie wachsenden Wurzeln, halbtransparenten Schmetterlingen und schnell tropfendem Wasser:

Qualitativer Vergleich auf In-the-Wild-Sequenzen, bei dem SAM2Matting feine Strukturen und zeitliche Konsistenz effektiver als MatAnyone2 und MaGGIe bewahrt, insbesondere für nicht-menschliche Objekte, schnelle Bewegung und halbtransparente Elemente wie Wasser, Glas und Insektenschwingen.

Im Gegensatz dazu erwies sich SAM2Matting als in der Lage, stabile Verfolgung aufrechtzuerhalten und feine Details zuverlässiger zu extrahieren, in diesen herausfordernden Szenarien.

Schließlich, wie in der folgenden Abbildung gezeigt, bewältigte SAM2Matting effektiv Ziele mit angehängten Objekten, wie Menschen, die Fahrräder fahren oder Ski-Stöcke halten, während es nahegelegene Hintergrund-Ablenkungen unterdrückte, und profitierte von der Matte-Masken-Konsistenz-Einschränkung, die zuvor beschrieben wurde.

Qualitativer Vergleich auf Sequenzen mit angehängten Objekten und Hintergrund-Ablenkungen, bei dem SAM2Matting Strukturen wie Fahrräder und Ski-Stöcke genauer als MatAnyone2 bewahrt, während es nahegelegene Ablenkungen unterdrückt und sauberere Silhouetten über Frames hinweg aufrechterhält.

Fazit

Die im neuen Paper beschriebenen Errungenschaften zeigen, wie sehr die Extraktion, eine der ältesten Aufgaben im Bereich des maschinellen Sehens, immer noch ungelöst und resistent gegen verallgemeinerte Ansätze ist. Wie bei vielen anderen vision-basierten Modellen bleibt das Problem bestehen, dass Extraktions-Algorithmen an Domänen-Wissen kleben, anstatt sich leicht auf unbekannte und unvorhersehbare Objekte anzupassen; diese spezielle Aufgabe belastet die äußersten Grenzen der Verallgemeinerung eines Modells.

Während die neue Arbeit einen Schritt vorwärts darstellt, ist es immer noch ein langer Weg, wenn man bedenkt, wie sehr diese Aufgabe in unserem täglichen Leben, durch Video-Chat-Portale, verankert ist.

Erstveröffentlichung am Montag, 13. Juli 2026