Objekte und Menschen aus Videos mit KI löschen

Nein, das Kind bleibt nicht im Bild, wenn die KI etwas dagegen unternimmt.

Das Entfernen von Menschen und Objekten aus Bildern und Videos ist ein beliebter Teilbereich der Forschung in der VFX-orientierten KI-Literatur, mit einer wachsenden Anzahl von speziellen Datensätzen und Frameworks, die diese Herausforderung angehen. Der neueste Ansatz, der vom Institute of Big Data der Fudan-Universität in China stammt, ist EffectErase, ein “effektbewusstes” Video-Objekt-Entfernungs-System, das, wie die Autoren behaupten, in Tests deutlich besser abschneidet als der aktuelle Stand der Technik:

Aus Material von der Projekt-Website erstellt, Beispiele für die EffectErase-Methode (Bitte beachten Sie, dass wir einen Link bereitstellen, aber die Quell-Website enthält so viele hochauflösende und nicht optimierte Autoplay-Videos, dass sie die Stabilität Ihres Web-Browsers beeinträchtigen kann. Das begleitende YouTube-Video ist eine einfachere und vollständigere Referenz und ist am Ende des Artikels eingebettet). Quelle

Die neue Arbeit umfasste die Erstellung/Kuration eines semi-neuen Datensatzes, der fast 350 Original-Szenen aus der realen Welt und auch synthetisierte Szenen (unter Verwendung von öffentlichen Repositories*) umfasst, die entweder mit spezieller Ausrüstung aufgenommen oder in einen Workflow integriert wurden, der auf dem Open-Source-Blender-3D-Framework basiert.

Der hybride Video-Objekt-Entfernungs-Datensatz (VOR) bildet die Grundlage für die EffectErase-Anwendung selbst, die auf dem Wan2.1-Video-Generierungssystem aufbaut. Das System definiert auch zwei neue verwandte Benchmarks: VOR-Eval und VOR-Wild – jeweils für Proben mit und ohne Ground-Truth.

(Obwohl die Arbeit eine begleitende Projekt-Website hat, ist sie ziemlich überlastet mit mehreren hochauflösenden Videos und schwer zu laden; daher bitte auf die Auszüge verweisen, die ich in dem eingebetteten Video oben kuratiert habe, wenn Sie die Projekt-Website schwierig zu verwenden finden)

Ein Vergleich der Mengen über vergleichbare vorherige Datensätze, im Hinblick auf das neue Angebot. Quelle

Die Forscher behaupten, dass ihr Ansatz eine state-of-the-art-Leistung erbringt, sowohl in quantitativen Metriken als auch in qualitativen Ergebnissen, die durch eine menschliche Studie bewertet wurden.

Sie stellen fest, dass vorherige Arbeiten nicht immer in der Lage waren, die Nebeneffekte eines Objekts, wie Schatten und Reflexionen, zu entfernen, und dass ihr Datensatz sorgfältig erstellt wurde, um diese Lücke zu schließen:

Beispiele für das Versagen vorheriger Ansätze, über das Objekt hinauszugehen, das für die Entfernung vorgesehen ist, auf sekundäre Indikatoren wie Reflexionen und Schatten.

Die neue Arbeit trägt den Titel EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing und stammt von vier Forschern der Fudan-Universität, College of Computer Science and Artificial Intelligence.

Methode

Der hybride VOR-Datensatz wurde so konzipiert, dass er ein breites Spektrum von Szenarien abdeckt, um alle Auswirkungen des Versuchs, eine Person oder ein Objekt aus einem Video zu entfernen, zu berücksichtigen:

Paarweise Frames aus dem VOR-Datensatz veranschaulichen, wie die Objektentfernung über das sichtbare Objekt hinausgehen muss, um die induzierten Effekte wie Okklusion, Schatten, Lichtverschiebungen, Reflexionen und physische Deformationen zu berücksichtigen, wobei jedes Beispiel als Eingabe (Objekt vorhanden) neben dem entsprechenden sauberen Hintergrund nach der Entfernung präsentiert wird. Für weitere Beispiele siehe das begleitende YouTube-Video, das am Ende des Artikels eingebettet ist.

Die fünf repräsentativen Arten von “Störungen”, die angegangen werden sollen, werden von den Autoren als Okklusion definiert, einschließlich verschiedener Arten von Glas- und Rauchokklusion; Schatten; Licht (z.B. wenn ein Objekt, das entfernt werden soll, Lichtpfade erstellt oder ändert); Reflexion; und Deformation (z.B. die Spur eines Benutzers auf einem Kissen, die nicht überleben sollte, wenn die Person entfernt wird).

Datensatz-Konstruktions-Pipeline für VOR, die Blender-generierte synthetische Szenen mit realen Aufnahmen kombiniert, wobei synthetische Daten aus kuratierten 3D-Umgebungen, Objekten und Kamera-Trajektorien aufgebaut werden und reale Aufnahmen über diverse Szenen aufgenommen und mit Ken-Burns-Bewegung ergänzt werden. SAM2-Segmentierung und manuelle Verfeinerung erzeugen dann ausgerichtete Vordergrund- und Hintergrund-Video-Tripletts mit entsprechenden Masken.

Für die realen Original-Daten verwendeten die Forscher fest installierte Kameras, um “mit” und “ohne” Szenen aufzunehmen, die eine breite Palette von Umgebungen, Tageszeiten und Wetterbedingungen abdecken.

Für die synthetisierten Daten wurden multiple Perspektiven gerendert und Mehr-Objekt-Szenarien erstellt, die absichtlich komplexe und herausfordernde Arten von Kamerabewegungen enthielten, wie sie in realen Aufnahmen vorkommen könnten; und die Forscher bemerken, dass dieser Ansatz komplexer und aufwändiger ist als der, der für den ansonsten ähnlichen Remove Objects with Side Effects in Videos (ROSE) Datensatz verwendet wurde.

Um die Bewegungsdiversität zu erhöhen, wurde der Ken-Burns-Effekt auf Kamera-aufgenommene Paare angewendet, wodurch kontrollierte Pans, Zooms und leichte Handbewegungen unter vierzehn vordefinierten Regeln hinzugefügt wurden, wobei fünf Bewegungsmuster pro Paar sampelten, während die Cropp-Box innerhalb des ursprünglichen Rahmens blieb.

Skalierbarkeit und Vielfalt wurden weiter durch die Kombination von synthetischen Objekten mit mehreren Kamera-Setups erweitert. Masken wurden durch Platzierung von manuellen Punktprompts auf Schlüsselrahmen, Propagation von Segmentierung mit Segment Anything 2 (SAM2), Reinigung und Verfeinerung der Ergebnisse und Zusammenstellung von validierten Vordergrund-, Hintergrund- und Mask-Tripletts für die Ausbildung erzeugt.

Die endgültige Sammlung umfasst 145 Stunden Video über 60.000 paarige Videos, reale und synthetische, die 366 Objekt-Klassen in 443 Szenen abdecken.

Das EffectErase-Netzwerk selbst nimmt Material über einen Variational Auto-Encoder (VAE^†) auf, wobei die latente Entstörung von Wan2.1 gehandhabt wird. Über diesem Backbone arbeitet EffectErase Entfernung-Einfügung-Joint-Learning, das beide Aufgaben zusammen auf den gleichen Regionen trainiert; Aufgaben-orientierte Region-Führung (TARG), das Objekt- und Aufgaben-Tokens mit Cross-Attention verwendet, um räumlich-zeitliche Verbindungen zwischen Objekten und ihren Effekten zu modellieren und Aufgabenumschaltung zu ermöglichen; und Effekt-Konsistenz-Verlust, das Effekt-Regionen über Entfernung- und Einfügungsaufgaben ausrichtet:

Schema für das EffectErase-Framework. Während des Trainings werden paarige Videos in einen gemeinsamen latenten Raum codiert, mit Rauschen fusioniert und von einem Diffusions-Transformer unter Anleitung von aufgaben-orientierter Cross-Attention verarbeitet, während ein Effekt-Konsistenz-Verlust Entfernung- und Einfügungs-Regionen ausrichtet, so dass beide Aufgaben auf die gleiche Fläche fokussieren.

Sie selbst, die Entfernung- und Einfügungsprozesse, werden zusammen trainiert, unter Verwendung eines gemeinsamen Diffusions-Backbones, so dass das Modell lernt, sich auf die gleichen betroffenen Regionen und strukturellen Hinweise zu konzentrieren.

Videos mit Objekten, Hintergrund-Videos und Masken werden zuerst in einen latenten Raum codiert; Rauschen wird dann hinzugefügt, um die Diffusions-Schulung zu ermöglichen, und das Modell lernt, saubere Darstellungen unter Aufgaben-spezifischer Anleitung wiederherzustellen. Ein leichtes Adapter fusioniert dann die rauschigen Merkmale mit Entfernung- oder Einfügungsbedingungen, wodurch beide Aufgaben die Aufsicht teilen können, während sie weiterhin steuerbar bleiben.

Aufgaben-orientierte Region-Führung erstellt ein aufgaben-spezifisches Signal, indem Sprach-Tokens mit visuellen Merkmalen kombiniert werden, die aus dem Vordergrund-Objekt extrahiert werden, unter Verwendung von CLIP, wobei ein generischer Objekt-Token durch eine Einbettung ersetzt wird, die aus dem tatsächlichen Bildinhalt abgeleitet wird. Diese fusionierte Darstellung wird in den Backbone durch Cross-Attention injiziert, wodurch das Modell lernt, wie ein Objekt und seine visuellen Effekte im Laufe von Raum und Zeit evolvieren, während es eine flexible Umschaltung zwischen Entfernung und Einfügung ermöglicht.

Effekt-Konsistenz-Verlust zwingt Entfernung- und Einfügungsprozesse, sich auf die gleichen geänderten Bereiche zu konzentrieren, da beide Aufgaben mit dem gleichen Objekt und seinen visuellen Effekten zu tun haben. Aufmerksamkeitskarten von jedem Zweig werden dann in weiche Regionen-Karten kombiniert und mit einer Differenz-Karte ausgerichtet, die aus den Objekt- und Hintergrund-Videos berechnet wird, so dass subtile Änderungen wie Beleuchtung und Schatten erhalten bleiben. Dieser zusätzliche Verlust hilft der Einfügung, die Entfernung zu leiten und beide Aufgaben konsistent zu halten.

Daten und Tests

Die Forscher testeten ihren Ansatz gegen verschiedene Inpainting-, Video-Inpainting- und Objekt-Entfernungs-Methoden: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; und MiniMax-Remover.

Wan2.1 wurde mit LoRA^†† unter Verwendung des VOR-Datensatzes bei einer Auflösung von 832x480px fein abgestimmt. 81 aufeinanderfolgende Frames (die effektive Grenze für WAN, jenseits derer Fehler auftreten) wurden zufällig für die Schulung ausgewählt, die über 129.000 Iterationen bei einem Batch-Größe von 8 auf acht H100-GPUs mit jeweils 80 GB VRAM stattfand. Die Lernrate wurde auf 1×10² gesetzt und der LoRA-Rang auf 256.

Die ROSE-Benchmark-Sammlung war die einzige externe Datensammlung, die getestet wurde; die anderen beiden waren VOR-Eval, der VOR-Datensatz-Test-Split; und VOR-Wild, ein Test-Set, das aus 195 realen Videos besteht, die aus dem Internet gesammelt wurden und “dynamische Objekte” enthalten.

Verwendete Metriken waren Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); und Fréchet Video Distance (FVD). Eine Benutzerstudie von 195 generierten Videos aus VOR-Wild wurde ebenfalls berücksichtigt, wobei die durchschnittlichen Bewertungen von 20 Freiwilligen berücksichtigt wurden.

Zusätzlich entwickelten die Autoren QScore, eine Metrik, die das Qwen-VL-Multimodal-Modell nutzt, um die Qualität des Objekt-entfernten Video-Ausgangs zu bewerten, in Bezug auf verbleibende Artefakte oder verpasste Umgebungs-Entfernungen, wie Schatten und Lichteffekte:

Quantitativer Vergleich auf ROSE- und VOR-Benchmarks, wobei die besten und zweitbesten Ergebnisse in fett und unterstrichen dargestellt werden.

In Bezug auf diese Ergebnisse stellen die Autoren fest:

‘[Aktuelle] Bild-Inpainting-Methoden arbeiten auf einzelnen Frames mit 2D-Modellen ohne zeitliche Modellierung und können daher die zeitliche Konsistenz in Videos nicht aufrechterhalten.

Neuere Video-Inpainting-[Methoden] modellieren die Nebeneffekte von Objekten nicht explizit, was zu unnatürlichen Entfernungen führt. Bestehende Video-Objekt-Entfernungs-[Methoden] haben keine räumlich-zeitliche Korrelations-Modellierung zwischen dem Objekt und seinen Nebeneffekten und produzieren daher oft Artefakte und Reste der entfernten Objekte.

‘Insgesamt erzielt EffectErase eine state-of-the-art-Leistung über alle Datensätze und Bewertungsmetriken hinweg. Es erhält die besten Werte für die Video-Qualitäts-Metrik FVD, was eine überlegene zeitliche Glätte und Konsistenz der generierten Videos zeigt.

‘Unsere Methode erzielt auch die höchsten QScore- und Benutzer-Bewertungen, was ihre Effektivität bei der Erzeugung visuell überzeugender Entfernungs-Ergebnisse weiter unterstreicht.’

Für die qualitative Bewertung werden statische Ergebnisse im Paper (hier direkt unten) angeboten, sowie bewegte Ergebnisse, die auf der Projekt-Website und im begleitenden YouTube-Video verfügbar sind:

Qualitativer Vergleich auf VOR-Eval über Okklusion, Schatten, Beleuchtung, Reflexion und Deformation. Inpainting-Methoden haben Schwierigkeiten, Effekte außerhalb der Maske zu entfernen, während Entfernungs-Modelle oft sichtbare Artefakte hinterlassen. EffectErase entfernt sowohl das Ziel-Objekt als auch seine zugehörigen Effekte sauberer. Bitte verweisen Sie auf die Quell-Veröffentlichung für eine bessere Auflösung und auf die Projekt-Website für Video-Beispiele.

Wir verweisen den Leser auch auf diverse verwandte Beispiele auf der Projekt-Website, die unten vorschauweise gezeigt werden, sowie das offizielle YouTube-Video, das am Ende des Artikels eingebettet ist:

Klicken Sie, um abzuspielen. Ein Vergleichs-Beispiel von der EffectErase-Projekt-Website. Bitte verweisen Sie auf die Website für eine bessere Auflösung (mit den oben genannten Vorbehalten) und für weitere Beispiele.

Die Autoren bemerken:

‘Video-Inpainting-[Methoden] produzieren oft Artefakte in maskierten Regionen und können die Nebeneffekte, die durch die entfernten Objekte verursacht werden, nicht vollständig entfernen. Frühere Objekt-Entfernungs-Ansätze, wie [ROSE] und [MinMax-Remover], entfernen Ziel-Objekte gut, haben aber Schwierigkeiten mit Nebeneffekten, insbesondere in Okklusion, Schatten, Beleuchtung, Reflexion und Deformationsszenarien.

‘Im Gegensatz dazu entfernt EffectErase sowohl Ziel-Objekte als auch ihre zugehörigen Effekte effektiv, was zu sauberen, kohärenten und hochwertigen Ergebnissen führt.’

In ihrem Abschluss bemerken die Forscher, dass ihre Methode auch für Einfügungsaufgaben anstelle von Entfernungen ohne zusätzliche Schulung angepasst werden kann:

Video-Objekt-Einfügungsergebnisse. EffectErase fügt Objekte ein, während es den Hintergrund-Inhalt bewahrt und konsistente objektabhängige Effekte wie Schatten und Reflexionen über Frames hinweg erzeugt.

Video-Ergebnisse für die Einfügungsaufgabe können im (zeitlich spezifischen) YouTube-Video gesehen werden (auch ohne Zeitstempel am Ende des Artikels eingebettet).

Schlussfolgerung

Ein Blick auf ähnliche Projekte in der Literatur zeigt, dass viele noch hoffen, dass allgemeine VFX-Modelle diese Art von Funktionalität letztendlich in ein allgemeines “Werkzeug”-Modell integrieren werden, das für eine Vielzahl von Effekten konzipiert ist, anstatt nur für diese spezifische Aufgabe.

Es scheint jedoch vernünftig anzunehmen, dass spezialisierte Systeme wie EffectErase ihre Vorteile gegenüber allgemeineren Ansätzen beibehalten werden; mit der Einschränkung, dass die Lücke letztendlich so klein werden könnte, dass der Unterschied nicht mehr der zusätzlichen Anstrengung wert ist, ein separates Modell zu trainieren.

* Man könnte hoffen, dass mit wachsenden Bedenken hinsichtlich IP-Provenienz alle solchen Quellen zitiert würden; aber wenn die verfügbaren Materialien der neuen Arbeit die Quelle der 3D-Modelle auflisten, konnte ich diese Referenz nicht finden.

^† Die angegebene Referenz scheint ein generischer Erklärungstext von 2013 zu sein, ohne dass das spezifische VAE detailliert wird.

^†† Entnommen aus dem Paper, ist dies eine semantisch unklare Beschreibung, da Feinabstimmung und LoRA unterschiedliche Prozesse mit sehr unterschiedlichen Anforderungen sind.

Erstveröffentlichung am Samstag, den 21. März 2026