Objekte und Menschen mit KI aus Videos entfernen

Nein, wenn es nach der KI geht, bleibt das Kind nicht im Bild.

Menschen und Objekte aus Bildern und Videos zu entfernen, ist ein beliebtes Teilgebiet der VFX-orientierten KI-Forschung. Immer mehr spezialisierte Datensätze und Frameworks widmen sich dieser Herausforderung. Der jüngste Beitrag vom Institute of Big Data der chinesischen Fudan-Universität ist EffectErase, ein System zur Objektentfernung aus Videos, das deren Effekte berücksichtigt. Nach Angaben der Autoren übertrifft es in Tests den bisherigen Stand der Technik deutlich:

Aus Material der Projektwebsite zusammengestellte Beispiele für EffectErase. Wir stellen zwar einen Link bereit, doch die Quellwebsite enthält so viele hochauflösende, nicht optimierte und automatisch startende Videos, dass sie die Stabilität Ihres Browsers beeinträchtigen kann. Das begleitende YouTube-Video ist die leichter zugängliche und umfassendere Referenz; es ist am Ende dieses Artikels eingebettet.  Quelle

Für die neue Arbeit wurde ein teilweise neuer Datensatz erstellt und kuratiert. Er umfasst fast 350 originäre reale sowie synthetisierte Szenen und nutzt auch öffentliche Repositorien*. Die Szenen wurden entweder mit spezieller Ausrüstung aufgenommen oder aus anderen Quellen übernommen und für einen Workflow auf Basis des quelloffenen 3D-Frameworks Blender aufbereitet.

Der hybride Datensatz Video Object Removal (VOR) bildet die Grundlage der Anwendung EffectErase, die auf dem Videogenerierungssystem Wan2.1 aufbaut. Das System definiert außerdem zwei neue verwandte Benchmarks: VOR Eval und VOR Wild, jeweils für Beispiele mit verfügbaren beziehungsweise fehlenden Referenzdaten (Ground Truth).

(Die Arbeit hat zwar eine begleitende Projektwebsite, doch diese ist mit hochauflösenden Videos überladen und lässt sich nur schwer laden. Falls Sie Schwierigkeiten mit der Website haben, sehen Sie sich bitte die von mir zusammengestellten Ausschnitte im oben eingebetteten Video an.)

Vergleich des Umfangs früherer ähnlicher Datensätze mit dem neuen Datensatz. Quelle

Die Forscher behaupten, ihr Ansatz erreiche Spitzenleistungen sowohl bei quantitativen Metriken als auch bei qualitativen Ergebnissen, die durch eine Studie mit Menschen bewertet wurden.

Sie merken an, dass frühere Arbeiten Begleiteffekte eines Objekts, etwa Schatten und Spiegelungen, nicht immer erfolgreich entfernt hätten. Ihr Datensatz sei sorgfältig zusammengestellt worden, um diese Schwäche zu beheben:

Beispiele dafür, dass frühere Ansätze nur das zu entfernende Objekt betrachten und sekundäre Hinweise wie Spiegelungen und Schatten übersehen.

Die neue Arbeit trägt den Titel EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing und stammt von vier Forschern am College of Computer Science and Artificial Intelligence der Fudan-Universität.

Methode

Der hybride VOR-Datensatz wurde so angelegt, dass er genügend unterschiedliche Szenarien umfasst, um alle Folgen des Entfernens einer Person oder eines Objekts aus Videos abzudecken:

Bildpaare aus dem VOR-Datensatz zeigen, dass die Objektentfernung über das sichtbare Motiv hinaus auch dessen Auswirkungen erfassen muss. Beispiele sind Verdeckungen, Schatten, veränderte Beleuchtung, Spiegelungen und physische Verformungen. Jeweils steht der Eingabe mit vorhandenem Objekt der passende bereinigte Hintergrund nach der Entfernung gegenüber. Weitere Beispiele finden Sie im begleitenden YouTube-Video am Ende dieses Artikels.

Die Autoren definieren fünf repräsentative Arten von „Störungen“, die zu berücksichtigen sind: Verdeckung, darunter verschiedene Arten durch Glas und Rauch; Schatten; Beleuchtung (etwa wenn das zu entfernende Objekt einen Lichtweg entstehen lässt oder verändert); Spiegelung; und Verformung (etwa der Abdruck einer Person in einem Kissen, der nach dem Entfernen der Person nicht zurückbleiben sollte).

Erstellungsprozess des VOR-Datensatzes, der mit Blender generierte synthetische Szenen und reale Aufnahmen kombiniert. Die synthetischen Daten entstehen aus ausgewählten 3D-Umgebungen, Objekten und Kamerabahnen. Reale Aufnahmen aus unterschiedlichen Szenen werden um Ken-Burns-Bewegungen ergänzt. Die Segmentierung mit SAM2 und manuelle Nachbearbeitung erzeugen anschließend aufeinander ausgerichtete Tripel aus Vordergrundvideo, Hintergrundvideo und zugehöriger Maske.

Für die originären realen Daten zeichneten die Forscher mit feststehenden Kameras Szenen mit und ohne Objekt auf. Dabei deckten sie unterschiedlichste Umgebungen, Tageszeiten und Wetterbedingungen ab.

Für die synthetisierten Daten wurden mehrere Perspektiven gerendert und Szenarien mit mehreren Objekten erstellt. Die Kamerabewegungen waren bewusst komplex und anspruchsvoll, wie sie auch in realen Aufnahmen vorkommen können. Den Forschern zufolge ist dieser Ansatz ausgefeilter und aufwendiger als der des ansonsten ähnlichen Remove Objects with Side Effects in Videos (ROSE)-Datensatzes.

Um die Bewegungsvielfalt zu erhöhen, wurde auf die mit Kameras aufgenommenen Bildpaare der Ken-Burns-Effekt angewandt. Nach vierzehn vorgegebenen Regeln wurden kontrollierte Schwenks, Zooms und leichte Bewegungen wie bei handgeführten Kameras ergänzt. Pro Paar wurden fünf Bewegungsmuster ausgewählt, wobei der Bildausschnitt innerhalb des ursprünglichen Bildrahmens blieb.

Die Kombination synthetischer Objekte mit mehreren Kameraanordnungen erhöhte Umfang und Vielfalt weiter. Für die Masken wurden auf Schlüsselbildern manuell Punkt-Prompts gesetzt und die Segmentierung mit Segment Anything 2 (SAM2) auf weitere Bilder übertragen. Nach Bereinigung und Nachbearbeitung wurden validierte Tripel aus Vordergrund, Hintergrund und Maske für das Training zusammengestellt.

Die fertige Sammlung umfasst 145 Stunden Video in 60.000 gepaarten realen und synthetischen Videos. Sie deckt 366 Objektklassen in 443 Szenen ab.

Das EffectErase-Netzwerk verarbeitet Eingaben über einen Variational Auto-Encoder (VAE^†); das Entrauschen im latenten Raum übernimmt Wan2.1. Auf dieser Grundlage verwendet EffectErase drei Komponenten: gemeinsames Lernen von Entfernung und Einfügung, bei dem beide Aufgaben zusammen an denselben Regionen trainiert werden; aufgabenabhängige regionale Steuerung (TARG), die Objekt- und Aufgaben-Tokens mit Cross-Attention nutzt, um räumliche und zeitliche Zusammenhänge zwischen Objekten und ihren Effekten zu modellieren und Aufgabenwechsel zu ermöglichen; sowie einen Konsistenzverlust für Effekte, der die betroffenen Regionen über Entfernungs- und Einfügungsaufgaben hinweg ausrichtet:

Schema des EffectErase-Frameworks. Beim Training werden gepaarte Videos in einen gemeinsamen latenten Raum codiert, mit Rauschen kombiniert und von einem Diffusionstransformer verarbeitet, den aufgabenabhängige Cross-Attention steuert. Ein Konsistenzverlust für Effekte richtet Entfernungs- und Einfügungsregionen so aus, dass sich beide Aufgaben auf denselben Bereich konzentrieren.

Entfernung und Einfügung werden gemeinsam auf derselben Diffusionsbasis trainiert. So lernt das Modell, sich auf dieselben betroffenen Regionen und strukturellen Hinweise zu konzentrieren.

Videos mit Objekten, reine Hintergrundvideos und Masken werden zunächst in einen latenten Raum codiert. Für das Diffusionstraining wird Rauschen hinzugefügt, und das Modell lernt unter aufgabenspezifischer Anleitung, saubere Darstellungen wiederherzustellen. Ein schlanker Adapter verbindet verrauschte Merkmale mit den Bedingungen für Entfernung oder Einfügung. Dadurch teilen beide Aufgaben die Supervision und bleiben zugleich steuerbar.

Aufgabenabhängige regionale Steuerung erzeugt ein aufgabenspezifisches Signal, indem sie Sprach-Tokens mit visuellen Merkmalen des Vordergrundobjekts kombiniert. Dazu wird CLIP verwendet; ein allgemeines Objekt-Token wird durch ein Embedding aus dem tatsächlichen Bildinhalt ersetzt. Diese kombinierte Darstellung gelangt über Cross-Attention in das Basisnetzwerk. So kann das Modell verfolgen, wie sich Objekt und visuelle Effekte räumlich und zeitlich verändern, und flexibel zwischen Entfernung und Einfügung wechseln.

Der Konsistenzverlust für Effekte zwingt Entfernung und Einfügung dazu, sich auf dieselben veränderten Bereiche zu konzentrieren, da beide Aufgaben dasselbe Objekt und dessen visuelle Effekte betreffen. Die Aufmerksamkeitskarten beider Zweige werden zu weichen Regionskarten kombiniert und an einer Differenzkarte aus Objekt- und Hintergrundvideos ausgerichtet. So bleiben subtile Veränderungen wie Beleuchtung und Schatten erhalten. Dieser zusätzliche Verlust hilft der Einfügung, die Entfernung anzuleiten, und hält beide Aufgaben konsistent.

Daten und Tests

Die Forscher verglichen ihren Ansatz mit verschiedenen Verfahren für Bild-Inpainting, Video-Inpainting und Objektentfernung: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; und MiniMax-Remover.

Wan2.1 wurde mit LoRA^†† auf dem VOR-Datensatz bei 832×480 Pixeln feinabgestimmt. Für das Training wurden 81 aufeinanderfolgende Bilder zufällig ausgewählt. Dies ist die praktische Grenze für WAN; darüber hinaus treten tendenziell Fehler auf. Das Training lief über 129.000 Iterationen mit einer Batchgröße von 8 auf acht H100-GPUs mit jeweils 80GB VRAM. Die Lernrate wurde auf 1×10² und der LoRA-Rang auf 256 gesetzt.

Die synthetische Sammlung ROSE-Benchmark war der einzige getestete externe Datensatz. Die anderen beiden waren VOR-Eval, der Testanteil des VOR-Datensatzes, also dessen Testaufteilung; und VOR-Wild, ein Testdatensatz aus 195 realen, im Internet gesammelten Videos mit bewegten Objekten.

Verwendete Metriken waren Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index (SSIM), Learned Perceptual Image Patch Similarity (LPIPS) und Fréchet Video Distance (FVD). Außerdem wurde eine Nutzerstudie mit 195 aus VOR-Wild generierten Videos berücksichtigt; einbezogen wurden die gemittelten Bewertungen von 20 Freiwilligen.

Zusätzlich entwickelten die Autoren QScore, eine Metrik auf Basis des multimodalen Modells Qwen-VL. Sie bewertet die Qualität von Videos nach der Objektentfernung anhand verbleibender Artefakte oder nicht beseitigter Umgebungseffekte wie Schatten und Beleuchtung:

Quantitativer Vergleich auf den ROSE- und VOR-Benchmarks. Die besten Ergebnisse sind fett, die zweitbesten unterstrichen dargestellt.

Zu diesen Ergebnissen erklären die Autoren:

‘[Aktuelle] Bild-Inpainting-Verfahren verarbeiten einzelne Bilder mit 2D-Modellen ohne zeitliche Modellierung. Daher können sie in Videos keine zeitliche Konsistenz gewährleisten.

Neuere Video-Inpainting-[Verfahren] modellieren die Nebeneffekte von Objekten nicht explizit, was zu unnatürlichen Entfernungsergebnissen führt. Bestehenden Verfahren zur Objektentfernung aus Videos fehlt die Modellierung der räumlich-zeitlichen Korrelation zwischen Objekt und Nebeneffekten. Deshalb erzeugen sie häufig Artefakte und verbleibende Spuren der entfernten Objekte.

‘Insgesamt erreicht EffectErase auf allen Datensätzen und Bewertungsmetriken Spitzenleistungen. Es erzielt die besten Werte bei der Videoqualitätsmetrik FVD und zeigt damit eine überlegene zeitliche Flüssigkeit und Konsistenz der generierten Videos.

‘Unsere Methode erreicht auch den höchsten QScore und die besten Nutzerbewertungen. Dies belegt zusätzlich ihre Wirksamkeit bei der Erzeugung visuell überzeugender Entfernungsergebnisse.’

Für die qualitative Bewertung enthält die Arbeit statische Ergebnisse, die direkt unten gezeigt werden. Bewegte Ergebnisse sind auf der Projektwebsite sowie in der begleitenden YouTube-Videopräsentation verfügbar:

Qualitativer Vergleich auf VOR-Eval bei Verdeckung, Schatten, Beleuchtung, Spiegelung und Verformung. Inpainting-Verfahren haben Mühe, Effekte außerhalb der Maske zu entfernen; Entfernungsmodelle hinterlassen häufig sichtbare Artefakte. EffectErase entfernt sowohl die Zielobjekte als auch die zugehörigen Effekte sauberer. Für eine höhere Auflösung konsultieren Sie die Originalarbeit, für Videobeispiele die Projektwebsite.

Wir verweisen außerdem auf die unterschiedlichen verwandten Beispiele auf der Projektwebsite, von denen unten eine Vorschau zu sehen ist, sowie auf das offizielle YouTube-Video am Ende dieses Artikels:

Zum Abspielen klicken. Ein Vergleichsbeispiel von der EffectErase-Projektwebsite. Weitere Beispiele und eine höhere Auflösung finden Sie dort unter Beachtung der oben genannten Vorbehalte.

Die Autoren kommentieren:

‘Video-Inpainting-[Verfahren] erzeugen häufig Artefakte in maskierten Regionen und entfernen die von den entfernten Objekten verursachten Nebeneffekte nicht vollständig. Frühere Ansätze wie [ROSE] und [MinMax-Remover] entfernen Zielobjekte gut, haben aber weiterhin Schwierigkeiten mit Nebeneffekten, insbesondere bei Verdeckung, Schatten, Beleuchtung, Spiegelung und Verformung.

‘Dagegen entfernt EffectErase sowohl Zielobjekte als auch zugehörige Effekte wirksam und liefert saubere, stimmige und hochwertige Ergebnisse.’

Abschließend stellen die Forscher fest, dass sich ihre Methode ohne zusätzliches Training auch für das Einfügen statt für das Entfernen von Objekten anpassen lässt:

Ergebnisse der Objekteinfügung in Videos. EffectErase fügt Objekte ein, bewahrt dabei den Hintergrund und erzeugt über die Einzelbilder hinweg konsistente objektbedingte Effekte wie Schatten und Spiegelungen.

Videoergebnisse zur Einfügungsaufgabe sind in den Beispielen im YouTube-Video mit Verweis auf den entsprechenden Zeitpunkt zu sehen. Es ist außerdem ohne Zeitmarke am Ende des Artikels eingebettet.

Fazit

Ein Blick auf ähnliche Projekte in der Literatur zeigt, dass viele weiterhin hoffen, allgemeine VFX-Modelle könnten diese Funktion eines Tages in ein universelles „Werkzeugkasten“-Modell integrieren, das für verschiedene Effekte und nicht nur für diese einzelne Aufgabe gedacht ist.

Angesichts der Grenzen eines Alleskönners scheint jedoch die Annahme vernünftig, dass spezialisierte Systeme wie EffectErase bei dieser Funktion gegenüber allgemeineren Ansätzen im Vorteil bleiben. Allerdings könnte die Lücke irgendwann so klein werden, dass sich der zusätzliche Aufwand für das Training eines separaten Modells nicht mehr lohnt.

* Angesichts wachsender Bedenken hinsichtlich der Herkunft geistigen Eigentums wäre zu hoffen, dass sämtliche derartigen Quellen angegeben werden. Falls die verfügbaren Materialien der neuen Arbeit jedoch die Herkunft der 3D-Modelle aufführen, konnte ich diesen Verweis nicht finden.

^† Der angegebene Verweis scheint ein allgemeiner Erläuterungstext aus dem Jahr 2013 zu sein; der konkret verwendete VAE wird nicht näher beschrieben.

^†† Diese aus der Arbeit übernommene Beschreibung ist semantisch unklar, da Feinabstimmung und LoRA unterschiedliche Prozesse mit sehr unterschiedlichen Anforderungen sind.

Erstmals veröffentlicht am Samstag, dem 21. März 2026