Andersons Blickwinkel
Objekte aus Videos effizienter mit Machine Learning entfernen
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Neue Forschungsergebnisse aus China berichten über bahnbrechende Ergebnisse – sowie eine beeindruckende Verbesserung der Effizienz – für ein neues Video-Inpainting-System, das Objekte aus Footage entfernen kann.
Ein Hang-Glider-Gurt wird durch das neue Verfahren entfernt. Siehe die Quellvideo für eine bessere Auflösung und weitere Beispiele. Quelle: https://www.youtube.com/watch?v=N–qC3T2wc4
Die Technik, die als End-to-End-Framework für Flow-Guided-Video-Inpainting (E2FGVI) bezeichnet wird, ist auch in der Lage, Wasserzeichen und andere Arten von Okklusionen aus Videoinhalten zu entfernen.
E2FGVI berechnet Vorhersagen für Inhalte, die hinter Okklusionen liegen, und ermöglicht so die Entfernung sogar bemerkenswerter und hartnäckiger Wasserzeichen. Quelle: https://github.com/MCG-NKU/E2FGVI
(Um weitere Beispiele in besserer Auflösung zu sehen, besuchen Sie das Video)
Obwohl das im veröffentlichten Papier vorgestellte Modell auf 432px x 240px-Videos trainiert wurde (übliche niedrige Eingabegrößen, begrenzt durch verfügbaren GPU-Speicherplatz vs. optimale Batch-Größen und andere Faktoren), haben die Autoren inzwischen E2FGVI-HQ veröffentlicht, das Videos in beliebiger Auflösung verarbeiten kann.
Der Code für die aktuelle Version ist verfügbar auf GitHub, während die HQ-Version, die letzten Sonntag veröffentlicht wurde, von Google Drive und Baidu Disk heruntergeladen werden kann.
Das Kind bleibt im Bild.
E2FGVI kann 432×240-Videos mit 0,12 Sekunden pro Frame auf einem Titan XP GPU (12GB VRAM) verarbeiten, und die Autoren berichten, dass das System fünfzehn Mal schneller ist als vorherige State-of-the-Art-Methoden, die auf optischer Fluss basieren.
Ein Tennispieler macht einen unerwarteten Abgang.
Bei Tests auf Standard-Datensätzen für diesen Teilbereich der Bildsynthese-Forschung konnte die neue Methode ihre Konkurrenten in qualitativer und quantitativer Auswertung überbieten.
Tests gegen vorherige Ansätze. Quelle: https://arxiv.org/pdf/2204.02663.pdf
Das Papier trägt den Titel Towards An End-to-End Framework for Flow-Guided Video Inpainting und ist eine Zusammenarbeit zwischen vier Forschern der Nankai-Universität und einem Forscher von Hisilicon Technologies.
Was fehlt in diesem Bild
Neben seinen offensichtlichen Anwendungen für visuelle Effekte wird hochwertiges Video-Inpainting zu einem Kernmerkmal neuer AI-basierter Bildsynthese- und Bildveränderungstechnologien.
Dies ist insbesondere der Fall für körperverändernde Modeanwendungen und andere Frameworks, die versuchen, Szenen in Bildern und Videos zu ‘verdünnen’ oder auf andere Weise zu verändern. In solchen Fällen ist es notwendig, den Hintergrund, der durch die Synthese freigelegt wird, überzeugend ‘auszufüllen’.
Aus einem aktuellen Papier, ein ‘Umgestaltungs’-Algorithmus, der den neu freigelegten Hintergrund ausfüllen muss, wenn ein Objekt vergrößert wird. Hier wird der Mangel durch den roten Umriss dargestellt, den die (im echten Leben, siehe Bild links) vollfigurige Person einst einnahm. Basierend auf Quellenmaterial von https://arxiv.org/pdf/2203.10496.pdf
Kohärenter optischer Fluss
Optischer Fluss (OF) ist zu einer Kerntechnologie in der Entwicklung von Video-Objekt-Entfernung geworden. Wie ein Atlas liefert OF eine einzigartige Karte einer zeitlichen Sequenz. Oft verwendet, um die Geschwindigkeit in Computer-Vision-Initiativen zu messen, kann OF auch eine zeitlich konsistente In-Painting ermöglichen, bei der die Gesamtsumme der Aufgabe in einem einzigen Durchgang betrachtet werden kann, anstatt Disney-Style ‘pro Frame’-Aufmerksamkeit, die unweigerlich zu zeitlicher Diskontinuität führt.
Video-Inpainting-Methoden bis heute haben sich auf einen dreistufigen Prozess konzentriert: Fluss-Vervollständigung, bei dem das Video im Wesentlichen in eine diskrete und erforschbare Entität umgewandelt wird; Pixel-Propagierung, bei der die Löcher in ‘korrupten’ Videos durch bidirektionale Propagierung von Pixeln gefüllt werden; und Inhalts-Halluzination (Pixel-‘Erfindung’, die uns von Deepfakes und Text-zu-Bild-Frameworks wie der DALL-E-Serie vertraut ist), bei der der geschätzte ‘fehlende’ Inhalt erfunden und in das Video eingefügt wird.
Die zentrale Innovation von E2FGVI ist es, diese drei Stufen in ein End-to-End-System zu kombinieren, wodurch die Notwendigkeit manueller Eingriffe in den Inhalt oder den Prozess entfällt.
Das Papier bemerkt, dass die Notwendigkeit manueller Eingriffe erfordert, dass ältere Prozesse nicht von einer GPU profitieren, was sie sehr zeitaufwändig macht. Aus dem Papier*:
‘Wenn man DFVI als Beispiel nimmt, benötigt die Vervollständigung eines Videos mit der Größe 432 × 240 aus DAVIS, das etwa 70 Frames enthält, etwa 4 Minuten, was in den meisten realen Anwendungen inakzeptabel ist. Darüber hinaus ignorieren die oben genannten Nachteile, dass nur ein vorge trainiertes Bild-Inpainting-Netzwerk auf der Stufe der Inhalts-Halluzination die Beziehungen zwischen den Inhalten über temporale Nachbarn hinweg ignoriert, was zu inkonsistenten generierten Inhalten in Videos führt.’
Indem E2FGVI die drei Stufen des Video-Inpainting vereint, kann es die zweite Stufe, die Pixel-Propagierung, durch Feature-Propagierung ersetzen. In den segmentierten Prozessen früherer Arbeiten sind Features nicht so umfassend verfügbar, da jede Stufe relativ hermetisch ist und der Workflow nur semi-automatisiert ist.
Die Forscher haben außerdem einen temporalen Fokal-Transformer für die Stufe der Inhalts-Halluzination entwickelt, der nicht nur die direkten Nachbarn von Pixeln im aktuellen Frame (d. h. was in diesem Teil des Frames im vorherigen oder nächsten Bild passiert), sondern auch die entfernten Nachbarn, die viele Frames entfernt sind und dennoch die kohärente Wirkung aller auf das Video angewendeten Operationen beeinflussen werden.
Architektur von E2FGVI.
Der neue featurebasierte zentrale Teil des Workflows kann von mehr featurebasierten Prozessen und lernbaren Sampling-Offsets profitieren, während der neuartige Fokal-Transformer der Autoren die Größe der Fokal-Fenster ‘von 2D auf 3D’ erweitert.
Tests und Daten
Um E2FGVI zu testen, bewerteten die Forscher das System gegen zwei beliebte Video-Objekt-Segmentierungs-Datensätze: YouTube-VOS und DAVIS. YouTube-VOS enthält 3741 Trainingsvideo-Clips, 474 Validierungs-Clips und 508 Test-Clips, während DAVIS 60 Trainingsvideo-Clips und 90 Test-Clips enthält.
E2FGVI wurde auf YouTube-VOS trainiert und auf beiden Datensätzen ausgewertet. Während des Trainings wurden Objekt-Masken (die grünen Bereiche in den Bildern oben und das begleitende YouTube-Video) generiert, um Video-Vervollständigung zu simulieren.
Als Metriken verwendeten die Forscher Peak-Signal-Rausch-Verhältnis (PSNR), Strukturelle Ähnlichkeit (SSIM), Video-basierte Fréchet-Inception-Distanz (VFID) und Flow-Warping-Fehler – letzterer, um die zeitliche Stabilität im betroffenen Video zu messen.
Die vorherigen Architekturen, gegen die das System getestet wurde, waren VINet, DFVI, LGTSM, CAP, FGVC, STTN und FuseFormer.
Aus dem quantitativen Ergebnisteil des Papiers. Auf- und Abwärtspfeile zeigen an, dass höhere oder niedrigere Zahlen besser sind. E2FGVI erreicht die besten Ergebnisse in allen Bereichen. Die Methoden werden nach FuseFormer bewertet, obwohl DFVI, VINet und FGVC keine End-to-End-Systeme sind, was es unmöglich macht, ihre FLOPs zu schätzen.
Neben der Erreichung der besten Ergebnisse gegen alle konkurrierenden Systeme führten die Forscher eine qualitative Benutzerstudie durch, bei der Videos, die mit fünf repräsentativen Methoden transformiert wurden, individuell an zwanzig Freiwillige gezeigt wurden, die aufgefordert wurden, sie in Bezug auf visuelle Qualität zu bewerten.
Die vertikale Achse stellt den Prozentsatz der Teilnehmer dar, die die E2FGVI-Ausgabe in Bezug auf visuelle Qualität bevorzugten.
Die Autoren bemerken, dass trotz der einstimmigen Präferenz für ihre Methode eines der Ergebnisse, FGVC, die quantitativen Ergebnisse nicht widerspiegelt, und sie vermuten, dass dies darauf hindeutet, dass E2FGVI möglicherweise ‘visuell angenehmere Ergebnisse’ generiert.
In Bezug auf Effizienz bemerken die Autoren, dass ihr System die Floating-Point-Operationen pro Sekunde (FLOPs) und die Inferenzzeit auf einem einzelnen Titan-GPU auf dem DAVIS-Datensatz erheblich reduziert, und sie beobachten, dass die Ergebnisse zeigen, dass E2FGVI x15 schneller ist als flussbasierte Methoden.
Sie kommentieren:
‘[E2FGVI] hat die niedrigsten FLOPs im Vergleich zu allen anderen Methoden. Dies zeigt, dass die vorgeschlagene Methode für Video-Inpainting sehr effizient ist.’
*Meine Umwandlung der Autorenzitate in Hyperlinks.
Erstveröffentlicht am 19. Mai 2022.
Geändert am Dienstag, den 28. Oktober 2025, um ein fehlerhaftes Video-Embed zu entfernen und Verweise auf das eingebettete Video im Artikel zu ändern.
