Andersons hoek
Voorwerpen uit video’s verwijderen met machine learning
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Nieuw onderzoek uit China meldt state-of-the-art resultaten – evenals een indrukwekkende verbetering in efficiëntie – voor een nieuw videosysteem voor inpainting dat voorwerpen uit beelden kan verwijderen.
Het harnas van een hangglider wordt weggepoetst door de nieuwe procedure. Bekijk de bronvideo voor betere resolutie en meer voorbeelden. Bron: https://www.youtube.com/watch?v=N–qC3T2wc4
De techniek, genaamd End-to-End framework voor Flow-Guided video Inpainting (E2FGVI), is ook in staat om watermerken en andere soorten occlusies uit video-inhoud te verwijderen.
E2FGVI berekent voorspellingen voor inhoud die achter occlusies ligt, waardoor zelfs opvallende en lastige watermerken kunnen worden verwijderd. Bron: https://github.com/MCG-NKU/E2FGVI
(Om meer voorbeelden in betere resolutie te zien, bekijk de video)
Hoewel het model dat in het gepubliceerde artikel werd gepresenteerd, werd getraind op 432px x 240px video’s (lage invoergroottes, beperkt door de beschikbare GPU-ruimte versus optimale batchgroottes en andere factoren), hebben de auteurs sindsdien E2FGVI-HQ uitgebracht, dat video’s in willekeurige resolutie kan verwerken.
De code voor de huidige versie is beschikbaar op GitHub, terwijl de HQ-versie, die vorige zondag werd uitgebracht, kan worden gedownload van Google Drive en Baidu Disk.
Het kind blijft in beeld.
E2FGVI kan 432×240 video verwerken in 0,12 seconden per frame op een Titan XP GPU (12GB VRAM), en de auteurs melden dat het systeem vijftien keer sneller werkt dan eerdere state-of-the-art methoden op basis van optical flow.
Een tennisser maakt een onverwachte exit.
Getest op standaard datasets voor dit onderdeel van image synthesis-onderzoek, was de nieuwe methode in staat om rivalen te overtreffen in zowel kwalitatieve als kwantitatieve evaluatierondes.
Tests tegen eerdere benaderingen. Bron: https://arxiv.org/pdf/2204.02663.pdf
Het artikel heeft als titel Towards An End-to-End Framework for Flow-Guided Video Inpainting en is een samenwerking tussen vier onderzoekers van de Nankai University, samen met een onderzoeker van Hisilicon Technologies.
Wat ontbreekt in dit plaatje
Naast de voor de hand liggende toepassingen voor visuele effecten, zal hoogwaardige video-inpainting een kernfunctie worden van nieuwe AI-gebaseerde beeldsynthese- en beeldbewerkingsTechnologieën.
Dit is met name het geval voor lichaamsveranderende mode-toepassingen en andere kaders die proberen om ‘af te slanken’ of anderszins scènes in beelden en video’s te veranderen. In dergelijke gevallen is het nodig om de extra achtergrond die door de synthese wordt blootgelegd, overtuigend ‘in te vullen’.
Uit een recent artikel, een ‘reshaping’-algoritme voor het lichaam dat de nieuw blootgelegde achtergrond moet invullen wanneer een onderwerp wordt vergroot. Hier wordt die tekortkoming weergegeven door de rode omtrek die de (echte, zie afbeelding links) vollere persoon eerder innam. Gebaseerd op bronmateriaal van https://arxiv.org/pdf/2203.10496.pdf
Coherente optische stroom
Optische stroom (OF) is een kernTechnologie geworden in de ontwikkeling van video-objectverwijdering. Net als een atlas, biedt OF een eenmalige kaart van een tijdelijke sequentie. Vaak gebruikt om snelheid te meten in computer visie-initiatieven, kan OF ook tijdelijk consistente in-painting mogelijk maken, waarbij de totale som van de taak in één keer kan worden overwogen, in plaats van Disney-stijl ‘per frame’ aandacht, die onvermijdelijk leidt tot tijdelijke discontinuïteit.
Video-inpainting methoden tot nu toe hebben zich gericht op een driestappenproces: flow completion, waarbij de video in wezen wordt omgezet in een discreet en verkennbaar entiteit; pixel propagation, waarbij de gaten in ‘beschadigde’ video’s worden ingevuld door bidirectioneel te propageren pixels; en content hallucination (pixel ‘uitvinding’ die bekend is van deepfakes en tekst-naar-afbeelding-kaders zoals de DALL-E-serie) waarbij de geschatte ‘ontbrekende’ inhoud wordt uitgevonden en in de beelden wordt ingevoegd.
De centrale innovatie van E2FGVI is om deze drie stappen te combineren in een end-to-end systeem, waardoor de noodzaak om handmatige bewerkingen uit te voeren op de inhoud of het proces wordt geëlimineerd.
Het artikel merkt op dat de noodzaak voor handmatige interventie vereist dat oudere processen geen gebruik maken van een GPU, waardoor ze erg tijdrovend zijn. Uit het artikel*:
‘Het nemen van DFVI als voorbeeld, het voltooien van één video met de grootte van 432 × 240 van DAVIS, die ongeveer 70 frames bevat, duurt ongeveer 4 minuten, wat onaanvaardbaar is in de meeste echte toepassingen. Bovendien, behalve de bovengenoemde nadelen, wordt alleen het gebruik van een vooraf getraind beeld-inpainting-netwerk op het stadium van content hallucination de inhoudsrelaties tussen tijdelijke buren genegeerd, waardoor inconsistent gegenereerde inhoud in video’s ontstaat.’
Door de drie stappen van video-inpainting te combineren, kan E2FGVI de tweede stap, pixelpropagatie, vervangen door featurepropagatie. In de meer gesegmenteerde processen van eerdere werken zijn functies niet zo uitgebreid beschikbaar, omdat elke stap relatief hermetisch is en de workflow slechts semi-geautomatiseerd is.
Bovendien hebben de onderzoekers een temporele focustransformer ontwikkeld voor het stadium van content hallucination, dat niet alleen de directe buren van pixels in het huidige frame (d.w.z. wat er in dat deel van het frame gebeurt in het vorige of volgende beeld) in overweging neemt, maar ook de verre buren die vele frames weg zijn en die toch de samenhangende werking van elke operatie die op de video als geheel wordt uitgevoerd, zullen beïnvloeden.
Architectuur van E2FGVI.
Het nieuwe feature-gebaseerde centrale deel van de workflow kan profiteren van meer feature-niveau processen en leerbare sampling offsets, terwijl het project’s novel focustransformer, volgens de auteurs, de grootte van focustramens ‘van 2D naar 3D’ uitbreidt.
Tests en gegevens
Om E2FGVI te testen, hebben de onderzoekers het systeem getest tegen twee populaire video-object-segmentatie datasets: YouTube-VOS en DAVIS. YouTube-VOS bevat 3741 trainingsvideo’s, 474 validatievideo’s en 508 testvideo’s, terwijl DAVIS 60 trainingsvideo’s en 90 testvideo’s bevat.
E2FGVI werd getraind op YouTube-VOS en geëvalueerd op beide datasets. Tijdens de training werden objectmaskers (de groene gebieden in de bovenstaande afbeeldingen en de bijbehorende YouTube-video) gegenereerd om video-completie te simuleren.
Voor metrieken hebben de onderzoekers Peak signal-to-noise ratio (PSNR), Structural similarity (SSIM), Video-based Fréchet Inception Distance (VFID) en Flow Warping Error gebruikt – de laatste om tijdelijke stabiliteit in de beïnvloede video te meten.
De eerdere architectuur tegen welke het systeem werd getest, waren VINet, DFVI, LGTSM, CAP, FGVC, STTN en FuseFormer.
Uit de kwantitatieve resultaten van het artikel. Pijlen omhoog en omlaag geven aan dat hogere of lagere nummers beter zijn, respectievelijk. E2FGVI behaalt de beste scores over het algemeen. De methoden worden geëvalueerd volgens FuseFormer, hoewel DFVI, VINet en FGVC geen end-to-end systemen zijn, waardoor het onmogelijk is om hun FLOPs te schatten.
Naast het behalen van de beste scores tegen alle concurrerende systemen, hebben de onderzoekers een kwalitatieve gebruikersstudie uitgevoerd, waarbij video’s die met vijf representatieve methoden waren getransformeerd, afzonderlijk aan twintig vrijwilligers werden getoond, die werden gevraagd om ze te beoordelen op visuele kwaliteit.
De verticale as vertegenwoordigt het percentage deelnemers dat de E2FGVI-uitvoer prefereerde in termen van visuele kwaliteit.
De auteurs merken op dat ondanks de unanieme voorkeur voor hun methode, een van de resultaten, FGVC, de kwantitatieve resultaten niet weerspiegelt, en suggereren dat dit aangeeft dat E2FGVI mogelijk ‘visueel aangenamere resultaten’ genereert.
In termen van efficiëntie merken de auteurs op dat hun systeem de zwevende puntoperaties per seconde (FLOPs) en de inferentietijd op een enkele Titan GPU op de DAVIS-dataset aanzienlijk vermindert, en observeren dat de resultaten laten zien dat E2FGVI x15 sneller werkt dan flow-gebaseerde methoden.
Zij commentariëren:
‘[E2FGVI] heeft de laagste FLOPs in vergelijking met alle andere methoden. Dit geeft aan dat de voorgestelde methode zeer efficiënt is voor video-inpainting.’
*Mijn conversie van inline citaten van auteurs naar hyperlinks.
Origineel gepubliceerd op 19 mei 2022.
Gewijzigd op dinsdag 28 oktober 2025, om een defecte video-inbedding te verwijderen en verwijzingen naar de ingebedde video in de artikeltekst te wijzigen.
