De kloof tussen ‘tussenruimte’ in generatieve video overbruggen

Nieuw onderzoek uit China biedt een verbeterde methode voor het interpoleren van de kloof tussen twee tijdelijk ver uit elkaar liggende videoframes – een van de meest cruciale uitdagingen in de huidige race naar realisme voor generatieve AI-video, evenals voor videocodec-compressie.

In het onderstaande voorbeeldvideo zien we in de linkerste kolom een ‘start’ (boven links) en ‘eind’ (onder links) frame. De taak die de concurrerende systemen moeten uitvoeren, is om te raden hoe het onderwerp in de twee afbeeldingen van frame A naar frame B komt. In animatie wordt dit proces tweening genoemd en gaat terug tot de stomme filmperiode.

Click om af te spelen. In de eerste, linkerste kolom, zien we de voorgestelde start- en eindframe. In de middelste kolom en bovenaan de derde (rechterste) kolom zien we drie eerdere benaderingen van deze uitdaging. Onder rechts zien we dat de nieuwe methode een veel overtuigender resultaat oplevert bij het bieden van de tussentijdse frames. Bron: https://fcvg-inbetween.github.io/

De nieuwe methode die door de Chinese onderzoekers wordt voorgesteld, wordt Frame-wise Conditions-driven Video Generation (FCVG) genoemd, en de resultaten kunnen worden gezien in de onderste rechterhoek van de bovenstaande video, waardoor een soepele en logische overgang van het ene stil frame naar het andere mogelijk is.

Daarentegen zien we dat een van de meest gevierde kaders voor video-interpolatie, Google’s Frame Interpolation for Large Motion (FILM) project, worstelt, net als veel soortgelijke projecten, met het interpreteren van grote en krachtige bewegingen.

De andere twee concurrerende kaders die in de video worden gevisualiseerd, Time Reversal Fusion (TRF) en Generative Inbetweening (GI), bieden een minder scheefgeïnterpreteerde versie, maar hebben gefrenetische en zelfs komische dansbewegingen gecreëerd, die geen van beiden de impliciete logica van de twee geleverde frames respecteren.

Click om af te spelen. Twee onvolkomen oplossingen voor het tweening-probleem. Links, behandelt FILM de twee frames als eenvoudige morfdoelen. Rechts, weet TRF dat een of andere vorm van dans moet worden ingevoegd, maar komt met een onuitvoerbare oplossing die anatomische anomalieën aantoont.

Boven links kunnen we een nadere blik werpen op hoe FILM deze uitdaging aanpakt. Hoewel FILM is ontworpen om grote bewegingen aan te kunnen, in tegenstelling tot eerdere benaderingen op basis van optische stroom, ontbreekt het nog steeds aan een semantische begrip van wat er tussen de twee geleverde sleutelframes zou moeten gebeuren, en voert het simpelweg een morf tussen de frames uit op de manier van de jaren 80/90.

Naar rechts in de bovenstaande video zien we de inspanning van TRF, waar Stable Video Diffusion (SVD) wordt gebruikt om op een meer intelligente manier te ‘raden’ hoe een dansbeweging die passend is voor de twee door de gebruiker geleverde frames, zou kunnen zijn – maar het heeft een gewaagde en onwaarschijnlijke benadering gemaakt.

FCVG, dat hieronder te zien is, doet een geloofwaardige poging om de beweging en inhoud tussen de twee frames te raden:

Click om af te spelen. FCVG verbetert eerdere benaderingen, maar is verre van perfect.

Er zijn nog steeds artefacten, zoals ongewenste morfing van handen en gezichtsidentiteit, maar deze versie is oppervlakkig gezien de meest geloofwaardige – en elke verbetering van de stand van de techniek moet worden beschouwd tegen de enorme moeilijkheid die de taak stelt; en het grote obstakel dat de uitdaging voor de toekomst van AI-gegenereerde video vormt.

Waarom interpolatie ertoe doet

Zoals we eerder hebben opgemerkt, is de mogelijkheid om video-inhoud tussen twee door de gebruiker geleverde frames op een geloofwaardige manier in te vullen, een van de beste manieren om temporele consistentie in generatieve video te behouden, aangezien twee echte en opeenvolgende foto’s van dezelfde persoon van nature consistentie-elementen zoals kleding, haar en omgeving zullen bevatten.

Wanneer alleen één startframe wordt gebruikt, zal de beperkte aandachtswijdte van een generatief systeem, dat vaak alleen nabije frames in aanmerking neemt, de neiging hebben om langzaam facetten van het onderwerp te ‘evolueren’, totdat (bijvoorbeeld) een man een andere man (of een vrouw) wordt, of beweert een ‘morfende’ kleding te hebben – onder vele andere afleidingen die vaak in open source T2V-systemen en in de meeste betaalde oplossingen, zoals Kling, worden gegenereerd:

Click om af te spelen. Feeding the new paper’s two (real) source frames into Kling, with the prompt ‘A man dancing on a roof’, did not result in an ideal solution. Though Kling 1.6 was available at the time of creation, V1.5 is the latest to support user-input start and end frames. Source: https://klingai.com/

Is het probleem al opgelost?

In tegenstelling tot sommige commerciële, gesloten en propriëtaire systemen, lijken deze beter te presteren bij het oplossen van het probleem – met name RunwayML, dat in staat was om zeer geloofwaardige inbetweening van de twee bronframes te creëren:

Click om af te spelen. RunwayML’s diffusion-based interpolation is very effective. Source: https://app.runwayml.com/

Door het experiment te herhalen, produceerde RunwayML een tweede, even geloofwaardig resultaat:

Click om af te spelen. The second run of the RunwayML sequence.

Een van de problemen hier is dat we niets kunnen leren over de uitdagingen die hierbij komen kijken, noch de open-source stand van de techniek kunnen verbeteren, van een propriëtair systeem. We kunnen niet weten of deze superieure rendering is bereikt door unieke architecturale benaderingen, door gegevens (of gegevenscuratie-methoden zoals filtering en annotatie), of een combinatie van deze en andere mogelijke onderzoeksinnovaties.

Ten tweede kunnen kleinere bedrijven, zoals visuele effectenbedrijven, op lange termijn niet afhankelijk zijn van B2B API-gedreven diensten die hun logistieke planning potentieel kunnen ondermijnen met een enkele prijsstijging – vooral als één dienst de markt zou kunnen gaan domineren en dus meer geneigd zou zijn om prijzen te verhogen.

Wanneer de rechten verkeerd zijn

Veel belangrijker is dat, als een goed presterend commercieel model is getraind op ongeoorloofde gegevens, zoals het geval lijkt te zijn met RunwayML, elk bedrijf dat dergelijke diensten gebruikt, het risico loopt op downstream juridische blootstelling.

Aangezien wetten (en sommige rechtszaken) langer duren dan presidenten, en aangezien de cruciale Amerikaanse markt onder de meest aanklagende ter wereld, lijkt de huidige trend naar grotere wetgevende toezicht voor AI-trainingsgegevens waarschijnlijk te overleven de ‘lichte aanpak’ van Donald Trumps volgende presidentschap.

Daarom zal de computer vision researchsector deze uitdaging op de moeilijke manier moeten aanpakken, zodat eventuele opkomende oplossingen op lange termijn kunnen overleven.

FCVG

De nieuwe methode uit China wordt gepresenteerd in een paper met de titel Generative Inbetweening through Frame-wise Conditions-Driven Video Generation, en komt van vijf onderzoekers van de Harbin Institute of Technology en Tianjin University.

FCVG lost het probleem van ambiguïteit in de interpolatie-opgave op door frame-wise conditions te gebruiken, samen met een kader dat randen in de door de gebruiker geleverde start- en eindframes aangeeft, wat helpt bij het proces om een meer consistente spoor van de overgangen tussen individuele frames te behouden, evenals het algemene effect.

Frame-wise conditioning houdt in dat de creatie van tussentijdse frames wordt onderverdeeld in subtaken, in plaats van te proberen een zeer grote semantische leegte tussen twee frames in te vullen (en des te groter is die semantische afstand naarmate de gevraagde video-uitvoer langer is).

In de onderstaande grafiek, uit het paper, vergelijken de auteurs de eerdergenoemde time-reversal (TRF) methode met de hunne. TRF creëert twee videogeneratiepaden met behulp van een vooraf getraind beeld-naar-video-model (SVD). Een is een ‘voorwaartse’ pad die is voorwaardelijk op het startframe, en de andere een ‘achterwaartse’ pad die is voorwaardelijk op het eindframe. Beide paden beginnen vanaf hetzelfde willekeurige ruis. Dit wordt links van de afbeelding hieronder geïllustreerd:

Vergelijking van eerdere benaderingen met FCVG. Source: https://arxiv.org/pdf/2412.11755

De auteurs beweren dat FCVG een verbetering is ten opzichte van time-reversal-methoden, omdat het de ambiguïteit in videogeneratie vermindert, door elke frame zijn eigen expliciete voorwaarde te geven, waardoor een stabielere en consistenter uitvoer ontstaat.

Time-reversal-methoden zoals TRF, stelt het paper, kunnen leiden tot ambiguïteit, omdat de voorwaartse en achterwaartse generatiepaden kunnen divergeren, waardoor misalignement of inconsistenties ontstaan. FCVG lost dit op door frame-wise conditions af te leiden uit overeenkomende lijnen tussen de start- en eindframes (onder rechts in de afbeelding hierboven), die het generatieproces leiden.

Click om af te spelen. Een andere vergelijking van de FCVG-projectpagina.

Time reversal maakt het mogelijk om vooraf getrainde videogeneratiemodellen voor inbetweening te gebruiken, maar heeft enkele nadelen. De door I2V-modellen gegenereerde beweging is divers in plaats van stabiel. Hoewel dit nuttig is voor zuivere beeld-naar-video (I2V)-taken, creëert het ambiguïteit en leidt het tot misgealigneerde of inconsistente videopaden.

Time reversal vereist ook tijdrovende afstemming van hyperparameters, zoals de framefrequentie voor elke gegenereerde video. Bovendien vertragen sommige van de technieken die in time reversal worden gebruikt om ambiguïteit te verminderen, de inferentie aanzienlijk, waardoor de verwerkingstijden toenemen.

Methode

De auteurs merken op dat, als het eerste van deze problemen (diversiteit versus stabiliteit) kan worden opgelost, alle andere daaropvolgende problemen waarschijnlijk vanzelf worden opgelost. Dit is eerder geprobeerd in eerdere aanbiedingen, zoals de eerdergenoemde GI, en ook ViBiDSampler.

Het paper stelt:

‘Toch bestaat er nog steeds aanzienlijke stochastiek tussen deze paden, waardoor de effectiviteit van deze methoden bij het omgaan met scenario’s met grote bewegingen, zoals snelle veranderingen in menselijke poses, wordt beperkt. De ambiguïteit in het interpolatiepad ontstaat voornamelijk door onvoldoende voorwaarden voor tussenliggende frames, aangezien twee invoerbeelden alleen voorwaarden voor start- en eindframes bieden.

‘Daarom stellen we voor om een expliciete voorwaarde voor elke frame te bieden, wat de ambiguïteit van het interpolatiepad aanzienlijk vermindert.’

We kunnen de kernconcepten van FCVG zien in de onderstaande schema. FCVG genereert een reeks videoframes die starten en eindigen in overeenstemming met twee invoerframes. Dit zorgt ervoor dat frames temporeel stabiel zijn door frame-specifieke voorwaarden voor het videogeneratieproces te bieden.

Schema voor inferentie van FCVG.

In deze heroverweging van de time reversal-benadering combineert de methode informatie uit zowel de voorwaartse als achterwaartse richtingen, en blendt deze om soepele overgangen te creëren. Door een iteratief proces verfijnt het model langzaam de luidruchtige invoer totdat de definitieve set van tussentijdse frames is gegenereerd.

Het volgende stadium omvat het gebruik van het vooraf getrainde GlueStick line-matching-model, dat overeenkomsten tussen de twee berekende start- en eindframes creëert, met de optionele gebruik van skeletale poses om het model te leiden, via het Stable Video Diffusion-model.

GlueStick leidt lijnen af van geïnterpreteerde vormen. Deze lijnen bieden overeenkomende ankers tussen start- en eindframes in FCVG*.

De auteurs merken op:

‘We hebben empirisch vastgesteld dat lineaire interpolatie in de meeste gevallen voldoende is om temporele stabiliteit in tussentijdse video’s te garanderen, en onze methode stelt gebruikers in staat om niet-lineaire interpolatiepaden te specificeren voor het genereren van gewenste video’s.’

De workflow voor het vaststellen van voorwaartse en achterwaartse frame-wise voorwaarden. We kunnen de overeenkomende kleuren zien die de inhoud consistent houden terwijl de animatie ontwikkelt.

Om de verkregen frame-wise voorwaarden in SVD in te voeren, gebruikt FCVG de methode die is ontwikkeld voor de 2024 ControlNeXt initiatief. In dit proces worden de controlevoorwaarden eerst gecodeerd door meerdere ResNet blokken, voordat cross-normalisatie tussen de voorwaarde- en SVD-takken van de workflow plaatsvindt.

Een kleine set video’s wordt gebruikt voor fine-tuning van het SVD-model, waarbij de meeste parameters van het model bevroren zijn.

‘De [eerdergenoemde beperkingen] zijn grotendeels opgelost in FCVG: (i) Door expliciet de voorwaarde voor elke frame te specificeren, wordt de ambiguïteit tussen voorwaartse en achterwaartse paden aanzienlijk verlicht; (ii) Alleen één instelbare [parameter wordt geïntroduceerd], terwijl de hyperparameters in SVD standaard worden gehouden, levert gunstige resultaten op in de meeste scenario’s; (iii) Een eenvoudige gemiddelde fusie, zonder herinjectie van ruis, is voldoende in FCVG, en de inferentiestappen kunnen aanzienlijk worden verminderd met 50% in vergelijking met [GI].’

Brede schema voor het injecteren van frame-wise voorwaarden in Stable Video Diffusion voor FCVG.

Gegevens en tests

Om het systeem te testen, hebben de onderzoekers een dataset samengesteld met diverse scènes, waaronder buitengebieden, menselijke poses en interieurlocaties, inclusief bewegingen zoals camerabeweging, dansacties en gezichtsuitdrukkingen, onder andere. De 524 geselecteerde clips zijn afkomstig van de DAVIS en RealEstate10k datasets. Deze verzameling is aangevuld met high frame-rate video’s van Pexels. De verzamelde set is gesplitst 4:1 tussen fine-tuning en testen.

De gebruikte metrics waren Learned Perceptual Similarity Metrics (LPIPS); Fréchet Inception Distance (FID); Fréchet Video Distance (FVD); VBench; en Fréchet Video Motion Distance.

De auteurs merken op dat geen van deze metrics goed is aangepast om temporele stabiliteit te schatten, en verwijzen ons naar de video’s op de FCVG-projectpagina.

Naast het gebruik van GlueStick voor line-matching, werd DWPose gebruikt voor het schatten van menselijke poses.

Fine-tuning vond plaats voor 70.000 iteraties onder de AdamW optimizer op een NVIDIA A800 GPU, met een leer tempo van 1×10^-6, met frames die zijn bijgesneden tot 512×320 patches.

Concurrerende eerdere kaders die getest werden, waren FILM, GI, TRF en DynamiCrafter.

Voor kwantitatieve evaluatie werden framegaten aangepakt die varieerden van 12 tot 23.

Kwantitatieve resultaten tegenover eerdere kaders.

Met betrekking tot deze resultaten merkt het paper op:

‘[Onze] methode behaalt de beste prestatie onder vier generatieve benaderingen over alle metrics. Met betrekking tot de LPIPS-vergelijking met FILM, is onze FCVG marginaal inferieur, terwijl het superieure prestaties in andere metrics laat zien. Gezien het ontbreken van temporele informatie in LPIPS, kan het meer gepast zijn om andere metrics en visuele observatie te prioriteren.

‘Bovendien, door de resultaten onder verschillende framegaten te vergelijken, werkt FILM mogelijk goed wanneer de kloof klein is, terwijl generatieve methoden meer geschikt zijn voor grote kloven. Onder deze generatieve methoden toont onze FCVG aanzienlijke superioriteit vanwege de expliciete frame-wise voorwaarden.’

Voor kwalitatieve testing hebben de auteurs de video’s gemaakt die op de projectpagina te zien zijn (sommige zijn ingesloten in dit artikel), en statische en geanimeerde^† resultaten in de PDF-paper,

Voorbeeld van statische resultaten uit de paper. Raadpleeg de bron-PDF voor betere resolutie, en wees zich ervan bewust dat de PDF animaties bevat die kunnen worden afgespeeld in toepassingen die deze functie ondersteunen.

De auteurs merken op:

‘Terwijl FILM soepele interpolatieresultaten produceert voor kleine bewegingsscenario’s, worstelt het met grote schaalbewegingen vanwege de inherente beperkingen van optische stroom, wat resulteert in opvallende artefacten zoals achtergrond- en handbeweging (in het eerste geval).

‘Generatieve modellen zoals TRF en GI lijden aan ambiguïteiten in fusiepaden, waardoor onstabiele tussenliggende bewegingen ontstaan, vooral zichtbaar in complexe scènes met menselijke en objectbewegingen.

‘In tegenstelling tot onze methode, die consistent bevredigende resultaten oplevert over verschillende scenario’s.’ Zelfs wanneer significante occlusie aanwezig is (in het tweede geval en zesde geval), kan onze methode nog steeds redelijke bewegingen vastleggen. Bovendien toont onze benadering robuustheid voor complexe menselijke acties (in het laatste geval).’

De auteurs ontdekten ook dat FCVG ongewoon goed generaliseert naar animatiestijlvideo’s:

Click om af te spelen. FCVG produceert zeer overtuigende resultaten voor cartoon-achtige animatie.

Conclusie

FCVG vertegenwoordigt ten minste een incrementele verbetering voor de stand van de techniek in frame-interpolatie in een niet-propriëtaire context. De auteurs hebben de code voor het werk beschikbaar gesteld op GitHub, hoewel de bijbehorende dataset op het moment van schrijven nog niet is vrijgegeven.

Als propriëtair commerciële oplossingen de open-source inspanningen overtreffen door het gebruik van web-gekrabde, ongeoorloofde gegevens, lijkt er weinig of geen toekomst te zijn voor een dergelijke benadering, althans voor commercieel gebruik; de risico’s zijn eenvoudigweg te groot.

Daarom, zelfs als de open-source scene achterblijft bij de indrukwekkende showcase van de huidige marktleiders, is het, in het verhaal van de schildpad en de haas, de schildpad die de haas naar de finishlijn kan verslaan.

* Bron: https://openaccess.thecvf.com/content/ICCV2023/papers/Pautrat_GlueStick_Robust_Image_Matching_by_Sticking_Points_and_Lines_Together_ICCV_2023_paper.pdf

^† Vereist Acrobat Reader, Okular, of elke andere PDF-lezer die ingebedde PDF-animaties kan reproduceren.

Eerst gepubliceerd op vrijdag 20 december 2024