Betere AI-video genereren vanuit slechts twee afbeeldingen

Video frame interpolatie (VFI) is een open probleem in generatieve video-onderzoek. De uitdaging is om tussenliggende frames te genereren tussen twee bestaande frames in een video-sequentie.

Click to play. Het FILM-framework, een samenwerking tussen Google en de Universiteit van Washington, heeft een effectieve frame-interpolatie methode voorgesteld die nog steeds populair is in hobbyistische en professionele kringen. Aan de linkerkant kunnen we de twee afzonderlijke en verschillende frames zien die zijn gesuperponeerd; in het midden, de ‘eindframe’; en aan de rechterkant, de finale synthese tussen de frames. Bronnen: https://film-net.github.io/ en https://arxiv.org/pdf/2202.04901

In het algemeen gesproken, dateert deze techniek al meer dan een eeuw en is het gebruikt in traditionele animatie sindsdien. In die context werden master ‘keyframes’ gegenereerd door een hoofdanimatiekunstenaar, terwijl het werk van ‘tussenliggende frames’ werd uitgevoerd door andere medewerkers, als een meer ondergeschikte taak.

Voor de opkomst van generatieve AI, werd frame-interpolatie gebruikt in projecten zoals Real-Time Intermediate Flow Estimation (RIFE), Depth-Aware Video Frame Interpolation (DAIN), en Google’s Frame Interpolation for Large Motion (FILM – zie boven) voor het verhogen van de frame-snelheid van een bestaande video, of voor het mogelijk maken van kunstmatig gegenereerde slow-motion-effecten. Dit wordt bereikt door de bestaande frames van een clip te splitsen en geschatte tussenliggende frames te genereren.

VFI wordt ook gebruikt in de ontwikkeling van betere video-codecs, en, meer in het algemeen, in optical flow-gebaseerde systemen (inclusief generatieve systemen), die gebruikmaken van vooruitgangskenmerken van komende keyframes om de interstitiële inhoud die eraan voorafgaat te optimaliseren en te vormen.

Eindframes in generatieve video-systemen

Moderne generatieve systemen zoals Luma en Kling laten gebruikers toe om een start- en een eindframe te specificeren, en kunnen deze taak uitvoeren door keypoints in de twee afbeeldingen te analyseren en een traject te schatten tussen de twee afbeeldingen.

Zoals we kunnen zien in de onderstaande voorbeelden, biedt het verstrekken van een ‘sluitend’ keyframe de generatieve video-systeem (in dit geval, Kling) beter de mogelijkheid om aspecten zoals identiteit te behouden, zelfs als de resultaten niet perfect zijn (vooral bij grote bewegingen).

Click to play. Kling is een van de groeiende aantal video-generatoren, inclusief Runway en Luma, die de gebruiker toestaan om een eindframe te specificeren. In de meeste gevallen leidt minimale beweging tot de meest realistische en minst gebrekkige resultaten. Bron: https://www.youtube.com/watch?v=8oylqODAaH8

In het bovenstaande voorbeeld is de identiteit van de persoon consistent tussen de twee door de gebruiker verstrekte keyframes, wat leidt tot een relatief consistente video-generatie.

Wanneer alleen het startframe wordt verstrekt, is het venster van aandacht van de generatieve systemen meestal niet groot genoeg om te ‘onthouden’ hoe de persoon eruitzag aan het begin van de video. In plaats daarvan is de identiteit waarschijnlijk om te schakelen met elke frame, totdat alle gelijkenis verloren gaat. In het onderstaande voorbeeld werd een startafbeelding geüpload, en de beweging van de persoon werd geleid door een tekstprompt:

Click to play. Met geen eindframe, heeft Kling alleen een kleine groep onmiddellijk voorafgaande frames om de generatie van de volgende frames te leiden. In gevallen waarin enige significante beweging nodig is, wordt deze atrofie van identiteit ernstig.

We kunnen zien dat de gelijkenis van de acteur niet bestand is tegen de instructies, aangezien het generatieve systeem niet weet hoe hij eruit zou zien als hij zou glimlachen, en hij glimlacht niet in het zaadbeeld (de enige beschikbare referentie).

De meerderheid van de virale generatieve clips zijn zorgvuldig gecureerd om deze tekortkomingen te minimaliseren. Echter, de vooruitgang van temporeel consistente generatieve video-systemen kan afhankelijk zijn van nieuwe ontwikkelingen uit het onderzoekssector met betrekking tot frame-interpolatie, aangezien de enige mogelijke alternatief een afhankelijkheid is van traditionele CGI als een ‘guide’-video (en zelfs in dit geval zijn consistentie van textuur en verlichting momenteel moeilijk te bereiken).

Bovendien maakt de langzaam iteratieve aard van het afleiden van een nieuwe frame uit een kleine groep recente frames het zeer moeilijk om grote en moedige bewegingen te bereiken. Dit komt doordat een object dat snel over een frame beweegt, kan oversteken van de ene kant naar de andere in de ruimte van een enkel frame, in tegenstelling tot de meer geleidelijke bewegingen waarop het systeem waarschijnlijk is getraind.

Evenzo kan een significante en moedige verandering van pose leiden tot niet alleen een verschuiving van identiteit, maar ook tot levendige niet-overeenkomende elementen:

Click to play. In dit voorbeeld van Luma, lijkt de gevraagde beweging niet goed te zijn weergegeven in de trainingsgegevens.

Framer

Dit brengt ons bij een interessant recent artikel uit China, dat beweert een nieuwe staat-van-de-kunst te hebben bereikt in authentiek uitziende frame-interpolatie – en dat het eerste is van zijn soort om drag-gebaseerde gebruikersinteractie aan te bieden.

Framer laat de gebruiker toe om beweging te sturen met een intuïtieve drag-gebaseerde interface, hoewel het ook een ‘automatisch’ modus heeft. Bron: https://www.youtube.com/watch?v=4MPGKgn7jRc

Drag-gecentreerde toepassingen zijn frequent in de literatuur geworden, aangezien de onderzoekssector worstelt om instrumenten te bieden voor generatieve systemen die niet zijn gebaseerd op de vrij grove resultaten die worden verkregen door tekstprompten.

Het nieuwe systeem, getiteld Framer, kan niet alleen de gebruiker-geleide drag volgen, maar heeft ook een meer conventionele ‘autopilot’-modus. Bovendien kan het systeem conventionele tweening produceren, evenals time-lapse simulaties, en morfing en nieuwe weergaven van de invoerbeeld.

Tussenliggende frames gegenereerd voor een time-lapse simulatie in Framer. Bron: https://arxiv.org/pdf/2410.18978

Met betrekking tot de productie van nieuwe weergaven, gaat Framer een beetje over in het terrein van Neural Radiance Fields (NeRF) – hoewel het slechts twee afbeeldingen vereist, terwijl NeRF meestal zes of meer beeldinvoerweergaven vereist.

In tests, was Framer, dat is gebaseerd op Stability.ai’s Stable Video Diffusion latent diffusie generatieve video-model, in staat om de benaderde rivale benaderingen te overtreffen, in een gebruikersstudie.

Op het moment van schrijven, is de code gepland om te worden vrijgegeven op GitHub. Video-voorbeelden (waarvan de bovenstaande afbeeldingen zijn afgeleid) zijn beschikbaar op de projectsite, en de onderzoekers hebben ook een YouTube-video vrijgegeven.

Het nieuwe artikel is getiteld Framer: Interactieve Frame Interpolatie, en komt van negen onderzoekers uit Zhejiang Universiteit en de Alibaba-gebackte Ant Group.

Methode

Framer gebruikt keypoint-gebaseerde interpolatie in een van zijn twee modaliteiten, waarin de invoerbeeld wordt geëvalueerd voor basis-topologie, en ‘beweegbare’ punten worden toegewezen waar nodig. In feite zijn deze punten equivalent aan gezichtskenmerken in ID-gebaseerde systemen, maar generaliseren naar elk oppervlak.

De onderzoekers fine-tuned Stable Video Diffusion (SVD) op de OpenVid-1M dataset, en voegden een extra laatste frame-synthese capaciteit toe. Dit faciliteert een traject-controle mechanisme (boven rechts in schema-afbeelding hieronder) dat een pad naar het eindframe (of terug vanaf het) kan evalueren.

Schema voor Framer.

Met betrekking tot de toevoeging van laatste frame-conditie, verklaren de auteurs:

‘Om de visuele prior van de vooraf getrainde SVD zo veel mogelijk te behouden, volgen we het conditie-paradigma van SVD en injecteren we eindframe-condities in de latent ruimte en semantische ruimte, respectievelijk.

‘Specifiek concatenaten we de VAE-gecodeerde latent functie van de eerste [frame] met de noisy latent van de eerste frame, zoals in SVD. Bovendien concatenaten we de latent functie van de laatste frame, zn, met de noisy latent van de eindframe, onder de voorwaarde dat de condities en de overeenkomstige noisy latents ruimtelijk zijn uitgelijnd.

‘Bovendien extraheren we de CLIP-afbeeldingsembedding van de eerste en laatste frames afzonderlijk en concatenaten we ze voor cross-attention feature-injectie.’

Voor drag-gebaseerde functionaliteit, maakt het traject-module gebruik van het Meta Ai-geleide CoTracker framework, dat een overvloed aan mogelijke paden vooruit evalueert. Deze worden geslonken tot tussen 1-10 mogelijke trajecten.

De verkregen puntcoördinaten worden vervolgens getransformeerd door een methode die is geïnspireerd door de DragNUWA en DragAnything architectuur. Dit verkrijgt een Gaussian heatmap, die de doelgebieden voor beweging individueert.

Vervolgens wordt de data gevoed aan de conditie-mechanismen van ControlNet, een aanvullend conformiteitssysteem dat oorspronkelijk is ontworpen voor Stable Diffusion, en sindsdien is aangepast aan andere architectuur.

Voor autopilot-modus, wordt feature-matching aanvankelijk bereikt via SIFT, die een traject interpreteert dat vervolgens kan worden doorgegeven aan een auto-updating mechanisme geïnspireerd door DragGAN en DragDiffusion.

Schema voor punt-traject schatting in Framer.

Gegevens en tests

Voor de fine-tuning van Framer, werden de spatiale aandacht en residu-blokken bevroren, en werden alleen de temporele aandacht lagen en residu-blokken beïnvloed.

Het model werd getraind voor 10.000 iteraties onder AdamW, met een leer tempo van 1e-4, en een batch grootte van 16. De training vond plaats op 16 NVIDIA A100 GPUs.

Aangezien eerdere benaderingen van het probleem geen drag-gebaseerde bewerking bieden, kozen de onderzoekers ervoor om Framer’s autopilot-modus te vergelijken met de standaard functionaliteit van oudere benaderingen.

De frameworks die werden getest voor de categorie van huidige diffusie-gebaseerde video-generatie systemen waren LDMVFI; Dynamic Crafter; en SVDKFI. Voor ‘traditionele’ video-systemen waren de rivale frameworks AMT; RIFE; FLAVR; en de eerder genoemde FILM.

Bovendien werden tests uitgevoerd op de DAVIS en UCF101 datasets.

Kwalitatieve tests kunnen alleen worden geëvalueerd door de objectieve faculteiten van het onderzoeksteam en door gebruikersstudies. Echter, het artikel vermeldt dat traditionele kwantitatieve metrics grotendeels ongeschikt zijn voor de voorliggende voorstel:

‘[Reconstructie] metrics zoals PSNR, SSIM, en LPIPS falen om de kwaliteit van geïnterpoleerde frames nauwkeurig te meten, omdat ze andere plausibele interpolatie resultaten die niet pixel-uitgelijnd zijn met de oorspronkelijke video, bestraffen.

‘Terwijl generatie metrics zoals FID enige verbetering bieden, schieten ze nog steeds tekort, omdat ze geen rekening houden met temporele consistentie en evalueren frames in isolatie.’

Ondanks dit, voerden de onderzoekers kwalitatieve tests uit met enkele populaire metrics:

Kwantitatieve resultaten voor Framer vs. rivale systemen.

De auteurs merken op dat, ondanks dat de kansen tegen hen waren, Framer nog steeds de beste FVD-score behaalt onder de geteste methoden.

Onderstaand zijn de voorbeelden van het artikel voor een kwalitatieve vergelijking:

Kwalitatieve vergelijking tegen eerdere benaderingen. Verwijs naar het artikel voor betere resolutie, evenals video-resultaten op https://www.youtube.com/watch?v=4MPGKgn7jRc.

De auteurs merken op:

‘[Onze] methode produceert aanzienlijk duidelijkere texturen en natuurlijke beweging in vergelijking met bestaande interpolatie-technieken. Het presteert vooral goed in scenario’s met aanzienlijke verschillen tussen de invoerframes, waar traditionele methoden vaak falen om inhoud nauwkeurig te interpoleren.

‘In vergelijking met andere diffusie-gebaseerde methoden zoals LDMVFI en SVDKFI, toont Framer superieure aanpasbaarheid aan moeilijke gevallen en biedt het betere controle.’

Voor de gebruikersstudie, verzamelden de onderzoekers 20 deelnemers, die 100 willekeurig geordende video-resultaten van de verschillende methoden beoordeelden. Zo werden 1000 beoordelingen verkregen, die de meest ‘realistische’ aanbiedingen evalueerden:

Resultaten van de gebruikersstudie.

Zoals te zien is in de grafiek hierboven, gaven de gebruikers overweldigend de voorkeur aan resultaten van Framer.

Het project dat de YouTube video begeleidt, schetst enkele van de andere mogelijke toepassingen voor Framer, waaronder morfing en cartoon-tussenliggende frames – waar het hele concept begon.

Conclusie

Het is moeilijk om te benadrukken hoe belangrijk deze uitdaging momenteel is voor de taak van AI-gebaseerde video-generatie. Tot nu toe zijn oude oplossingen zoals FILM en de (niet-AI) EbSynth gebruikt door zowel amateur- als professionele gemeenschappen voor tweening tussen frames; maar deze oplossingen komen met aanzienlijke beperkingen.

Vanwege de oneerlijke curatie van officiële voorbeeldvideo’s voor nieuwe T2V-frameworks, bestaat er een brede openbare misvatting dat machine learning-systemen nauwkeurig geometrie in beweging kunnen afleiden zonder gebruik te maken van leidende mechanismen zoals 3D-morfable modellen (3DMM’s), of andere hulp-middelen, zoals LoRAs.

Om eerlijk te zijn, is tweening zelfs, zelfs als het perfect zou kunnen worden uitgevoerd, slechts een ‘hack’ of een truc voor dit probleem. Echter, aangezien het vaak gemakkelijker is om twee goed uitgelijnde frame-afbeeldingen te produceren dan om leiding te geven via tekstprompten of het huidige bereik van alternatieven, is het goed om iteratieve vooruitgang te zien op een AI-gebaseerde versie van deze oude methode.

First published Tuesday, 29 oktober 2024