Generering av bedre AI-video fra bare to bilder

Video-ramme-interpolering (VFI) er et åpent problem i generativ video-forskning. Utfordringen er å generere mellom-rammer mellom to eksisterende rammer i en video-sekvens.

Trykk på å spille. FILM-rammeverket, et samarbeid mellom Google og University of Washington, foreslo en effektiv ramm-interpoleringsmetode som fortsatt er populær i hobbyist- og profesjonelle sfærer. Til venstre kan vi se de to separate og distinkte rammene overlagt; i midten, ‘slutt-rammen’; og til høyre, den endelige syntesen mellom rammene. Kilder: https://film-net.github.io/ og https://arxiv.org/pdf/2202.04901

I bredere forstand, går denne teknikken tilbake over en århundre, og har vært brukt i tradisjonell animasjon siden da. I denne sammenhengen ville hoved-‘nøkkel-rammer’ bli generert av en hovedanimasjonskunstner, mens arbeidet med ‘tweening’ mellom-rammer ville bli utført av andre ansatte, som en mer underordnet oppgave.

Før oppblomstringen av generativ AI, ble ramm-interpolering brukt i prosjekter som Real-Time Intermediate Flow Estimation (RIFE), Depth-Aware Video Frame Interpolation (DAIN), og Googles Frame Interpolation for Large Motion (FILM – se over) for å øke ramme-hastigheten på en eksisterende video, eller å aktivere kunstig generert slow-motion-effekter. Dette oppnås ved å splitte ut eksisterende rammer av en klipp og generere estimerte mellom-rammer.

VFI brukes også i utviklingen av bedre video-kodeker, og mer generelt, i optisk flyt-baserte systemer (inkludert generative systemer), som utnytter forhåndskunnskap om kommende nøkkel-rammer for å optimalisere og forme mellom-innholdet som forutgår dem.

Slutt-rammer i generative videosystemer

Moderne generative systemer som Luma og Kling lar brukerne spesifisere en start- og en slutt-ramme, og kan utføre denne oppgaven ved å analysere nøkkel-punkter i de to bildene og estimere en trajektorie mellom de to bildene.

Som vi kan se i eksemplene nedenfor, gir en ‘lukkende’ nøkkel-ramme bedre mulighet for det generative videosystemet (i dette tilfellet, Kling) å opprettholde aspekter som identitet, selv om resultater ikke er perfekte (spesielt med store bevegelser).

Trykk på å spille. Kling er ett av en voksende antall video-generatore, inkludert Runway og Luma, som lar brukeren spesifisere en slutt-ramme. I de fleste tilfeller vil minimal bevegelse føre til de mest realistiske og minst feilaktige resultater. Kilde: https://www.youtube.com/watch?v=8oylqODAaH8

I ovenstående eksempel er personens identitet konsistent mellom de to bruker-spesifiserte nøkkel-rammene, noe som fører til en relativt konsistent video-generering.

Hvis bare start-rammen er gitt, er det generative systemets vindu av oppmerksomhet vanligvis ikke stort nok til å ‘huske’ hva personen så ut som i begynnelsen av videoen. Snarere er identiteten sannsynligvis å endre seg litt med hver ramm, til alle likheter er tapt. I eksemplet nedenfor ble et start-bilde lastet opp, og personens bevegelse ble styrt av en tekst-prompt:

Trykk på å spille. Uten en slutt-ramme, har Kling bare en liten gruppe umiddelbart forutgående rammer å guide genereringen av de neste rammene. I tilfeller hvor noen betydelig bevegelse er nødvendig, blir denne atrofi av identitet alvorlig.

Vi kan se at skuespillerens likhet er ikke motstandsdyktig mot instruksjonene, siden det generative systemet ikke vet hvordan han ville se ut hvis han smilet, og han ikke smiler i sæd-bildet (den eneste tilgjengelige referansen).

De fleste virale generative klipp er nøye kuraterte for å nedtone disse svakhetene. Imidlertid kan fremgangen av temporalt konsistente generative videosystemer avhenge av nye utviklinger fra forskningssektoren i forhold til ramm-interpolering, siden den eneste mulige alternativet er avhengighet av tradisjonell CGI som en drivende, ‘guide’-video (og selv i dette tilfellet er konsistens av tekstur og lys vanskelig å oppnå).

I tillegg er den langsomt-iterative naturen av å avle en ny ramm fra en liten gruppe nylige rammer svært vanskelig å oppnå store og dristige bevegelser. Dette skyldes at et objekt som beveger seg raskt over en ramm kan gå fra en side til den andre i løpet av en enkelt ramm, i motsetning til de mer gradvise bevegelsene som systemet sannsynligvis er trent på.

Liksom en betydelig og dristig endring av holdning kan føre til ikke bare identitetsskift, men også levende ikke-kongruenser:

Trykk på å spille. I dette eksemplet fra Luma, ser det ut til at den ønskede bevegelsen ikke er godt representert i treningdataene.

Framer

Dette fører oss til en interessant ny artikkel fra Kina, som hevder å ha oppnådd en ny tilstand av kunstig-looking ramm-interpolering – og som er den første av sin type til å tilby drag-basert bruker-interaksjon.

Framer lar brukeren styre bevegelse ved hjelp av en intuitiv drag-basert grensesnitt, selv om det også har en ‘automatisk’ modus. Kilde: https://www.youtube.com/watch?v=4MPGKgn7jRc

Drag-sentriske applikasjoner har blitt hyppige i litteraturen nylig, da forskningssektoren sliter med å gi instrumentaliteter for generative system som ikke er basert på de ganske grove resultater som oppnås ved tekst-prompter.

Det nye systemet, tittelen Framer, kan ikke bare følge bruker-styrt drag, men har også en mer konvensjonell ‘autopilot’-modus. Foruten konvensjonell tweening, er systemet i stand til å produsere time-lapse-simuleringer, samt morfing og nye visninger av innputt-bildet.

Mellom-rammer generert for en time-lapse-simulering i Framer. Kilde: https://arxiv.org/pdf/2410.18978

I forhold til produksjon av nye visninger, krysser Framer litt over i territoriet til Neural Radiance Fields (NeRF) – selv om det bare krever to bilder, hvor NeRF vanligvis krever seks eller flere bilde-innputt-visninger.

I tester, var Framer, som er basert på Stability.ai’s Stable Video Diffusion latent diffusjon generativ video-modell, i stand til å overgå approksimerte rival-tilnærminger, i en bruker-studie.

Ved skrivende tid, er koden satt til å bli utgitt på GitHub. Video-eksempler (fra hvilke ovenstående bilder er avledet) er tilgjengelige på prosjekt-siden, og forskerne har også utgitt en YouTube-video.

Den nye artikkelen er tittelen Framer: Interaktiv ramm-interpolering, og kommer fra ni forskere over Zhejiang University og Alibaba-bakket Ant Group.

Metode

Framer bruker nøkkel-punkt-basert interpolering i enten av sine to modaliteter, hvor innputt-bildet blir evaluert for grunnleggende topologi, og ‘bevegelige’ punkter blir tildelt der nødvendig. I virkeligheten er disse punktene ekvivalente til ansikts-landemerker i ID-baserte systemer, men generaliserer til overflaten.

Forskerne fine-tuned Stable Video Diffusion (SVD) på OpenVid-1M datasettet, og la til en ekstra siste-ramme-syntese-egenskap. Dette muliggjør en trajektorie-kontroll-mekanisme (øverst til høyre i skjema-bildet nedenfor) som kan evaluere en vei mot slutt-rammen (eller tilbake fra den).

Skjema for Framer.

I forhold til tillegg av siste-ramme-betingelser, sier forfatterne:

‘For å bevare den visuelle prior av det forhåndstrukne SVD så mye som mulig, følger vi kondisjon-paradigmet til SVD og injiserer slutt-ramme-betingelser i latent-rommet og semantisk rom, henholdsvis.

‘Spesifikt, konkatenerer vi VAE-kodet latent-egenskap av den første [rammen] med den støyende latent av den første ramm, som ble gjort i SVD. I tillegg konkatenerer vi latent-egenskapen av den siste ramm, zn, med den støyende latent av slutt-rammen, da betingelsene og de tilhørende støyende latent er romlig justert.

‘I tillegg trekker vi ut CLIP-bilde-embedding av den første og siste rammene hver for seg og konkatenerer dem for kryss-oppmerksomhet-egenskapsinjeksjon.’

For drag-basert funksjonalitet, utnytter trajektorie-modulen Meta Ai-ledede CoTracker rammeverket, som vurderer mange mulige veier fremover. Disse blir slimmet ned til mellom 1-10 mulige trajektorier.

De oppnådde punkt-koordinatene blir deretter transformert gjennom en metode inspirert av DragNUWA og DragAnything arkitekturer. Dette oppnår en Gaussian varme-kart, som individuerer mål-områdene for bevegelse.

Deretter blir dataene ført til kondisjons-mekanismene til ControlNet, et hjelpe-konformitetssystem som opprinnelig ble designet for Stable Diffusion, og siden tilpasset andre arkitekturer.

For autopilot-modus, blir funksjons-matching først utført via SIFT, som tolker en trajektorie som kan bli overført til en auto-oppdatering-mekanisme inspirert av DragGAN og DragDiffusion.

Skjema for punkt-trajektorie-estimering i Framer.

Data og tester

For fin-justering av Framer, ble rom-oppmerksomheten og rest-blockene frosset, og bare tids-oppmerksomhets-lagene og rest-blockene ble berørt.

Modellen ble trent i 10 000 iterasjoner under AdamW, med en læringshastighet på 1e-4, og en batch-størrelse på 16. Trening skjedde på 16 NVIDIA A100 GPU-er.

Ettersom tidligere tilnærminger til problemet ikke tilbyr drag-basert redigering, valgte forskerne å sammenligne Framer’s autopilot-modus med standard-funksjonaliteten til eldre tilnærminger.

Rammeverkene som ble testet for kategorien av nåværende diffusjons-baserte video-genereringssystemer var LDMVFI; Dynamic Crafter; og SVDKFI. For ‘tradisjonelle’ video-systemer var rival-rammeverkene AMT; RIFE; FLAVR; og den ovennevnte FILM.

I tillegg til bruker-studien, ble tester utført over DAVIS og UCF101 datasettene.

Kvalitative tester kan bare vurderes av forsknings-teamets objektive fakulteter og av bruker-studier. Imidlertid merker artikkelen at tradisjonelle kvantitative metrikker i stor grad er uegnet til forslaget i hånden:

‘[Rekonstruksjons] metrikker som PSNR, SSIM og LPIPS feiler i å fange kvaliteten på interpolerte rammer nøyaktig, siden de straffer andre plausibele interpolerings-resultater som ikke er piksel-justert med den opprinnelige videoen.

‘Selv om genererings-metrikker som FID tilbyr noen forbedring, mangler de fortsatt som ikke tar hensyn til tids-konsistens og vurderer rammer i isolasjon.’

Til tross for dette, utførte forskerne kvalitative tester med flere populære metrikker:

Kvantitative resultater for Framer vs. rival-systemer.

Forfatterne merker at til tross for å ha oddsene imot seg, oppnår Framer likevel den beste FVD-poengsummen blant de testede metodene.

Nedenfor er artikkelen’s eksempel-resultater for en kvalitativ sammenligning:

Kvalitativ sammenligning mot tidligere tilnærminger. Vennligst se artikkelen for bedre oppløsning, samt video-resultater på https://www.youtube.com/watch?v=4MPGKgn7jRc.

Forfatterne kommenterer:

‘[Vår] metode produserer betydelig klarere teksturer og naturlig bevegelse sammenlignet med eksisterende interpolerings-teknikker. Den utfører spesielt godt i scenarier med betydelige forskjeller mellom innputt-rammene, hvor tradisjonelle metoder ofte feiler i å interpolere innhold nøyaktig.

‘I sammenligning med andre diffusjons-baserte metoder som LDMVFI og SVDKFI, demonstrerer Framer overlegen tilpasningsevne til utfordrende tilfeller og tilbyr bedre kontroll.’

For bruker-studien, samlet forskerne 20 deltakere, som vurderer 100 tilfeldig-ordenerte video-resultater fra de ulike metodene som ble testet. Dermed ble 1000 vurderinger oppnådd, som vurderer de mest ‘realistiske’ tilbudene:

Resultater fra bruker-studien.

Som kan ses fra grafen ovenfor, foretrakk brukerne overveldende resultater fra Framer.

Prosjektets tilhørende YouTube video fremhever noen av de potensielle andre bruksområdene for Framer, inkludert morfing og tegnefilm-mellom-rammer – hvor hele konseptet begynte.

Konklusjon

Det er vanskelig å overdrive hvor viktig denne utfordringen nå er for oppgaven med AI-basert video-generering. Til nå, har eldre løsninger som FILM og den (ikke-AI) EbSynth blitt brukt av både amatør- og profesjonelle samfunn for å tweene mellom rammer; men disse løsningene kommer med betydelige begrensninger.

Fordi av den skamløse kurateringen av offisielle eksempel-videoer for nye T2V-rammeverk, finnes det en stor offentlig misforståelse om at maskinlærings-systemer kan nøyaktig slutte seg til geometri i bevegelse uten å bruke veilednings-mekanismer som 3D-morfable modeller (3DMM), eller andre hjelpe-tilnærminger, som LoRAs.

For å være ærlig, er tweening i seg selv, selv om det kunne bli fullstendig utført, bare en ‘hak’ eller juks på dette problemet. Likevel, siden det ofte er lettere å produsere to godt-justerte ramm-bilder enn å påvirke veiledning via tekst-prompter eller den nåværende rekken av alternativer, er det godt å se iterative fremgang på en AI-basert versjon av denne eldre metoden.

Først publisert tirsdag, 29. oktober 2024