Å overbrue ‘gapet’ i generative video

Ny forskning fra Kina tilbyr en forbedret metode for å interpolere gapet mellom to tidsmessig avstand video-rammer – en av de viktigste utfordringene i den nåværende kappløpet mot realisme for generative AI-video, samt for video-kodek-komprimering.

I eksempelvideoen under ser vi i venstre kolonne en ‘start’ (øverst til venstre) og ‘slutt’ (nederst til venstre) ramme. Oppgaven som de konkurranerende systemene må utføre, er å gjette hvordan subjektet i de to bildene ville bevege seg fra ramme A til ramme B. I animasjon kalles denne prosessen tweening, og går tilbake til stumfilmens tid.

Klikk for å spille. I den første, venstre kolonnen, ser vi den foreslåtte start- og slutt-rammen. I midtkolonnen, og øverst i den tredje (høyre) kolonnen, ser vi tre tidligere tilnærminger til denne utfordringen. Nederst til høyre ser vi at den nye metoden oppnår et langt mer overbevisende resultat i å gi mellomliggende rammer. Kilde: https://fcvg-inbetween.github.io/

Den nye metoden som er foreslått av de kinesiske forskerne, kalles Frame-wise Conditions-driven Video Generation (FCVG), og dens resultater kan ses i den nederste høyre delen av videoen ovenfor, og gir en jevn og logisk overgang fra en stille ramme til den neste.

I motsetning kan vi se at ett av de mest feirede rammeverkene for video-interpolering, Googles Frame Interpolation for Large Motion (FILM)-prosjekt, sliter, som mange lignende forsøk sliter, med å tolke store og dristige bevegelser.

De to andre rivaliserende rammeverkene som er visualisert i videoen, Time Reversal Fusion (TRF) og Generative Inbetweening (GI), gir en mindre skjevt tolkning, men har skapt frenetiske og til og med komiske dansebevegelser, som hverken respekterer den implisitte logikken i de to leverte rammene.

Klikk for å spille. To ufullstendige løsninger på tweening-problemet. Venstre, FILM behandler de to rammene som enkle morf-mål. Høyre, TRF vet at noen form for dans må innføres, men kommer opp med en ugyldig løsning som demonstrerer anatomiske anomali.

Øverst til venstre kan vi se nærmere på hvordan FILM nærmer seg problemet. Selv om FILM var designet for å kunne håndtere store bevegelser, i motsetning til tidligere tilnærminger basert på optisk strøm, mangler det likevel en semantisk forståelse av hva som bør skje mellom de to leverte nøklerammene, og utfører bare en 1980/90-årenes morf mellom rammene. FILM har ingen semantisk arkitektur, slik som en Latent Diffusion Model som Stable Diffusion, for å hjelpe med å skape en passende bro mellom rammene.

Til høyre i videoen ovenfor ser vi TRFs forsøk, hvor Stable Video Diffusion (SVD) brukes for å intelligentere ‘gjette’ hvordan en dansbevegelse som er egnet for de to bruker-leverte rammene, kan se ut – men den har gjort et dristig og ugyldig forsøk.

FCVG, som er vist nedenfor, gjør en mer troverdig jobb med å gjette bevegelsen og innholdet mellom de to rammene:

Klikk for å spille. FCVG forbedrer tidligere tilnærminger, men er langt ifra fullkommen.

Det finnes fortsatt artefakter, som uønsket morfing av hender og ansiktsidentitet, men denne versjonen er overfladisk sett den mest plausibele – og noen forbedring på tilstanden i kunsten må være vurdert mot den enorme vanskeligheten som oppgaven stiller; og den store hindringen som utfordringen presenterer for fremtiden til AI-generert video.

Hvorfor interpolering er viktig

Som vi har pekt på tidligere, evnen til å plausibelt fylle inn video-innhold mellom to bruker-leverte rammer, er en av de beste måtene å opprettholde temporalt konsistens i generativ video, ettersom to virkelige og påfølgende bilder av samme person naturlig vil inneholde konsistente elementer som klær, hår og miljø.

Når bare en start-ramme brukes, vil den begrensede oppmerksomhetsvinduet til et generativt system, som ofte bare tar nærliggende rammer i betraktning, vil tende til å gradvis ‘utvikle’ aspekter av emnet, til (for eksempel) en mann blir en annen mann (eller en kvinne), eller viser seg å ha ‘morfende’ klær – blant mange andre distraksjoner som vanligvis genereres i åpne kildekode-T2V-systemer, og i de fleste av de betalte løsningene, som Kling:

Klikk for å spille. Feil i å mata den nye artikkelen med de to (virkelige) kilde-rammene til Kling, med prompten ‘En mann som danser på et tak’, resulterte ikke i en ideell løsning. Selv om Kling 1.6 var tilgjengelig på tidspunktet for opprettelsen, er V1.5 den siste som støtter bruker-innmatte start- og slutt-rammer. Kilde: https://klingai.com/

Er problemet allerede løst?

I motsetning til dette ser noen kommersielle, lukkede og proprietære systemer ut til å gjøre det bedre med problemet – særlig RunwayML, som var i stand til å lage svært plausibelt inbetweening av de to kilde-rammene:

Klikk for å spille. RunwayMLs diffusjonsbaserte interpolering er svært effektiv. Kilde: https://app.runwayml.com/

Ved å gjenta øvelsen, produserte RunwayML en annen, like troverdig resultat:

Klikk for å spille. Den andre kjøringen av RunwayML-sekvensen.

Et problem her er at vi ikke kan lære noe om utfordringene som er involvert, eller fremme den åpne kildekodens tilstand, fra et proprietært system. Vi kan ikke vite om denne overlegne gjengivelsen er oppnådd gjennom unike arkitektoniske tilnærminger, data (eller data-kurering-metoder som filtrering og annotering), eller en kombinasjon av disse og andre mulige forskningsinnovasjoner.

Når rettighetene er gale

Mye viktigere er det at hvis et godt fungerende kommersielt modell er trent på ulisensiert data, som ser ut til å være tilfelle med RunwayML, kan ethvert selskap som bruker slike tjenester risikere nedstrøms juridisk eksponering.

Ettersom lover (og noen søksmål) varer lengre enn presidenter, og siden den kritiske amerikanske markedet er blant de mest søksomme i verden, synes trenden mot større lovgivningsmessig tilsyn for AI-treningdata å være sannsynlig å overleve den ‘lette berøringen’ av Donald Trumps neste presidentperiode.

Derfor må datavisjonsforskningssektoren løse dette problemet på en hard måte, slik at noen fremvoksende løsninger kan vare over lang tid.

FCVG

Den nye metoden fra Kina presenteres i en artikkel med tittelen Generative Inbetweening through Frame-wise Conditions-Driven Video Generation, og kommer fra fem forskere på Harbin Institute of Technology og Tianjin University.

FCVG løser problemet med tvetydighet i interpolering-oppgaven ved å bruke rammevisse betingelser, sammen med et rammeverk som avgrenser kantene i bruker-leverte start- og slutt-rammer, som hjelper prosessen med å holde en mer konsistent spor av overgangene mellom enkelt-rammer, og også den totale effekten.

Rammevisse betingelser innebærer å bryte ned opprettelsen av mellomliggende rammer i underoppgaver, i stedet for å prøve å fylle inn et svært stort semantisk tomrom mellom to rammer (og jo lenger ønsket video-utgang, jo større er det semantiske avstanden).

I grafikken under, fra artikkelen, sammenligner forfatterne den nevnte tid-reversal-metoden (TRF) med deres egen. TRF oppretter to video-genererings-stier ved hjelp av et forhånds-trent bilde-til-video-modell (SVD). En er en ‘framover’-sti betinget av start-rammen, og den andre en ‘bakover’-sti betinget av slutt-rammen. Begge stier starter fra samme tilfeldig støy. Dette er illustrert til venstre for bildet under:

Sammenligning av tidligere tilnærminger til FCVG. Kilde: https://arxiv.org/pdf/2412.11755

Forfatterne hevder at FCVG er en forbedring over tid-reversal-metoder fordi den reduserer tvetydighet i video-generering, ved å gi hver ramme sin egen eksplisitte betingelse, og fører til mer stabil og konsistent utgang.

Tid-reversal-metoder som TRF, hevder artikkelen, kan føre til tvetydighet, fordi de fremover- og bakover-genererings-stier kan divergere, og føre til misalignement eller inkonsistens. FCVG løser dette ved å bruke rammevisse betingelser avledet fra sammenfallende linjer mellom start- og slutt-rammene (nederst til høyre i bildet over), som guider genereringsprosessen.

Klikk for å spille. En annen sammenligning fra FCVG-prosjekt-siden.

Tid-reversal muliggjør bruk av forhånds-trente video-genererings-modeller for inbetweening, men har noen ulemper. Bevegelsen generert av I2V-modeller er divers snarere enn stabil. Mens dette er nyttig for rene bilde-til-video-oppgaver (I2V), skaper det tvetydighet, og fører til misalignede eller inkonsistente video-stier.

Tid-reversal krever også omstendelig finjustering av hyper-parametre, som ramme-hastighet for hver generert video. I tillegg krever noen av teknikkenes reduksjon av tvetydighet i tid-reversal betydelig langsommere inferens, og øker prosesseringstiden.

Metode

Forfatterne observerer at hvis det første av disse problemene (diversitet vs. stabilitet) kan løses, er det sannsynlig at alle andre påfølgende problemer vil løse seg selv. Dette har blitt forsøkt i tidligere tilbud som den nevnte GI, og også ViBiDSampler.

Artikkelen sier:

‘Likevel [er det] fortsatt betydelig stokastisitet mellom disse stier, og dette begrenser effektiviteten av disse metodene i å håndtere scenarier som involverer store bevegelser, som raske endringer i menneskelige posisjoner. Tvetydigheten i interpolering-stien oppstår hovedsakelig på grunn av utilstrekkelige betingelser for mellomliggende rammer, ettersom to inndata-bilder bare gir betingelser for start- og slutt-rammene.

‘Derfor [forslår vi] å tilby en eksplisitt betingelse for hver ramme, som betydelig lettet tvetydigheten i interpolering-stien.’

Vi kan se FCVGs kjernekonsepter i arbeid i skjemaet under. FCVG genererer en sekvens av video-rammer som starter og slutter konsistent med to inndata-rammer. Dette sikrer at rammene er temporalt stabile ved å gi ramme-spesifikke betingelser for video-genererings-prosessen.

Skjema for inferens av FCVG.

I denne omtolkningen av tid-reversal-tilnærmingen, kombinerer metoden informasjon fra både fremover- og bakover-retning, og blander dem for å skape jevne overganger. Gjennom en iterativ prosess, refinerer modellen gradvis støyelige inndata til den endelige mengden mellomliggende rammer er produsert.

Neste trinn inkluderer bruk av det forhånds-trente GlueStick-linje-sammenstillings-modellen, som oppretter sammenhenger mellom de to beregnede start- og slutt-rammene, med den valgfrie bruk av skjelett-pose for å guide modellen, via Stable Video Diffusion-modellen.

GlueStick avleder linjer fra tolkede former. Disse linjene gir sammenfallende anker mellom start- og slutt-rammene i FCVG*.

Forfatterne bemerker:

‘Vi fant empirisk at lineær interpolering er tilstrekkelig for de fleste tilfeller for å garantere temporalt stabilitet i inbetweening-videoer, og vår metode tillater brukerne å spesifisere ikke-lineære interpolerings-stier for å generere ønskede [videoer].’

Arbeidsflyten for å etablere fremover- og bakover-rammevisse betingelser. Vi kan se de sammenfallende fargene som holder innholdet konsistent mens animasjonen utvikler seg.

For å injicere de oppnådde rammevisse betingelsene i SVD, bruker FCVG metoden utviklet for 2024 ControlNeXt-initiativet. I denne prosessen blir kontroll-betingelsene initialt kodet av flere ResNet -blokker, før kryss-normalisering mellom betingelses- og SVD-grenene i arbeidsflyten.

En liten mengde videoer brukes for finjustering av SVD-modellen, med de fleste av modellens parametre frosset.

‘[Den nevnte begrensningen] har i stor grad blitt løst i FCVG: (i) Ved å spesifisere betingelsen for hver ramme, blir tvetydigheten mellom fremover- og bakover-stier betydelig lettet; (ii) Bare ett justerbar [parameter] blir introdusert, mens hyper-parametre i SVD holdes som standard, og gir gunstige resultater i de fleste scenarier; (iii) En enkel gjennomsnitts-fusjon, uten støy-gjeninjeksjon, er tilstrekkelig i FCVG, og inferens-trinnene kan bli betydelig redusert med 50% sammenlignet med [GI].’

Oversikt over skjema for å injicere rammevisse betingelser i Stable Video Diffusion for FCVG.

Data og tester

For å teste systemet, kuraterte forskerne en datasett med diverse scener, inkludert utendørs-miljøer, menneskelige posisjoner og innendørs-lokasjoner, inkludert bevegelser som kamera-bevegelse, dans-aksjoner og ansikts-uttrykk, blant andre. De 524 klippene som ble valgt, ble tatt fra DAVIS– og RealEstate10k-datasettene. Denne samlingen ble supplert med høy-ramme-hastighet-videoer hentet fra Pexels. Den kuraterte mengden ble delt 4:1 mellom finjustering og testing.

Metrikker som ble brukt, var Lærte Perceptuelle Likhet-metrikker (LPIPS); Fréchet Inception-avstand (FID); Fréchet Video-avstand (FVD); VBench; og Fréchet Video-bevegelses-avstand.

Forfatterne bemerker at ingen av disse metrikker er godt tilpasset for å anslå temporalt stabilitet, og henviser oss til videoene på FCVGs prosjektside.

I tillegg til bruk av GlueStick for linje-sammenstilling, ble DWPose brukt for å anslå menneskelige posisjoner.

Finjustering fant sted over 70 000 iterasjoner under AdamW-optimereren på en NVIDIA A800-GPU, med en læringshastighet på 1×10^-6, og rammer som ble beskåret til 512×320-patcher.

Rivaliserende tidligere rammeverk som ble testet, var FILM, GI, TRF og DynamiCrafter.

For kvantitativ evaluering, ble ramme-gapene som ble tatt i betraktning, mellom 12 og 23.

Kvantitative resultater mot tidligere rammeverk.

Med hensyn til disse resultater, observerer artikkelen:

‘[Vår] metode oppnår den beste ytelsen blant fire generative tilnærminger over alle metrikkene. Med hensyn til LPIPS-sammenligning med FILM, er vår FCVG marginalt underlegen, mens den viser overlegen ytelse i andre metrikker. Ettersom det ikke finnes temporalt informasjon i LPIPS, kan det være mer passende å prioritere andre metrikker og visuell observasjon.

‘I tillegg, ved å sammenligne resultater under forskjellige ramme-gap, kan FILM fungere godt når gapet er lite, mens generative metoder er mer egnet for store gap. Blant disse generative metodene, viser vår FCVG betydelig overlegenhet takket være dens eksplisitte rammevisse betingelser.’

For kvalitativ testing, produserte forfatterne videoene som ses på prosjektsiden (noen er innlemmet i denne artikkelen), og statiske og animerte^† resultater i PDF-artikkelen,

Eksempler på statiske resultater fra artikkelen. Vennligst se kilde-PDF for bedre oppløsning, og vær klar over at PDF-en inneholder animasjoner som kan spilles av i applikasjoner som støtter denne funksjonen.

Forfatterne kommenterer:

‘Selv om FILM produserer jevne interpolerings-resultater for små bevegelses-scenarier, sliter det med store skala-bevegelser på grunn av innebygde begrensninger i optisk strøm, og resulterer i merkbare artefakter som bakgrunn- og hånd-bevegelse (i det første tilfelle).

‘Generative modeller som TRF og GI lider av tvetydighet i fusjons-stier, og fører til ustabil mellomliggende bevegelse, særlig tydelig i komplekse scener som involverer menneskelig og objekt-bevegelse.

‘I motsetning leverer vår metode konsistent tilfredsstillende resultater over forskjellige scenarier.’ Selv når betydelig okklusjon er til stede (i det andre tilfelle og det sjette tilfelle), kan vår metode likevel fange rimelig bevegelse. I tillegg viser vår tilnærming robusthet for komplekse menneskelige handlinger (i det siste tilfelle).’

Forfatterne fant også at FCVG generaliserer uvanlig godt til animasjons-stil-videoer:

Klikk for å spille. FCVG produserer svært overbevisende resultater for tegnefilm-animasjon.

Konklusjon

FCVG representerer minst en inkrementell forbedring for tilstanden i kunsten i ramme-interpolering i en ikke-proprietær kontekst. Forfatterne har gjort koden for arbeidet tilgjengelig på GitHub, selv om den tilknyttede datasett-en ikke har blitt utgitt på tidspunktet for skrivingen.

Hvis proprietære kommersielle løsninger overstiger åpne kildekode-tiltak gjennom bruk av web-skrapet, ulisensiert data, synes det å være begrenset eller ingen fremtid i en slik tilnærming, å være kommersielt brukbart; risikoen er simpelthen for stor.

Derfor, selv om den åpne kildekode-scenen ligger bak de imponerende showcase-ene til markedets ledere, er det, argumenterbart, skilpadden som kan slå hasen til målstreken.

* Kilde: https://openaccess.thecvf.com/content/ICCV2023/papers/Pautrat_GlueStick_Robust_Image_Matching_by_Sticking_Points_and_Lines_Together_ICCV_2023_paper.pdf

^† Krever Acrobat Reader, Okular, eller en annen PDF-leser som kan gjengi innlemmet PDF-animasjon.

Først publisert fredag, 20. desember 2024