Broen mellem ‘rummet’ i generative video

Nyt forskning fra Kina tilbyder en forbedret metode til at interpolere mellem to tidsmæssigt adskilte video-frames – en af de mest kritiske udfordringer i den nuværende kapløb mod realisme for generative AI-video, samt for video-kodekompression.

I eksempelvideoen nedenfor ser vi i den venstre kolonne en ‘start’ (øverst til venstre) og ‘end’ (nederst til venstre) frame. Opgaven, som de konkurrerende systemer skal løse, er at gætte, hvordan subjektet i de to billeder vil bevæge sig fra frame A til frame B. I animation kaldes denne proces for tweening, og går tilbage til stumfilmens æra.

Klik for at afspille. I den første, venstre kolonne, ser vi den foreslåede start- og slutframe. I midterkolonnen og øverst i den tredje (højre) kolonne ser vi tre tidligere tilgange til denne udfordring. Nederst til højre ser vi, at den nye metode opnår et langt mere overbevisende resultat i at give de mellemliggende frames. Kilde: https://fcvg-inbetween.github.io/

Den nye metode, der er foreslået af de kinesiske forskere, kaldes Frame-wise Conditions-driven Video Generation (FCVG), og dens resultater kan ses i den nederste højre del af videoen ovenfor, hvor der gives en glidende og logisk overgang fra en stille frame til den næste.

Som modsætning kan vi se, at en af de mest berømte rammer for video-interpolation, Googles Frame Interpolation for Large Motion (FILM)-projekt, kæmper, som mange lignende forsøg kæmper, med at fortolke store og dristige bevægelser.

De to andre rivaliserende rammer, der er visualiseret i videoen, Time Reversal Fusion (TRF) og Generative Inbetweening (GI), giver en mindre skæv fortolkning, men har skabt frenetiske og endda komiske dansbevægelser, som hverken respekterer den implicitte logik i de to leverede frames.

Klik for at afspille. To ufuldkomne løsninger til tweening-problemet. Venstre, FILM behandler de to frames som simple morf-mål. Højre, TRF ved, at nogen form for dans skal indsættes, men kommer op med en urimelig løsning, der demonstrerer anatomiske anomalier.

Øverst til venstre kan vi tage en nærmere kig på, hvordan FILM tilgår problemet. Selv om FILM var designet til at kunne håndtere store bevægelser, i modsætning til tidligere tilgange baseret på optisk flow, mangler det stadig en semantisk forståelse af, hvad der skal ske mellem de to leverede nøgleframes, og udfører blot en 1980/90’er-morf mellem framesne. FILM har ingen semantisk arkitektur, såsom en Latent Diffusion Model som Stable Diffusion, til at hjælpe med at skabe en passende bro mellem framesne.

Til højre i videoen ovenfor ser vi TRF’s forsøg, hvor Stable Video Diffusion (SVD) bruges til at gætte, hvordan en dansbevægelse, der er passende for de to brugerleverede frames, kan se ud – men det har lavet en dristig og urimelig approximation.

FCVG, der ses nedenfor, gør et mere troværdigt arbejde med at gætte bevægelsen og indholdet mellem de to frames:

Klik for at afspille. FCVG forbedrer tidligere tilgange, men er langt fra perfekt.

Der er stadig artefakter, såsom uønsket morfning af hænder og ansigtsidentitet, men denne version er overfladisk set den mest troværdige – og enhver forbedring af den nuværende tilstand skal være op mod den enorme sværhed, som opgaven stiller; og den store hindring, som udfordringen stiller for fremtiden for AI-genereret video.

Hvorfor interpolation er vigtig

Som vi har peget på tidligere, er evnen til at troværdigt udfylde videoindhold mellem to brugerleverede frames en af de bedste måder at opretholde temporær konsistens i generative video, da to virkelige og på hinanden følgende billeder af samme person naturligvis vil indeholde konsistente elementer såsom tøj, hår og omgivelser.

Når kun en enkel startframe bruges, vil den begrænsede opmærksomhedsfelt for et generativt system, der ofte kun tager nærvede frames i betragtning, have tendens til gradvist at ‘udvikle’ aspekter af subjektet, indtil (for eksempel) en mand bliver en anden mand (eller en kvinde), eller viser sig at have ‘morfende’ tøj – blandt mange andre distraktioner, der ofte genereres i open source T2V-systemer og i de fleste af de betalte løsninger, såsom Kling:

Klik for at afspille. Feeding den nye papers to (reelle) kildeframes ind i Kling med prompten ‘En mand danser på et tag’, resulterede ikke i en ideal løsning. Selv om Kling 1.6 var tilgængelig på tidspunktet for oprettelse, er V1.5 den seneste, der understøtter brugerindput start- og slutframes. Source: https://klingai.com/

Er problemet allerede løst?

Som modsætning ser nogle kommercielle, lukkede og proprietære systemer ud til at gøre det bedre med problemet – især RunwayML, der kunne skabe meget troværdige inbetweening af de to kildeframes:

Klik for at afspille. RunwayML’s diffusion-baserede interpolation er meget effektiv. Source: https://app.runwayml.com/

Genoptagelse af øvelsen, RunwayML producerede en anden, lige så troværdig result:

Klik for at afspille. Den anden runde af RunwayML-sekvensen.

Et problem her er, at vi ikke kan lære noget om udfordringerne, eller fremskride med den åbne kilde-tilstand af kunsten, fra et proprietært system. Vi kan ikke vide, om denne overlegne rendering er opnået gennem unikke arkitektoniske tilgange, data (eller datakurationsmetoder såsom filtrering og annotation), eller en kombination af disse og andre mulige forskningsinnovationer.

For det andet kan mindre virksomheder, såsom virksomheder inden for visuelle effekter, ikke på lang sigt afhænge af B2B API-drevne tjenester, der potentielt kan undergrave deres logistiske planlægning med en enkelt prisstigning – især hvis en tjeneste kommer til at dominere markedet og derfor er mere tilbøjelig til at øge priserne.

Når rettighederne er forkerte

Langt vigtigere er det, at hvis et velopførende kommercielt model er trænet på ulovligt data, som synes at være tilfældet med RunwayML, kan enhver virksomhed, der bruger sådanne tjenester, risikere nedstrøms juridisk eksponering.

Da love (og nogle sager) varer længere end præsidenter, og da det kritiske amerikanske marked er blandt de mest sagsøgende i verden, synes den nuværende trend mod større lovgivningsmæssig overvågning af AI-træningsdata sandsynligvis at overleve den ‘lette berøring’ af Donald Trumps næste præsidentperiode.

Derfor vil computer vision-forskningssektoren være nødt til at løse dette problem på den hårde måde, sådan at enhver fremkomme løsning kan holde i lang tid.

FCVG

Den nye metode fra Kina præsenteres i en paper med titlen Generative Inbetweening through Frame-wise Conditions-Driven Video Generation, og kommer fra fem forskere på Harbin Institute of Technology og Tianjin University.

FCVG løser problemet med tvetydighed i interpolationsopgaven ved at anvende frame-wise conditions, sammen med en ramme, der afgrænser kantlinjer i de brugerleverede start- og slutframes, hvilket hjælper processen med at holde en mere konsistent spor af overgangene mellem enkeltframes, samt det samlede effekt.

Frame-wise betingelser indebærer at bryde opgaven med at skabe mellemframes ned i underopgaver, i stedet for at forsøge at udfylde et meget stort semantisk tomrum mellem to frames (og jo længere det anmodede video-udgang er, jo større er det semantiske afstand).

I grafikken nedenfor, fra papiret, sammenligner forfatterne den nævnte time-reversal (TRF)-metode med deres egen. TRF skaber to video-genereringsveje ved hjælp af et forudtrænet billed-til-video-model (SVD). Den ene er en ‘fremadgående’ vej betinget af startframe, og den anden en ‘baglæns’ vej betinget af slutframe. Begge veje starter fra samme tilfældigt støj. Dette er illustreret til venstre for billedet nedenfor:

Sammenligning af tidligere tilgange til FCVG. Kilde: https://arxiv.org/pdf/2412.11755

Forfatterne påstår, at FCVG er en forbedring over time-reversal-metoder, fordi det reducerer tvetydighed i video-generering, ved at give hver frame sin egen eksplicit betingelse, hvilket fører til mere stabil og konsistent udgang.

Time-reversal-metoder såsom TRF, påstår papiret, kan føre til tvetydighed, fordi de fremadgående og baglæns genereringsveje kan divergere, og føre til misalignment eller inkonsistens. FCVG løser dette ved at anvende frame-wise betingelser, der er afledt fra matchede linjer mellem start- og slutframes (nederst til højre i billedet ovenfor), som guider genereringsprocessen.

Klik til afspil.Endnu en sammenligning fra FCVG-projektets side.

Time-reversal aktiverer brugen af forudtrænede video-genereringsmodeller til inbetweening, men har nogle ulemper. Bevægelsen, der genereres af I2V-modeller, er divers snarere end stabil. Mens dette er nyttigt for rene billed-til-video-opgaver, skaber det tvetydighed og fører til misalignerede eller inkonsistente video-veje.

Time-reversal kræver også omhyggelig finjustering af hyperparametre, såsom frame-raten for hver genereret video. Derudover kan nogle af de teknikker, der er involveret i time-reversal for at reducere tvetydighed, betydeligt langsommere inferens, og øge behandlingstider.

Metode

Forfatterne observerer, at hvis det første af disse problemer (diversitet vs. stabilitet) kan løses, er alle andre efterfølgende problemer sandsynligvis løst. Dette er blevet forsøgt i tidligere tilbud såsom den nævnte GI, og også ViBiDSampler.

Papiret påstår:

‘Dog [er der] stadig betydelig stokastisk variation mellem disse veje, hvilket begrænser effektiviteten af disse metoder i håndtering af scenarier, der involverer store bevægelser såsom hurtige ændringer i menneskelige stillinger. Tvetydigheden i interpolationsvejen opstår primært på grund af utilstrækkelige betingelser for mellemframes, da to input-billeder kun giver betingelser for start- og slutframes.

‘Derfor [forslår vi] at give en eksplicit betingelse for hver frame, hvilket betydeligt lettelser tvetydigheden i interpolationsvejen.’

Vi kan se FCVG’s kernekoncepter i arbejde i skemaet nedenfor. FCVG genererer en sekvens af video-frames, der starter og slutter konsistent med to input-frames. Dette sikrer, at frames er temporalt stabile ved at give frame-specifikke betingelser for video-genereringsprocessen.

Skema for inferens af FCVG.

I denne omformulering af time-reversal-tilgange kombinerer metoden information fra både fremadgående og baglæns retninger, og blender dem for at skabe glidende overgange. Gennem en iterativ proces refinerer modellen gradvist støjende input, indtil den endelige samling af mellemframes er produceret.

Næste trin indebærer brugen af den forudtrænede GlueStick-linje-matching-model, der skaber korrespondancer mellem de to beregnede start- og slutframes, med den valgfrie brug af skelet-pozitioner til at guide modellen via Stable Video Diffusion-modellen.

GlueStick afleder linjer fra fortolkede former. Disse linjer giver matchende ankere mellem start- og slutframes i FCVG*.

Forfatterne påstår:

‘Vi fandt empirisk, at lineær interpolation er tilstrækkelig i de fleste tilfælde for at garantere temporal stabilitet i inbetweening-videoer, og vores metode giver brugerne mulighed for at specificere ikke-lineære interpolationsveje for at generere ønskede [videoer].’

Arbejdsgangen for at etablere fremadgående og baglæns frame-wise betingelser. Vi kan se de matchede farver, der holder indholdet konsistent, mens animationen udvikler sig.

For at injicere de opnåede frame-wise betingelser i SVD, bruger FCVG metoden, der er udviklet til 2024 ControlNeXt-initiativet. I denne proces bliver kontrollen betingelser initialt kodet af multiple ResNet -blokke, før kryds-normalisering mellem betingelses- og SVD-grenerne i arbejdsgangen.

En lille samling videoer bruges til finjustering af SVD-modellen, med de fleste af modellens parametre frosset.

‘[De nævnte begrænsninger] er blevet løst i FCVG: (i) Ved at give en eksplicit betingelse for hver frame, lettelser tvetydigheden mellem fremadgående og baglæns veje betydeligt; (ii) Kun en justerbar [parameter er introduceret], mens hyperparametre i SVD holdes som standard, giver gunstige resultater i de fleste scenarier; (iii) En simpel gennemsnitsfusion, uden støj-genindføring, er tilstrækkelig i FCVG, og inferens-trinnene kan reduceres betydeligt med 50% i forhold til [GI].’

Oversigt over skema for at injicere frame-wise betingelser i Stable Video Diffusion til FCVG.

Data og tests

For at teste systemet, har forskerne kurateret en dataset, der omfatter diverse scener, herunder udendørs miljøer, menneskelige stillinger og indendørs lokaliteter, herunder bevægelser såsom kamera-bevægelser, dans-handlinger og ansigtsudtryk, blandt andre. De 524 klip, der er valgt, er taget fra DAVIS– og RealEstate10k-datasetterne. Denne samling er suppleret med høj frame-rate videoer fra Pexels. Den kuraterede samling er delt 4:1 mellem finjustering og test.

Metrikker, der er brugt, er Learned Perceptual Similarity Metrics (LPIPS); Fréchet Inception Distance (FID); Fréchet Video Distance (FVD); VBench; og Fréchet Video Motion Distance.

Forfatterne påstår, at ingen af disse metrikker er godt tilpasset til at estimere temporal stabilitet, og henviser os til videoerne på FCVG’s projekt-side.

Ud over brugen af GlueStick til linje-matching, er DWPose blevet brugt til at estimere menneskelige stillinger.

Finjustering af værktøjet fandt sted i 70.000 iterationer under AdamW-optimeren på en NVIDIA A800 GPU, med en læringsrate på 1×10^-6, og frames, der er beskåret til 512×320-patches.

Rivaliserende tidligere rammer, der er testet, er FILM, GI, TRF og DynamiCrafter.

For kvantitativ evaluering, er frame-gab, der er løst, varieret mellem 12 og 23.

Kvantitative resultater i forhold til tidligere rammer.

Med hensyn til disse resultater, påstår papiret:

‘[Vores] metode opnår den bedste præstation blandt fire generative tilgange på tværs af alle metrikkerne. Med hensyn til LPIPS-sammenligningen med FILM, er vores FCVG marginalt underlegen, mens vi viser overlegen præstation i andre metrikker. Da der mangler temporal information i LPIPS, kan det være mere passende at prioritere andre metrikker og visuel observation.

‘Desuden, ved at sammenligne resultaterne under forskellige frame-gab, kan FILM fungere godt, når gab er lille, mens generative metoder er mere egnede til store gab. Blandt disse generative metoder viser vores FCVG betydelig overlegenhet på grund af dens eksplicitte frame-wise betingelser.’

For kvalitativ test, har forfatterne produceret videoerne, der kan ses på projekt-siden (nogle er indlejret i denne artikel), og statiske og animerede^† resultater i PDF-papiret,

Eksempel på statiske resultater fra papiret. Se venligst kilde-PDF for bedre opløsning, og vær opmærksom på, at PDF’en indeholder animationer, der kan afspilles i programmer, der understøtter denne funktion.

Forfatterne kommenterer:

‘Selv om FILM producerer glidende interpolationsresultater for små bevægelsesscener, kæmper det med store skala-bevægelser på grund af de indbyggede begrænsninger i optisk flow, hvilket resulterer i bemærkelsesværdige artefakter såsom baggrund- og håndbevægelser (i det første tilfælde).

‘Generative modeller såsom TRF og GI lider under tvetydighed i fusionsveje, der fører til ustabil mellem-bevægelse, især tydelig i komplekse scener, der involverer menneskelige og objekt-bevægelser.

‘I modsætning hertil leverer vores metode konsekvent tilfredsstillende resultater på tværs af forskellige scener. Selv når betydelig okklusion er til stede (i andet tilfælde og sjette tilfælde), kan vores metode stadig fange rimelig bevægelse. Desuden viser vores tilgang robusthed for komplekse menneskelige handlinger (i sidste tilfælde).’

Forfatterne fandt også, at FCVG generaliserer usædvanligt godt til animations-stil videoer:

Klik for at afspille. FCVG producerer meget overbevisende resultater for tegnefilm-animations-stil.

Konklusion

FCVG repræsenterer mindst en inkrementel forbedring af den nuværende tilstand af kunsten i frame-interpolation i en ikke-propriær kontekst. Forfatterne har gjort koden for arbejdet tilgængelig på GitHub, selv om den tilhørende dataset ikke er udgivet på tidspunktet for skrivning.

Hvis proprietære kommercielle løsninger overgår åbne kilde-bevægelser gennem brug af web-skrapet, ulovligt data, synes der at være begrænset eller ingen fremtid i en sådan tilgang, i hvert fald for kommerciel brug; risikoen er simpelthen for stor.

Derfor, selv om den åbne kilde-scene ligger efter den imponerende showcase af de nuværende markedsleder, er det, der sandsynligvis kan være skildpadden, der slår harene til målstregen.

* Kilde: https://openaccess.thecvf.com/content/ICCV2023/papers/Pautrat_GlueStick_Robust_Image_Matching_by_Sticking_Points_and_Lines_Together_ICCV_2023_paper.pdf

^† Kræver Acrobat Reader, Okular eller en anden PDF-læser, der kan genskabe indlejrede PDF-animationer.

Først udgivet fredag, den 20. december 2024