Att överbrygga ’rummet däremellan’ i genererande video

Ny forskning från Kina erbjuder en förbättrad metod för att interpolera gapet mellan två tidsmässigt avlägsna videoramar – en av de mest avgörande utmaningarna i den nuvarande kapplöpningen mot realism för genererande AI-video, samt för video kodkomprimering.

I exemplet nedan ser vi i den vänstra kolumnen en “start”- (ovan vänster) och “slut”-ram (nedre vänster). Uppgiften som de tävlande systemen måste utföra är att gissa hur föremålet i de två bilderna skulle gå från ram A till ram B. I animation kallas denna process tweening, och går tillbaka till den tysta eran av filmproduktion.

Klicka för att spela. I den första, vänstra kolumnen, ser vi den föreslagna start- och slutramen. I mittenkolumnen och i toppen av den tredje (högersta) kolumnen ser vi tre tidigare tillvägagångssätt för denna utmaning. Nedre höger ser vi att den nya metoden uppnår ett långt mer övertygande resultat i att tillhandahålla de mellanliggande ramarna. Källa: https://fcvg-inbetween.github.io/

Den nya metoden som föreslås av de kinesiska forskarna kallas Frame-wise Conditions-driven Video Generation (FCVG), och dess resultat kan ses i den nedre högra delen av videon ovan, vilket ger en smidig och logisk övergång från en stillbildsram till nästa.

Till skillnad från detta kan vi se att en av de mest hyllade ramverken för videointerpolation, Googles Frame Interpolation for Large Motion (FILM)-projekt, kämpar, liksom många liknande företag kämpar, med att tolka stora och djärva rörelser.

De två andra rivaliserande ramverken som visualiseras i videon, Time Reversal Fusion (TRF) och Generative Inbetweening (GI), ger en mindre skev tolkning, men har skapat frenetiska och till och med komiska dansrörelser, var och en av dem respekterar inte den implicita logiken i de två tillhandahållna ramarna.

Klicka för att spela. Två ofullständiga lösningar på tweening-problemet. Vänster, FILM behandlar de två ramarna som enkla morf-mål. Höger, TRF vet att någon form av dans måste införas, men kommer med en opraktisk lösning som demonstrerar anatomiska anomalier.

Ovan till vänster kan vi ta en närmare titt på hur FILM närmar sig problemet. Även om FILM var utformat för att kunna hantera stora rörelser, till skillnad från tidigare tillvägagångssätt baserade på optisk flöde, saknar det fortfarande en semantisk förståelse för vad som borde hända mellan de två tillhandahållna nyckelramarna, och utför enbart en 1980/90-talsstil morf mellan ramarna. FILM har ingen semantisk arkitektur, såsom en Latent Diffusion Model som Stable Diffusion, för att hjälpa till att skapa en lämplig bro mellan ramarna.

Till höger i videon ovan ser vi TRF:s försök, där Stable Video Diffusion (SVD) används för att mer intelligent “gissa” hur en dansrörelse som är lämplig för de två användartillhandahållna ramarna kan se ut – men det har gjort ett djärvt och otroligt antagande.

FCVG, som visas nedan, gör ett mer trovärdigt jobb med att gissa rörelsen och innehållet mellan de två ramarna:

Klicka för att spela. FCVG förbättrar tidigare tillvägagångssätt, men är långt ifrån perfekt.

Det finns fortfarande artefakter, såsom oönskad morfning av händer och ansiktsidentitet, men denna version är ytligt sett den mest trovärdiga – och varje förbättring av tillståndet i konsten måste beaktas mot den enorma svårigheten som uppgiften föreslår; och den stora hinder som utmaningen presenterar för framtiden för AI-genererad video.

Varför interpolation är viktigt

Som vi har påpekat tidigare, förmågan att trovärdigt fylla i videoinnehåll mellan två användartillhandahållna ramar är ett av de bästa sätten att upprätthålla temporalt sammanhang i genererande video, eftersom två verkliga och på varandra följande foton av samma person naturligt innehåller konsekventa element såsom kläder, hår och miljö.

När endast en endaste start ram används, kommer den begränsade uppmärksamhetsfönstret för ett genererande system, som ofta bara tar närliggande ramar i beaktande, tendera att gradvis “utveckla” aspekter av ämnet, tills (till exempel) en man blir en annan man (eller en kvinna), eller visar sig ha “morfande” kläder – bland många andra distraktioner som vanligtvis genereras i öppen källkod T2V-system och i de flesta betalda lösningar, såsom Kling:

Klicka för att spela. Att mata in den nya artikeln med de två (verkliga) källramarna i Kling, med prompten “En man som dansar på ett tak”, resulterade inte i en idealisk lösning. Även om Kling 1.6 var tillgänglig vid tidpunkten för skapandet, är V1.5 den senaste som stöder användarindata start- och slutramar. Källa: https://klingai.com/

Är problemet redan löst?

Till skillnad från detta verkar vissa kommersiella, slutna och proprietära system göra bättre med problemet – särskilt RunwayML, som kunde skapa mycket trovärdig inbetweening av de två källramarna:

Klicka för att spela. RunwayML:s diffusion-baserade interpolation är mycket effektiv. Källa: https://app.runwayml.com/

Genom att upprepa övningen producerade RunwayML en andra, lika trovärdig resultat:

Klicka för att spela. Den andra körningen av RunwayML-sekvensen.

Ett problem här är att vi inte kan lära oss någonting om de utmaningar som är involverade, eller främja den öppna källkodens tillstånd i konsten, från ett proprietärt system. Vi kan inte veta om denna överlägsna rendering har uppnåtts genom unika arkitektoniska tillvägagångssätt, genom data (eller datakurationsmetoder såsom filtrering och annotering), eller någon kombination av dessa och andra möjliga forskningsinnovationer.

För det andra kan mindre företag, såsom visuella effektföretag, inte på lång sikt förlita sig på B2B API-drivna tjänster som potentiellt kan undergräva deras logistiska planering med en enda prisökning – särskilt om en tjänst skulle komma att dominera marknaden och därmed vara mer benägen att höja priser.

När rättigheterna är fel

Mycket viktigare är att om ett välpresterande kommersiellt modell tränas på olicensierad data, såsom verkar vara fallet med RunwayML, kan varje företag som använder sådana tjänster riskera nedströms rättslig exponering.

Eftersom lagar (och vissa rättegångar) varar längre än presidenter, och eftersom den avgörande amerikanska marknaden är bland de mest rättsliga i världen, verkar den nuvarande trenden mot ökad lagstiftningsöversyn för AI-träningsdata sannolikt att överleva den “lätta beröringen” av Donald Trumps nästa presidentperiod.

Därför måste datorseende-forskningssektorn tackla detta problem på det hårda sättet, så att eventuella framväxande lösningar kan bestå över lång tid.

FCVG

Den nya metoden från Kina presenteras i en artikel med titeln Generative Inbetweening through Frame-wise Conditions-Driven Video Generation, och kommer från fem forskare på Harbin Institute of Technology och Tianjin University.

FCVG löser problemet med tvetydighet i interpolationsuppgiften genom att använda ramvisa villkor, tillsammans med ett ramverk som avgränsar kant i de användartillhandahållna start- och slutramarna, vilket hjälper processen att hålla ett mer konsekvent spår av övergångarna mellan enskilda ramar, och även den övergripande effekten.

Ramvisa villkor innebär att bryta ner skapandet av mellanliggande ramar i underuppgifter, istället för att försöka fylla i ett mycket stort semantiskt tomrum mellan två ramar (och ju längre den begärda video-utmatningen är, desto större är det semantiska avståndet).

I grafiken nedan, från artikeln, jämför författarna den ovannämnda tidsreversala metoden (TRF) med deras egen. TRF skapar två videogenereringsvägar med hjälp av en förtränad bild-till-video-modell (SVD). En är en “framåt”-väg som är villkorad av start-ramen, och den andra en “bakåt”-väg som är villkorad av slut-ramen. Båda vägarna startar från samma slumpmässigt brus. Detta visas till vänster om bilden nedan:

Jämförelse av tidigare tillvägagångssätt med FCVG. Källa: https://arxiv.org/pdf/2412.11755

Författarna hävdar att FCVG är en förbättring av tidsreversala metoder eftersom det minskar tvetydighet i videogenerering, genom att ge varje ram sitt eget explicita villkor, vilket leder till mer stabilt och konsekvent utmatning.

Tidsreversala metoder som TRF, hävdar artikeln, kan leda till tvetydighet, eftersom de framåt- och bakåtriktade genereringsvägarna kan divergera, vilket orsakar feljustering eller inkonsekvens. FCVG hanterar detta genom att använda ramvisa villkor som härrör från matchade linjer mellan start- och slutramarna (nedre höger i bilden ovan), vilket vägleder genereringsprocessen.

Klicka to spela. En annan jämförelse från FCVG-projektets sida.

Tidsreversal möjliggör användning av förtränade videogenereringsmodeller för inbetweening, men har några nackdelar. Rörelsen som genereras av I2V-modeller är varierad snarare än stabil. Medan detta är användbart för rena bild-till-video-uppgifter (I2V), skapar det tvetydighet och leder till feljusterade eller inkonsekventa videovägar.

Tidsreversal kräver också mödosam justering av hyperparametrar, såsom bildfrekvensen för varje genererad video. Dessutom kan vissa av de tekniker som används i tidsreversal för att minska tvetydighet signifikant sakta ner inferensen, vilket ökar bearbetningstiderna.

Metod

Författarna observerar att om det första av dessa problem (diversitet vs. stabilitet) kan lösas, är alla efterföljande problem sannolikt att lösa sig själva. Detta har försökts i tidigare erbjudanden, såsom den ovannämnda GI, och även ViBiDSampler.

Artikeln hävdar:

‘Likväl [finns det] fortfarande en betydande slumpmässighet mellan dessa vägar, vilket begränsar effektiviteten i dessa metoder för att hantera scenarier som inbegriper stora rörelser, såsom snabba förändringar i mänskliga poser. Tvetydigheten i interpolationsvägen uppstår främst på grund av otillräckliga villkor för mellanliggande ramar, eftersom två ingångsbilder endast tillhandahåller villkor för start- och slutramar.

‘Därför [föreslår vi] att tillhandahålla ett explicit villkor för varje ram, vilket signifikant lindrar tvetydigheten i interpolationsvägen.’

Vi kan se de centrala begreppen i FCVG i arbete i schemat nedan. FCVG genererar en sekvens av videoramar som startar och slutar konsekvent med två ingångsramar. Detta säkerställer att ramarna är temporalt stabila genom att tillhandahålla ram-specifika villkor för videogenereringsprocessen.

Schema för inferens av FCVG.

I denna omformulering av tidsreversaltillvägagångssätt kombinerar metoden information från både framåt- och bakåtriktade riktningar, och blandar dem för att skapa smidiga övergångar. Genom en iterativ process förfinar modellen gradvis bullriga ingångar tills den slutliga uppsättningen av mellanliggande ramar produceras.

Nästa steg innebär användning av den förtränade GlueStick-linje-matchningsmodellen, som skapar korrespondenser mellan de två beräknade start- och slutramarna, med den valfria användningen av skelettposer för att vägleda modellen, via Stable Video Diffusion-modellen.

GlueStick härleder linjer från tolkade former. Dessa linjer tillhandahåller matchande fästen mellan start- och slutramar i FCVG*.

Författarna noterar:

‘Vi har empiriskt funnit att linjär interpolation är tillräcklig för de flesta fall för att säkerställa temporalt sammanhang i inbetweening-videor, och vår metod tillåter användare att specificera icke-linjära interpolationsvägar för att generera önskade [videor].’

Arbetsflödet för att etablera framåt- och bakåtriktade ramvisa villkor. Vi kan se de matchade färger som håller innehållet konsekvent medan animationen utvecklas.

För att injicera de erhållna ramvisa villkoren i SVD använder FCVG metoden som utvecklats för 2024 ControlNeXt-initiativet. I denna process kodas kontrollvillkoren initialt av flera ResNet -block, innan korsnormalisering mellan villkors- och SVD-grenarna i arbetsflödet.

En liten uppsättning videor används för finjustering av SVD-modellen, med de flesta av modellens parametrar frusna.

‘De [ovannämnda begränsningarna] har till stor del lösts i FCVG: (i) Genom att explicit specificera villkoret för varje ram, lindras tvetydigheten mellan framåt- och bakåtriktade vägar signifikant; (ii) Endast en justerbar [parameter introduceras], medan hyperparametrar i SVD hålls som standard, ger fördelaktiga resultat i de flesta scenarier; (iii) En enkel genomsnittlig fusion, utan återinjektion av brus, är tillräcklig i FCVG, och inferensstegen kan substantiellt minskas med 50% jämfört med [GI].’

Övergripande schema för att injicera ramvisa villkor i Stable Video Diffusion för FCVG.

Data och tester

För att testa systemet kuraterade forskarna en dataset med varierande scener, inklusive utomhusmiljöer, mänskliga poser och inomhuslokaler, inklusive rörelser som kamerarörelse, dansaktioner och ansiktsuttryck, bland andra. De 524 klippen som valdes togs från DAVIS– och RealEstate10k-dataseten. Denna samling kompletterades med högupplösta videor från Pexels. Den kuraterade uppsättningen delades upp 4:1 mellan finjustering och testning.

Mätvärden som användes var Lärd Perceptuell Likhet (LPIPS); Fréchet Inception Distance (FID); Fréchet Video Distance (FVD); VBench; och Fréchet Video Motion Distance.

Författarna noterar att ingen av dessa mätvärden är väl anpassad för att uppskatta temporalt sammanhang, och hänvisar oss till videorna på FCVG:s projektsida.

Utöver användningen av GlueStick för linje-matching användes DWPose för att uppskatta mänskliga poser.

Finjustering skedde under 70 000 iterationer med AdamW-optimeraren på en NVIDIA A800 GPU, med en inlärningshastighet på 1×10^-6, med ramar beskurna till 512×320-patchar.

Rivaliserande tidigare ramverk som testades var FILM, GI, TRF och DynamiCrafter.

För kvantitativ utvärdering var ramgapen som hanterades mellan 12 och 23.

Kvantitativa resultat mot tidigare ramverk.

Med avseende på dessa resultat observerar artikeln:

‘[Vår] metod uppnår den bästa prestationen bland fyra genererande tillvägagångssätt över alla mätvärden. Med avseende på LPIPS-jämförelse med FILM är vår FCVG marginellt underlägsen, medan den visar överlägsen prestanda i andra mätvärden. Med tanke på avsaknaden av temporalt sammanhang i LPIPS kan det vara mer lämpligt att prioritera andra mätvärden och visuell observation.

‘Dessutom, genom att jämföra resultaten under olika ramgap, kan FILM fungera bra när gapet är litet, medan genererande metoder är mer lämpliga för stora gap. Bland dessa genererande metoder visar vår FCVG signifikant överlägsenhet tack vare dess explicita ramvisa villkor.’

För kvalitativ testning producerade författarna videorna som visas på projektsidan (vissa är inbäddade i denna artikel), och statiska och animerade^† resultat i PDF-artikeln,

Exempel på statiska resultat från artikeln. Vänligen se käll-PDF för bättre upplösning, och var medveten om att PDF:n innehåller animeringar som kan spelas upp i program som stöder denna funktion.

Författarna kommenterar:

‘Medan FILM producerar smidiga interpolationsresultat för små rörelse-scenarier, kämpar det med stora rörelser på grund av de inbyggda begränsningarna i optiskt flöde, vilket resulterar i märkbara artefakter såsom bakgrunds- och handrörelse (i det första fallet).

‘Genererande modeller som TRF och GI lider av tvetydigheter i fusionsvägar, vilket leder till instabila mellanliggande rörelser, särskilt tydliga i komplexa scener som inbegriper mänsklig och objektrörelse.

‘I kontrast till detta levererar vår metod konsekvent tillfredsställande resultat över olika scenarier.’Även när betydande ocklusion är närvarande (i det andra fallet och det sjätte fallet) kan vår metod fortfarande fånga rimlig rörelse. Dessutom visar vår tillvägagångssätt robusthet för komplexa mänskliga handlingar (i det sista fallet).’

Författarna fann också att FCVG generaliserar ovanligt väl till animeringsstil-videor:

Klicka för att spela. FCVG producerar mycket övertygande resultat för tecknad animationsstil.

Slutsats

FCVG representerar åtminstone en inkrementell förbättring för tillståndet i konsten i raminterpolation i en icke-proprietär kontext. Författarna har gjort koden för arbetet tillgänglig på GitHub, även om den associerade dataseten inte har släppts vid tidpunkten för skrivningen.

Om proprietära kommersiella lösningar överträffar öppen källkods-insatser genom att använda webbskrapad, olicensierad data, verkar det finnas begränsad eller ingen framtid i ett sådant tillvägagångssätt, åtminstone för kommersiellt bruk; riskerna är helt enkelt för stora.

Därför, även om den öppna källkodsscenen ligger efter de imponerande showcase som nuvarande marknadsledare visar, är det, kan man hävda, sköldpaddan som kan slå hasen i mål.

* Källa: https://openaccess.thecvf.com/content/ICCV2023/papers/Pautrat_GlueStick_Robust_Image_Matching_by_Sticking_Points_and_Lines_Together_ICCV_2023_paper.pdf

^† Kräver Acrobat Reader, Okular eller någon annan PDF-läsare som kan reproducera inbäddade PDF-animeringar.

Publicerad fredag, 20 december 2024