Silta ‘välistä’ generatiivisessa videossa

Uusi tutkimus Kiinasta tarjoaa parannetun menetelmän täyttämään aukon kahden ajallisesti etäisesti olevan videokehysvälin – yksi tärkeimmistä haasteista nykyisessä kilpailussa realismin saavuttamiseksi generatiivisessa AI-videossa sekä videokoodauspakkaamisessa.

Esimerkkiprojektissa näemme vasemmalla sarakkeella “alku” (ylävasen) ja “loppu” (alavasen) kehyksen. Kilpailevien järjestelmien tehtävä on arvata, miten kohde kahdessa kuvassa päätyy kehys A:sta kehykseen B. Animaatiossa tämä prosessi on kutsuttu tweeningiksi, ja se juontaa juurensa mykkäelokuva-ajan.

Klikkaa toistamaan. Ensimmäisessä, vasemmalla olevassa sarakkeessa, näemme ehdotetun alkukehyksen ja loppukehyksen. Keskisarakkeessa ja kolmannen, oikean, sarakkeen yläosassa näemme kolme aiempaa lähestymistapaa tähän haasteeseen. Alhaalla oikealla näemme, että uusi menetelmä saa aikaan paljon vakuuttavamman tuloksen antaessaan välikehysvälejä. Lähde: https://fcvg-inbetween.github.io/

Kiinalaisten tutkijoiden ehdottama uusi menetelmä on nimeltään Frame-wise Conditions-driven Video Generation (FCVG), ja sen tulokset näkyvät edellä olevan videon alhaalla oikealla, tarjoten sileän ja loogisen siirtymän yhdestä paikastaan pysyvästä kehyksestä toiseen.

Toisin sanoen, yksi videon interpoloinnin tunnetuimmista kehyksistä, Google:n Frame Interpolation for Large Motion (FILM) -projekti, kamppailee, kuten moni muu vastaava, suurten ja rohkeiden liikkeiden tulkinnassa.

Muut kaksi kilpailevaa kehykettä, jotka näkyvät videossa, Time Reversal Fusion (TRF) ja Generative Inbetweening (GI), tarjoavat vähemmän vinoutunutta tulkintaa, mutta ovat luoneet kiihkeitä ja jopa komisia tanssiliikkeitä, joista kumpikaan ei kunnioita kahden annetun kehyksen implisiittistä logiikkaa.

Klikkaa toistamaan. Kaksi epätäydellistä ratkaisua tweening-ongelmaan. Vasemmalla, FILM kohdeltaa kaksi kehykstä yksinkertaisesti morfinaalisina kohdekohtina. Oikealla, TRF tietää, että jokin tanssi liikkeen on sisällyttävä, mutta tulee epäkäytännölliseen ratkaisuun, joka osoittaa anatomiallisia poikkeamia.

Ylempänä vasemmalla, voimme tarkastella tarkemmin, miten FILM lähestyy ongelmaa. Vaikka FILM on suunniteltu käsittelemään suuria liikkeitä, toisin kuin aiemmat lähestymistavat, jotka perustuvat optiseen virtaukseen, se kärsii edelleen siitä, että sille puuttuu semanttinen ymmärrys siitä, mitä pitäisi tapahtua kahden annetun avainkehyksen välillä, ja se suorittaa vain 1980/90-lukujen tyyppisen morfauksen kehyksien välillä. FILM:llä ei ole semanttista arkkitehtuuria, kuten Latent Diffusion Model kuten Stable Diffusion, joka auttaisi luomaan sopivan sillan kehyksien välille.

Oikealla, edellä olevassa videossa, näemme TRF:n pyrkinnön, jossa Stable Video Diffusion (SVD) käytetään älykkäämmin “arvaamaan”, miten tanssiminen liikkeen voisi olla sovelias kahdelle käyttäjän antamalle kehykselle – mutta se on tehnyt rohkean ja epätodennäköisen approksimaation.

FCVG, joka näkyy alla, tekee uskottavamman työn liikkeen ja sisällön arvioinnissa kahden kehyksen välillä:

Klikkaa toistamaan. FCVG parantaa aiempia lähestymistapoja, mutta on kaukana täydellisyydestä.

Siinä on edelleen artefakteja, kuten ei-toivottua morfinaa käsistä ja kasvon tunnistamisesta, mutta tämä versio on pinnallisesti uskottavin – ja mikä tahansa parannus nykyiseen tilaan on otettava huomioon suuren haasteen valossa, jonka tehtävä asettaa; ja suuren esteen, jonka haaste esittää AI-videon tulevaisuudelle.

Miksi interpolointi on tärkeää

Kuten olemme aiemmin korostaneet, kyky luoda uskottava video sisältö kahden käyttäjän antaman kehyksen välillä on yksi parhaista tavoista ylläpitää aikajärjestys generatiivisessa videossa, koska kaksi todellista ja peräkkäistä valokuvaa samasta henkilöstä sisältävät luonnollisesti johdonmukaisia elementtejä, kuten vaatteet, hiukset ja ympäristö.

Kun vain yksi aloituskehys on käytössä, generatiivisen järjestelmän rajoitettu huomioalue, joka usein ottaa vain lähellä olevat kehykset huomioon, taipuu vähitellen “kehittämään” kohteen osia, kunnes (esimerkiksi) mies muuttuu toiseksi mieheksi (tai naiseksi), tai osoittaa “morfinaalisia” vaatteita – monien muiden yleisesti generoituja häiriöitä, jotka ovat yleisiä avoimen lähdekoodin T2V-järjestelmissä ja useimmissa maksullisissa ratkaisuissa, kuten Kling:

Klikkaa toistamaan. Feeding the new paper’s two (real) source frames into Kling, with the prompt ‘A man dancing on a roof’, did not result in an ideal solution. Though Kling 1.6 was available at the time of creation, V1.5 is the latest to support user-input start and end frames. Source: https://klingai.com/

Onko ongelma jo ratkaistu?

Toisin sanoen, jotkut kaupalliset, suljetut ja omistajien järjestelmät näyttävät pärjäävän paremmin ongelman kanssa – erityisesti RunwayML, joka pystyi luomaan erittäin uskottavan välikehysvälin kahden lähdekehyksen välillä:

Klikkaa toistamaan. RunwayML:n diffuusiopohjainen interpolointi on erittäin tehokas. Source: https://app.runwayml.com/

Toistamalla harjoituksen, RunwayML tuotti toisen, yhtä uskottavan tuloksen:

Klikkaa toistamaan. Toinen runko RunwayML-kuvaus.

Yksi ongelma tässä on, että emme voi oppia mitään haasteista eikä edistää avoimen lähdekoodin tilannetta, omistajien järjestelmästä. Emme voi tietää, onko tämä parempi rendering saavutettu ainutlaatuisilla arkkitehtonisilla lähestymistavoilla, datalla (tai datan käsittelymenetelmillä, kuten suodattamisella ja annotoinnilla), tai jollakin näiden ja muiden mahdollisten tutkimuksen innovaatioiden yhdistelmällä.

Toiseksi, pienemmät yritykset, kuten visuaalisten efektien yritykset, eivät voi pitkällä aikavälillä riippua B2B-palveluista, jotka voivat vaarantaa logistisen suunnittelun yhdellä hinnankorotuksella – erityisesti, jos yksi palvelu tulisi hallitsemaan markkinaa ja olisi siten altis korottamaan hintoja.

Kun oikeudet ovat väärin

Paljon tärkeämpää on, että jos hyvin suorittava kaupallinen malli on koulutettu luvattomalla datalla, kuten näyttää olevan tapaus RunwayML:n kanssa, mikä tahansa yritys, joka käyttää tällaisia palveluita, voi altistua lainsäädännön muutoksille.

Koska lait (ja jotkut kanteet) kestävät pidempään kuin presidentit, ja koska keskeinen Yhdysvaltain markkina on yksi maailman oikeudellisimmista, nykyinen suuntaus kohti suurempaa lainsäädännöllistä valvontaa AI-koulutusdataa varten näyttää todennäköiseltä selviävän “kevyen kosketuksen” Donald Trumpin seuraavan presidentinvaalikauden aikana.

Siksi tietokoneen näköntutkimuksen alalla on pakko ratkaista tämä ongelma vaikealla tavalla, jotta mitkä tahansa nousevat ratkaisut voisivat kestää pitkällä aikavälillä.

FCVG

Kiinalaisten tutkijoiden esittämä uusi menetelmä esitetään artikkelissa nimeltä Generative Inbetweening through Frame-wise Conditions-Driven Video Generation, ja se tulee viideltä tutkijalta Harbinin teknillisestä instituutista ja Tianjinin yliopistosta.

FCVG ratkaisee interpolointitehtävän epäselvyyden käyttämällä kehyskohtaisia ehtoja, yhdessä kehyksessä, joka erottaa reunat käyttäjän antamissa aloitus- ja loppukehyksissä, mikä auttaa prosessia pysymään tasaisemmin siirtymien jäljillä yksittäisten kehysten välillä ja myös koko vaikutuksessa.

kehyskohtainen ehdotus sisältää kehysvälien luomisen alitehtäviin, sen sijaan, että yritettäisiin täyttää hyvin suuri semanttinen tyhjiö kahden kehyksen välillä (ja mitä pidemmän videolähdetulosteen pyydettiin, sitä suurempi semanttinen etäisyys on).

Graafissa alla, artikkelista, kirjoittajat vertaavat mainittua aikapäinvastaisuusmenetelmää (TRF) omiinsa. TRF luo kaksi videon luomisen reittiä käyttäen esikoulutettua kuva-videomallia (SVD). Yksi on “eteenpäin” reitti, joka perustuu aloituskehykseen, ja toinen on “taaksepäin” reitti, joka perustuu loppukehykseen. Molemmat reitit alkavat samasta satunnaisesta melusta. Tämä on havainnollistettu kuvan vasemmalla puolella:

Vertailu aiemmista lähestymistavoista FCVG:hen. Lähde: https://arxiv.org/pdf/2412.11755

Kirjoittajat väittävät, että FCVG on parannus aikapäinvastaisiin menetelmiin, koska se vähentää epäselvyyttä videon luomisessa antamalla jokaiselle kehykselle oman eksplisiittisen ehdot, johtaen vakaampiin ja johdonmukaisempiin tuloksiin.

Aikapäinvastaiset menetelmät, kuten TRF, artikkelin mukaan, voivat johtaa epäselvyyteen, koska eteenpäin- ja taaksepäin-suuntaiset polut voivat erkaantua, aiheuttaen epäjohdonmukaisuuksia tai väärinkäsityksiä. FCVG ratkaisee tämän ongelman käyttämällä kehyskohtaisia ehtoja, jotka perustuvat yhdenmukaisiin viivoihin aloitus- ja loppukehyksien välillä (kuvan alhaalla oikealla), jotka ohjaavat luomisprosessia.

Klikkaa toistamaan. Toinen vertailu FCVG-projektisivulta.

Aikapäinvastaisuus sallii esikoulutettujen videon luomismallien käytön välikehysväleissä, mutta siinä on joitakin haittoja. Liike, jota I2V-mallit luovat, on monimuotoinen eikä vakaata. Vaikka tämä on hyödyllistä puhtaasti kuva-videotehtävissä, se luo epäselvyyttä ja johtaa epäjohdonmukaisiin videopolkuihin.

Aikapäinvastaisuus vaatii myös työlästä hyperparametrien säätöä, kuten kehysnopeutta kullekin luodulle videolle. Lisäksi jotkut aikapäinvastaisuuden menetelmistä, joilla pyritään vähentämään epäselvyyttä, hidastavat merkittävästi laskentaa ja pidentävät prosessointiaikaa.

Menetelmä

Kirjoittajat toteavat, että jos ensimmäinen näistä ongelmista (monimuotoisuus vs. vakaus) voidaan ratkaista, kaikki muut ongelmat ovat todennäköisesti ratkaistavissa. Tämä on yritetty aiemmissa tarjouksissa, kuten edellä mainitussa GI:ssä ja myös ViBiDSamplerissa.

Artikkeli toteaa:

‘Kuitenkin [siinä] on edelleen merkittävä satunnaisuus näiden polkujen välillä, mikä rajoittaa näiden menetelmien tehokkuutta suurten liikkeiden käsittelyssä, kuten nopeiden muutosten käsittelyssä ihmisen asennoissa. Interpolointipolun epäselvyydestä johtuu pääasiassa riittämättömiä ehtoja välikehysväleissä, koska kaksi syötettyä kuvaa tarjoaa ehdot vain aloitus- ja loppukehyksille.

‘Siispä [me] ehdotamme antamaan eksplisiittisen ehdot jokaiselle kehykselle, mikä helpottaa merkittävästi interpolointipolun epäselvyyttä.’

Voimme nähdä FCVG:n peruskäsitteet toiminnassa alla olevassa skeemassa. FCVG luo videon kehysjärjestyksen, joka alkaa ja loppuu johdonmukaisesti kahden syötetyn kehyksen kanssa. Tämä varmistaa, että kehykset ovat aikajärjestyksessä antamalla kehyksikohtaiset ehdot videon luomisprosessille.

Skeema FCVG:n inferenceille.

Tässä aikapäinvastaisuuden lähestymistavan uudelleenarvioinnissa menetelmä yhdistää tietoa sekä eteenpäin- että taaksepäin-suunnista, yhdistäen ne sileiksi siirtymiksi. Iteratiivisessa prosessissa malli vähitellen parantaa meluisia syötteitä, kunnes lopullinen joukko välikehysvälejä on tuotettu.

Seuraava vaihe sisältää esikoulutetun GlueStick-viivamallin, joka luo yhdenmukaisuudet kahden laskettujen aloitus- ja loppukehyksien välillä, ja mahdollisesti luurankopohjaisia asentoja mallin ohjaamiseksi Stable Video Diffusion -mallilla.

GlueStick johdattaa viivat tulkittujen muotojen avulla. Nämä viivat tarjoavat yhdenmukaiset ankkurit aloitus- ja loppukehyksien välillä FCVG:ssä.

Kirjoittajat toteavat:

‘Emme löytäneet, että lineaarinen interpolointi on riittävä useimmissa tapauksissa varmistamaan aikajärjestyksen välikehysväleissä, ja menetelmämme sallii käyttäjien määritellä epälineaarisia interpolointipolkuja toivottujen videoiden luomiseksi.’

Työnkulku eteenpäin- ja taaksepäin-suuntaisten kehyskohtaisten ehtojen määrittelyyn. Voimme nähdä yhdenmukaiset värit, jotka pitävät sisällön johdonmukaisena, kun animaatio kehittyy.

Jotta saatavat kehyskohtaiset ehdot voidaan injektoida SVD:hen, FCVG käyttää menetelmää, joka on kehitetty 2024 ControlNeXt-aloitteelle. Tässä prosessissa ohjausehdot koodataan aluksi useilla ResNet-lohkoin. Sen jälkeen tehdään ristinormaali SVD-haaraa.

Pieni joukko videoita käytetään hienosäätöön SVD-mallille, ja suurin osa mallin parametreista on jäädytetty.

‘Nämä [mainitut rajoitukset] on pääasiassa ratkaistu FCVG:ssä: (i) antamalla eksplisiittisen ehdot jokaiselle kehykselle, eteenpäin- ja taaksepäin-suuntaisten polkujen epäselvyyttä voidaan merkittävästi helpottaa; (ii) vain yksi säädettävä [parametri on esitetty], kun SVD:n hyperparametrit ovat oletusarvoja, ja se antaa suotuisia tuloksia useimmissa skenaarioissa; (iii) yksinkertainen keskiarvo-yhdistäminen ilman melun uudelleeninjektiota on riittävä FCVG:ssä, ja laskentavaiheet voidaan vähentää 50 %:lla verrattuna GI:hen.

Laaja skeema kehyskohtaisten ehtojen injektointiin Stable Video Diffusion -menetelmään FCVG:ssä.

Data ja testit

Järjestelmän testaamiseksi tutkijat keräsivät tietojoukon, joka sisälsi monipuolisia kohtauksia, ulkoisia ympäristöjä, ihmishahmoja ja sisätiloja, mukaan lukien liikkeitä, kuten kameraliikkeitä, tanssiliikkeitä ja kasvojen ilmeitä. 524 valittua klippiä otettiin DAVIS– ja RealEstate10k-tietojoista. Tämä kokoelma täydennettiin korkean kehysnopeuden videolla, joka saatiin Pexelsistä. Kokoelma jaettiin 4:1 suhteessa hienosäätöön ja testaamiseen.

Mittareina käytettiin Learned Perceptual Similarity Metrics (LPIPS); Fréchet Inception Distance (FID); Fréchet Video Distance (FVD); VBench; ja Fréchet Video Motion Distance.

Kirjoittajat toteavat, että mikään näistä mittareista ei sovellu hyvin aikajärjestyksen arvioimiseen, ja he viittaavat meidät FCVG-projektisivun videoihin.

Lisäksi GlueStickin käytön viivayhdenmukaisuuden lisäksi DWPose käytettiin ihmishahmojen arviointiin.

Hienosäätö tehtiin 70 000 iteroinnilla AdamW-optimoinnilla NVIDIA A800 -GPU:lla, oppimisnopeudella 1×10^-6, ja kehykset leikattiin 512×320 -palasiin.

Vertailtavat aiemmat kehykset olivat FILM, GI, TRF ja DynamiCrafter.

Laadullisessa arvioinnissa kehysvälejä, joita käsiteltiin, vaihtelivat 12 ja 23 välillä.

Laadulliset tulokset aiempiin kehyksiin verrattuna.

Näistä tuloksista artikkeli toteaa:

‘[Meidän] menetelmä saavuttaa parhaan suorituskyvyn neljän generatiivisen lähestymistavan keskuudessa kaikilla mittareilla. FILM:iin verrattuna LPIPS:ssä [meidän] FCVG on hieman heikompi, mutta osoittaa paremman suorituskyvyn muissa mittareissa. Koska LPIPS:ssä ei ole aikajärjestystietoa, on ehkä sopivampaa priorisoida muita mittareita ja visuaalista havaintoa.

‘Lisäksi, vertaamalla tuloksia eri kehysväleissä, FILM toimii hyvin, kun väli on pieni, kun taas generatiiviset menetelmät ovat soveliaampia suurille väleille. Näistä generatiivisista menetelmistä [meidän] FCVG osoittaa merkittävää ylemmyyttä johtuen eksplisiittisistä kehyskohtaisista ehtoista.’

Laadullisessa testauksessa kirjoittajat tuottivat videot, jotka näkyvät projektisivulla (joitakin upotettu tähän artikkeliin), ja statiset ja animaatiotulokset PDF-artikkelissa,

Esimerkki statisista tuloksista artikkelista. Katso lähde-PDF paremman resoluution ja tiedon vuoksi, ja huomaa, että PDF sisältää animaatioita, jotka voidaan toistaa soittimissa, jotka tukevat tätä ominaisuutta.

Kirjoittajat toteavat:

‘Vaikka FILM tuottaa sileitä interpolointituloksia pienille liikkeille, se kamppailee suurten liikkeiden kanssa optisen virtauksen luontaisen rajoituksen vuoksi, johtaen merkittäviin virheisiin, kuten taustan ja käden liikkeisiin (ensimmäisessä tapauksessa).

‘Generatiiviset mallit, kuten TRF ja GI, kärsivät epäselvyydestä fuusiopoluissa, mikä johtaa epävakaaseen välimaastoon, erityisesti monimutkaisissa kohtauksissa, jotka sisältävät ihmisen ja esineen liikkeitä.

‘Toisin sanoen, [meidän] menetelmä toimii johdonmukaisesti tyydyttävästi eri skenaarioissa.’ Vaikka merkittävä peittäminen on läsnä (toisessa tapauksessa ja kuudennessa tapauksessa), [meidän] menetelmä voi edelleen havaita järkevän liikkeen. Lisäksi [meidän] lähestymistapa osoittaa kestävyyttä monimutkaisissa ihmistoimissa (viimeisessä tapauksessa).’

Kirjoittajat löysivät myös, että FCVG yleistyy epätavallisesti hyvin animaatio-tyyppisiin videoihin:

Klikkaa toistamaan. FCVG tuottaa erittäin vakuuttavia tuloksia piirrosanimaatiotyylisille videoille.

Johtopäätös

FCVG edustaa vähintään askelmerkittävää parannusta tilannetta koskien kehysvälien interpolointia avoimessa lähdekoodissa. Kirjoittajat ovat julkaissut koodin työlle GitHubissa, vaikka liittyvä tietojoukko ei ole julkaistu kirjoittamishetkellä.

Jos omistajien kaupalliset ratkaisut ylittävät avoimen lähdekoodin pyrkimykset käyttäen verkkokaapattua, luvatonta dataa, näyttää siltä, että tällaisessa lähestymistavassa on rajoitettu tulevaisuus; riskit ovat liian suuret.

Siksi, vaikka avoimen lähdekoodin tilanne jää jälkeen nykyisistä markkinajohtajista, se on “kilpikonna”, joka voi voittaa “jäniksen” loppuliinassa.

* Lähde: https://openaccess.thecvf.com/content/ICCV2023/papers/Pautrat_GlueStick_Robust_Image_Matching_by_Sticking_Points_and_Lines_Together_ICCV_2023_paper.pdf

^† Vaatin okulaarireaderin, Okularin tai minkä tahansa PDF-lukijan, joka voi toistaa upotetut PDF-animaatiot.

Julkaistu perjantaina, 20. joulukuuta 2024