Kohti täydellistä hallintaa tekoälyvideoissa

Video perusmallit, kuten Hunyuan ja Wan 2.1, ovat vaikuttavia, mutta eivät tarjoa käyttäjilleen samaa tarkkuutta, jota elokuva- ja tv-tuotannossa (erityisesti VFX-tuotannossa) vaaditaan.

Ammattimaisissa visuaalisissa efekti-studioissa, avoimia malleja, kuten nämä, sekä aiemmat kuvaan (ei videoon) perustuvat mallit, kuten Stable Diffusion, Kandinsky ja Flux, käytetään yleensä joukon tukityökalujen kanssa, jotka sovittavat niiden raakatuotoksen tiettyihin luovisiin tarpeisiin. Kun ohjaaja sanoo: “Se näyttää hyvältä, mutta voimmeko tehdä siitä vähän enemmän [n]?” et voi vastata, että malli ei ole tarpeeksi tarkka käsitelläkseen tällaisia pyynnöistä.

Sen sijaan tekoäly-VFX-tiimi käyttää perinteisiä CGI ja kompositional-tekniikoita, yhdessä mukautettujen prosessien ja työnkulun kehittämisen kanssa, jotta voidaan yrittää puskea video-synteesin rajoja hieman pidemmälle.

Verrattaen, perusvideo-malli on paljon kuin oletusarvoinen web-selain, kuten Chrome; se tekee paljon valmiina, mutta jos haluat sen mukautuvan tarpeisiisi, sinun on käytettävä joitakin laajennuksia.

Hallintafriikit

Diffuusiopohjaisen kuvansynteesin maailmassa tärkein tällainen kolmannen osapuolen järjestelmä on ControlNet.

ControlNet on tekniikka, jolla voidaan lisätä rakenteellista hallintaa diffuusiopohjaisiin generatiivisiin malleihin, jolloin käyttäjät voivat ohjata kuvan tai videon generointia lisäsyötteiden avulla, kuten reunakartat, syvyykskartat tai asennetieto.

kuvan (ylärivi), semanttisen segmentoinnin > kuvan (alhaalla vasemmalla) ja asennon ohjatun kuvan generoinnin ihmisille ja eläimille (alhaalla vasemmalla).” width=”779″ height=”422″ /> ControlNetin eri menetelmät mahdollistavat syvyyden > kuvan (ylärivi), semanttisen segmentoinnin > kuvan (alhaalla vasemmalla) ja asennon ohjatun kuvan generoinnin ihmisille ja eläimille (alhaalla vasemmalla).

Sen sijaan, että riippuisi pelkästään tekstiprompteista, ControlNet esittelee erillisiä neurverkko-haaraoita, tai sovittimia, jotka prosessoida näitä ehdotus-signaaleja säilyttäen perusmallin generatiiviset ominaisuudet.

Tämä mahdollistaa hienosäätöä, joka noudattaa käyttäjän määrityksiä tarkemmin, mikä tekee siitä erityisen hyödyllisen sovelluksissa, joissa vaaditaan tarkkaa koostumista, rakennetta tai liikkeen hallintaa:

Ohjausasennolla voidaan saada monenlaisia tarkkoja tuloksia ControlNetin avulla. Lähde: https://arxiv.org/pdf/2302.05543

Kuitenkin, tällaiset sovittimien pohjaiset kehykset toimivat ulkoisesti joukossa neuroprosesseja, jotka ovat hyvin sisäisiä. Näillä lähestymistavoilla on useita haittoja.

Ensinnäkin, sovittimet koulutetaan erikseen, mikä johtaa haara-rikkomuksiin useiden sovittimien yhdistäessä, mikä voi aiheuttaa heikentynyttä generointilaatua.

Toiseksi, ne aiheuttavat parametrien redundanssin, mikä edellyttää lisää laskentaa ja muistia kullekin sovittimelle, mikä tekee skaalautuvuuden tehokkaaksi.

Kolmanneksi, vaikka ne tarjoavat joustavuutta, sovittimet usein tuottavat alioptimisia tuloksia verrattuna malleihin, jotka on täysin hienosäädetty moniehtoiselle generoinnille. Nämä ongelmat tekevät sovittimien pohjaisista menetelmiä vähemmän tehokkaiksi tehtävissä, jotka vaativat saumattoman useiden hallintasignaaleiden yhdistämisen.

Idealisesti, ControlNetin kyvyt koulutettaisiin luonnostaan malliin, modulaarisella tavalla, joka voisi sopeutua myöhemmin odotettuihin innovaatioihin, kuten samanaikaiseen video- ja äänisignaaleihin tai alkuperäisiin huulensynkronointiominaisuuksiin (ulkopuolisen äänen kanssa).

Tällä hetkellä, jokainen lisäominaisuus edustaa joko jälkikäsittelytehtävää tai ei-alkuperäistä menettelyä, joka on pakotettu navigoimaan perusmallin tiiviisti sidottujen ja herkkien painotusten kautta.

FullDiT

Kiina esittää uuden ratkaisun, jossa ControlNet-tyyliset toimenpiteet on upotettu suoraan generatiiviseen video-malliin koulutusajassa, eikä ne ole jälkikäteen mukautettavissa.

Uudesta tutkimuksesta: FullDiT-lähestymistapa voi sisällyttää identiteetin asettamisen, syvyyden ja kameraliikkeen alkuperäiseen generointiin ja voi kutsua minkä tahansa näiden yhdistelmän kerran.

Nimeltään FullDiT, uusi lähestymistapa yhdistää moniahtoisia tehtäviä, kuten identiteetin siirtämisen, syvyyden kartan ja kameraliikkeen, integroiduksi osaksi koulutettua generatiivista video-mallia, josta tutkijat ovat tuottaneet esimallin ja videoklippejä projektisivustolla.

Esimerkissä alla nähdään generoinnit, jotka sisältävät kameraliikkeen, identiteettitiedon ja teksti-informaation (ts. ohjaavan käyttäjän tekstipromptin):

Paina tästä. Esimerkkejä ControlNet-tyylisistä käyttäjän asetuksista vain alkuperäisellä koulutetulla perusmallilla. Lähde: https://fulldit.github.io/

Huomautus: tutkijat eivät esitä kokeellista koulutettua mallia toimivana perusmallina, vaan pikemminkin osoituksena alkuperäisistä teksti-videolle (T2V) ja kuva-videolle (I2V) malleista, jotka tarjoavat käyttäjille enemmän hallintaa kuin vain kuvapromptti tai tekstipromptti.

Koska tällaisia malleja ei ole vielä olemassa, tutkijat loivat uuden vertailuohjelman nimeltään FullBench monitehtävisten videoiden arviointiin ja väittävät saavuttaneensa huipputason suorituskyvyn vertailuissa, jotka he keksivät aiempiin lähestymistapoihin nähden. Kuitenkin, koska FullBench suunniteltiin itse tutkijoiden toimesta, sen objektiivisuus on kokeematon, ja sen 1 400 tapauksen aineisto voi olla liian rajoitettu laajempien johtopäätösten tekemiseksi.

Luultavasti mielenkiintoisin asia tutkimuksessa esitetyn arkkitehtuurin osalta on sen potentiaali sisällyttää uusia hallintatyyppejä. Tutkijat toteavat:

‘Tässä työssä tutkimme vain kameran, identiteetin ja syvyyden ehtoja. Emme tutkineet muita ehtoja ja modaliteetteja, kuten ääntä, puhetta, pistepilveä, objekti-rajoja, optista virtausta jne. Vaikka FullDiT-suunnittelun avulla voidaan helppoja muutoksia tehdä muihin modaliteetteihin, on edelleen tärkeää selvittää, miten olemassa olevat mallit voidaan nopeasti ja kustannustehokkaasti sovittaa uusiin ehtoihin ja modaliteetteihin.’

Vaikka tutkijat esittävät FullDiT:n askelena eteenpäin monitehtävisten videoiden generoinnissa, on huomattava, että tämä uusi työ perustuu olemassa oleviin arkkitehtuureihin eikä esitä perustavanlaatuista uutta paradigmaa.

Kuitenkin, FullDiT on tällä hetkellä ainoa (parhaan tietämyksemme mukaan) video-perusmalli, jossa on “kiinteät” ControlNet-tyyliset ominaisuudet – ja on hyvä nähdä, että ehdotettu arkkitehtuuri voi sopeutua myöhemmin kehittämiseen ilman suuria rakenteellisia muutoksia.

Paina tästä. Esimerkkejä käyttäjän ohjatuista kameraliikkeistä projektisivustolta.

Uusi tutkimus on nimeltään FullDiT: Monitehtäväinen videogeneratiivinen perusmalli täydellisellä huomionjaolla, ja se tulee yhdeksältä tutkijalta Kuaishou Teknologiasta ja Kiinan yliopistosta Hongkongista. Projektisivu on täällä ja uusi vertailuaineisto on Hugging Facessa.

Menetelmä

Tutkijat väittävät, että FullDiT:n yhdistetty huomio-mekanismi mahdollistaa vahvemman monimodaalisen edustamisen oppimisen, joka havaitsee sekä spatiaaliset että temporaaliset suhteet ehdotusten välillä:

Uuden tutkimuksen mukaan FullDiT integroi useita syötteitä täydellisen itsehuomion kautta, muuttaen ne yhdistetyksi jonoksi. Verrattaen, sovittimien pohjaiset mallit (vasemmalla) käyttävät erillisiä moduuleja kullekin syötteelle, mikä johtaa redundanssiin, ristiriitoihin ja heikompaan suorituskykyyn.

Toisin kuin sovittimien pohjaiset asetukset, jotka prosessoida kunkin syötevirran erikseen, tämä jaettu huomio-rakenne välttää haara-rikkomukset ja vähentää parametrikuormaa. He myös väittävät, että arkkitehtuuri voi skaalautua uusiin syötteisiin ilman suuria uudelleensuunnittelua – ja että mallin schema osoittaa merkkejä yleistymisestä ehtoihin, jotka eivät ole näkyvissä koulutusajassa, kuten kameraliikkeen ja identiteetin yhdistäminen.

Paina tästä. Esimerkkejä identiteetin generoinnista projektisivustolta.

FullDiT:n arkkitehtuurissa kaikki ehtosignaalit – kuten teksti, kameraliike, identiteetti ja syvyys – muunnetaan ensin yhdenmukaiseen token-muotoon. Nämä tokenit liitetään yhteen pitkäksi jonoksi, joka prosessoidaan transformer-kerrosten läpi käyttäen täydellistä itsehuomioita. Tämä lähestymistapa seuraa aiempia töitä, kuten Open-Sora Plan ja Movie Gen.

Tämä suunnittelu mahdollistaa, että malli oppii spatiaaliset ja temporaaliset suhteet yhdessä kaikkien ehtojen kanssa. Kunkin transformer-kerroksen toiminta ulottuu koko jonoa, mahdollistaen dynaamiset vuorovaikutukset modaliteettien välillä ilman, että tarvitaan erillisiä moduuleja kullekin syötteelle – ja, kuten mainittiin aiemmin, arkkitehtuuri on suunniteltu laajennettavaksi, mikä tekee siitä paljon helpomman sisällyttää lisää hallintasignaaleja tulevaisuudessa ilman suuria rakenteellisia muutoksia.

Kolmen voima

FullDiT muuttaa kunkin hallintasignaalin yhdenmukaiseksi token-muodoksi, jotta kaikki ehdot voidaan prosessoida yhdessä yhdistetyssä huomiokehyksessä. Kameraliikkeen osalta malli koodaa jokaisen kehyksen ulkoisia parametreja, kuten sijaintia ja suuntaa. Nämä parametrit ovat aikaleimattuja ja projisoituna upotusvektoreihin, jotka heijastavat signaalin temporaalisen luonteen.

Identiteettitieto käsitellään toisin, koska se on luonteeltaan spatiaalinen eikä temporaalinen. Malli käyttää identiteettikarttoja, jotka osoittavat, mitkä hahmot ovat läsnä kussakin kehyksessä. Nämä kartat jaetaan patcheihin, ja kunkin patchin projisoidaan upotukseen, joka havaitsee spatiaaliset identiteettivihjeet, mahdollistaen mallille yhdistää tiettyjä kehyksen alueita tiettyihin entiteetteihin.

Syvyys on spatiaalinen ja temporaalinen signaali, ja malli käsittelee sitä jakamalla syvyysvideoita 3D-patcheihin, jotka ulottuvat sekä avaruuteen että aikaan. Nämä patchit upotetaan tavalla, joka säilyttää niiden rakenteen kehyskohtaisesti.

Kun upotettu, kaikki nämä ehtotokenit (kamera, identiteetti ja syvyys) liitetään yhteen pitkäksi jonoksi, jolloin FullDiT voi prosessoida ne yhdessä käyttäen täydellistä itsehuomioita. Tämä jaettu edustus mahdollistaa mallille oppimisen vuorovaikutuksia modaliteettien ja ajan välillä ilman, että tarvitaan erillisiä prosessointivirtoja.

Data ja testit

FullDiT:n koulutuslähestymistapa perustui valikoivasti merkittyihin tietokantoihin, jotka oli suunniteltu kullekin ehtotyyppiin, eikä vaadittu, että kaikki ehdot olisivat läsnä samanaikaisesti.

Tekstiehtojen osalta aloite seuraa MiraData-projektin strukturoidun kuvauksen lähestymistapaa.

Videokokoelma ja annotaatio-pipeline MiraData-projektista. Lähde: https://arxiv.org/pdf/2407.06358

Kameraliikkeen osalta RealEstate10K-tietokanta oli pääasiallinen tietolähde sen korkealaatuisten kameraparametrien maadoitusten ansiosta.

Kuitenkin, tutkijat havaitsivat, että koulutus vain staattisten kohtauksien kameratietokannoissa, kuten RealEstate10K, johti vähemmän dynaamisiin objekti- ja ihmisen liikkeisiin generoiduissa videoissa. Tämän vastavoimakkeeksi he suorittivat lisäksi hienosäätöä sisäisillä tietokannoilla, jotka sisälsivät enemmän dynaamisia kameraliikkeitä.

Identiteettiannotaatiot luotiin ConceptMaster-projektin kehittämän pipeline-kehityksen avulla, joka mahdollisti tehokkaan suodattamisen ja hienojakoinen identiteettitiedon poistamisen mukautetuissa videoissa.

ConceptMaster-kehys on suunniteltu ratkaisemaan identiteetin irtautumisen ongelmia säilyttäen konseptin uskollisuutta mukautetuissa videoissa. Lähde: https://arxiv.org/pdf/2501.04698

Syvyyden annotaatiot hankittiin Panda-70M-tietokannasta Depth Anything-menetelmällä.

Optimointi datan järjestyksen kautta

Tutkijat toteuttivat myös progressiivisen koulutusajan, jossa haastavammat ehdot esiteltiin aiemmin koulutuksessa, jotta malli hankkisi vankat edustukset ennen kuin yksinkertaisemmat tehtävät lisättiin. Koulutusjärjestys eteni tekstistä kameran ehtoihin, sitten identiteetteihin ja lopulta syvyyteen, jolloin helpommat tehtävät esiteltiin yleensä myöhemmin ja vähemmän esimerkeillä.

Tutkijat korostavat datan järjestyksen arvoa:

‘Ennakkokoulutusvaiheessa huomasimme, että haastavammat tehtävät vaativat pidentynyttä koulutusaikaa ja niiden tulisi esittää aikaisemmin oppimisprosessissa. Nämä haastavat tehtävät liittyvät monimutkaisiin datajakaumiin, jotka poikkeavat merkittävästi tulostuvasta videosta, vaativat mallilta riittävän kapasiteetin havaita ja edustaa niitä tarkasti.

‘Toisaalta, helpompien tehtävien esittäminen liian aikaisin voi johtaa siihen, että malli priorisoi niiden oppimisen ensin, koska ne tarjoavat välittömämpää optimointipalaute, mikä haittaa haastavampien tehtävien konvergensia.’

Kuvakaappaus tutkijoiden käyttämästä datan koulutusjärjestyksestä, jossa punainen osoittaa suurempaa datamäärää.

Alkuvaiheen jälkeen lopullinen hienosäätövaihe paransi mallin visuaalista laatua ja liikkeen dynamiikkaa. Sen jälkeen koulutus seurasi standardin diffuusiopohjaisen kehyksen koulutusta*: melun lisääminen video-latenteihin, ja mallin oppiminen ennustamaan ja poistamaan sen, käyttäen upotettuja ehtotokeneita ohjaamiseen.

Jotta voidaan arvioida FullDiT:tä tehokkaasti ja tarjota reilu vertailu olemassa oleviin menetelmiin, ja puuttuvan sovellettavan vertailuohjelman puutteessa, tutkijat esittivät FullBench, kuratoidun vertailuohjelman, joka koostuu 1 400 erillisestä testitapauksesta.

Data Explorer -esiintymä uudesta FullBench-vertailuohjelmasta. Lähde: https://huggingface.co/datasets/KwaiVGI/FullBench

Kunkin datapiste tarjosi maadoitettuja annotaatioita eri ehtosignaaleille, mukaan lukien kameraliike, identiteetti ja syvyys.

Mittarit

Tutkijat arvioivat FullDiT:tä kymmenellä mittarilla, jotka kattavat viisi pääasiallista suorituskyvyn osa-aluetta: tekstien kohdistus, kameran hallinta, identiteetin samankaltaisuus, syvyyden tarkkuus ja yleinen videon laatu.

Tekstien kohdistus mitattiin CLIP-samankaltaisuuden avulla, kun taas kameran hallinta arvioitiin rotaatiovirheen (RotErr), translaatiovirheen (TransErr) ja kameran liikkeen johdonmukaisuuden (CamMC) avulla, seuraten CamI2V:n (CameraCtrl-projektissa) lähestymistapaa.

Identiteetin samankaltaisuus arvioitiin DINO-I:n ja CLIP-I:n avulla, ja syvyyden tarkkuus mitattiin keskiarvoisen absoluuttisen virheen (MAE) avulla.

Videon laatu arvioitiin kolmella mittarilla MiraDatasta: kehykohtaisella CLIP-samankaltaisuudella sileästä liikkeestä; optisen virtauksen perusteella liikkeen etäisyydestä dynamiikkaa varten; ja LAION-Aesthetic-pisteillä visuaalisesta viehättävyydestä.

Koulutus

Tutkijat kouluttivat FullDiT:tä sisäisellä (julkaistussa) teksti-videodiffuusiomallilla, joka sisälsi noin miljardi parametriä. He valitsivat tarkoituksella maltillisen parametrin koon, jotta vertailu edellisiin menetelmiin olisi reilu ja tulokset olisivat toistettavissa.

Koska koulutusvideot erosivat pituudessa ja resoluutiossa, tutkijat standardoivat kunkin erän kokoamalla ja täyttämällä videoita yhteiseen resoluutioon, ottaen 77 kehystä kunkin sarjan, ja käyttäen sovellettua huomioita ja tappio-maskia koulutuksen tehokkuuden optimoimiseksi.

Adam-optimointi käytettiin oppiamisnopeudella 1×10⁻⁵ 64 NVIDIA H800 -näytönohjaimen klusterissa, yhteensä 5 120 GB VRAM:ia (huomaa, että harrastajien synteesiyhteisössä 24 GB RTX 3090:lla pidetään edelleen luksusstandardina).

Malli koulutettiin noin 32 000 askelilla, sisältäen jopa kolme identiteettiä videokohtaisesti, 20 kehystä kameran ehtojen ja 21 kehystä syvyyden ehtojen kanssa, jotka otettiin tasaisesti 77 kehyksestä.

Johtopäätöksessä malli generoi videoita resoluutiolla 384×672 pikseliä (noin viisi sekuntia 15 kehyksellä sekunnissa) 50 diffuusiopäätöksellä ja luokitteluohjattavuuden skaalalla viisi.

Aiemmat menetelmät

Kamerasta videolle arvioinnissa tutkijat vertasivat FullDiT:tä MotionCtrl:iin, CameraCtrl:ään ja CamI2V:hen, ja kaikki mallit koulutettiin RealEstate10K-tietokannalla, jotta vertailu olisi reilu ja oikeudenmukainen.

Identiteetin ehtoisen generoinnissa, koska ei ollut vertailukelpoisia avoimia monidentiteettimalleja saatavilla, malli vertailtiin 1 miljardin parametrin ConceptMaster-malliin, käyttäen samaa koulutusdataa ja arkkitehtuuria.

Syvyydestä videolle tehtävissä vertailut tehtiin Ctrl-Adapter:n ja ControlVideo:n kanssa.

Määrälliset tulokset yksittäisen tehtävän videogeneroinnista. FullDiT:tä verrattiin MotionCtrl:ään, CameraCtrl:ään ja CamI2V:hen kamerasta videolle; ConceptMaster (1 miljardin parametrin versio) identiteetistä videolle; ja Ctrl-Adapter ja ControlVideo syvyydestä videolle. Kaikki mallit arvioitiin niiden oletusarvoisilla asetuksilla. Jatkuvuuden vuoksi 16 kehystä otettiin yhdenmukaisesti kustakin menetelmästä, vastaamaan aiempien mallien tulostus pituutta.

Tulokset osoittavat, että FullDiT, vaikka se käsittelee useita ehtoja samanaikaisesti, saavutti huipputason suorituskyvyn tekstiin, kameran liikkeeseen, identiteettiin ja syvyyden hallintaan liittyvissä mittareissa.

Yleisissä laatusuorituskyky-mittareissa järjestelmä yleensä ylitti muiden menetelmien, vaikka sen sileys oli hieman alempi kuin ConceptMasterin. Tutkijat kommentoivat:

‘FullDiT:n sileys on hieman alempi kuin ConceptMasterin, koska sileys lasketaan CLIP-samankaltaisuuden perusteella peräkkäisissä kehyksissä. Koska FullDiT näyttää merkittävästi suurempaa dynamiikkaa verrattuna ConceptMasteriin, sileysmittari vaikuttaa suurista vaihteluista peräkkäisissä kehyksissä.

‘Esteettisen pisteiden osalta, koska arvostelumalli suosii maalaustyylisiä kuvia ja ControlVideo yleensä generoi videoita tässä tyylissä, se saavuttaa korkean esteettisen pisteiden määrän.’

Johtopäätös

Vaikka FullDiT on mielenkiintoinen askel kohti monipuolisempaa videopohjaista mallia, on kysymys, tarvitaanko ControlNet-tyylisiä välineitä koskaan toteuttaa laajassa mittakaavassa, ainakin vapaan ja avoimen lähdekoodin projekteissa, joilla olisi vaikea hankkia valtava määrä GPU-laskentakapasiteettia ilman kaupallista tukea.

Pääasiallinen haaste on, että järjestelmien, kuten Depth ja Pose, käyttäminen vaatii merkittävää kokemusta suhteessa suhteellisen monimutkaisiin käyttöliittymiin, kuten ComfyUI. Näin ollen on todennäköistä, että toimiva vapaan ja avoimen lähdekoodin malli tällaisesta kehityksestä kehittäisiin pienemmän joukon VFX-yritysten toimesta, jotka eivät voi tai eivät halua kouluttaa ja ylläpitää tällaista mallia suljettujen ovensien takana.

Toisaalta, API-pohjaiset “vuokraa tekoäly” -järjestelmät saattavat olla motivoituneita kehittämään yksinkertaisempia ja helpompia tulkintamenetelmiä malleille, joihin on koulutettu apulaitteita.

Paina tästä. Syvyys + Teksti -ohjaus videon generoinnissa FullDiT:llä.

* Tutkijat eivät mainitse mitään tunnettua perusmallia (esim. SDXL jne.)

Julkaistu torstaina 27. maaliskuuta 2025