Miksi AI-videot joskus menevät väärään suuntaan

Jos vuosi 2022 oli se vuosi, jolloin generatiivinen tekoäly valloitti laajemman yleisön mielikuvituksen, vuosi 2025 on se vuosi, jolloin uusi sukupolvi generatiivisia videokehyksiä Kiinasta näyttää olevan valmis tekemään sama.

Tencentin Hunyuan Video on tehnyt merkittävän vaikutuksen harrastaja-AI-yhteisöön julkaisemalla avoimen lähdekoodin täydellisen video-diffuusiomallin, jonka käyttäjät voivat mukauttaa omiin tarpeisiinsa.

Lähellä on myös Alibaban uusi Wan 2.1, yksi voimakkaimmista kuva-videoksi FOSS-ratkaisuista tänä aikakautena – tukevia mukautumista Wan LoRAsin kautta.

Lisäksi on saatavilla viimeaikainen SkyReels -perusmalli, ja kirjoitushetkellä odotamme Alibaban kattavan VACE -video-luomisen ja editoinnin sovelluksen julkaisua:

Click to play. The pending release of Alibaba’s multi-function AI-editing suite VACE has excited the user community. Source: https://ali-vilab.github.io/VACE-Page/

Äkillinen vaikutus

Generatiivisen video-AI-tutkimuksen kenttä itsessään ei ole vähemmän räjähdysmäinen; se on edelleen maaliskuun ensimmäinen puolisko, ja tiistaina Arxivin tietokoneen näön osioon (keskus generatiivisille AI-tutkimuksille) tuli lähes 350 merkintää – luku, joka on yleensä liitetty konferenssien huipulle.

Kahden vuoden aikana Stable Diffusionin julkaisusta kesällä 2022 (ja Dreamboothin ja LoRA -mukautusmenetelmien myöhemmästä kehittämisestä) ei ole ollut suuria edistysaskelia, kunnes viime viikkojen aikana uusia julkaisuja ja innovaatioita on tullut niin nopeaan tahtiin, että on melkein mahdotonta pysyä perillä, puhumattakaan kattaa kaikkea.

Video-diffuusiomallit, kuten Hunyuan ja Wan 2.1, ovat ratkaisseet viimein, ja vuosien jälkeen, jolloin satoja tutkimushankkeita epäonnistui, ongelman ajallisen johdonmukaisuuden suhteen, joka liittyy ihmisten, ympäristöjen ja esineiden luomiseen.

Ei voi olla epäilystäkään, että VFX-studiot soveltavat henkilöstöä ja resursseja uusien kiinalaisten video-mallien soveltamiseen välittömiin haasteisiin, kuten kasvojen vaihtamiseen, vaikka ControlNet -tyyppisiä apumekanismeja näille järjestelmille ei ole vielä saatavilla.

Tämä on varmasti helpotus, sillä yksi merkittävä este on mahdollisesti voitettu, vaikka ei odotetulla tavalla.

Tärkein jäljellä oleva ongelma ei kuitenkaan ole merkityksettömän:

Click to play. Wan 2.1, joka saavutti korkeimmat pisteet uudessa tutkimuksessa, tekee yhden yksinkertaisen virheen, perustuen ohjeeseen ‘A small rock tumbles down a steep, rocky hillside, displacing soil and small stones ‘ Source: https://videophy2.github.io/

Ylös mäkeä taaksepäin

Kaikki teksti-videoksi ja kuva-videoksi -järjestelmät, mukaan lukien kaupalliset suljetut mallit, tuottavat fysiikan virheitä, kuten yllä olevassa esimerkissä, jossa video näyttää kiven rullavan ympäristöä vastaan, perustuen ohjeeseen ‘A small rock tumbles down a steep, rocky hillside, displacing soil and small stones ‘.

Toinen teoria siitä, miksi tämä tapahtuu, vähän aikaa sitten esitetty akateemisessa yhteistyössä Alibaban ja UAE:n välillä, on, että mallit koulutetaan aina yksittäisille kuville, jossain mielessä, jopa kun ne koulutetaan videoille (joita kirjoitetaan yksittäisiksi kehyksiksi koulutustarkoituksiin); ja ne eivät välttämättä opi oikean ajallisen järjestyksen ‘ennen’ ja ‘jälkeen’ -kuvia.

Kuitenkin todennäköisin ratkaisu on, että mallit ovat käyttäneet datan laajennusta -toimintoja, jotka sisältävät koulutusklipin esittämisen mallille sekä eteen- ja taaksepäin, tehden koulutusdatan käytännössä kaksinkertaisen.

On pitkään tiedetty, että tätä ei pidä tehdä mielivaltaisesti, koska jotkut liikkeet toimivat käänteisesti, mutta monet eivät. Vuoden 2019 tutkimus Iso-Britannian Bristolin yliopistosta pyrki kehittämään menetelmän, joka voisi erottaa ekvivariantti, invariantti ja irreversible lähdevideo-klipit, jotka co-eksisteerat yksittäisessä tietokannassa (ks. alla oleva kuva), ajatuksena, että epäsopivat lähdeklipit voitaisiin suodattaa pois datan laajennus -toimintoista.

Esimerkkejä kolmesta liiketyypistä, joista vain yksi on vapaasti käänteinen säilyttäen uskottavan fysiikan dynamiikan. Lähde: https://arxiv.org/abs/1909.09422

Tutkimuksen tekijät määrittelevät ongelman selvästi:

‘Löydämme käännetyiden videoiden realismin petetyn kääntämisvirheillä, kohtauksen osilla, jotka eivät olisi mahdollisia luonnollisessa maailmassa. Jotkut virheet ovat häikäiseviä, kun taas toiset ovat helppoja havaita, kuten käänteinen ‘heittäminen’, jossa heitettävä esine nousee itsestään lattialta.

‘Havaitsemme kaksi tyyppiä kääntämisvirheitä, fysiikan, jotka rikkovat luonnon lakeja, ja epätodennäköisiä, jotka kuvaavat mahdollisen, mutta epätodennäköisen skenaarion. Nämä eivät ole toisensa poissulkevia, ja monet käännetyt toiminnot kärsivät molemmista virhetyyppien, kuten esimerkiksi paperin rypistämisessä.

‘Fysiikan virheiden esimerkkejä ovat: käänteinen painovoima (esim. ‘pudottaminen’), spontaanit impulssit esineille (esim. ‘pyörittäminen’) ja käänteiset tilanmuutokset (esim. ‘polttaminen’). Epätodennäköisen virheen esimerkki: ottaminen tarjottimen alta, kuivattaminen ja asettaminen kuivumaan.

‘Tämänlainen datan uudelleen käyttö on hyvin yleistä koulutuksen aikana, ja se voi olla hyödyllistä – esimerkiksi varmistaakseen, että malli ei opi vain yhtä näkökulmaa kuvasta tai esineestä, joka voidaan kääntää tai pyörittää menettämättä keskeistä loogista johdonmukaisuutta ja logiikkaa.

‘Tämä toimii vain esineille, jotka ovat todella symmetrisiä; ja fysiikan oppiminen ‘käännetyistä’ videoista toimii vain, jos käännetyt versiot ovat yhtä järkeviä kuin eteenpäin kulkevat versiot.’

Väliaikaiset käännökset

Meillä ei ole näyttöä siitä, että järjestelmät kuten Hunyuan Video ja Wan 2.1 sallivat “käännetyt” klipit mallille koulutuksen aikana (kumpikaan tutkijaryhmistä ei ole ollut tarkkaa datan laajennus -toimintoja koskien).

Kuitenkin ainoa järkevä vaihtoehto, monien raporttien (ja omien käytännön kokemusteni) valossa, näyttäisi olevan, että hyperskaalaiset tietokannat, jotka voimistavat näitä malleja, saattavat sisältää klippejä, jotka sisältävät liikkeitä, jotka tapahtuvat käänteisesti.

Kivi esimerkivideossa, joka on liitetty yllä, generoitiin Wan 2.1:llä, ja se on osa uutta tutkimusta, joka tarkastelee, miten hyvin video-diffuusiomallit käsittelevät fysiikkaa.

Tutkimuksessa Wan 2.1 saavutti vain 22%:n tuloksen fysiikan lakien noudattamisessa.

Kuitenkin se on paras tulos mitä kokeessa testatuista järjestelmistä, mikä osoittaa, että olemme löytäneet seuraavan esteemme video-AI:lle:

Pisteet, jotka johtavat avoimista ja suljetuista lähteistä, joita arvioivat ihmisen annotoijat. Lähde: https://arxiv.org/pdf/2503.06800

Tutkijat ovat kehittäneet benchmark-järjestelmän, joka on nyt toisessa versiossaan, nimeltään VideoPhy, jonka koodi on saatavilla GitHubissa.

Vaikka tutkimuksen laajuus on laaja ja sitä on vaikea kattaa täysin, otetaan yleiskatsaus sen metodologiasta ja sen potentiaalista määrittämään mittari, joka voisi ohjata tulevien mallien koulutusistuntoja pois näistä outoista käännöksistä.

Tutkimus, jota teki kuusi tutkijaa UCLA:sta ja Google Researchista, on nimeltään VideoPhy-2: A Challenging Action-Centric Physical Commonsense Evaluation in Video Generation. Lisäksi on saatavilla projektisivu, koodi ja tietokannat GitHubissa ja tietokanta-näkymä Hugging Facessa.

Click to play. Tässä OpenAI Sora -malli ei ymmärrä vuorovaikutuksia airojen ja heijastusten välillä eikä pysty tarjoamaan loogista fysiikan virtausta venekunnalle tai veneen ja sen väliselle vuorovaikutukselle.

Menetelmä

Tutkijat kuvaavat uusimman työnsä, VideoPhy-2:n, “haastavaksi järkeilyarvioksi videoiden luomisessa”. Kokoelma sisältää 197 toimintaa laajasta joukosta fyysisiä toimintoja, kuten hulahuoppeja, voimistelua ja tennistä, sekä esineiden vuorovaikutuksia, kuten taivuttamista ja rikkoutumista.

Suuri kielimalli (LLM) käytetään 3840 ohjeen generoimiseen näistä alkutoiminnista, ja ohjeet käytetään videoiden syntetisointiin eri kehyksillä.

Tutkijat ovat kehittäneet luettelon “ehdokas” -fysiikan sääntöjä ja lakeja, joita AI-luotujen videoiden tulisi noudattaa, käyttäen visuaalista kieli-mallia arvioinnissa.

Tutkijat toteavat:

‘Esimerkiksi videossa, jossa urheilija pelaa tennistä, fysiikan sääntö olisi, että tennis-pallo seuraa parabolista trajektiota painovoiman alaisena. Kultatason arvioissa pyydämme ihmisen annotoijia arvioimaan jokaisen videon yleisen semanttisen mukautumisen ja fysiikan järkeilyn, ja merkitsemään niiden noudattamista eri fysiikan säännöistä.’

Yläpuolella: Teksti-ohje generoidaan toiminnasta LLM:llä ja käytetään videon luomiseen teksti-videogeneraattorilla. Visuaalinen kieli-malli antaa videolle otsikon, joka tunnistaa mahdollisia fysiikan sääntöjä. Alapuolella: Ihmisen annotoijat arvioivat videon realismin, vahvistavat sääntörikkomukset, lisäävät puuttuvat säännöt ja tarkistavat, onko video yhdenmukainen alkuperäisen ohjeen kanssa.

Aluksi tutkijat kuratoivat joukon toimintoja, joilla arvioidaan fysiikan järkeilyä AI-luotujen videoiden luomisessa. He alkoivat yli 600 toiminnalla, jotka perustuivat Kinetics, UCF-101 ja SSv2 -tietokantoihin, keskittyen toimintoihin, jotka liittyvät urheiluun, esineiden vuorovaikutuksiin ja todellisen fysiikan toimintoihin.

Kaksi riippumatonta ryhmää STEM-koulutuksen saaneista opiskelijoista (vähintään alempiarvoisen tutkinnon suorittaneita) tarkastivat ja suodattivat listan, valitsemalla toimintoja, jotka testasivat periaatteita, kuten painovoima, liike ja jäykkyys, ja poistamalla matalaliiketoimintaa, kuten kirjoittaminen, lemmikin hierominen tai purkaminen.

Jälkikäsittelyssä Gemini-2.0-Flash-Exp poisti duplikaatit, ja lopullinen tietokanta sisälsi 197 toimintaa, joista 54 liittyi esineiden vuorovaikutuksiin ja 143 keskittyi fysiikan ja urheilutoimintoihin:

Näyte toiminnasta.

Toisessa vaiheessa tutkijat käyttivät Gemini-2.0-Flash-Exp:ää 20 ohjeen generoimiseen kullekin toiminnalle tietokannassa, tuloksena 3 940 ohjetta. Generointiprosessi keskittyi näkyviin fysiikan vuorovaikutuksiin, joita voidaan edustaa luodussa videossa. Tämä sulki pois ei-näkyvät elementit, kuten tunteet, aistinvaraiset yksityiskohdat ja abstrakti kieli, mutta sisälsi monia hahmoja ja esineitä.

Esimerkiksi yksinkertaisen ohjeen ‘Janoinen jousi‘ sijaan malli ohjattiin tuottamaan yksityiskohtaisemman version, kuten ‘Janoinen jousi, joka vedetään täyteen jännitykseen, ja sitten vapautetaan, ja nuoli lentää suoraan ja osuu bullseye-kohdistimeen paperitaulussa‘.

Modernit video-mallit voivat tulkita pidempiä kuvauksia, joten tutkijat paransivat otsikot Mistral-NeMo-12B-Instruct -ohjeen kasvattimella, lisäämällä visuaalisen yksityiskohtaisuuden ilman alkuperäisen merkityksen muuttamista.

VideoPhy-2 -ohjeita, luokiteltuina fysiikan toimintoihin tai esineiden vuorovaikutuksiin. Jokainen ohje on parittu vastaavaan toimintaan ja asiaan, jonka se testaa.

Kolmannessa vaiheessa fysiikan säännöt eivät johdu teksti-ohjeista, vaan generoituista videoista, koska generatiiviset mallit voivat kamppailla ehdollisten teksti-ohjeiden noudattamisessa.

Videot luotiin VideoPhy-2 -ohjeilla, ja ne “ylennettiin” Gemini-2.0-Flash-Exp:llä, jotta voitiin poimia avainyksityiskohdat. Malli ehdotti kolmea odotettua fysiikan sääntöä kullekin videolle, jotka ihmisen annotoijat tarkastivat ja laajensivat tunnistamalla lisää mahdollisia rikkomuksia.

Esimerkkejä ylennetyistä otsikoista.

Seuraavaksi, jotta voidaan tunnistaa haasteellisimmat toiminnot, tutkijat loivat videot CogVideoX-5B:llä VideoPhy-2 -tietokannan ohjeilla. He valitsivat 60 toimintaa 197:stä, joissa malli epäonnistui johdonmukaisesti seuraamasta ohjeista ja perustavasta fysiikan järkeilystä.

Nämä toiminnot sisälsivät fysiikkarikkaita vuorovaikutuksia, kuten liikkeen siirtämistä kiekonheitossa, tilanmuutoksia, kuten taivuttamista, murtamista, tasapainoilua, kuten tiivistelemistä, ja monimutkaisia liikkeitä, kuten takaperin hyppimistä, keppiheittoa ja pizzan heittämistä. Yhteensä 1 200 ohjetta valittiin lisäämään alatietokannan haasteellisuutta.

Tuloksena oleva tietokanta sisälsi 3 940 otsikkoa – 5,72 kertaa enemmän kuin edellisessä VideoPhy -versiossa. Alkuperäisten otsikoiden keskimääräinen pituus on 16 merkkiä, kun taas ylennetyt otsikot saavuttavat 138 merkkiä – 1,88 kertaa ja 16,2 kertaa pitemmät.

Tietokanta sisältää myös 102 000 ihmisen annotaatiota, jotka kattavat semanttisen mukautumisen, fysiikan järkeilyn ja sääntörikkomukset useissa video-luomismalleissa.

Arviointi

Tutkijat määrittivät selkeät kriteerit videoiden arvioimiseksi. Päämääränä oli arvioida, miten hyvin kunkin video vastasi syötteenä annettua ohjetta ja noudatti perustavaa fysiikan sääntöjä.

Sijaitsija yksinkertaisesti videoiden luokittelua mieltymyksen mukaan, he käyttivät arviointipohjaista palautetta, jotta voitiin havainnollistaa tarkasti onnistumisia ja epäonnistumisia. Ihmisen annotoijat antoivat videoille pisteitä viiden pisteen asteikolla, mikä mahdollisti yksityiskohtaisemmat arviot, ja arviointi tarkisti myös, noudattavatko videot eri fysiikan sääntöjä ja lakeja.

Ihmisen annotoijat arvioivat videoiden realismin ja fysiikan järkeilyn erikseen (alkuperäisessä VideoPhy -tutkimuksessa ne arvioitiin yhdessä).

Käyttöliittymä, joka esitettiin AMT-annotoijille.

Vaikka ihmisen arviointi on edelleen kultainen standardi, se on kallista ja sisältää useita varauksia. Siksi automaattinen arviointi on välttämätöntä nopeampien ja skaalautuvampien mallien arvioinnissa.

Tutkimuksen tekijät testasivat useita video-kieli-malleja, mukaan lukien Gemini-2.0-Flash-Exp ja VideoScore, niiden kyvyssä arvioida videoita semanttisen tarkkuuden ja “fysiikan järkeilyn” osalta.

Mallit arvioivat jokaisen videon viiden pisteen asteikolla, ja erillinen luokittelutehtävä määritteli, noudattivatko fysiikan säännöt, rikkoivatko ne tai olivatko ne epäselviä.

Kokeet osoittivat, että olemassa olevat video-kieli-mallit kamppailivat ihmisen arviointien mukaisuuden kanssa, pääasiassa heikon fysiikan päättelyn ja ohjeiden monimutkaisuuden vuoksi. Parantamaan automaattista arviointia tutkijat kehittivät VideoPhy-2-Autoeval -mallin, 7 miljardin parametrin mallin, joka on suunniteltu tarjoamaan tarkemmat ennusteet kolmessa luokassa: semanttinen mukautuminen; fysiikan järkeily; ja sääntöjen noudattaminen, hienosäädetty VideoCon-Physics -mallilla 50 000 ihmisen annotaation avulla*.

Data ja testit

Näiden työkalujen avulla tutkijat testasivat useita generatiivisia videojärjestelmiä, sekä paikallisissa asennuksissa että kaupallisissa API:issa: CogVideoX-5B; VideoCrafter2; HunyuanVideo-13B; Cosmos-Diffusion; Wan2.1-14B; OpenAI Sora; ja Luma Ray.

Mallit ohjattiin ylennetyillä otsikoilla, missä mahdollista, lukuun ottamatta Hunyuan Videoa ja VideoCrafter2:ta, jotka toimivat 77-merkkisten CLIP -rajoitusten alla, eivätkä voi hyväksyä ohjeita, jotka ylittävät tietyn pituuden.

Luodut videot pidettiin alle 6 sekunnin pituisina, koska lyhyempi ulostulo on helpompi arvioida.

Ajoittava data tuli VideoPhy-2 -tietokannasta, joka jaettiin benchmark- ja koulutusjoukkoon. 590 videota luotiin kullekin mallille, lukuun ottamatta Sora ja Ray2; johtuen kustannustekijästä (vastaavat alhaisemmat videoiden määrät luotiin näille).

(Katso lähdeartikkeli lisätietoja arvioinnista, jotka on kirjattu siellä)

Alkuperäinen arviointi koski fyysisiä toimintoja/urheilua (PA) ja esineiden vuorovaikutuksia (OI), ja testasi sekä yleistä tietokantaa että mainittua “haasteellisempaa” alajoukkoa:

Tulokset alkuperäisestä kierroksesta.

Tutkijat toteavat:

‘Jopa parhaiten suorittanut malli, Wan2.1-14B, saavuttaa vain 32,6% ja 21,9% koko ja haastavammasta jaosta meidän tietokannassamme. Sen suhteellisen vahva suorituskyky voidaan attribuoida monimuotoinen multimodaalinen koulutusdata ja robusti liikkeen suodatus, joka säilyttää laadukkaita videoita laajan toimintojen valikoiman yli.

‘Lisäksi havaitsemme, että suljetut mallit, kuten Ray2, suorittavat heikommin kuin avoimet mallit, kuten Wan2.1-14B ja CogVideoX-5B. Tämä viittaa siihen, että suljetut mallit eivät välttämättä ole parempia kuin avoimet mallit fysiikan järkeilyn havaitsemisessa.

‘Huomionarvoista on, että Cosmos-Diffusion-7B saavuttaa toiseksi parhaan tuloksen haastavammassa jaossa, jopa ylittäen paljon suuremman HunyuanVideo-13B-mallin. Tämä voi johtua korkeasta edustuvuudesta ihmistoiminnasta sen koulutusdatassa, sekä synthetisoiduista simulaatioista.’

Tutkimus osoitti, että video-mallit kamppailivat enemmän fysiikan toimintoihin, kuten urheiluun, kuin yksinkertaisempiin esineiden vuorovaikutuksiin. Tämä viittaa siihen, että parantamaan AI-luotujen videoiden laatua tässä alueessa vaaditaan parempia tietokantoja – erityisesti laadukkaita urheiluvideoita, kuten tennistä, kiekonheittoa, baseballia ja krikettiä.

Tutkimus tarkasti myös, onko mallin fysiikan uskottavuus korreloinut muiden videolaadun mittareiden, kuten esteettisyyden ja liikkeen sileän, kanssa. Tulokset paljastivat, ettei vahvaa korrelaatiota ole – eli malli ei voi parantaa suorituskykyään VideoPhy-2:lla vain tuottamalla visuaalisesti miellyttäviä tai sileitä liikkeitä – se tarvitsee syvemmän ymmärryksen fysiikan järkeilystä.

Vaikka artikkeli tarjoaa runsaasti laadukkaita esimerkkejä, vain muutama statinen esimerkki PDF-tiedostossa liittyy laajaan videopohjaiseen esimerkkiin, jonka tutkijat tarjoavat projektisivustolla. Siksi tarkastelemme pieniä osia sekä statista että projektin videoita.

Click to play. Tässä otsikko oli ‘A person vigorously twists a wet towel, water spraying outwards in a visible arc’ – mutta lopputulos on enemmän veden letkan kuin pyyhkeen kaltaista.

Click to play.Tässä otsikko oli ‘A chemist pours a clear liquid from a beaker into a test tube, carefully avoiding spills’, mutta näemme, että vesimäärä, joka lisätään beakeriin, ei ole yhdenmukainen määrän kanssa, joka poistuu kanistasta.

Kuten mainitsin alussa, aineiston määrä, joka liittyy tähän projektiin, ylittää sen, mitä voidaan kattaa täällä. Siksi viitataan alkuperäiseen artikkeliin, projektiin ja aiemmin mainittuihin sivustoihin, jotta voidaan saada täydellinen katsaus tutkijoiden menetelmistä ja paljon enemmän testiesimerkkejä ja proseduraalisia yksityiskohtia.

* Annotaatioiden provenienssiin liittyen paperi mainitsee vain ‘hankittu näihin tehtäviin’ – vaikuttaa paljolta, että 12 AMT-työntekijää olisi tuottanut.

Julkaistu ensimmäisen kerran torstaina, 13. maaliskuuta 2025