Merkittävä edistysaskel ihmisvoimin ohjatussa tekoälyvideossa

Huomautus: Tämän työn projekti sivu sisältää 33 automaattisesti toistuvaa korkearesoluutioista videota, jotka yhteensä ovat puolen gigatavun kokoa, mikä epävakautti järjestelmäni latauksen. Tämän vuoksi en linkitä siihen suoraan. Lukijat voivat löytää URL-osoitteen tutkimuksen abstraktista tai PDF-tiedostosta, jos he niin haluavat.

Yksi nykyisen videonsynteesitutkimuksen tärkeimmistä tavoitteista on luoda täydellinen tekoälyohjattu videoesitys yhdestä kuvasta. Tällä viikolla Bytedance Intelligent Creation julkaisi uuden tutkimuksen, jossa esitellään mahdollisesti kaikkein kattavin järjestelmä tähän mennessä, joka pystyy tuottamaan täysi- ja puolikehoanimaatioita, jotka yhdistävät ilmeikkään kasvojen yksityiskohdat tarkan suuren mittakaavan liikkeen kanssa, ja saavuttavat myös parannetun identiteetin jatkuvuuden – alue, jossa jopa johtavat kaupalliset järjestelmät usein epäonnistuvat.

Esimerkissä alla näemme esityksen, jota ohjaa näyttelijä (ylävasen) ja johdetaan yhdestä kuvasta (oikea ylä), joka tarjoaa hämmästyttävän joustavan ja taitavan renderöinnin, ilman yleisiä ongelmia suurten liikkeiden luomisessa tai “arvaamisessa” peittävistä alueista (ts. vaatetus- ja kasvonkulmat, jotka on saatettu johtaa tai keksitty, koska ne eivät ole näkyvissä ainoassa lähdevalokuvassa):

ÄÄNI SISÄLTÖ. Klikkaa toistamaan. Esitys syntyy kahdesta lähteestä, mukaan lukien huulienkronointi, joka on yleensä omistettu omille apujärjestelmille. Tämä on pienennetty versio lähde-sivustolta (ks. huomautus artikkelin alussa – koskee kaikkia muita tässä upotettuja videoita).

Vaikka voidaan nähdä joitakin jäänteisiä haasteita identiteetin ylläpitämisessä kunkin klipin edetessä, tämä on ensimmäinen järjestelmä, jonka olen nähnyt, joka yleensä (vaikka ei aina) ylläpitää ID: tä pidempään ilman LoRAs:

ÄÄNI SISÄLTÖ. Klikkaa toistamaan. Lisää esimerkkejä DreamActor-projektista.

Uusi järjestelmä, joka on nimeltään DreamActor, käyttää kolmiosaisen hybridiohjausjärjestelmän, joka antaa omistetun huomion kasvojen ilmeelle, pään rotaatiolle ja rungon suunnittelulle, jolloin se soveltuu tekoälyohjattuihin esityksiin, joissa ei kumpikaan, kasvojen eikä kehon osuus, kärsi toisen kustannuksella – harvinainen, mahdollisesti tuntematon kyky muilla vastaavilla järjestelmillä.

Alempana näemme yhden näistä puolista, pään rotaation, toiminnassa. Värikäs pallo jokaisen peukalon oikeassa reunassa edustaa virtuaalista kallioita, joka määrittää pään suunnan itsenäisesti kasvojen liikkeestä ja ilmeestä, jotka ohjataan tässä näyttelijällä (alempi vasen).

Klikkaa toistamaan. Monivärinen pallo visualisoidaan tässä hahmon pään rotaation akseli, kun taas ilme ohjataan erillisellä moduulilla ja perustuu näyttelijän esitykseen (näkyy tässä alempi vasen).

Yksi projektin mielenkiintoisimmista toiminnallisuuksista, jota ei edes mainita asianmukaisesti tutkimuksen testeissä, on sen kyky johtaa huulien liikettä suoraan äänestä – kyky, joka toimii epätavallisen hyvin, vaikka ilman ohjaavaa näyttelijävideota.

Tutkijat ovat ottaneet haasteeksi parhaimmat kilpailijansa tässä pyrkimyksessä, mukaan lukien paljon kehutun Runway Act-One ja LivePortrait, ja raportoivat, että DreamActor pystyi saavuttamaan paremmat määrälliset tulokset.

Koska tutkijat voivat asettaa omat kriteerinsä, määrälliset tulokset eivät välttämättä ole empiirinen standardi; mutta liittyvät laadulliset testit näyttävät tukevan kirjoittajien johtopäätöksiä.

Valitettavasti tämä järjestelmä ei ole tarkoitettu julkiseen julkaisuun, ja ainoa arvo, jonka yhteisö voi mahdollisesti saada tästä työstä, on mahdollisesti toistamalla menetelmiä, jotka on selostettu tutkimuksessa (kuten tehtiin mainittavaan vaikutukseen Google Dreambooth vuonna 2022).

Tutkimus sanoo*:

‘Ihmiskuvan animaatio voi sisältää sosiaalisia riskejä, kuten väärinkäytön valheellisten videoiden luomiseen. Ehdotettu teknologia voisi käyttää valheellisten videoiden luomiseen, mutta olemassa olevat havaitsemistyökalut [Demamba, Dormant] voivat havaita nämä väärennökset.

‘Näiden riskien vähentämiseksi on tarpeen selkeät eettiset säännöt ja vastuulliset käyttöohjeet. Rajoitamme tiukasti pääsyämme ydinmalleihimme ja -koodeihimme välttääksemme väärinkäytön.’

Luonnollisesti, eettiset huomioonotot tällaisia ovat mukavia kaupallisesta näkökulmasta, koska ne tarjoavat perustelun API-vain pääsyyn malliin, jota voidaan sitten rahastaa. Bytedance on jo kerran tehnyt tämän vuonna 2025 tekemällä paljon kehutun OmniHuman saataville maksullisilla krediiteillä Dreamina-sivustolla. Sen vuoksi, koska DreamActor on mahdollisesti vielä vahvempi tuote, tämä näyttää todennäköiseltä lopputulokselta. Se, mitä jää nähtäväksi, on se, missä määrin sen periaatteet, niiden määrin kuin ne on selostettu tutkimuksessa, voivat auttaa avoimen lähdekoodin yhteisöä.

Uusi tutkimus on nimeltään DreamActor-M1: Holistinen, ilmeikäs ja kestävä ihmiskuvan animaatio hybridiohjauksella, ja se tulee kuudelta Bytedance-tutkijalta.

Menetelmä

DreamActor-järjestelmä, jota ehdotetaan tutkimuksessa, pyrkii luomaan ihmisanimaatiota viitekuvasta ja ohjausvideosta käyttäen Diffusion Transformer (DiT) -kehystä, joka on sovellettu latent-avaruuteen (ilmeisesti jokin Stable Diffusion -makua, vaikka tutkimus mainitsee ainoastaan 2022 vuoden merkittävän julkaisun).

Sen sijaan, että luotaisiin ulkoisia moduuleja viite-ehtojen käsittelyyn, kirjoittajat yhdistävät ilme- ja liiketunnukset suoraan DiT-runkoon, sallien vuorovaikutuksen avaruuden ja ajan kautta huomion kautta:

Schema uudesta järjestelmästä: DreamActor koodaa asennon, kasvon liikkeen ja ilmeen eri latentteihin, yhdistäen ne melkein äänivideo-latentteihin, jotka tuottaa 3D-VAE. Nämä signaalit yhdistetään Diffusion Transformerissa itse- ja ristihuomion kautta, jaettujen painoja haarojen välillä. Malli on valvottu vertaamalla puhdistettuja tuloksia puhdistettuihin video-latentteihin. Lähde: https://arxiv.org/pdf/2504.01724

Tämä arkkitehtuuri poikkeaa yleisestä käytännöstä, jossa liitetään toissijainen verkko viiteenjektioon, mikä oli lähestymistapa vaikutusvaltaisille Animate Anyone ja Animate Anyone 2 -projekteille.

Sen sijaan DreamActor rakentaa fuusion itse päämalliin, yksinkertaistaen suunnittelua ja parantaen tietojen virtausta ilmeen ja liikkeen vihjeiden välillä. Malli on sitten koulutettu käyttäen virtauksen vertaamista sen sijaan, että perinteinen diffuusiokohde (Virtauksen vertaaminen kouluttaa diffuusiomalleja ennustamalla suoraan nopeus kenttiä datasta ja melusta, ohittaen arviointipisteen).

Hybridiliikkeen ohjaus

Hybridiliikkeen ohjausmenetelmä, joka ohjaa neuroniverkkokuvia, yhdistää asento-tunnisteita, jotka perustuvat 3D-ruumiin luurankoihin ja pääsfääreihin; implisiittisiä kasvojen edustuksia, jotka on poimittu esikoulutetusta kasvojen koodaajasta; ja viite-ilmeen tunnisteita, jotka on otettu lähdekuvasarjasta.

Nämä elementit yhdistetään Diffusion Transformerissa eri huomio-mekanismeja käyttäen, sallien järjestelmän koordinoida globaalin liikkeen, kasvojen ilmeen ja visuaalisen identiteetin koko generaatioprosessin ajan.

Ensinnäkin, sen sijaan, että luotaisiin kasvojen maamerkkeihin, DreamActor käyttää implisiittisiä kasvojen edustuksia ilmeen generoinnin ohjaamiseen, mikä näyttää sallivan hienomman kasvojen dynamiikan hallinnan ja identiteetin ja pään asennon erottamisen ilmeestä.

Näiden edustusten luomiseksi putki havaitsee ja leikkaa kasvoalueen jokaisessa kehyksessä ohjausvideossa, muuttaa sen koko 224×224. Leikattuja kasvoja käsitellään kasvo-liikkeen koodaajalla, joka on esikoulutettu PD-FGC -aineistolla, jota sitten ehdotetaan MLP -kerroksella.

PD-FGC, jota käytetään DreamActorissa, luo puhuvan pään viitekuvasta, jossa on eriytetty hallinta huulienkronoinnista (äänestä), pään asennosta, silmien liikkeestä ja ilmeestä (erillisistä videoista), sallien tarkan, itsenäisen kunkin muokkaamisen. Lähde: https://arxiv.org/pdf/2211.14506

Tuloksena on kasvo-liikkeen tunnisteiden sarja, jotka injektoidaan Diffusion Transformeriin ristihuomio-kerroksen kautta.

Sama kehys tukee myös ääni-ohjausta -varianttia, jossa erillinen koodaaja koulutetaan, joka kartoittaa puhetta suoraan kasvo-liikkeen tunnisteiksi. Tämä mahdollistaa synkronoidun kasvoanimaation luomisen – mukaan lukien huulien liikkeet – ilman ohjausvideota.

ÄÄNI SISÄLTÖ. Klikkaa toistamaan. Huulienkronointi, joka on johdettu pelkästään äänestä, ilman ohjaavaa näyttelijävideota. Ainoa hahmo-syöte on ylä-oikealla näkyvä staattinen valokuva.

Toiseksi, pään asennon ohjaamiseksi itsenäisesti kasvojen ilmeestä, järjestelmä esittää 3D-pääsfäärin edustuksen (ks. video, joka on upotettu aiemmin tähän artikkeliin), joka erottaa kasvojen dynamiikan globaalista pään liikkeestä, parantaen tarkkuutta ja joustavuutta animaation aikana.

Pääsfäärin generoimiseksi 3D-kasvojen parametreja, kuten rotaatiota ja kameran asentoa, poimitaan ohjausvideosta FaceVerse -seurantamenetelmällä.

FaceVerse-projektin schema. Lähde: https://www.liuyebin.com/faceverse/faceverse.html

Nämä parametriarvoja käytetään värikuvan projisointiin 2D-kuva-alueelle, joka on avaruudellisesti kohdistettu ohjaavaan päähän. Pallo on kooltaan sama kuin viitepää, ja sen väri heijastaa pään suuntaa. Tämä abstraktio vähentää 3D-pään liikkeen oppimisen monimutkaisuutta, auttaen säilyttämään tyylitellyt tai liioitellut pään muodot hahmoissa, jotka on piirretty animaatiosta.

Ohjaussfäärin visualisointi, joka vaikuttaa pään suuntaan.

Lopuksi, täydellisen kehon liikkeen ohjaamiseksi järjestelmä käyttää 3D-ruumiin luurankoja, joissa on sopeutuva luun pituuden normalisointi. Ruumiin ja käden parametriarvoja arvioidaan 4DHumans – ja käden keskittyneellä HaMeR -menetelmällä, jotka molemmat toimivat SMPL-X -ruumiin mallilla.

SMPL-X soveltaa parametrinen verkkorakennetta koko ihmiskehoon kuvassa, joka on kohdistettu arvioidun asennon ja ilmeen mukaan, mahdollistaen asento-tietoisen manipuloinnin verkon avulla. Lähde: https://arxiv.org/pdf/1904.05866

Näistä tuloksista valitaan avainnivelten yhdistäminen 2D-linjaisiin luurankokarttoihin. Toisin kuin menetelmät, kuten Champ, jotka renderöivät täydellisiä kehoja, tämä lähestymistapa välttää ennalta määritellyn muodon etuoikeuksien asettamisen, ja luurangan rakenteen avulla malli on rohkaistu johtamaan kehon muodon ja ilmeen suoraan viitekuvista, vähentäen vääristymää kiinteisiin kehotyyppeihin ja parantaen yleistettävyyttä eri asentojen ja kehon rakenteiden yli.

Koulutuksen aikana 3D-ruumiin luurangot yhdistetään pääsfääreihin ja lähetetään asennon koodaajalle, joka antaa piirteitä, jotka yhdistetään melkein äänivideo-latentteihin, joista tuotetaan melkein ääni-tokenit, joita Diffusion Transformer käyttää.

Johtopäätöksessä järjestelmä ottaa huomioon luurankojen eroja eri kohteiden välillä normalisoimalla luun pituudet. SeedEdit -esikoulutettu kuvaeditori muuttaa sekä viite- että ohjauskuvaan standardin kanonisen konfiguraation. RTMPose käytetään luurankojen mittasuhteiden poimimiseen, joita käytetään ohjausluurangan mukauttamiseen viitekohteen anatomiaksi.

Johtopäätöksellinen putken yleiskatsaus. Pseudo-viitteitä voidaan luoda rikastamaan ilmeen vihjeitä, kun taas hybridiohjaussignaalit – implisiittinen kasvojen liike ja eksplisiittinen asento pääsfääreistä ja ruumiin luurangoista – poimitaan ohjausvideosta. Nämä syötetään sitten DiT-malliin, jotta saadaan animoitu tuloste, jossa kasvojen liike on eriytetty kehon asennosta, sallien äänen käytön ohjaajana.

Ilmeen ohjaus

Ilmeen uskottavuuden parantamiseksi, erityisesti peittävissä tai harvoin näkyvissä olevissa alueissa, järjestelmä täydentää ensisijaisen viitekuvan pseudo-viitekuvilla, jotka poimitaan syötevideosta.

Klikkaa toistamaan. Järjestelmä ennustaa tarpeen renderöidä peittävät alueet tarkasti ja johdonmukaisesti. Tämä on lähes CGI-tyylinen bitmap-tekstuurilähestymistapa, jonka olen nähnyt tämänkaltaisessa projektissa.

Nämä lisäkehykset valitaan asennon monimuotoisuuden perusteella RTMPose:lla ja suodatetaan CLIP-pohjaisella samankaltaisuudella, jotta ne säilyttävät kohteen identiteetin.

Kaikki viitekehykset (ensisijaiset ja pseudo) koodataan samalla visuaalisella koodaajalla ja yhdistetään itsehuomio-mekanismilla, jolloin malli pääsee käsiksi täydentäviin ilmeen vihjeisiin. Tämä asettelu parantaa yksityiskohtien kattavuutta, kuten profiilinäkymien tai raajan tekstuurien osalta. Pseudo-viitteitä käytetään aina koulutuksen aikana ja valinnaisesti johtopäätöksessä.

Koulutus

DreamActor koulutettiin kolmessa vaiheessa, jotta kompleksisuutta voitiin vähitellen esitellä ja vakauttaa.

Ensimmäisessä vaiheessa käytettiin ainoastaan 3D-ruumiin luurankoja ja 3D-pääsfäärejä ohjaussignaaleina, jättäen kasvojen edustukset pois. Tämä mahdollisti perusvideogeneraattorimallin, joka aloitettiin MMDiT:sta, sopeutumaan ihmisanimaatioon ilman, että se olisi ylitetty fine-grained ohjausten kanssa.

Toisessa vaiheessa lisättiin implisiittiset kasvojen edustukset, mutta kaikki muut parametriarvot jäädytettiin. Vain kasvojen liikekoodaaja ja kasvojen huomio-kerrokset koulutettiin tässä vaiheessa, mahdollistaen mallin oppimisen ilmeen yksityiskohtia eristyneisyyden tilassa.

Lopullisessa vaiheessa kaikki parametriarvot avattiin yhteiselle optimoinnille ilmeen, asennon ja kasvojen dynamiikan yli.

Tiedot ja testit

Testivaiheessa malli aloitetaan esikoulutetusta kuvasta-videoon DiT-aloituskohtaa käyttäen^† ja koulutetaan kolmessa vaiheessa: 20 000 askelta kummassakin kahdessa ensimmäisessä vaiheessa ja 30 000 askelta kolmannessa vaiheessa.

Yleistettävyyden parantamiseksi eri kestojen ja resoluutioiden yli videoleikkeet otettiin satunnaisesti kestoltaan 25-121 kehyksestä. Nämä leikkeet muunnettiin 960x640px:ään, säilyttäen kuvasuhteen.

Koulutus suoritettiin kahdeksalla (Kiinaan keskittyvällä) NVIDIA H20 -näytönohjaimella, jokaisella 96GB VRAM:ia, AdamW-optimoinnilla ja (siedettävän korkealla) oppiamisnopeudella 5e−6.

Johtopäätöksessä kunkin videoleikkauksen kestoa oli 73 kehykset. Jatkuvuuden ylläpitämiseksi leikkauksissa lopullinen latentti yhdestä leikkauksesta uudelleen käytettiin aloituslatenttina seuraavassa leikkauksessa, mikä kontekstualisoi tehtävän jatkuvana kuvasta-videoon generaatioprosessina.

Luokittelu-vapaa ohjaus sovellettiin painolla 2,5 sekä viitekuville että liikkeen ohjaussignaaleille.

Kirjoittajat rakensivat koulutusaineiston (josta ei mainita lähdettä tutkimuksessa), joka koostui 500 tunnista videota, jotka oli poimittu monista eri aloista, mukaan lukien tanssi, urheilu, elokuva ja julkiset puheet. Aineisto suunniteltiin havainnoimaan laajaa spektriä ihmisen liikettä ja ilmeitä, tasaisella jakautumisella täysi- ja puolikeho-otoksien välillä.

Paremmän kasvojen synteesin laadun parantamiseksi Nersemble otettiin mukaan aineiston valmisteluprosessiin.

Nersemble-aineistosta esimerkkejä, joita käytetään DreamActorin aineistojen täydentämiseen. Lähde: https://www.youtube.com/watch?v=a-OAWqBzldU

Arviointia varten tutkijat käyttivät aineistoa myös benchmarkkina yleistettävyyden arviointiin eri tilanteissa.

Mallin suorituskyky mitattiin aiemman työn standardimittauksilla: Fréchet Inception Distance (FID); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); ja Peak Signal-to-Noise Ratio (PSNR) kehyskohtaisen laadun arvioimiseksi. Fréchet Video Distance (FVD) käytettiin aikajatkuvuuden ja koko videon uskottavuuden arvioimiseksi.

Kirjoittajat suorittivat kokeita sekä kehon animaatio- että muotokuvanimaatiotehtävissä, joissa käytettiin yhtä (kohde-)viitekuvaa.

Kehon animaatiokokeissa DreamActor-M1 verrattiin Animate Anyone, Champ, MimicMotion ja DisPose -järjestelmiin.

Määrälliset vertailut kilpailevien kehyksien kanssa.

Vaikka PDF tarjoaa staattisen kuvan visuaalisena vertailuna, yksi videoista projekti-sivustolta saattaa korostaa eroja selvemmin:

ÄÄNI SISÄLTÖ. Klikkaa toistamaan. Visuaalinen vertailu haastajajärjestelmien välillä. Ohjausvideo on näkyvissä ylävasemmalla, ja kirjoittajien johtopäätös, että DreamActor tuottaa parhaat tulokset, näyttää järkevältä.

Muotokuvanimaatiokokeissa malli arvioitiin LivePortraitia, X-Portrait, SkyReels-A1 ja Act-One -järjestelmiä vastaan.

Määrälliset vertailut muotokuvanimaatiosta.

Kirjoittajat toteavat, että heidän menetelmänsä voittaa määrällisissä testeissä, ja väittävät, että se on myös laadullisesti parempi.

ÄÄNI SISÄLTÖ. Klikkaa toistamaan. Muotokuvanimaatioiden vertailuesimerkkejä.

Väittäen, että kolmas ja viimeinen näytteistä edellä olevassa videossa näyttää vähemmän vakuuttavalta huulienkronoinnista joissakin kilpailevissa kehyksissä, yleinen laatu on hämmästyttävän korkea.

Johtopäätös

Ennustamalla tekstuurien tarpeen, jotka ovat implisiittisiä mutta ei todella läsnä ainoassa kohdevalokuvassa, joka syöttää nämä rekonstruktioita, Bytedance on ratkaissut yhden suurimmista haasteista, joita diffuusiopohjaisella videogeneraatiolla on – jatkuvat, pysyvät tekstuurit. Seuraava looginen askel tämän lähestymistavan jälkeen olisi luoda viite-atlas ensimmäisestä generoidusta klipistä, jota voitaisiin soveltaa myöhempiin, eri generointeihin, säilyttäen ilmeen ilman LoRAs:ia.

Vaikka tämä lähestymistapa olisi edelleen ulkoinen viite, tämä ei ole poikkeavaa verrattuna perinteisiin CGI-tekstuuri-maalaustekniikoille, ja realismin ja uskottavuuden laatu on paljon korkeampi kuin vanhemmissa menetelmissä.

Sanottakoon, että DreamActorin vaikuttavin puoli on yhdistetty kolmiosainen ohjausjärjestelmä, joka yhdistää perinteisen jaon kasvoihin keskittyvien ja kehoon keskittyvien ihmisen synteesin älykkään tavoin.

Se on vain nähtävä, voitaisiinko joitakin näiden periaatteiden soveltaa helpommin saataviin tarjontoihin; sillä DreamActorin nykyinen tila näyttää tulevan synthesis-palveluna, joka on rajattu käytön rajoituksilla ja kaupallisen arkkitehtuurin kokeellisen epäkäytännöllisyydellä.

* Minun korvaaminen hyperlinkkejä kirjoittajille; sisäiset viittaukset

^† Kuten mainittiin aiemmin, ei ole selvää, mikä Stable Diffusion -makua käytettiin tässä projektissa.

Julkaistu ensimmäisen kerran perjantaina 4. huhtikuuta 2025