Kohti parempaa tekoälypohjaista videoeditointia

Videon ja kuvan synteesin tutkimusalalla julkaistaan säännöllisesti uusia videoeditointiarkkitehtuureja, ja viimeisten yhdeksän kuukauden aikana julkaisutahti on kiihtynyt entisestään. Useimmat niistä edustavat kuitenkin vain asteittaisia parannuksia aiempiin menetelmiin, sillä ratkaistavat perusongelmat ovat huomattavia.

Viime viikolla julkaistu kiinalaisten ja japanilaisten tutkijoiden yhteistyö ei ehkä ole alan mullistava läpimurto, mutta sen tuottamat esimerkit ansaitsevat tarkemman tarkastelun.

Alla olevassa videossa (tutkimuksen projektisivulta, joka saattaa kuormittaa selainta voimakkaasti) näemme, että vaikka järjestelmää ei nykyisessä muodossaan ole tarkoitettu deepfake-videoiden tekemiseen, se muuttaa kuvassa olevan nuoren naisen identiteettiä uskottavasti videomaskin perusteella (alhaalla vasemmalla):

Napsauta toistaaksesi. Alhaalla vasemmalla näkyvän semanttisen segmentointimaskin perusteella alkuperäinen nainen (ylhäällä vasemmalla) muuttuu selvästi eri henkilöksi, vaikka prosessi ei saavuta kehotteessa tarkoitettua varsinaista identiteetin vaihtoa. Lähde: https://yxbian23.github.io/project/video-painter/ (Kirjoitushetkellä automaattisesti toistuvia videoita sisältävä projektisivu saattoi kaataa selaimen.) Saat paremman resoluution ja yksityiskohdat alkuperäisistä videoista, jos ne ovat käytettävissä, tai projektin esittelyvideosta: https://www.youtube.com/watch?v=HYzNfsD3A0s

Tällainen maskipohjainen editointi on jo vakiintunut staattisissa latentin diffuusion malleissa, joissa käytetään esimerkiksi ControlNetia. Taustan jatkuvuuden säilyttäminen videossa on kuitenkin huomattavasti vaikeampaa, vaikka maskatut alueet antavat mallille luovaa liikkumavaraa, kuten alla oleva esimerkki osoittaa:

Napsauta toistaaksesi. Lajin muuttaminen uudella VideoPainter-menetelmällä. Saat paremman resoluution ja yksityiskohdat alkuperäisistä videoista, jos ne ovat käytettävissä, tai projektin esittelyvideosta: https://www.youtube.com/watch?v=HYzNfsD3A0s

Tutkijat vertaavat menetelmäänsä sekä Tencentin BrushNetiin, josta kirjoitimme viime vuonna, että ControlNetiin. Molemmat käyttävät kaksiharaista arkkitehtuuria, joka voi erottaa taustan säilyttämisen etualan luomisesta.

Menetelmän soveltaminen suoraan OpenAI:n Soran tunnetuksi tekemään Diffusion Transformer (DiT) -lähestymistapaan tuo kuitenkin erityisiä haasteita, kuten tutkijat toteavat:

”BrushNetin ja ControlNetin arkkitehtuurin suora soveltaminen video-DiT-malleihin tuo useita haasteita. Ensinnäkin Video DiT:n vahvan generatiivisen perustan ja suuren koon vuoksi koko rungon tai sen puolikkaan kopioiminen kontekstikooderiksi olisi tarpeetonta ja laskennallisesti kohtuutonta.”

”Toiseksi, toisin kuin BrushNetin puhtaasti konvoluutionaalisessa ohjaushaarassa, DiT:n maskattujen alueiden tokenit sisältävät globaalin huomion vuoksi luontaisesti taustatietoa. Tämä vaikeuttaa maskattujen ja maskittamattomien alueiden erottamista DiT-rungossa.”

”Lopuksi ControlNet ei syötä piirteitä kaikkiin kerroksiin, mikä rajoittaa taustan tarkkaa ohjausta inpainting-tehtävissä.”

Siksi tutkijat kehittivät VideoPainteriksi kutsutun kaksiharaisen plug-and-play-kehyksen.

VideoPainter on kaksiharainen videon inpainting-kehys, joka täydentää esikoulutettuja DiT-malleja kevyellä kontekstikooderilla. Kooderin parametrit vastaavat vain kuutta prosenttia rungon parametreista, minkä tekijät katsovat tekevän menetelmästä perinteisiä ratkaisuja tehokkaamman.

Malli esittelee kolme keskeistä innovaatiota: yksinkertaistetun kaksikerroksisen kontekstikooderin taustan tehokkaaseen ohjaamiseen, maskin perusteella valikoivan piirteiden integrointijärjestelmän, joka erottaa maskattujen ja maskittamattomien alueiden tokenit, sekä inpainting-alueen identiteetin uudelleennäytteenoton, joka säilyttää identiteetin jatkuvuuden pitkissä videojaksoissa.

Jäädyttämällä sekä esikoulutetun DiT:n että kontekstikooderin ja lisäämällä ID-sovittimen VideoPainter säilyttää aiempien leikkeiden inpainting-alueiden tokenit koko videon ajan, mikä vähentää välkkymistä ja epäjohdonmukaisuuksia.

Kehys on suunniteltu plug-and-play-yhteensopivaksi, joten se voidaan liittää helposti olemassa oleviin videoiden luonti- ja editointityönkulkuihin.

Tutkimus käyttää generatiivisena moottorina CogVideo-5B-I2V:tä. Sen tueksi tutkijat kokosivat oman ilmoituksensa mukaan tähän mennessä suurimman videon inpainting-aineiston. VPData-kokoelmassa on yli 390 000 leikettä, joiden yhteiskesto ylittää 886 tuntia. Tutkijat kehittivät myös siihen liittyvän VPBench-vertailukehyksen.

Napsauta toistaaksesi. Projektisivun esimerkit havainnollistavat VPData-kokoelman ja VPBench-testikehyksen mahdollistamia segmentointitoimintoja. Saat paremman resoluution ja yksityiskohdat alkuperäisistä videoista, jos ne ovat käytettävissä, tai projektin esittelyvideosta: https://www.youtube.com/watch?v=HYzNfsD3A0s

Uusi VideoPainter: Any-length Video Inpainting and Editing with Plug-and-Play Context Control -tutkimus on seitsemän Tencent ARC Labin, Hongkongin kiinalaisen yliopiston, Tokion yliopiston ja Macaon yliopiston tutkijan työ.

Projektisivun lisäksi tutkijat ovat julkaisseet helpommin saavutettavan YouTube-esittelyn ja Hugging Face -sivun.

Menetelmä

VPData-kokoelman tiedonkeruuputki koostuu keräämisestä, annotoinnista, segmentoinnista, valinnasta ja kuvatekstien tuottamisesta:

Kaavio aineiston muodostamisen vaiheista. Lähde: https://huggingface.co/TencentARC/VideoPainter

Aineiston kokoamiseen käytettiin Videvoa ja Pexelsiä, joista kerättiin aluksi noin 450 000 videota.

Esikäsittelyvaiheessa käytettiin useita kirjastoja ja menetelmiä. Recognize Anything tuotti avoimen sanaston videomerkintöjä ensisijaisten kohteiden tunnistamiseksi, Grounding DINOa käytettiin kohteiden havaitsemiseen ja Segment Anything Model 2 (SAM 2) jalosti karkeat valinnat laadukkaiksi segmentointimaskeiksi.

Videon inpainting-prosessin jatkuvuuden varmistamiseksi VideoPainter käyttää PySceneDetectiä leikkeiden tunnistamiseen ja jakamiseen luonnollisista leikkauskohdista. Näin vältetään haitalliset siirtymät, joita saman kohteen seuraaminen eri kuvakulmista usein aiheuttaa. Leikkeet jaettiin kymmenen sekunnin osiin, ja alle kuuden sekunnin mittaiset osat hylättiin.

Aineiston valinnassa käytettiin kolmea suodatusehtoa: esteettistä laatua, jota arvioitiin LAION-Aesthetic Score Predictorilla; liikkeen voimakkuutta, jota mitattiin optisen vuon avulla RAFTilla; sekä turvallista sisältöä, joka varmistettiin Stable Diffusion Safety Checkerillä.

Nykyisten videosegmentointiaineistojen merkittävä rajoitus on kuitenkin yksityiskohtaisten tekstiannotaatioiden puute, vaikka niitä tarvitaan generatiivisten mallien ohjaamiseen:

Tutkijat korostavat video-kuvauksen puutetta verrattavissa kokoelmissa.

Siksi VideoPainterin aineiston kuratointiin sisällytettiin johtavia näkö-kielimalleja, kuten CogVLM2 ja ChatGPT-4o. Niillä tuotettiin sekä avainkuviin perustuvia kuvatekstejä että yksityiskohtaisia kuvauksia maskattujen alueiden ominaisuuksista.

VideoPainter täydentää esikoulutettuja DiT-malleja mukautettavalla ja kevyellä kontekstikooderilla, joka erottaa taustakontekstin hakemisen etualan luomisesta, kuten alla oleva kaavio havainnollistaa:

Käsitteellinen schema VideoPainterista. VideoPainterin konteksti-koodekki käsittelee meluisia latenteja, pienennettyjä maskeja ja maskattuja video-latentteja VAE:n kautta, integroiden vain taustatokenit esikoulutettuun DiT:hen epäselvyyksien välttämiseksi. ID-uudelleenotantaliittymä varmistaa identiteetin jatkuvuuden liittämällä maskattujen alueiden tokenit koulutuksen aikana ja uudelleenotantaa niitä edellisistä klipistä johtopäätöksessä.

Rungon kuormittamisen sijaan kooderi käyttää yksinkertaista syötettä: kohinaisen latentin, maskatun videolatentin (joka saadaan variaatioautoenkooderin eli VAE:n kautta) ja pienennettyjen maskien yhdistelmää.

Kohinainen latentti antaa luomiselle kontekstin, kun taas maskattu videolatentti mukautuu DiT:n olemassa olevaan jakaumaan ja parantaa siten yhteensopivuutta.

Aiemmista töistä poiketen VideoPainter ei kopioi suuria osia mallista, vaan käyttää vain DiT:n kahta ensimmäistä kerrosta. Niistä poimitut piirteet syötetään takaisin esikoulutettuun DiT:hen vaiheittain: varhaiset piirteet ohjaavat mallin alkuosaa ja myöhemmät piirteet tarkentavat sen loppuosaa.

Lisäksi token-valikoiva mekanismi varmistaa, että vain taustaan liittyvät piirteet syötetään takaisin, mikä estää maskattujen ja maskittamattomien alueiden sekoittumisen. Tutkijoiden mukaan näin VideoPainter säilyttää taustan uskottavasti ja tehostaa samalla etualan inpainting-prosessia.

Tutkijat huomauttavat, että menetelmä tukee useita hienosäätömenetelmiä, mukaan lukien suosittu Low-Rank Adaptation (LoRA).

Data ja testit

VideoPainter koulutettiin CogVideo-5B-I2V-mallilla ja sen tekstistä videoksi -vastineella. Kuratoitua VPData-aineistoa käytettiin 480 × 720 pikselin tarkkuudella ja oppimisnopeudella 1 × 10^-5.

ID-uudelleennäytteenottosovitin koulutettiin 2 000 askeleella ja kontekstikooderi 80 000 askeleella, molemmat AdamW-optimoinnilla. Koulutus tehtiin kahdessa vaiheessa 64 NVIDIA V100 -näytönohjaimella, mutta tutkimus ei kerro, oliko korteissa 16 vai 32 gigatavua VRAM-muistia.

Vertailussa Davis-aineistoa käytettiin satunnaisille maskeille ja tutkijoiden omaa VPBenchiä segmentointiin perustuville maskeille.

VPBench-aineisto sisältää esineitä, eläimiä, ihmisiä, maisemia ja erilaisia tilanteita. Se kattaa neljä toimintoa: lisää, poista, muuta ja vaihda. Aineistossa on 45 kuuden sekunnin videota sekä yhdeksän videota, joiden keskimääräinen kesto on 30 sekuntia.

Arvioinnissa käytettiin kahdeksaa mittaria. Maskattujen alueiden säilymistä mitattiin huippusignaali-kohinasuhteella (PSNR), opittuun havainnointiin perustuvalla samankaltaisuusmittarilla (LPIPS), rakenteellisen samankaltaisuuden indeksillä (SSIM) ja absoluuttisen virheen keskiarvolla (MAE).

Tekstikohdistusta varten tutkijat käyttivät CLIP-samankaltaisuutta sekä leikkeen kuvatekstin ja havaitun sisällön semanttisen etäisyyden että maskattujen alueiden täsmällisyyden arviointiin.

Tuotettujen videoiden kokonaislaatua arvioitiin Fréchet Video Distance (FVD) -mittarilla.

Videon inpainting-menetelmien määrällisessä vertailussa järjestelmää verrattiin aiempiin ratkaisuihin: ProPainteriin, COCOCOon ja Cog-Inpiin (CogVideoX). Testissä leikkeen ensimmäinen kuva täydennettiin kuvien inpainting-mallilla, minkä jälkeen tulos levitettiin kuvasta videoksi -rungolla latentin sekoitusoperaation avulla vuonna 2023 julkaistun israelilaistutkimuksen mukaisesti.

Koska projektisivusto ei kirjoitushetkellä toimi täysin eikä siihen liittyvä YouTube-video välttämättä sisällä kaikkia projektisivulle koottuja esimerkkejä, tutkimuksen yksittäisiä tuloksia vastaavia videoita on vaikea löytää. Esittelemme siksi osan tutkimuksen staattisista tuloksista ja päätämme artikkelin muutamiin projektisivulta saatuihin videoesimerkkeihin.

Määrällinen vertailu VideoPainteria vastaan ProPainter, COCOCO ja Cog-Inp VPBenchissä (segmentointiin perustuvat maskit) ja Davisissä (satunnaiset maskit). Mittarit kattavat maskattujen alueiden säilyttämisen, teksti-kohdistuksen ja videon laadun. Punainen = paras, sininen = toiseksi paras.

Näistä määrällisistä tuloksista tutkijat toteavat:

”Segmentointiin perustuvassa VPBenchissä ProPainter ja COCOCO menestyvät heikoimmin useimmilla mittareilla. Syinä ovat ProPainterin kyvyttömyys täydentää kokonaan maskattuja kohteita ja COCOCOn yksirunkoisen arkkitehtuurin vaikeus tasapainottaa taustan säilyttämistä ja etualan luomista.”

”Satunnaisten maskien Davis-vertailussa ProPainter parantaa tulostaan hyödyntämällä osittaista taustatietoa. VideoPainter saavuttaa kuitenkin parhaan suorituskyvyn sekä tavallisten ja pitkien videoiden segmentointimaskeilla että satunnaisilla maskeilla, koska sen kaksiharainen arkkitehtuuri erottaa tehokkaasti taustan säilyttämisen etualan luomisesta.”

Tutkijat esittävät myös staattisia laadullisia esimerkkejä, joista alla on valikoima. Parempaa resoluutiota ja yksityiskohtia varten lukijan kannattaa tutustua projektisivuun ja YouTube-videoon.

VideoPainterin vertailu aiempiin inpainting-menetelmiin.

Napsauta toistaaksesi. Projektisivun ”results”-videoista kokoamamme esimerkit.

Videon inpainting-menetelmien laadullisesta vertailusta tutkijat toteavat:

”VideoPainter tuottaa johdonmukaisesti erinomaisia tuloksia videon jatkuvuudessa, laadussa ja tekstikuvauksen mukaisuudessa. ProPainter ei pysty luomaan kokonaan maskattuja kohteita, koska se perustuu uuden sisällön tuottamisen sijasta pelkästään taustapikselien levittämiseen.”

”Vaikka COCOCO tarjoaa perustoiminnot, se ei säilytä inpainting-alueiden identiteettiä johdonmukaisesti: alusten ulkoasu vaihtelee ja maasto muuttuu äkillisesti. Tämä johtuu yksirunkoisesta arkkitehtuurista, joka yrittää tasapainottaa taustan säilyttämistä ja etualan luomista.”

”Cog-Inp saavuttaa perustason inpainting-tuloksia, mutta sen sekoitusoperaatio ei tunnista maskin rajoja, mikä aiheuttaa merkittäviä kuvavirheitä.”

”Lisäksi VideoPainter voi luoda yli minuutin mittaisia yhtenäisiä videoita ja säilyttää identiteetin jatkuvuuden ID-uudelleennäytteenoton avulla.”

Tutkijat testasivat myös VideoPainterin kykyä rikastaa kuvatekstejä ja parantaa siten tuloksia. Järjestelmää verrattiin UniEditiin, DiT-Ctrliin ja ReVideoon.

Videon muokkaustulokset kolmea aiempaa lähestymistapaa vastaan.

Tutkijat kommentoivat:

”VideoPainter menestyy VPBenchin molemmissa tehtävissä erinomaisesti sekä tavallisissa että pitkissä videoissa ja ylittää jopa päästä päähän toimivan ReVideon. Menestys perustuu kaksiharaiseen arkkitehtuuriin, joka yhdistää taustan säilyttämisen ja etualan luomisen: muokkaamattomat alueet pysyvät uskollisina alkuperäiselle, muokatut alueet vastaavat ohjeita ja inpainting-alueen ID-uudelleennäytteenotto säilyttää identiteetin pitkissä videoissa.”

Vaikka tutkimus sisältää staattisia laadullisia esimerkkejä tästä mittarista, ne eivät ole erityisen havainnollisia. Siksi suosittelemme tarkastelemaan projektin eri videoissa julkaistuja esimerkkejä.

Lopuksi toteutettiin käyttäjätutkimus, jossa 30 osallistujaa arvioi 50 satunnaisesti valittua tulosta VPBenchin inpainting- ja editointiosajoukoista. Arvioinnissa painotettiin taustan säilymistä, kuvatekstin mukaisuutta ja videon kokonaislaatua.

Käyttäjien tutkimuksen tulokset VideoPainterista.

Tutkijat toteavat:

”VideoPainter ylitti selvästi nykyiset vertailumenetelmät ja sai suuremman osuuden käyttäjien valinnoista kaikilla arviointikriteereillä kummassakin tehtävässä.”

Tutkijat myöntävät kuitenkin, että VideoPainterin tulosten laatu riippuu pohjamallista, joka voi kamppailla monimutkaisen liikkeen ja fysiikan kanssa. Myös heikkolaatuiset maskit tai sisältöön huonosti sopivat kuvatekstit heikentävät tulosta.

Johtopäätös

VideoPainter vaikuttaa arvokkaalta lisältä tutkimuskirjallisuuteen. Monien viimeaikaisten ratkaisujen tavoin se vaatii kuitenkin huomattavasti laskentatehoa. Lisäksi useat projektisivulle valitut esimerkit jäävät kauas parhaista tuloksista. Olisi siksi kiinnostavaa nähdä, miten kehys vertautuu tuleviin menetelmiin ja laajempaan joukkoon aiempia ratkaisuja.

* Tässä yhteydessä ”videoeditointi” ei tarkoita perinteistä eri leikkeiden kokoamista peräkkäiseksi kokonaisuudeksi, vaan olemassa olevien videoleikkeiden sisällön suoraa muuttamista koneoppimismenetelmillä.

Julkaistu maanantaina 10. maaliskuuta 2025. Päivitetty lauantaina 25. heinäkuuta 2026 korvaamaan video.