Esineiden ja henkilöiden poistaminen videosta tekoälyllä

Ei, lapsi ei jää kuvaan, jos tekoäly saa päättää.

Ihmisten ja esineiden poistaminen kuvista ja videoista on suosittu tutkimussuunta visuaalisiin tehosteisiin keskittyvässä tekoälytutkimuksessa. Haastetta varten kehitetään yhä enemmän aineistoja ja menetelmäkokonaisuuksia. Uusin niistä on Kiinan Fudanin yliopiston suurdata-instituutin EffectErase, videolla esiintyvien kohteiden poistamiseen tarkoitettu, niiden vaikutukset huomioiva järjestelmä. Tekijöiden mukaan se parantaa testeissä selvästi aiempaa huipputasoa:

Projektin sivuston aineistosta koottuja esimerkkejä EffectErase-menetelmästä. Huomaa, että linkittämämme lähdesivuston lukuisat tarkat ja optimoimattomat automaattisesti toistuvat videot voivat heikentää selaimen vakautta. Artikkelin lopussa upotettu YouTube-video tarjoaa helpommin käytettävän ja kattavamman esittelyn.  Lähde

Uudessa työssä luotiin ja koottiin osittain uusi aineisto, jossa on lähes 350 alkuperäistä todellista tai synteettistä kohtausta. Ne joko kuvattiin tarkoitukseen varatulla laitteistolla tai hankittiin muualta ja sovitettiin avoimen lähdekoodin Blender 3D -ympäristön ympärille rakennettuun työnkulkuun hyödyntäen julkisia aineistovarastoja*.

Todellista ja synteettistä aineistoa yhdistävä Video Object Removal (VOR) -aineisto muodostaa perustan EffectErase-sovellukselle, joka rakentuu Wan2.1-videogenerointijärjestelmän varaan. Työssä määritellään myös kaksi siihen liittyvää uutta vertailutestiä: VOR Eval ja VOR Wild – ensin mainitun näytteissä on ja jälkimmäisen näytteissä ei ole vertailutotuutta.

(Vaikka tutkimuksella on oma projektisivusto, sen lukuisat tarkat videot kuormittavat sivua ja vaikeuttavat lataamista. Jos sivusto on hankala käyttää, voit katsoa yllä olevaan upotettuun videoon kokoamani otteet.)

Uuden aineiston määrällinen vertailu vastaaviin aiempiin aineistoihin. Lähde

Tutkijoiden mukaan heidän lähestymistapansa saavuttaa huipputason tulokset sekä määrällisillä mittareilla että laadullisesti ihmisten arvioimana.

He huomauttavat, etteivät aiemmat menetelmät ole aina poistaneet kohteen oheisvaikutuksia, kuten varjoja ja heijastuksia. Heidän aineistonsa on laadittu huolellisesti tämän puutteen korjaamiseksi:

Esimerkkejä siitä, miten aiemmat menetelmät eivät ole huomioineet poistettavan kohteen lisäksi sen muita merkkejä, kuten heijastuksia ja varjoja.

Uuden tutkimusjulkaisun nimi on EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing, ja sen on laatinut neljä tutkijaa Fudanin yliopiston tietojenkäsittelytieteen ja tekoälyn tiedekunnasta.

Menetelmä

Todellista ja synteettistä aineistoa yhdistävä VOR suunniteltiin kattamaan niin laaja tilanteiden kirjo, että kaikki henkilön tai esineen videolta poistamiseen liittyvät seuraukset tulisivat huomioiduiksi:

VOR-aineiston kuvaparit osoittavat, että kohteen poistamisen on ulotuttava näkyvän kohteen lisäksi sen aiheuttamiin vaikutuksiin. Esimerkeissä näkyvät peittyminen, varjot, valaistuksen muutokset, heijastukset ja fyysiset muodonmuutokset. Kussakin syötekuvan, jossa kohde on läsnä, rinnalla on vastaava puhdas tausta poistamisen jälkeen. Lisää esimerkkejä on artikkelin loppuun upotetussa YouTube-videossa.

Tekijät määrittelevät viisi edustavaa poistettavaa häiriötyyppiä: peittyminen, mukaan lukien erilaiset lasin ja savun aiheuttamat peittymiset; varjot; valaistus (esimerkiksi poistettavan kohteen synnyttämä tai muuttama valon kulku); heijastukset; sekä muodonmuutokset (esimerkiksi henkilön jättämä painauma tyynyyn, jonka ei pitäisi jäädä näkyviin henkilön poistamisen jälkeen).

VOR-aineiston muodostamisen työnkulku yhdistää Blenderillä tuotetut synteettiset kohtaukset todellisiin kuvauksiin. Synteettinen aineisto rakentuu valikoiduista 3D-ympäristöistä, esineistä ja kameraradoista. Todelliset videot kuvataan erilaisissa ympäristöissä ja niihin lisätään Ken Burns -liikettä. SAM2-segmentointi ja käsin tehtävä viimeistely tuottavat kohdistetut etuala-, tausta- ja maskivideoiden kolmikot.

Alkuperäistä todellista aineistoa varten tutkijat kuvasivat kiinteillä kameroilla samat näkymät kohteen kanssa ja ilman sitä monenlaisissa ympäristöissä, eri vuorokaudenaikoina ja sääoloissa.

Synteettistä aineistoa varten renderöitiin useita näkökulmia ja luotiin usean kohteen tilanteita. Niihin sisällytettiin tarkoituksella monimutkaisia ja haastavia kameraliikkeitä, joita voi esiintyä oikeassa kuvamateriaalissa. Tutkijoiden mukaan lähestymistapa on kehittyneempi ja työläämpi kuin muuten samankaltaisessa Remove Objects with Side Effects in Videos (ROSE) -aineistossa käytetty menetelmä.

Liikkeen monipuolistamiseksi Ken Burns -tehostetta sovellettiin kameralla kuvattuihin pareihin. Se lisäsi hallittuja panorointeja, zoomauksia ja vähäistä käsivaraliikettä neljäntoista ennalta määritellyn säännön mukaisesti. Kullekin parille poimittiin viisi liikemallia ja rajaus pidettiin alkuperäisen kuvan sisällä.

Laajuutta ja monipuolisuutta kasvatettiin edelleen yhdistämällä synteettisiä kohteita erilaisiin kamera-asetelmiin. Maskit luotiin merkitsemällä käsin pistekehotteita avainkuviin, levittämällä segmentointi Segment Anything 2 (SAM2) -menetelmällä, siistimällä ja tarkentamalla tulokset sekä kokoamalla validoidut etuala-, tausta- ja maskikolmikot koulutusta varten.

Lopullinen kokoelma sisältää 145 tuntia todellista ja synteettistä videota 60 000 videoparissa. Se kattaa 366 kohdeluokkaa ja 443 kohtausta.

EffectErase-verkko vastaanottaa aineiston variaatioautoenkooderin (VAE^†) kautta, ja Wan2.1 huolehtii latenttiesityksen kohinanpoistosta. Tämän rungon päälle EffectErase rakentaa kolme osaa: Removal-Insertion Joint Learning, jossa poistamista ja lisäämistä opetetaan yhdessä samoilla alueilla; Task-Aware Region Guidance (TARG), joka käyttää kohde- ja tehtävätokeneita yhdessä ristikkäishuomion kanssa mallintaakseen kohteiden ja niiden vaikutusten ajallisia ja paikallisia yhteyksiä sekä mahdollistaakseen tehtävän vaihtamisen; ja Effect Consistency Loss, joka kohdistaa vaikutusalueet toisiinsa poistamis- ja lisäämistehtävissä:

EffectErase-menetelmän rakenne. Koulutuksessa videoparit koodataan yhteiseen latenttitilaan, niihin yhdistetään kohinaa ja ne käsitellään tehtävätietoisen ristikkäishuomion ohjaamassa diffuusiotransformerissa. Vaikutusten johdonmukaisuuden häviö kohdistaa poistamisen ja lisäämisen alueet niin, että tehtävät keskittyvät samaan kohtaan.

Poistamista ja lisäämistä opetetaan yhdessä yhteisellä diffuusiorungolla, jotta malli oppii huomioimaan samat vaikutusalueet ja rakenteelliset vihjeet.

Kohteen sisältävät videot, pelkän taustan videot ja maskit koodataan ensin latenttitilaan. Diffuusiokoulutusta varten lisätään kohinaa, ja malli oppii palauttamaan puhtaat esitykset tehtäväkohtaisen ohjauksen avulla. Kevyt sovitin yhdistää kohinaiset piirteet poistamisen tai lisäämisen ehtoihin. Näin tehtävät voivat jakaa opetusohjauksen mutta säilyvät erikseen ohjattavina.

Task-Aware Region Guidance muodostaa tehtäväkohtaisen signaalin yhdistämällä kielitokeneihin etualan kohteesta CLIP-mallilla poimitut visuaaliset piirteet. Yleinen kohdetoken korvataan todellisesta kuvasisällöstä johdetulla upotuksella. Yhdistetty esitys syötetään runkoon ristikkäishuomion kautta, jolloin malli seuraa kohteen ja sen visuaalisten vaikutusten kehitystä ajassa ja paikassa sekä voi vaihtaa joustavasti poistamisen ja lisäämisen välillä.

Effect Consistency Loss pakottaa poistamis- ja lisäämisprosessit keskittymään samoihin muuttuneisiin alueisiin, koska molemmat käsittelevät samaa kohdetta ja sen visuaalisia vaikutuksia. Haarojen huomiokartat yhdistetään pehmeiksi aluekartoiksi ja kohdistetaan erokarttaan, joka lasketaan kohteen sisältävän videon ja taustavideon perusteella. Näin myös pienet muutokset, kuten valaistus ja varjot, huomioidaan. Tämä ylimääräinen häviötermi auttaa lisäämistehtävää ohjaamaan poistamista ja pitää tehtävät keskenään johdonmukaisina.

Aineistot ja testit

Tutkijat vertasivat lähestymistapaansa kuvan- ja videontäydennysmenetelmiin sekä kohteiden poistomenetelmiin: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; ja MiniMax-Remover.

Wan2.1:tä hienosäädettiin LoRA-menetelmällä^†† VOR-aineistolla 832 × 480 pikselin tarkkuudella. Koulutusta varten poimittiin satunnaisesti 81 peräkkäisen ruudun jaksoja (WANin käytännön enimmäispituus, jonka ylittäminen aiheuttaa usein virheitä). Koulutus kesti 129 000 iteraatiota, ja eräkoko oli 8. Käytössä oli kahdeksan H100-grafiikkasuoritinta, joissa kussakin oli 80 gigatavua näyttömuistia. Oppimisnopeudeksi asetettiin 1 × 10² ja LoRA-rangiksi 256.

Synteettinen ROSE-Benchmark oli ainoa testattu ulkopuolinen aineisto. Kaksi muuta olivat VOR-Eval eli VOR-aineiston testiosajoukko sekä VOR-Wild, joka sisältää 195 internetistä kerättyä oikeaa videota, joissa esiintyy ”dynaamisia kohteita”.

Arviointimittareina käytettiin seuraavia: huippusignaali-kohinasuhde (PSNR), rakenteellisen samankaltaisuuden indeksi (SSIM), opittu havaintopohjainen kuvapaikkojen samankaltaisuus (LPIPS) ja Fréchet-videoetäisyys (FVD). Lisäksi tehtiin käyttäjätutkimus, jossa 20 vapaaehtoista arvioi 195:tä VOR-Wild-aineistosta tuotettua videota ja heidän arvioistaan laskettiin keskiarvot.

Tutkijat kehittivät myös QScore-mittarin, joka hyödyntää multimodaalista Qwen-VL-mallia. Sillä arvioidaan kohteiden poistamisen jälkeisten videoiden laatua esimerkiksi jäljelle jääneiden artefaktien tai poistamatta jääneiden ympäristövaikutusten, kuten varjojen ja valaistusvaikutusten, perusteella:

Määrällinen vertailu ROSE- ja VOR-vertailuaineistoilla. Parhaat tulokset on lihavoitu ja toiseksi parhaat alleviivattu.

Tutkijat toteavat tuloksista seuraavaa:

”[Nykyiset] kuvien täydennysmenetelmät käsittelevät yksittäisiä ruutuja 2D-malleilla ilman ajallista mallinnusta, eivätkä ne siksi pysty säilyttämään videoiden ajallista johdonmukaisuutta.

Viimeaikaiset videoiden täydennys[menetelmät] eivät mallinna kohteiden sivuvaikutuksia erikseen, mikä johtaa epäluonnollisiin poistotuloksiin. Nykyiset kohteiden poistamiseen videoista tarkoitetut [menetelmät] eivät mallinna kohteen ja sen sivuvaikutusten välisiä tila-ajallisia yhteyksiä, minkä vuoksi ne tuottavat usein artefakteja ja jättävät poistetuista kohteista jälkiä.

”Kaiken kaikkiaan EffectErase saavuttaa alan parhaat tulokset kaikilla aineistoilla ja arviointimittareilla. Se saa parhaat pisteet videon laatua mittaavalla FVD-mittarilla, mikä osoittaa tuotettujen videoiden erinomaista ajallista sujuvuutta ja johdonmukaisuutta.

”Menetelmämme saa myös korkeimmat QScore-pisteet ja käyttäjäarviot, mikä osoittaa edelleen sen kyvyn tuottaa visuaalisesti vakuuttavia poistotuloksia.”

Laadullista arviointia varten tutkimuspaperissa esitetään pysäytyskuvia, jotka näkyvät suoraan alla. Liikkuvia tuloksia voi puolestaan tarkastella projektin sivustolla ja siihen liittyvässä YouTube-videoesityksessä:

Laadullinen vertailu VOR-Eval-aineistolla tapauksissa, joihin liittyy peittymistä, varjoja, valaistusta, heijastuksia ja muodonmuutoksia. Täydennysmenetelmillä on vaikeuksia poistaa maskin ulkopuolisia vaikutuksia, kun taas poistomallit jättävät usein näkyviä artefakteja. EffectErase poistaa sekä kohteet että niihin liittyvät vaikutukset siistimmin. Tarkemmat kuvat löytyvät alkuperäisestä tutkimuspaperista ja videoesimerkit projektin sivustolta.

Suosittelemme lukijalle myös projektin sivuston monipuolisia esimerkkejä, joista yksi on esikatseltavissa alla, sekä artikkelin loppuun upotettua virallista YouTube-videota:

Toista napsauttamalla. Vertailuesimerkki EffectErase-projektin sivustolta. Tarkempi versio (edellä mainituin varauksin) ja lisää esimerkkejä löytyvät sivustolta.

Tutkijat kommentoivat:

”Videoiden täydennys[menetelmät] tuottavat usein artefakteja maskin alueelle eivätkä onnistu poistamaan kokonaan poistettujen kohteiden aiheuttamia sivuvaikutuksia. Aiemmat kohteiden poistomenetelmät, kuten [ROSE] ja [MinMax-Remover], poistavat kohteet hyvin, mutta niillä on yhä vaikeuksia sivuvaikutusten kanssa, erityisesti peittymiseen, varjoihin, valaistukseen, heijastuksiin ja muodonmuutoksiin liittyvissä tilanteissa.

”EffectErase puolestaan poistaa tehokkaasti sekä kohteet että niihin liittyvät vaikutukset ja tuottaa siistejä, johdonmukaisia ja laadukkaita tuloksia.”

Lopuksi tutkijat toteavat, että menetelmää voidaan mukauttaa myös kohteiden lisäämiseen poistamisen sijasta ilman lisäkoulutusta:

Tuloksia kohteiden lisäämisestä videoon. EffectErase lisää kohteita säilyttäen taustan sisällön ja tuottaen ruudusta toiseen johdonmukaisia kohteiden aiheuttamia vaikutuksia, kuten varjoja ja heijastuksia.

Lisäystehtävän videoesimerkkejä voi tarkastella aikaleimalla varustetun YouTube-linkin kautta. Sama video on upotettu myös artikkelin loppuun ilman aikaleimaa.

Johtopäätös

Kirjallisuuden samankaltaisia hankkeita tarkastelemalla huomaa, että monet toivovat yhä yleiskäyttöisten VFX-mallien lopulta sisällyttävän tällaiset toiminnot yleiseen ”työkalupakkimalliin”, joka on suunniteltu monenlaisiin tehosteisiin tämän yhden tehtävän sijasta.

”Jokapaikanhöylä”-periaatteen perusteella vaikuttaa kuitenkin kohtuulliselta olettaa, että EffectErasen kaltaiset erikoistuneet järjestelmät säilyttävät etumatkansa yleisempiin lähestymistapoihin nähden. Varaus on, että ero voi lopulta kaventua niin pieneksi, ettei erillisen mallin kouluttamisen vaatima lisätyö enää kannata.

* Immateriaalioikeuksiin liittyvän alkuperän selvittämisestä kannetaan yhä enemmän huolta, joten toivoisi kaikkien tällaisten lähteiden tulevan mainituiksi. Jos uuden tutkimuksen saatavilla olevissa materiaaleissa kuitenkin kerrotaan 3D-mallien lähde, en onnistunut löytämään kyseistä viittausta.

^† Annettu viite vaikuttaa olevan yleisluonteinen selittävä teksti vuodelta 2013. Käytettyä VAE-mallia ei yksilöidä.

^†† Tämä tutkimuspaperista otettu kuvaus on merkitykseltään epäselvä, sillä hienosäätö ja LoRA ovat eri prosesseja, joiden vaatimukset poikkeavat huomattavasti toisistaan.

Julkaistu ensimmäisen kerran lauantaina 21. maaliskuuta 2026