Kuvauskäsittelyn automaattinen tasoittaminen, joka ymmärtää kohtauksia

Vuoden 2003 DVD-julkaisun Alien³ (1992) lisämateriaaleissa visual effects -legenda Richard Edlund muisteli kauhuksi “sumo-painia” valokuvallisen matte-erottelun prosessista, joka hallitsi visuaalisten efektien työtä 1930-luvun lopusta 1980-luvun loppuun. Edlund kuvasi prosessin epävarmuuden “sumo-painina” verrattuna digitaalisiin blue/green-screen -tekniikoihin, jotka tulivat käyttöön 1990-luvun alussa (ja hän on palannut metaforaan myöhemmin).

Taustan erottaminen etumaisesta kohteesta (kuten henkilö tai avaruusalusmalli), jotta leikattu kuva voisi koostaa taustalevyyn, saavutettiin alun perin kuvaamalla etumainen kohde yhdenmukaisen sinisen tai vihreän taustan edessä.

Työllinen valokuvallinen erotteluprosessi VFX-kuvalle ILM:ltä elokuvaan ‘Jedin paluu’ (1983). Lähde: https://www.youtube.com/watch?v=qwMLOjqPmbQ

Tuloksena olevassa kuvamateriaalissa taustan väri eristettiin myöhemmin kemiallisesti ja käytettiin mallina etumaisen kohteen (tai henkilön) uudelleenjulkaisemiseen optisessa tulostimessa “liukuvana” kohteena muuten läpinäkyvässä elokuvakellossa.

Prosessi tunnettiin värierottelun ylittämisellä (CSO) – vaikka tämä termi myöhemmin liitettiin enemmän karkeaan ‘Chromakey’ -videoefekteihin alhaisemmin budjetoiduissa televisio-ohjelmissa 1970- ja 1980-luvuilla, jotka saavutettiin analogisilla, ei kemiallisilla tai digitaalisilla keinoilla.

Värierottelun ylittämisen esittely vuonna 1970 brittiläisessä lastenohjelmassa ‘Blue Peter’. Lähde: https://www.bbc.co.uk/archive/blue_peter_noakes_CSO/zwb9vwx

Milloin tahansa, olipa kyse elokuvasta tai videomateriaalista, erotettu kuva voitiin sitten lisätä mihin tahansa muuhun kuvaan.

Vaikka Disneyn huomattavasti kalliimman ja omistaman natrium-höyryprosessin (joka avainkohtaisesti keltaiseen ja jota käytettiin myös Alfred Hitchcockin vuoden 1963 kauhuelokuvaan The Birds) antoi paremman määrityksen ja terävemmät maskit, valokuvallinen erottelu säilyi vaativana ja epäluotettavana.

Disneyn omistama natrium-höyry-erotteluprosessi vaati taustoja lähellä keltaisen spektrin päätä. Tässä Angela Lansbury on ripustettu langasta VFX-laitteiston tuotantoon ‘Bedknobs and Broomsticks’ (1971). Lähde

Digitaalisen tasoittamisen ulottuvuus

1990-luvulla digitaalivallankumous luopui kemiasta, mutta ei tarpeesta vihreisiin taustoihin. Nyt oli mahdollista poistaa vihreä (tai mikä tahansa väri) tausta etsimällä kuvanmuokkausohjelmistossa, kuten Photoshopissa, pikseleitä, jotka olivat siedettävän lähellä kyseistä väriä, ja uudessa videokompositio-ohjelmistossa, joka voisi automaattisesti poistaa värilliset taustat. Melkein yhdessä yössä kuusikymmentä vuotta optisen tulostimen teollisuudesta hävisi historiaan.

Viimeisen kymmenen vuoden aikana GPU-kiihdytetty tietokoneen näköalojen tutkimus on vienyt tasoittamisen kolmanteen aikakauteen, asettamalla tutkijoille tehtäväksi kehittää järjestelmiä, jotka voivat erottaa korkealaatuisia maskeja ilman vihreitä taustoja. Arxivissa yksin aiheeseen liittyvät tutkimuspaperit ovat viikoittainen ilmiö.

Meidät kuvan sisään

Tämä akateemisen ja teollisuuden kiinnostuksen keskipiste AI-erottelussa on jo vaikuttanut kuluttajasektoriin: karkeat mutta toimivat toteutukset ovat meille kaikille tuttuja Zoomin ja Skypen suodattimina, jotka voivat korvata elämänmaailmamme taustat trooppisilla saarilla jne. videoneuvotteluissa.

Kuitenkin parhaat maskit edellyttävät edelleen vihreää taustaa, kuten Zoom huomautti viime keskiviikkona.

Vasemmalla, mies vihreän taustan edessä, jossa on hyvin erottuva tukka Zoomin Virtuaalisen taustan ominaisuuden kautta. Oikealla, nainen normaalissa kotitaustassa, jossa tukka on erotettu algoritmisesti, vähemmän tarkasti ja suuremmilla laskentavaatimuksilla. Lähde: https://support.zoom.us/hc/en-us/articles/210707503-Changing-your-Virtual-Background-image

Lisäksi Zoomin tukisivuilta varoitetaan, että ei-vihreän taustan erottelu vaatii myös enemmän laskentatehoa tallennuslaitteessa.

Tarve leikata se pois

Laadun, kannettavuuden ja resurssitalouden parantaminen “villissä” tasoittamisjärjestelmissä (ts. erottaminen ilman vihreitä taustoja) on relevanttia monille aloille ja toimialoille kuin vain videoneuvottelusuodattimille.

Parannettu kasvokuvien, pään ja kehon tunnistaminen tarjoaa mahdollisuuden varmistaa, että taustan ylimääräiset elementit eivät sisälly tietokoneen näkömalliin, ja tarkempi erottelu parantaisi semanttista segmentointia sekä VAE ja transformer -pohjaisia kuvansynteesijärjestelmiä, kuten OpenAI:n uutta DALL-E 2:ta; ja paremmat erottelualgoritmit vähentäisivät kalliiden manuaalisten rotoskooppausten tarvetta kalliissa VFX-piipputeissä.

Todellisuudessa multimodaalisten (yleensä teksti/kuva) menetelmien nousu, joissa domeeni kuten “kissa” koodataan sekä kuvana että liittyvillä tekstiviittauksilla, on jo vaikuttanut kuvankäsittelyyn. Yksi viimeaikainen esimerkki on Text2Live -arkkitehtuuri, joka käyttää multimodaalista (teksti/kuva) koulutusta luomaan videoita, muun muassa kristallikurkkuja ja lasigiraffeja.

Scene-tietoinen AI-tasoittaminen

Suuri osa AI-pohjaisen automaattisen tasoittamisen tutkimuksesta on keskittynyt reunan tunnistamiseen ja pikseleiden ryhmittämisen arviointiin kuvan tai videokehyskohtaisesti. Uusi tutkimus Kiinasta esittää erotteluputken, joka parantaa rajanvedon laatua hyödyntämällä tekstipohjaisia kuvauskohtauksia (multimodaalinen lähestymistapa, joka on saavuttanut jalansijaa tietokoneen näön tutkimussektorilla viimeisen 3-4 vuoden aikana), väittäen parantaneensa aiempia menetelmiä useilla tavoilla.

Esimerkki SPG-IM-erottelusta (viimeinen kuva, alhaalla oikealla), verrattuna edeltäviin menetelmiin. Lähde: https://arxiv.org/pdf/2204.09276.pdf

Hauska haaste asetetaan erottelututkimuksen alasektorille tuottaa työnkulkuja, jotka vaativat vain vähäistä manuaalista annotointia ja ihmisen väliintuloa – mieluummin ei mitään. Tutkijoiden mukaan annotoinnit ja manuaaliset segmentoinnit, jotka tehdään ulkoistetuilla joukkotyöntekijöillä eri kulttuureissa, voivat aiheuttaa, että kuvat merkitään tai jopa segmentoidaan eri tavoilla, johtaen epäjohdonmukaisiin ja tyydyttämättömiin algoritmeihin.

Yksi esimerkki tästä on subjektiivinen tulkinta siitä, mitä määrittelee “etumaisen kohteen”:

Uudesta paperista: aiemmat menetelmät LFM ja MODNet (‘GT’ tarkoittaa Ground Truth, “ihannetulosta”, joka usein saavutetaan manuaalisesti tai ei-algoritmisten menetelmien avulla), ovat erilaisia ja vaihtelevasti tehokkaita etumaisen sisällön määrittelyssä, kun taas uusi SPG-IM-menetelmä määrittää “lähellä olevan sisällön” kohtauksen kontekstissa tehokkaammin.

Tätä varten tutkijat ovat kehittäneet kaksivaiheisen putken nimeltä Tilanneherkkä havaintojen ohjaus -kuvauskäsittely (SPG-IM). Kaksivaiheisen koodarin/dekooderin arkkitehtuuri koostuu Tilannehavainnon tislaamisesta (SPD) ja Tilannehavainnon ohjatusta tasoittamisesta (SPGM).

SPG-IM-arkkitehtuuri.

Ensin SPD esikouluttaa visuaalisiin tekstuaalisiin muunnoksiin, generoiden kuvauksia, jotka ovat sopivia niiden liittyville kuville. Tämän jälkeen etumaisen maskin ennustaminen on mahdollista yhdistämällä putki uuteen herkkyyden ennustamistekniikkaan.

Sitten SPGM tuottaa arvioidun alfa-maskin perustuen raakaan RGB-kuvaan ja maskiin, joka saadaan ensimmäisessä moduulissa.

Tavoitteena on tilannehavainnon ohjaus, jossa järjestelmällä on kontekstuaalinen ymmärrys siitä, mitä kuva koostaa, mikä mahdollistaa sen kehyskohdassa – esimerkiksi – haasteen, jossa on kyse monimutkaisen hiusten erottamisesta taustasta tunnettuja ominaisuuksia vastaan.

Alla olevassa esimerkissä SPG-IM ymmärtää, että narut ovat olennaisia laskuvarjolle, kun taas MODNet ei onnistu säilyttämään ja määrittämään näitä yksityiskohtia. Vastaavasti ylempänä, koko leikkauksen rakennetta menetetään MODNetissä satunnaisesti.

Uusi paperi on nimeltään Tilannehavainnon ohjaus -kuvauskäsittely, ja se tulee tutkijoilta OPPO Research Institute, PicUp.ai ja Xmotors.

Älykkäät automaattiset maskit

SPG-IM tarjoaa myös sopeutuvan fokusoivan muodonmuutosverkon, joka voi prosessoida paikallisia yksityiskohtia ja globaalia kontekstia erikseen, mahdollistaen “älykkäät maskit”.

Kohtauksen kontekstin ymmärtäminen, tässä tapauksessa ‘tyttö hevosen kanssa’, voi tehdä etumaisen erottamisen helpommaksi kuin aiemmat menetelmät.

Paperi toteaa:

‘Uskomme, että visuaaliset edustukset visuaalisten ja tekstuaalisten tehtävien välillä, esim. kuvauskäsittely, keskittyvät enemmän semanttisesti kattaviin signaaleihin a) kohteesta kohteeseen ja b) kohteesta ympäristöön, jotta voidaan luoda kuvauksia, jotka voivat kattaa sekä globaalit tiedot että paikalliset yksityiskohdat. Lisäksi verrattuna kuvankäsittelyn kalliiseen pikselianalyysiin, tekstilabelit voidaan kerätä massiivisesti hyvin alhaisella kustannuksella.’

SPD-haara arkkitehtuurissa on yhdessä koulutettu Michiganin yliopiston VirTex -transformaattoripohjaisen tekstidekooderin kanssa, joka oppii visuaalisia edustuksia semanttisesti tiheistä kuvauksista.

VirTex kouluttaa yhdessä ConvNetin ja Transformersin kuvatekstiparien kautta ja siirtää saadut havainnot eteenpäin näön tehtäviin, kuten esineen havaitsemiseen. Lähde: https://arxiv.org/pdf/2006.06666.pdf

Muiden testien ja ablaatiotutkimusten ohella tutkijat testasivat SPG-IM:ää valtiollisia trimap -menetelmiä vastaan, kuten Deep Image Matting (DIM), IndexNet, Context-Aware Image Matting (CAM), Guided Contextual Attention (GCA), FBA, ja Semantic Image Mapping (SIM).

Muita aiempia kehyksiä, joita testattiin, olivat trimap-vapaiden lähestymistapojen LFM, HAttMatting, ja MODNet. Reilun vertailun vuoksi testimenetelmiä sovellettiin eri metodologioihin; kun koodia ei ollut saatavilla, paperin tekniikoita jäljiteltiin kuvatusta arkkitehtuurista.

Paperi toteaa:

‘Meidän SPG-IM ylittää kaikki kilpailevat trimap-vapaiden menetelmät ([LFM], [HAttMatting], ja [MODNet]) suurella marginaalilla. Lisäksi mallimme osoittaa merkittävää ylemmyyttä valtiollisia trimap-pohjaisia ja maskin ohjaamia menetelmiä vastaan neljän mittarin osalta julkisissa tietokannoissa (ts. Composition-1K, Distinction-646, ja Human-2K), ja meidän Multi-Object-1K -vertailumittari.

Ja jatkaa:

‘On selvää, että meidän menetelmämme säilyttää hienot yksityiskohdat (esim. hiusten kärjet, läpinäkyvät tekstuuri ja reunat) ilman trimap-ohjausta. Lisäksi verrattuna muihin kilpaileviin trimap-vapaisiin malleihin, meidän SPG-IM voi säilyttää paremman globaalin semanttisen täydellisyyden.’

Julkaistu ensimmäisen kerran 24. huhtikuuta 2022.