Erottamalla “yhdistetyt” ihmiset tietokoneen näkökulmasta

Hyundai Motor Group Innovation Centerin uusi tutkimus Singaporesta esittää menetelmän “yhdistettyjen” ihmisten erottamiseksi tietokoneen näkökulmasta – tapauksissa, joissa objektin tunnistamisviitekehyksessä on havaittu ihminen, joka on jollain tavoin “liian lähellä” toista ihmistä (kuten “halauksia” tai “seisomista” asennoissa), eikä pysty erottamaan kahta henkilöä, sekoittaen heidät yhdeksi henkilöksi tai olennoksi.

Tämä on merkittävä ongelma, joka on saanut paljon huomiota tutkimusyhteisössä viime vuosina. Sen ratkaiseminen ilman ilmeistä, mutta yleensä kallista, hyperskaalan, ihmisten johtamaa mukautettua merkintää voisi lopulta mahdollistaa parannuksia ihmisten yksilöintiin teksti-kuva-järjestelmissä, kuten Stable Diffusion, joka usein “sulattaa” ihmiset yhteen, kun ohjattu asento vaatii useita henkilöitä olemaan lähellä toisiaan.

Vaikka generatiiviset mallit, kuten DALL-E 2 ja Stable Diffusion, eivät (kukaan ei tiedä, suljetun DALL-E 2:n tapauksessa) tällä hetkellä käytä semanttista segmentaatiota tai objektin tunnistamista, nämä ihmisportaat eivät voisi parantaa soveltamalla näitä ylävirta-menetelmiä – koska objektin tunnistamisen kirjastot ja resurssit eivät ole paljon parempia erottamaan ihmisiä kuin CLIP-pohjaiset työvirrat latentti-diffuusiomalleissa.

Tätä ongelmia koskevaan uusi tutkimus – uusi tutkimus – soveltaa ja parantaa äskettäin kehitettyä “leikkaa ja liimaa” -lähestymistapaa puolisynteettisiin tietoihin saavuttaakseen uuden SOTA-johtajuuden tehtävässä, jopa haastavimpien lähteiden materiaaleja vastaan:

Leikkaa se pois!

Muokattu menetelmä – nimeltään Occlusion Copy & Paste – on johdettu vuoden 2021 Simple Copy-Paste -tutkimuksesta, jota johti Google Research, joka ehdotti, että esineiden ja ihmisten yhdistäminen moniin koulutuskuviin voisi parantaa kuvantunnistusjärjestelmän kykyä erottaa kunkin esiintymän kuvassa:

Uusi versio lisää rajoituksia ja parametrejä tähän automaattiseen ja algoritmiseen “liimaukseen”, analogisoiden prosessin “korin” valokuvien joukkoon, joka on täynnä potentiaalisia ehdokkaita “siirtämiseksi” muihin valokuvien, useiden avaintekijöiden perusteella.

Elementtien hallinta

Nämä rajoittavat tekijät sisältävät todennäköisyyden leikkaamisesta ja liimauksesta, joka varmistaa, että prosessi ei tapahdu aina, mikä saavuttaisi “täyttämisen” vaikutuksen, joka heikentäisi data-augmentaatiota; kuville määrä, joka “korissa” on kerran, missä suurempi määrä “segmenttejä” voi parantaa esiintymien monimuotoisuutta, mutta lisää esikäsittelyaikaa; ja etäisyys, joka määrittää kuville, joissa liimataan, määrän.

Viimeksi mainitun suhteen tutkimus toteaa ‘Tarvitsemme riittävästi peittämistä, mutta ei liian paljon, koska se voi häikäistä kuvaa, mikä voi olla haitallista oppimiselle.’

Muiden OC&P:n innovaatioiden joukossa ovat kohdennettu liimaus ja esiintymän liimaus.

Kohdennettu liimaus varmistaa, että soveltuva kuva laskee lähelle olemassa olevaa esiintymää kohdevalossa. Edellisessä lähestymistavassa, aiemmasta työstä, uusi elementti oli rajoitettu ainoastaan kuvan rajojen sisällä, ilman kontekstin huomioon ottamista.

<img class="wp-image-184148 size-full" src="https://www.unite.ai/wp-content/uploads/2022/10/targeted-pasting.jpg" alt="Vaikka tämä 'liimaa', kohdennettuun liimaukseen, on ilmiselvä ihmissilmille, sekä OC&P että sen edeltäjä ovat havainneet, että lisääntynyt visuaalinen uskottavuus ei välttämättä ole tärkeää, ja se voi jopa olla haitallista (ks. 'Reality Bites' alla).

Esiintymän liimaus varmistaa, että liimatut esiintymät eivät näytä “omaleimaiselta” tyyppiä, joka voisi johtaa siihen, että järjestelmä luokittelee sen jollain tavoin, mikä voisi johtaa poisjääntiin tai “erityiskohteluun”, joka voisi haitata yleistettävyyttä ja soveltamista. Esiintymän liimaus säätää visuaalisia tekijöitä, kuten kirkkautta ja terävyyttä, skaalausta ja kiertoa, ja värisyyttä – muiden tekijöiden joukossa.

Lisäksi OC&P säätää minimikokoa liimatun esiintymän koolle. Esimerkiksi on mahdollista, että yhden ihmisen kuva voidaan erottaa suuresta joukkokuvalta, joka voidaan liimata toiseen kuvaan – mutta sellaisessa tapauksessa pieni määrä pikseleitä ei todennäköisesti auttaisi tunnistamisessa. Siksi järjestelmä soveltaa minimikokoa, joka perustuu kohdevalokuvan sivun pituuden suhteeseen.

Lisäksi OC&P toteuttaa skaalatasoisen liimauksen, jossa se etsii samanlaisia aiheita liimapaste-aiheena. Tämä ei kuitenkaan johtaisi kuvien yhdistelmään, jota ihmiset pitäisivät uskottavana tai realistisena (ks. alla oleva kuva), vaan se kokoaa semanttisesti soveltuvia elementtejä lähelle toisiaan tavalla, joka on hyödyllistä koulutuksessa.

Todellisuus puree

Molemmat, edellinen työ, josta OC&P on johdettu, ja nykyinen toteutus, asettavat alhaisen arvon uskottavuudelle eli “valokuvamaisuudelle” lopullisessa “montaasi”-kuvassa. Vaikka on tärkeää, että lopullinen kokoonpano ei laske kokonaan Dadaismin puolelle (muuten todellisen maailman sovellukset koulutetuille järjestelmille eivät voisi koskaan kohtaata elementtejä, joita ne oli koulutettu), molemmat aloitteet ovat havainneet, että merkittävä lisäys “visuaalisessa uskottavuudessa” ei ainoastaan lisää esikäsittelyaikaa, vaan että tällaiset “realismin parantamiset” ovat todennäköisesti vastoin tuottavuutta.

<img class="wp-image-184150 size-full" src="https://www.unite.ai/wp-content/uploads/2022/10/example-augmented-images-with-random-blending.jpg" alt="Uuden tutkimuksen lisämaterialista: esimerkkejä lisätyistä kuvista "satunnaisella sekoittamisella". Vaikka nämä kohtaukset voivat näyttää hallusinogeenisilta ihmisille, ne sisältävät silti samanlaisia aiheita yhdistettyinä; vaikka peittämiset ovat fantastisia ihmissilmille, peittämisen luonteen ei voida tietää etukäteen, eikä sitä voida kouluttaa – siksi tällaiset outot "leikkaukset" muodosta riittävät pakottamaan koulutetun järjestelmän etsimään ja tunnistamaan osittaisia kohde-aiheita ilman, että tarvitaan kehittää monimutkaisia Photoshop-tyyppisiä menetelmiä tehdäkseen kohtaukset uskottavammiksi.

Data ja testit

Testivaiheessa järjestelmä koulutettiin henkilö-luokassa MS COCO -tietokannassa, joka sisälsi 262 465 ihmisten esiintymää 64 115 kuvassa. Kuitenkin, jotta saataisiin paremmat maskit kuin MS COCO:ssa on, kuvat saivat myös LVIS -maski-merkinnät.

Jotta voitiin arvioida, kuinka hyvin laajennettu järjestelmä pystyy kilpailemaan suuren määrän peittävien ihmisten kuvien kanssa, tutkijat asettivat OC&P:n OCHuman (Peittävä ihminen) -vertailuun.

Koska OCHuman-vertailu ei ole täydellisesti merkitty, uuden tutkimuksen tutkijat loivat alijoukon, joka sisälsi vain täysin merkittyjä esimerkkejä, nimeltään OCHuman^FL. Tämä vähensi henkilöiden määrää 2 240:een 1 113 kuvassa vahvistamiseksi ja 1 923 esiintymään 951 kuvassa, jotka käytettiin testaamiseen. Sekä alkuperäinen että uusi kokoelma testattiin käyttäen Keskimääräistä Tarkkuutta (mAP) päämittarina.

Jatkuvuuden vuoksi, arkkitehtuuri muodostui Mask R-CNN:stä ResNet-50-rungolla ja ominaisuuksien pyramidiverkolla, jälkimmäinen tarjoten hyväksyttyä kompromissia tarkkuuden ja koulutusnopeuden välillä.

Kun tutkijat olivat huomanneet ylävirran ImageNet-vaikutuksen haitallisen vaikutuksen samankaltaisissa tilanteissa, koko järjestelmä koulutettiin alusta lähtien neljällä NVIDIA V100 -näytönohjaimella, 75 epochin ajan, Facebookin Detectron 2 -julkaisun aloitusparametreillä vuodelta 2021.

Tulokset

Lisäksi yllä mainittuihin tuloksiin, vertailutulokset MMDetectioniin (ja sen kolmeen liittyvään malliin) osoittivat selvän johtavan aseman OC&P:lle sen kyvyssä erottaa ihmiset monimutkaisista asennoista.

Lisäksi siitä, että se ylittää PoSegin ja Pose2Segin, yksi tutkimuksen merkittävimmistä saavutuksista on, että järjestelmä voidaan soveltaa hyvin yleisesti olemassa oleviin kehyksiin, mukaan lukien ne, jotka asetettiin vastakkain sen kanssa kokeissa (ks. vertailut ensimmäisessä tuloksessa, artikkelin alussa).

Tutkimus johtaa siihen, että:

‘Meidän lähestymistapamme avainhyöty on, että se on helposti sovellettavissa mihin tahansa malleihin tai muihin mallikeskeisiin parannuksiin. Koska syvä oppimisen ala kehittyy nopeasti, on jokaisen etu, että meillä on lähestymistapoja, jotka ovat erittäin yhteensopivia muiden koulutuksen osa-alueiden kanssa. Jätämme tulevaisuuden työksi tämän integroimisen mallikeskeisiin parannuksiin peittävien henkilöiden esiintymän segmentoinnin tehokkaaseen ratkaisemiseen.’

Potential for Improving Text-to-Image Synthesis

Johtava tekijä Evan Ling huomautti sähköpostissa meille*, että OC&P:n pääasiallinen hyöty on, että se voi säilyttää alkuperäiset maski-merkinnät ja saada uuden arvon niistä “ilmaiseksi” uudessa kontekstissa – eli valokuvissa, joissa ne on liimattu.

Vaikka ihmisten semanttinen segmentaatio näyttää olevan läheisessä suhteessa siihen, että mallit, kuten Stable Diffusion, kamppailevat yksilöiden erottamisessa (sen sijaan, että “sekoittavat” heidät yhteen, kuten se usein tekee), mikä tahansa vaikutus, jonka semanttinen merkintäkulttuuri voi olla, on hyvin kaukana ylävirrassa.

Stable Diffusionin generatiivisen voiman asettavat LAION 5B -alijoukon kuvat eivät sisällä objektin tason merkintöjä, kuten reunakehyksiä ja esiintymän maskeja, vaikka CLIP-arkkitehtuuri, joka koostaa renderöintejä kuvista ja tietokanta-sisällöstä, saattaa hyötyä tällaisesta instanssista jossain vaiheessa; sen sijaan LAION-kuvat on merkitty “ilmaiseksi”, koska niiden merkinnät saatiin metatiedoista ja ympäristöteksteistä, jotka liittyivät kuvien hakemiseen verkosta tietokantaan.

‘Mutta siitä huolimatta,’ Ling kertoi meille. ‘jokin OC&P:n kaltainen lisäys voidaan käyttää teksti-kuva-generatiivisen mallin koulutuksessa. Mutta epäilen, että lisätyn koulutuskuvaus realismin saattaa muodostua ongelmaksi.

‘Meidän työssämme osoitamme, että “täydellinen” realismi ei yleensä vaadita valvotussa esiintymän segmentoinnissa, mutta en ole varma, voidaanko sama johtopäätös tehdä teksti-kuva-generatiivisen mallin koulutuksesta (erityisesti, kun sen tulokset odotetaan olevan hyvin realistisia). Tässä tapauksessa voi olla tarpeen tehdä enemmän työtä “täydellisen” realismin “viimeistelyyn” lisätyissä kuvissa.’

CLIP on jo käytössä mahdollisena monimodaalisena työkaluna semanttisessa segmentaatiossa, mikä viittaa siihen, että parannetut henkilöiden tunnistus- ja erottamisjärjestelmät, kuten OC&P, voivat lopulta kehittyä järjestelmän sisäisiksi suodattimiksi tai luokittimiksi, jotka hylkäisivät “yhdistetyt” ja vääristyneet ihmisesitykset – tehtävä, joka on haasteellinen Stable Diffusionilla, koska sillä on rajattu kyky ymmärtää, missä se virheellistyy (jos sillä olisi tällainen kyky, se ei olisi tehnyt virhettä ensimmäisen kerran).

‘Toinen kysymys olisi,’ Ling ehdottaa, ‘toimisiko yksinkertaisesti syöttämällä nämä generatiiviset mallit peittävien ihmisten kuvia koulutuksessa ilman mallin arkkitehtuurin suunnittelua, joka lievittäisi “ihmisten yhdistämisen” ongelmaa? Se on todennäköisesti vaikea kysymys vastata suullisesti. On varmasti mielenkiintoista nähdä, miten voimme antaa jonkinlaista esiintymätasolla ohjausta (esiintymätason merkintöjen kautta, kuten esiintymän maski) teksti-kuva-generatiivisen mallin koulutuksessa.’

 

* 10. lokakuuta 2022

Julkaistu ensimmäisen kerran 10. lokakuuta 2022.