Andersonin kulma

Rotuluokittelun haaste CLIP-pohjaisille kuvasynteesijärjestelmille

Martin Anderson
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatCLIP osoittaa hypodesenttiharhaa luokittelemalla monirotuiset kasvot vähemmistöön 50…
Näytä lisää
  • CLIP osoittaa hypodesenttiharhaa luokittelemalla monirotuiset kasvot vähemmistöön 50 %:n sekoitussuhteilla.
  • Tutkimuksessa naispuoliset koehenkilöt kohtaavat CLIP:ltä voimakkaampaa hypodesenttiharhaa kuin miespuoliset koehenkilöt.
  • CLIP yhdistää vähemmistörodulliset nimikkeet negatiivisempaan valenssiin kuin valkoiset nimikkeet.

Uusi tutkimus Yhdysvalloista osoittaa, että yksi suosituimmista konenäön malleista, jota käytetään DALL-E-sarjassa sekä monissa muissa kuvien luomis- ja luokittelumalleissa, osoittaa todennettavan taipumuksen hypodesentiaan – rotuluokittelusääntöön (tunnetaan myös “yksi tippa” -sääntönä), joka luokittelee henkilön, jolla on jopa pieni määrä “sekoittunutta” (eli ei-valkoista) geneettistä perimää, kokonaan “vähemmistöryhmän” rotuluokkaan.

Koska hypodesentia on luonut joitakin ihmiskunnan historian rumimmista luvuista, tutkimuksen tekijät ehdottavat, että tällaiset taipumukset konenäön tutkimuksessa ja soveltamisessa tulisi saada enemmän huomiota, ei ainakaan siksi, että tutkittava viitekehys, jota on ladattu lähes miljoona kertaa kuukaudessa, voisi edelleen levittää ja ylläpitää rotuun liittyvää vinoumaa myöhemmissä tätä hyödyntävissä järjestelmissä.

Tutkittava arkkitehtuuri on Contrastive Language Image Pretraining (CLIP), monimodaalinen koneoppimismalli, joka oppii semanttisia yhteyksiä kouluttamalla kuva/kuvateksti -pareja internetistä – puolivalvottu lähestymistapa, joka vähentää merkittävästi annotoinnin kustannuksia, mutta joka todennäköisesti heijastaa kuvatekstit luoneiden ihmisten vinoumia.

Tutkimuksesta:

‘Tuloksemme antavat näytön hypodesentiaan CLIPin upotusavaruudessa, harhan, jota sovelletaan voimakkaammin naiskuviin. Tulokset osoittavat myös, että CLIP liittää kuvia rotu- tai etnisyyserotteluihin poiketen valkoisesta, valkoinen on oletusarvoinen.

Tutkimus osoittaa myös, että kuvan valenssiyhdistys (sen taipumus liittyä “hyviin” tai “pahoihin” asioihin) on huomattavasti suurempi “vähemmistöryhmien” rotu/etnisille tunnisteille kuin valkoisille tunnisteille, ja ehdottaa, että CLIPin harhat heijastavat Yhdysvaltain keskeistä kirjallisuuden aineistoa (englanninkielinen Wikipedia), jolle viitekehys on koulutettu.

Kommentoidessaan CLIPin ilmeisen hypodesentian vaikutuksia tutkijat toteavat*:

‘[Yksi] ensimmäisistä CLIPin sovelluksista oli kouluttaa malliesimerkitön kuvien luomismalli DALL-E. Suurempi, ei-julkinen CLIP-arkkitehtuuri käytettiin DALL-E 2: n koulutukseen. Tutkimuksen tulokset ovat yhdenmukaisia siinä suhteessa, että DALL-E 2 -mallikortin huomautukset mainitaan, että se “tuottaa kuvia, jotka yliedustavat valkoisiksi miellettyjä henkilöitä”.

‘Tällaiset sovellukset osoittavat, että CLIPin oppimien harhauksien potentiaalinen leviäminen mallin upotusavaruuden ulkopuolelle, kun sen ominaisuuksia käytetään muiden huippuluokan tekoälymallien semantiikan muodostamiseen.

‘Lisäksi, osittain CLIPin ja vastaavien mallien edistysten ansiosta, jotka liittävät kuvia ja tekstejä ilman tehtäväkohtaisia esimerkkejä, multimodaaliset arkkitehtuurit on kuvattu perustaksi laajasti käytettyjen internetsovellusten tulevaisuudelle, mukaan lukien hakukoneet.

‘Tuloksemme osoittavat, että tällaisille malleille on tarve antaa enemmän huomiota sille, mitä ne oppivat luonnollisen kielen valvonnasta.’

Tutkimus on nimeltään Evidence for Hypodescent in Visual Semantic AI (Näyttö hypodesentiasta visuaalisessa semanttisessa tekoälyssä), ja sen kirjoittivat kolme tutkijaa Washingtonin yliopistosta ja Harvardin yliopistosta.

CLIP ja huonot vaikutteet

Vaikka tutkijat kertovat työnsä olevan ensimmäinen CLIPin hypodesentian analyysi, aiemmat tutkimukset ovat osoittaneet, että pääosin valvomattomaan oppimiseen ja verkosta peräisin olevaan puutteellisesti kuratoituun aineistoon perustuva CLIP-työnkulku aliedustaa naisia, voi tuottaa loukkaavaa sisältöä ja ilmentää kuvakooderissaan semanttisia vinoumia, kuten muslimivastaisia mielleyhtymiä.

Alkuperäinen tutkimus, jossa esiteltiin CLIP, myönsi, että ilman tehtäväkohtaisia esimerkkejä CLIP liittää vain 58,3 %: ia valkoiseen rotuun FairFace -aineistossa. Tutkijat toteavat, että FairFace on merkitty mahdollisesti harhaan Amazon Mechanical Turk -työntekijöiden toimesta, ja tutkijat toteavat, että “merkittävä vähemmistö ihmisiä, jotka muiden ihmisten mielestä ovat valkoisia, liitetään rotuun, joka ei ole valkoinen CLIPin mukaan”.

He jatkavat:

‘Käänteinen ei näytä pitävän paikkaansa, koska yksilöt, jotka havaitaan kuuluvan muihin rotu- tai etnisyyserotteluihin FairFace-aineistossa, liitetään niihin rotu/etnisyyserotteluihin CLIPin mukaan. Tämä tulos osoittaa mahdollisuuden, että CLIP on oppinut “hypodesentian” säännön, kuten sosiaalitutkijat ovat kuvaileet: yksilöt, joilla on monirrotuinen sukutausta, ovat todennäköisemmin havaittavissa ja luokiteltavissa kuuluvaksi vähemmistö- tai epäedulliseen vanhemman ryhmään kuin yhtä lailla legitiimiin enemmistö- tai edulliseen vanhemman ryhmään.

‘Toisin sanoen, mustan ja valkoisen vanhemman lapsi havaitaan olevan enemmän musta kuin valkoinen; ja aasialaisen ja valkoisen vanhemman lapsi havaitaan olevan enemmän aasialainen kuin valkoinen.’

Tutkimuksessa on kolme keskeistä löytöä: CLIP osoittaa hypodesentian “ajamalla” ihmisiä monirotuisilla identiteeteillä vähemmistöryhmän rotuluokkaan, joka koskee heitä; “valkoinen on oletusarvoinen rotu CLIPissä”, ja kilpailevat rodut määritellään “poikkeamana” valkoisesta luokasta; ja valenssiharha (yhdistys “pahoihin” käsitteisiin) korreloi yksilön luokitteluun vähemmistöryhmään.

Menetelmä ja aineisto

Määrittääkseen, miten CLIP käsittelee monirotuisia henkilöitä, tutkijat käyttivät aiemmin hyväksyttyä muokkaustekniikkaa muuttaa yksilöiden rotua. Kuvat otettiin Chicago Face Database -aineistosta, joka on kehitetty psykologisiin tutkimuksiin, jotka liittyvät rotuun.

Esimerkkejä rodullisesti muokatuista CFD-kuvista, jotka sisältyvät tutkimuksen liitteeseen. Lähde: https://arxiv.org/pdf/2205.10764.pdf

Esimerkkejä rodullisesti muokatuista CFD-kuvista, jotka sisältyvät tutkimuksen liitteeseen. Lähde: https://arxiv.org/pdf/2205.10764.pdf

Tutkijat valitsivat aineistosta vain “neutraalin ilmeen” kuvat, jotta he voivat olla yhdenmukaisia aiemman tutkimuksen kanssa. He käyttivät StyleGAN2-ADA -generatiivista vastakkaiskoulutusverkkoa (joka on koulutettu FFHQ -aineistolla) rodun muuttamiseen kasvojen kuvissa, ja loivat välimuotoisia kuvia, jotka osoittavat siirtymisen yhdestä rodusta toiseen (ks. yllä olevat esimerkkikuvat).

Yhdenmukaisesti aiemman tutkimuksen kanssa tutkijat muokkasivat mustien, aasialaisten ja latinojen kasvokuvia aineistossa valkoisiksi. Yhdeksäntoista välimuotoa tuotettiin prosessissa. Yhteensä 21 000 1024x1024px -kuvaa luotiin tämän menetelmän avulla.

Tutkijat saivat sitten projisoidun kuvaesityksen CLIPille kullekin 21 kuvasta jokaisessa rodullisessa muokkaussarjassa. Tämän jälkeen he pyysivät merkintää kullekin kuvalle CLIPiltä: “monirrotuinen”, “kahden rodun tausta”, “sekoittunut rotu” ja “ihminen” (viimeinen merkintä jättää rodun pois).

Käytetty CLIP-versio oli CLIP-ViT-Base-Patch32 -toteutus. Tutkijat toteavat, että tämä malli on ladattu yli miljoona kertaa kuukauden aikana ennen tutkimuksen kirjoittamista, ja se vastaa 98 %: ia kaikista CLIP-mallien latauksista Transformers-kirjastosta.

Testit

Testatakseen CLIPin mahdollista taipumusta hypodesentiaan tutkijat huomioivat rodun merkinnän, jonka CLIP antoi kullekin kuvalle muokattujen kuvien asteikolla kullekin yksilölle.

Tutkimuksen mukaan CLIP taipuu ryhmittämään ihmiset “vähemmistöryhmiin” noin 50 %: n siirtymämerkin kohdalla.

50 %: n sekoitusosuudessa, jossa henkilö edustaa yhtä paljon lähtö- ja kohderotua, CLIP liittää suuremman määrän 1000 muokattua naisten kuvaa aasialaisiin (89,1 %), latinoihin (75,8 %) ja mustiin (69,7 %) merkkien kanssa kuin vastaavan valkoisen merkin kanssa.

50 %: n sekoitusosuudessa, jossa henkilö edustaa yhtä paljon lähtö- ja kohderotua, CLIP liittää suuremman määrän 1000 muokattua naisten kuvaa aasialaisiin (89,1 %), latinoihin (75,8 %) ja mustiin (69,7 %) merkkien kanssa kuin vastaavan valkoisen merkin kanssa.

Tulokset osoittavat, että naiset ovat alttiimpia hypodesentiaalle CLIPissä kuin miehet, vaikka tutkijat olettavat, että tämä voi johtua siitä, että internetistä peräisin olevat ja valvomattomat merkinnät, jotka kuvaavat naisten kuvia, korostavat henkilön ulkonäköä enemmän kuin miesten kohdalla, ja että tämä voi aiheuttaa vinoutta.

Hypodesentiaa 50 %: n rodullisessa siirtymässä ei havaittu aasialais- valkoinen mies- tai latino- valkoinen mies- muodonmuutos sarjassa, kun taas CLIP antoi korkeamman kosinisamankaltaisuuden mustalle merkille 67,5 %: ssä tapauksista 55 %: n sekoitusosuudessa.

Luokkien Multiracial (monirotuinen), Biracial (kahden rodun tausta) ja Mixed Race (sekoittunut rotutausta) keskimääräinen kosinisamankaltaisuus. Tulosten mukaan CLIP käyttää eri sekoitusosuuksilla eräänlaista jakolinjaa: se luokittelee tällaisen sekoittuneen taustan harvemmin valkoiseksi (kokeiden perustelussa “ihminen”) kuin kuvassa havaituksi etnisyydeksi.

Luokkien Multiracial (monirotuinen), Biracial (kahden rodun tausta) ja Mixed Race (sekoittunut rotutausta) keskimääräinen kosinisamankaltaisuus. Tulosten mukaan CLIP käyttää eri sekoitusosuuksilla eräänlaista jakolinjaa: se luokittelee tällaisen sekoittuneen taustan harvemmin valkoiseksi (kokeiden perustelussa “ihminen”) kuin kuvassa havaituksi etnisyydeksi.

Idealisena tavoitteena on, että CLIP luokittelisi välimuodot tarkasti “sekoittuneiksi rotuiksi”, sen sijaan, että määrittäisi “kynnysarvon”, jossa henkilö usein määritellään kokonaan ei-valkoiseksi.

Jonkin verran CLIP määrittää välimuodot “sekoittuneiksi rotuiksi” (ks. yllä oleva kuva), mutta lopulta se osoittaa keskitason taipumuksen luokitella henkilöt heidän taustassaan olevaan vähemmistörotuun.

Valenssin osalta tutkijat toteavat CLIPin vinoutuneen tuomion:

‘[Keskimääräinen] valenssiyhdistys (yhdistys “pahoihin” tai “epämiellyttäviin” vs. “hyviin” tai “miellyttäviin”) vaihtelee sekoitusosuuden mukaan mustan- valkoisen mies- muodonmuutos sarjassa, jolloin CLIP koodaa yhteyksiä epämiellyttävyyteen kasvojen kanssa, jotka muistuttavat CFD: n vapaaehtoisia, jotka itseidentifioivat mustina.’

Valenssitulokset - testit osoittavat, että vähemmistöryhmät ovat enemmän yhdistettyjä negatiivisiin käsitteisiin kuin valkoisiin. Tutkijat väittävat, että kuvan epämiellyttävyys lisääntyy sen mukaan, kuinka varma malli on siitä, että kuva heijastaa mustaa henkilöä.

Valenssitulokset – testit osoittavat, että vähemmistöryhmät ovat enemmän yhdistettyjä negatiivisiin käsitteisiin kuin valkoisiin. Tutkijat väittävat, että kuvan epämiellyttävyys lisääntyy sen mukaan, kuinka varma malli on siitä, että kuva heijastaa mustaa henkilöä.

Tutkimus toteaa:

‘Näyttö osoittaa, että kuvan valenssi korreloi rodun kanssa. Konkreettisemmin, tuloksemme osoittavat, että mitä varmempi malli on siitä, että kuva heijastaa mustaa henkilöä, sitä enemmän kuva on yhdistetty epämiellyttävään upotusavaruuteen.’

Kuitenkin tulokset osoittavat myös negatiivisen korrelaation aasialaisten kasvojen kohdalla. Tutkijat ehdottavat, että tämä voi johtua positiivisista Yhdysvaltain kulttuurisista havainnoista aasialaisista ihmisistä ja yhteisöistä, jotka on välitetty internetin kautta. Tutkijat toteavat*:

‘Havaitsemme yhteyden miellyttävyyden ja aasialaisuutta tarkoittavan tekstiluokan todennäköisyyden välillä, mikä voi vastata “mallivähemmistön” stereotyyppiä, jossa aasialaista alkuperää olevat ihmiset kiitetään sosiaalisesta nousustaan ja assimilaatiostaan Yhdysvaltain kulttuuriin, ja jopa yhdistetään “hyvään käyttäytymiseen”.’

Lopullisen tavoitteen osalta, tutkia, onko valkoinen “oletusidentiteetti” CLIPin näkökulmasta, tulokset osoittavat upotettua polariteettia, joka osoittaa, että tässä arkkitehtuurissa on vaikea olla “vähän valkoinen”.

Kosini- yhtäläisyys 21 000: sta kuvasta, jotka luotiin testeihin.

Kosini- yhtäläisyys 21 000: sta kuvasta, jotka luotiin testeihin.

Tutkijat toteavat:

‘Näyttö osoittaa, että CLIP koodaa valkoisen oletusrodun. Tämä tukeutuu vahvempiin korrelaatioihin valkoisen kosinisamankaltaisuuden ja henkilön kosinisamankaltaisuuden välillä kuin minkään muun rodun tai etnisen ryhmän kohdalla.’

 

*Olen muuttanut kirjoittajien tekstinsisäiset lähdeviitteet hyperlinkeiksi.

Julkaistu ensimmäisen kerran 24. toukokuuta 2022.

Kirjoittaja koneoppimisen parissa, ihmisiä esittävien kuvien synteesin asiantuntija. Entinen tutkimussisällön johtaja Metaphysic.ai:ssa, kunnes se sulautui DNEG:n Brahma.ai:hin.
Verkkosivu: martinanderson.ai
Yhteystiedot: martin@martinanderson.ai