‘Rasiale kategorisering’ utfordringen for CLIP-basert bilde syntese systemer

Ny forskning fra USA finner at en av de populære datamodellene bak den meget omtalte DALL-E-serien, samt mange andre bildegenererings- og klassifiseringsmodeller, viser en påviselig tendens til hypodescent – rasemessig kategoriseringsregel (også kjent som ‘en dråpe’-regelen) som kategoriserer en person med selv en liten del ‘blandet’ (dvs. ikke-kaucasisk) genetisk avstamning helt inn i en ‘minoritets’ rasemessig klassifisering.

Siden hypodescent har karakterisert noen av de verst kapitlene i menneskehetens historie, foreslår forfatterne av den nye artikkelen at slike tendenser i datamodellforskning og implementering bør motta større oppmerksomhet, ikke minst fordi den underliggende rammen i spørsmålet, som er lastet ned nesten en million ganger i måneden, kunne videreformidle og promovere rasemessig bias i nedstrøms rammer.

Arkitekturen som studeres i det nye arbeidet er Contrastive Language Image Pretraining (CLIP), en multimodal maskinlæringsmodell som lærer semantiske assosiasjoner ved å trene på bilde/underskrift-par fra internettet – en semi-overvåket tilnærming som reduserer den betydelige kostnaden av merking, men som sannsynligvis vil reflektere bias fra personene som skapte underskriftene.

Fra artikkelen:

‘Våre resultater gir bevis for hypodescent i CLIP-embryosomrommet, en bias som påføres mer sterkt til bilder av kvinner. Resultatene viser videre at CLIP assosierer bilder med rasemessige eller etniske merker basert på avvik fra hvit, med hvit som standard.

Artikkelen finner også at en bildes valensassosiasjon (dens tendens til å bli assosiert med ‘god’ eller ‘dårlig’ ting, er merkbart høyere for ‘minoritets’ rasemessige merker enn for kaukasiske merker, og foreslår at CLIPs bias reflekterer den US-sentriske korpus av litteratur (engelsk Wikipedia) som rammen ble trent på.

I kommentar til implikasjonene av CLIPs åpenbare støtte til hypodescent, uttaler forfatterne*:

‘[Blant] de første bruksområdene for CLIP var å trene nullskudds bildegenereringsmodellen DALL-E. En større, ikke-offentlig versjon av CLIP-arkitekturen ble brukt i treningen av DALL-E 2. I tråd med funnene i denne forskningen, noterer Risks and Limitations i DALL-E 2-modellkortet note at det “produserer bilder som tenderer til å overrepresentere personer som er hvit-gjennomførbare”.

‘Slike bruksområder demonstrerer potensialet for at biasene som er lært av CLIP kan spre seg utenfor modellens embryo, ettersom dens funksjoner brukes til å guide dannelsen av semantikk i andre statiske AI-modeller.

‘I tillegg, takket være fremgangene som er realisert av CLIP og lignende modeller for å assosiere bilder og tekst i nullskuddssettningen, er multimodale arkitekturer blitt beskrevet som grunnlaget for fremtiden til vidt brukte internettapplikasjoner, inkludert søkemotorer.

‘Våre resultater indikerer at ytterligere oppmerksomhet til hva slike modeller lærer fra naturlig språkovervåking er berettiget.’

Den artikkelen har tittelen Bevis for hypodescent i visuell semantisk AI, og kommer fra tre forskere ved University of Washington og Harvard University.

CLIP og dårlige påvirkninger

Selv om forskerne hevder at deres arbeid er den første analysen av hypodescent i CLIP, har tidligere arbeider vist at CLIP-arbeidsflyten, som er avhengig av hovedsakelig uovervåket trening fra under-kurerte web-avledede data, under-representerer kvinner, kan produsere støtende innhold, og kan demonstrere semantisk bias (slik som anti-muslimsk sentiment) i sin bilde-encoder.

Den opprinnelige artikkelen som presenterte CLIP innrømmet at i en nullskuddssettning, assosierer CLIP bare 58,3% av personer med den hvite rasemessige merket i FairFace-datasettet. Ved å observere at FairFace var merket med mulig bias av Amazon Mechanical Turk-arbeidere, uttaler forfatterne av den nye artikkelen at ‘en betydelig minoritet av personer som andre mennesker oppfatter som hvite, blir assosiert med en annen rasemessig merke enn hvit av CLIP.’

De fortsetter:

‘Den inverse ser ikke ut til å være sant, ettersom personer som blir oppfattet som tilhørende andre rasemessige eller etniske merker i FairFace-datasettet, blir assosiert med disse merkene av CLIP. Dette resultatet antyder muligheten for at CLIP har lært “hypodescent”-regelen, som beskrevet av sosialvitenskapsfolk: personer med multirasiske aner er mer sannsynlig å bli oppfattet og kategorisert som tilhørende minoritets- eller mindre privilegert foreldergruppe enn til likegyldig majoritets- eller privilegert foreldergruppe.

‘Med andre ord, barnet til en svart og en hvit forelder blir oppfattet som mer svart enn hvit; og barnet til en asiatisk og en hvit forelder blir oppfattet som mer asiatisk enn hvit.’

Artikkelen har tre sentrale funn: at CLIP viser hypodescent, ved å ‘samle’ personer med multirasiske identiteter inn i minoritetsbidragende rasemessige kategori som gjelder for dem; at ‘hvit er standard-rasen i CLIP’, og at konkurrerende raser defineres av deres ‘avvik’ fra en hvit kategori; og at valens-bias (en assosiasjon med ‘dårlig’ konsepter) korrelerer med utstrekningen som personen blir kategorisert inn i en rasemessig minoritet.

Metode og data

For å bestemme hvordan CLIP behandler multirasiske subjekter, brukte forskerne en tidligere antatt morfing-teknikk for å endre rasen på bilder av personer. Fotografiene ble tatt fra Chicago Face Database, et sett utviklet for psykologiske studier som involverer rase.

Eksempler fra de rase-morfede CFD-bildene presentert i den nye artikkelen sin supplerende materiale. Kilde: https://arxiv.org/pdf/2205.10764.pdf

Forskere valgte bare ‘nøytral uttrykk’ bilder fra datasettet, for å være konsistent med tidligere arbeid. De brukte Generative Adversarial Network StyleGAN2-ADA (trent på FFHQ) for å oppnå rase-endring av ansiktsbildene, og skapte interstitielle bilder som demonstrerer fremgangen fra en rase til en annen (se eksempelbilder ovenfor).

I tråd med tidligere arbeid, morferte forskerne ansikter av personer som identifiserte seg som svarte, asiatiske og latino i datasettet inn i ansikter av personer som ble merket som hvite. Nitten mellomliggende stadier ble produsert i prosessen. I alt ble 21 000 1024x1024px bilder skapt for prosjektet ved denne metoden.

Forskere fikk deretter en projisert bilde-embedding for CLIP for hver av de totale 21 bildene i hver rasemessig morf-sett. Etter dette, ba de om en merke for hver bilde fra CLIP: ‘multiracial’, ‘biracial’, ‘mixed race’, og ‘person’ (den siste merket som utelater rase).

Versjonen av CLIP som ble brukt var CLIP-ViT-Base-Patch32-implementeringen. Forfatterne noterer at denne modellen ble lastet ned over en million ganger i måneden før de skrev opp sin forskning, og står for 98% av nedlastningene av noen CLIP-modell fra Transformers-biblioteket.

Tester

For å teste CLIPs potensielle tendens til hypodescent, noterte forskerne rasemerket som ble tildelt av CLIP til hver bilde i gradienten av morfede bilder for hver enkelt.

Ifølge funnene, tenderer CLIP til å gruppere personer i ‘minoritets’ kategorier rundt 50% overgangsmerket.

Ved en 50% blandingsforhold, hvor subjektet er like opphav/mål-rase, assosierer CLIP en høyere antall av 1000 morfede kvinnelige bilder med asiatiske (89,1%), latina (75,8%) og svarte (69,7%) merker enn med en tilsvarende hvit merke.

Resultatene viser at kvinnelige subjekter er mer utsatt for hypodescent under CLIP enn menn, selv om forfatterne hypotetiserer at dette kan skyldes at web-avledede og uovervåkede merker som karakteriserer kvinnelige bilder tenderer til å betone subjektets utseende mer enn i tilfelle av menn, og at dette kan ha en skjev effekt.

Hypodescent ved en 50% rasemessig overgang ble ikke observert for den asiatiske-hvite mann eller latino-hvite mann morf-serien, mens CLIP tildelte en høyere kosin-lignhet til den svarte merket i 67,5% av tilfellene ved en 55% blandingsforhold.

Gjennomsnittlig kosin-lignhet av multiracial, biracial og mixed race-merker. Resultatene indikerer at CLIP opererer en type ‘vannskille’-kategorisering ved varierende prosent av rasemessig blandingsforhold, mindre ofte tildeler en slik rasemessig blandingsforhold til hvit (‘person’, i eksperimentenes rasjonalitet) enn til etnisitet som er oppfattet i bildet.

Det ideelle målet, ifølge artikkelen, er at CLIP skulle kategorisere de mellomliggende rasemessige blandinger nøyaktig som ‘mixed race’, i stedet for å definere en ‘tipping point’ hvor subjektet ofte blir konsignet helt inn i den ikke-hvite merket.

I en viss utstrekning, tildeler CLIP de mellomliggende morf-trinnene med Mixed Race (se graf ovenfor), men demonstrerer til slutt en midtre preferanse til å kategorisere subjekter som deres minoritetsbidragende rase.

I valens-henseende, noterer forfatterne CLIPs skjevde dom:

‘[Gjennomsnittlig] valens-assosiasjon (assosiasjon med ubehagelig vs. behagelig) varierer med blandingsforholdet over den svarte-hvite mann-morf-serien, så CLIP koder assosiasjoner med ubehagelighet for ansiktene som er mest like CFD-voluntører som identifiserer seg som svarte.’

Valens-resultatene – testene viser at minoritetsgrupper er mer assosiert med negative konsepter i bilde/paar-arkitekturen enn for hvit-merkede subjekter. Forfatterne hevder at ubehagelighets-assosiasjonen av et bilde øker med sannsynligheten for at modellen assosierer bildet med den svarte merket.

Artikkelen slår fast:

‘Bevisene indikerer at valensen av et bilde korrelerer med rasemessig [assosiasjon]. Mer konkrekt, våre resultater indikerer at jo mer sikker modellen er på at et bilde reflekterer en svart person, jo mer assosiert med ubehagelig embeddingsrommet bildet er.’

Men resultatene indikerer også en negativ korrelasjon i tilfelle av asiatiske ansikter. Forfatterne foreslår at dette kan skyldes passering (via web-kildedata) av positive US-kulturelle oppfatninger av asiatiske personer og samfunn. Forfatterne uttaler*:

‘Observasjon av en korrelasjon mellom behagelighet og sannsynlighet for den asiatiske tekstmerket kan korrespondere med “model minority”-stereotypen, hvor personer av asiatisk avstamning blir rost for deres oppadgående mobilitet og assimilasjon i amerikansk kultur, og til og med assosiert med “god oppførsel”.’

Med hensyn til det endelige målet, å undersøke om hvit er ‘standard-identitet’ fra CLIPs synspunkt, indikerer resultatene en innebygd polaritet, som antyder at under denne arkitekturen er det ganske vanskelig å være ‘en litt hvit’.

Kosin-lignhet over 21 000 bilder skapt for testene.

Forfatterne kommenterer:

‘Bevisene indikerer at CLIP koder hvit som standard-rase. Dette støttes av de sterkeste korrelasjonene mellom hvite kosin-lignheter og person-kosin-lignheter enn for noen annen rasemessig eller etnisk gruppe.’

*Min konvertering av forfatternes inline-citater til lenker.

Først publisert 24. mai 2022.