'Racial Categorization'-udfordringen for CLIP-baserede billedsyntesesystemer

Ny forskning fra USA viser, at en af ​​de populære computervision-modeller bag den meget feterede DALL-E-serie, såvel som mange andre billedgenererings- og klassifikationsmodeller, udviser en beviselig tendens til hypodecent – racekategoriseringsreglen (også kendt som 'én dråbe'-regel) som kategoriserer en person med selv en lille grad af 'blandet' (dvs. ikke-kaukasisk) genetisk afstamning helt i en 'mindretals' raceklassifikation.

Siden hypodescent har kendetegnet nogle af de grimmeste kapitler i menneskehedens historie, foreslår forfatterne af det nye papir, at sådanne tendenser inden for computervisionsforskning og -implementering bør have større opmærksomhed, ikke mindst fordi den pågældende understøttende ramme, der downloades næsten en million gange om måneden, kunne udbrede yderligere og forkynde racemæssig skævhed i downstream-rammer.

Arkitekturen, der studeres i det nye værk, er Kontrastiv sprogbillede fortræning (CLIP), en multimodal maskinlæringsmodel, der lærer semantiske associationer ved at træne i billed-/undertekstpar hentet fra internettet – en semi-overvåget tilgang, der reducerer de betydelige omkostninger ved mærkning, men som sandsynligvis afspejler partiskheden hos de mennesker, der oprettede billedteksterne.

Fra papiret:

"Vores resultater giver beviser for hypodescent i CLIP-indlejringsrummet, en skævhed, der anvendes stærkere på billeder af kvinder. Resultater indikerer endvidere, at CLIP forbinder billeder med racemæssige eller etniske etiketter baseret på afvigelse fra hvid, med hvid som standard.

Avisen finder også, at et billedes valensassociation (det er en tendens til at være forbundet med 'gode' eller 'dårlige' ting, er især højere for 'minoritets' racemærker end for kaukasiske etiketter, og antyder, at CLIP's skævheder afspejler det USA-centrerede korpus af litteratur (engelsk Wikipedia), som rammerne blev trænet på.

Forfatterne kommenterer implikationerne af CLIP's tilsyneladende støtte til hypodescent, siger*:

'[Blandt] de første anvendelser af CLIP var at træne zero-shot-billedgenereringsmodellen DALL-E. En større, ikke-offentlig version af CLIP-arkitekturen blev brugt i træningen af DALL-E2. I overensstemmelse med resultaterne af den nuværende forskning, de risici og begrænsninger, der er beskrevet i DALL-E 2-modelkortet Bemærk at det "producerer billeder, der har en tendens til at overrepræsentere mennesker, der er White-passerende".

"Sådanne anvendelser demonstrerer potentialet for, at de skævheder, som CLIP har lært, kan spredes ud over modellens indlejringsrum, da dens funktioner bruges til at guide dannelsen af ​​semantik i andre avancerede AI-modeller.

"Desuden, delvis på grund af de fremskridt, der er realiseret med CLIP og lignende modeller for at tilknytte billeder og tekst i nul-shot-indstillingen, er multimodale arkitekturer blevet beskrevet som grundlaget for fremtiden for udbredte internetapplikationer, herunder søgemaskiner.

"Vores resultater indikerer, at der er behov for yderligere opmærksomhed på, hvad sådanne modeller lærer af overvågning af naturligt sprog."

papir er titlen Beviser for hypodescent i visuel semantisk AI, og kommer fra tre forskere ved University of Washington og Harvard University.

CLIP og dårlige påvirkninger

Selvom forskerne attesterer, at deres arbejde er den første analyse af hypodescent i CLIP, har tidligere værker vist, at CLIP-arbejdsgangen, som den er afhængig af stort set uovervåget træning fra underkurateret web-afledte data, underrepræsenterer kvinder, kan producere stødende indhold, og kan demonstrere semantisk bias (såsom anti-muslimsk følelse) i sin billedkoder.

Det originale papir, der præsenterede CLIP, indrømmede, at i en nul-shot-indstilling forbinder CLIP kun 58.3 % af mennesker med den hvide racemærke i FairFace datasæt. Ved at observere, at FairFace blev mærket med mulig bias af Amazon Mechanical Turk-arbejdere, udtaler forfatterne af det nye papir, at "et betydeligt mindretal af mennesker, der af andre mennesker opfattes som hvide, er forbundet med en anden race end White af CLIP."

De fortsætter:

'Det omvendte ser ikke ud til at være sandt, da individer, der opfattes til at tilhøre andre racemæssige eller etniske etiketter i FairFace-datasættet, er forbundet med disse etiketter af CLIP. Dette resultat antyder muligheden for, at CLIP har lært reglen om "hypodescent", som beskrevet af samfundsforskere: individer med multiraciale herkomst er mere tilbøjelige til at blive opfattet og kategoriseret som tilhørende minoriteten eller mindre begunstigede forældregruppe end til det lige så legitime flertal eller begunstiget forældregruppe.

'Med andre ord, barnet af en sort og en hvid forælder opfattes som mere sort end hvid; og barnet af en asiatisk og en hvid forælder opfattes som mere asiatisk end hvid.'

Papiret har tre centrale resultater: at CLIP beviser hypotension ved at 'hyrde' mennesker med multiraciale identiteter ind i den minoritetsbidragende racekategori, der gælder for dem; at 'Hvid er standardløbet i CLIP', og at konkurrerende løb er defineret ved deres 'afvigelse' fra en hvid kategori; og det valens bias (en association med 'dårlige' begreber) korrelerer i den grad, at individet kategoriseres i en racemæssig minoritet.

Metode og data

For at bestemme den måde, CLIP behandler multiraciale emner på, brugte forskerne en tidligere vedtaget morphing-teknik til at ændre racen af ​​billeder af individer. Billederne er taget fra Chicagos ansigtsdatabase, et sæt udviklet til psykologiske undersøgelser, der involverer race.

Eksempler fra de racemæssigt forvandlede CFD-billeder i det nye papirs supplerende materiale. Svores: https://arxiv.org/pdf/2205.10764.pdf

Forskerne valgte kun 'neutrale udtryk'-billeder fra datasættet for at forblive i overensstemmelse med det tidligere arbejde. De brugte Generative Adversarial Network StyleGAN2-ADA (trænet på FFHQ) for at opnå race-ændring af ansigtsbillederne og skabte mellemliggende billeder, der demonstrerer progressionen fra en race til en anden (se eksempelbilleder ovenfor).

I overensstemmelse med det tidligere arbejde forvandlede forskerne ansigter på mennesker, der selv identificerede sig som sorte, asiatiske og latinoer i datasættet til ansigter på dem, der mærkede sig selv som hvide. Nitten mellemtrin fremstilles i processen. I alt blev der oprettet 21,000 1024x1024px billeder til projektet ved denne metode.

Forskerne opnåede derefter en projiceret billedindlejring for CLIP for hvert af de i alt 21 billeder i hvert racemorfsæt. Herefter anmodede de om en etiket for hvert billede fra CLIP: 'multiracial', 'biracial', 'mixed race' og 'person' (den endelige etiket, der udelader race).

Den anvendte version af CLIP var CLIP-ViT-Base-Patch32 implementering. Forfatterne bemærker, at denne model blev downloadet over en million gange i måneden før de skrev deres forskning, og den tegner sig for 98 % af downloads af enhver CLIP-model fra Transformers bibliotek.

Tests

For at teste for CLIPs potentielle tilbøjelighed til hypodescent bemærkede forskerne racemærket, som CLIP tildelte hvert billede i gradienten af ​​morfede billeder for hvert individ.

Ifølge resultaterne har CLIP en tendens til at gruppere mennesker i 'minoritetskategorierne' omkring overgangsgrænsen på 50 %.

Ved et blandingsforhold på 50 %, hvor motivet er ligeligt oprindelse/målrace, forbinder CLIP et højere antal af 1000 morfede kvindebilleder med asiatiske (89.1 %), Latina (75.8 %) og sorte (69.7 %) etiketter end med en tilsvarende Hvid label.

Resultaterne viser, at kvindelige forsøgspersoner er mere tilbøjelige til at falde under CLIP end mænd, selvom forfatterne antager, at dette kan skyldes, at de web-afledte og ukurerede etiketter, der karakteriserer kvindebilleder, har en tendens til at understrege emnets udseende mere end i tilfældet med mænd. og at dette kan have en skæv effekt.

Hypodescent ved en 50% raceovergang blev ikke observeret for asiatisk-hvid mandlig eller Latino-hvid mandlig morph-serie, mens CLIP tildelte en højere cosinus-lighed til Black label i 67.5% af tilfældene ved et 55% blandingsforhold.

Den gennemsnitlige cosinus-lighed mellem Multiraciale, Biracial og Mixed Race-etiketter. Resultaterne tyder på, at CLIP opererer med en slags 'vandskel'-kategorisering ved varierende procentdel af raceblanding, og tildeler sjældnere en sådan raceblanding til White ('person', i eksperimenternes begrundelse) end til den etnicitet, der er blevet opfattet i billedet.

Det ideelle mål, ifølge papiret, er, at CLIP ville kategorisere de mellemliggende raceblandinger nøjagtigt som 'blandet race', i stedet for at definere et 'tipping point', hvor emnet så ofte overlades helt til den ikke-hvide etiket.

Til en vis grad tildeler CLIP de mellemliggende morph-trin med blandet race (se grafen ovenfor), men viser til sidst en præference i mellemklassen til at kategorisere emner som deres minoritetsbidragende race.

Med hensyn til valens bemærker forfatterne CLIPs skæve vurdering:

'[Middel] valensassociation (association med dårligt eller ubehageligt vs. med godt eller behageligt) varierer med blandingsforholdet over sort-hvide mandlige morph-serier, sådan at CLIP koder for associationer med ubehageligheder for de ansigter, der ligner mest CFD-frivillige, der selv -identificer som sort.'

Valensresultaterne – testene viser, at minoritetsgrupper er mere forbundet med negative begreber i billed-/pararkitekturen end for hvidmærkede forsøgspersoner. Forfatterne hævder, at et billedes ubehagelige association øges med sandsynligheden for, at modellen forbinder billedet med den sorte etiket.

Papiret siger:

'Beviserne indikerer, at valensen af ​​et billede korrelerer med racemæssig [association]. Mere konkret indikerer vores resultater, at jo mere sikker modellen er på, at et billede afspejler et sort individ, jo mere forbundet med det ubehagelige indlejringsrum er billedet.'

Resultaterne indikerer dog også en negativ sammenhæng i tilfældet med asiatiske ansigter. Forfatterne foreslår, at dette kan skyldes videregivelse (via de web-sourcede data) af positive amerikanske kulturelle opfattelser af asiatiske mennesker og samfund. Forfatterne oplyser*:

'At observere en sammenhæng mellem behagelighed og sandsynlighed for den asiatiske tekstetikette kan svare til stereotypen "modelminoritet", hvor folk af asiatisk herkomst hyldes for deres opadgående mobilitet og assimilering i amerikansk kultur, og endda forbundet med "god opførsel".'

Med hensyn til det endelige mål, at undersøge om White er 'standardidentiteten' fra CLIPs synspunkt, indikerer resultaterne en indlejret polaritet, hvilket tyder på, at det under denne arkitektur er ret svært at være 'lidt hvid'.

Cosinus-lighed på tværs af 21,000 billeder skabt til testene.

Forfatterne kommenterer:

'Beviset indikerer, at CLIP koder for White som en standard race. Dette understøttes af de stærkere korrelationer mellem hvide cosinus ligheder og person cosinus ligheder end for nogen anden race eller etnisk gruppe.'

*Min konvertering af forfatternes inline-citater til hyperlinks.

Først udgivet 24. maj 2022.