Ko te Wero a 'Racial Categorization' mo te CLIP-based Image Synthesis Systems

Ko nga rangahau hou mai i te US ka kitea ko tetahi o nga tauira tirohanga rorohiko rongonui i muri i te raupapa DALL-E e tino whakanuia ana, me te maha atu o nga tauira whakangao whakaahua me nga tauira whakarōpūtanga, e whakaatu ana i te ahua o te kaha ki te whakahekeheke – te ture wehewehe iwi (mohiotia ano ko te ture 'kotahi taka') e whakarōpū ana i te tangata ahakoa he iti noa iho te whakapapa ira 'whakaranu' (arā ehara i te Caucasian) ki roto i te whakarōpūtanga iwi 'iti'.

Mai te hypodescent kua tauwehe Ko etahi o nga upoko tino kino i roto i te hitori o te tangata, ko nga kaituhi o te pepa hou e kii ana ko nga ahuatanga o te rangahau tirohanga rorohiko me te whakatinanatanga kia nui ake te aro, kaore i te iti rawa na te mea ko te anga tautoko e pa ana, kua tangohia tata ki te miriona nga wa i te marama, ka taea te hora haere. me te panui i nga mahi aa-iwi i roto i nga anga o raro.

Ko te hoahoanga e akohia ana i roto i nga mahi hou Whakangungu Whakangungu Ahua o te Reo Tauira (CLIP), he tauira ako miihini multimodal e ako ana i nga hononga oro ma te whakangungu i nga takirua whakaahua/tapanga i tangohia mai i te ipurangi - he huarahi tino maataki e whakaiti ana i te utu nui mo te tapanga, engari tera pea ka whakaata i te rītaha o te hunga i hanga nga tapanga.

Mai i te pepa:

'Ko o maatau hua he taunakitanga mo te whakaheke i roto i te waahi whakauru CLIP, he kaha ake te pa ki nga whakaahua o nga wahine. Ko nga hua e tohu ana ka honoa e CLIP nga whakaahua me nga tapanga iwi, iwi ranei i runga i te rereke mai i te White, me te White te taunoa.

Ka kitea ano e te pepa ko te hononga valence o te ahua (he ahua hono ki nga mea 'pai', ki nga mea 'kino' ranei, he mea teitei ake mo nga tapanga iwi iti ake mo nga tapanga Caucasian, me te kii ko nga tohu a te CLIP e whakaata ana i te US-centric corpus. o nga tuhinga (Wikipedia reo Ingarihi) i whakangungua ai te angamahi.

Ma te korero mo nga paanga o te tautoko a CLIP mo te whakahekeheke, ka kii nga kaituhi *:

'[I roto i] nga whakamahinga tuatahi o te CLIP ko te whakangungu i te tauira whakangao whakaahua-kore SLAB. He putanga nui ake, ehara i te iwi whanui o te hoahoanga CLIP i whakamahia ki te whakangungu o DALL-E2. E rite ana ki nga kitenga o te rangahau o naianei, nga Whakatupato me nga Whakaititanga i whakaahuatia i roto i te kaari tauira DALL-E 2 tuhipoka e "whakaputa ana i nga whakaahua e kaha ana ki te whakaatu i nga tangata he ma-ma".

'Ko enei whakamahinga e whakaatu ana i te kaha o nga whakahiatotanga i akohia e CLIP ki te horapa ki tua atu o te waahi whakauru o te tauira, i te mea ka whakamahia ona ahuatanga hei arahi i te hanga o nga tohu i roto i etahi atu tauira AI hou.

'I tua atu, na te ahunga whakamua i kitea e te CLIP me nga tauira rite mo te hono i nga whakaahua me nga tuhinga i roto i te whakatakotoranga kore-pere, kua hangaia nga hoahoanga maha. i whakaahuatia hei turanga mo te heke mai o nga tono ipurangi e whakamahia nuitia ana, tae atu ki nga miihini rapu.

'E tohu ana a maatau hua me aro atu ki nga mea e akohia ana e enei tauira mai i te tirotiro reo maori.'

te pepa he taitara Nga taunakitanga mo te Hypodescent i roto i te Visual Semantic AI, ka puta mai i nga kairangahau tokotoru i te Whare Wananga o Washington me te Whare Wananga o Harvard.

CLIP me nga Whakaawe Kino

Ahakoa e kii ana nga kairangahau ko ta raatau mahi te tātaritanga tuatahi o te whakahekeheketanga i roto i te CLIP, kua whakaatuhia e nga mahi o mua ko te rerenga mahi CLIP, e whakawhirinaki ana ki nga whakangungu kore i te tirotirohia. i raro i te whakahaere raraunga i ahu mai i te paetukutuku, kei raro i nga wahine, ka taea te whakaputa Tuhinga o mua, ka taea te whakaatu rītaha kupu (pērā i te whakaaro anti-Muslim) i roto i tana encoder whakaahua.

Ko te pepa taketake i whakaatu i te CLIP i whakaae i roto i te whakatakotoranga kore-pere, ka hono a CLIP i te 58.3% noa o nga tangata whai tapanga Iwi ma i te Matatika huingararaunga. I te kitenga i tapaina a FairFace e nga kaimahi o Amazon Mechanical Turk me te whakapae, ko nga kaituhi o te pepa hou e kii ana 'he tokoiti o nga tangata e kiia ana e etahi atu tangata ko White e hono ana ki tetahi iwi ke atu i a White na CLIP.'

Ka haere tonu ratou:

'Kare te ahua ke i te pono, i te mea ko nga tangata e kiia ana no etahi atu tapanga iwi, iwi ranei i roto i te huingararaunga FairFace e hono ana ki aua tapanga na CLIP. Ko tenei hua e whakaatu ana i te tupono kua ako a CLIP i te ture o te "hypodescent," pera i whakaahuahia e nga kaiputaiao papori: ko nga tangata takitahi he whakapapa maha nga iwi ka kaha ake te mohio me te whakarōpūhia he hunga iti, he iti ake ranei te painga o te roopu matua i to te nuinga o te hunga tika. rōpū matua whai hua ranei.

'I etahi atu kupu, ko te tamaiti a te matua Pango me te Maama e kiia ana he Pango ake i te Ma; a ko te tamaiti a tetahi matua Ahia me tetahi Maama e kiia ana he Ahia ake i a White.'

E toru nga kitenga matua o te pepa: e whakaatu ana a CLIP i te whakahekeheketanga, ma te 'kahui' i nga tangata whai iwi maha ki roto i te hunga tokoiti e whai waahi ana ki nga waahanga iwi e pa ana ki a ratou; ko 'ma ko te reihi taunoa i roto i te CLIP', a ko nga reihi whakataetae e whakatauhia ana e to ratou 'whakarereke' mai i te waahanga White; me tera rītaha valence (he hononga ki nga ariā 'kino') e hono ana ki te whānuitanga ka whakarōpūhia te tangata ki roto i te iwi tokoiti.

Tikanga me nga Raraunga

Hei whakatau i te ahua o te mahi a CLIP ki nga kaupapa maha, i whakamahia e nga kairangahau a i tangohia i mua tikanga morphing ki te whakarereke i te whakataetae o nga whakaahua o te tangata. I tangohia nga whakaahua mai i te Chicago Kanohi Raraunga Raraunga, he huinga i whakawhanakehia mo nga rangahau hinengaro e pa ana ki te iwi.

Ko nga tauira mai i nga whakaahua CFD kua huri-a-iwi i roto i nga tuhinga taapiri o te pepa hou. Smai: https://arxiv.org/pdf/2205.10764.pdf

I kowhiria e nga kairangahau nga whakaahua 'neutral expression' mai i te huingararaunga, kia rite tonu ki nga mahi o mua. I whakamahia e ratou te Generative Adversarial Network StyleGAN2-ADA (i whakangungua i runga FFHQ) ki te whakatutuki i te hurihanga iwi o nga whakaahua kanohi, me te hanga whakaahua i waenga e whakaatu ana i te ahunga whakamua mai i tetahi iwi ki tetahi atu (tirohia nga tauira whakaahua o runga).

I rite ki nga mahi o mua, i whakahurihia e nga kairangahau nga kanohi o nga tangata i kii he Pango, Ahia me Latino i roto i te huingararaunga ki nga kanohi o te hunga i tapaina he Ma. Tekau ma iwa nga wahanga takawaenga ka mahia i roto i te mahi. Katoa, 21,000 1024x1024px whakaahua i hangaia mo te kaupapa ma tenei tikanga.

I whiwhi nga kairangahau i tetahi whakaahua matapae mo te CLIP mo ia whakaahua 21 katoa o ia huinga momo iwi. Whai muri i tenei, ka tonohia e ratou he tapanga mo ia ahua mai i te CLIP: 'reanga maha', 'biracial', 'iwi ranu', me te 'tangata' (te tapanga whakamutunga ka whakakore i te iwi).

Ko te putanga o CLIP i whakamahia ko te CLIP-ViT-Base-Patch32 whakatinanatanga. E ai ki nga kaituhi, neke atu i te kotahi miriona nga wa i tangohia ai tenei tauira i te marama i mua i te tuhi i a raatau rangahau, a ko te 98% o nga tangohanga o tetahi tauira CLIP mai i te whare pukapuka Transformers.

whakamātautau

Hei whakamatautau mo te kaha o te CLIP ki te heke mai, ka kite nga kairangahau i te tapanga reihi i whakawhiwhia e CLIP ki ia ahua i roto i te rōnaki o nga whakaahua kua huri mo ia tangata.

E ai ki nga kitenga, ka whakarōpūhia e te CLIP nga tangata ki roto i nga waahanga 'iti' i te tata ki te 50% tohu whakawhiti.

I te 50% ōwehenga whakaranu, he rite te takenga mai o te kaupapa, he iwi whainga, ka honoa e CLIP te maha teitei ake o te 1000 o nga whakaahua wahine kua huri me nga tapanga o Ahia (89.1%), Latina (75.8%) me te Pango (69.7%) i nga tapanga rite. tapanga ma.

Ko nga hua e whakaatu ana ko nga kaupapa wahine he kaha ake te whakaheke i raro i te CLIP i nga tane, ahakoa ko nga kaituhi e kii ana na te mea ko nga tapanga i ahu mai i te paetukutuku me te kore e tohuhia nga whakaahua wahine ka kaha ake te whakanui i te ahua o te kaupapa i te ahua o nga tane, a tera pea ka puta kee te hua.

Ko te Hypodescent i te 50% te whakawhiti iwi kaore i kitea mo te Ahia-White tane, Latino-White tane morph raupapa, i te wa i whakaritea e CLIP te ahua o te cosine teitei ake ki te tapanga Pango i roto i te 67.5% o nga keehi i te 55% te tauwehenga whakaranu.

Ko te ahua o te ahua o nga tapanga o nga tapanga Multiracial, Biracial and Mixed Race. Ko nga hua e tohu ana kei te whakahaere a CLIP i tetahi momo whakarōpūtanga 'waiwai' i nga paheketanga rereke o te ranunga iwi, he iti ake te tuku i taua ranunga iwi ki a White ('tangata', i roto i te take o nga whakamatautau) engari ki te matawaka kua kitea i roto te ahua.

Ko te whainga pai, e ai ki te pepa, ko te CLIP ka whakarōpū tika i nga ranu iwi takawaenga hei 'iwi whakauru', kaua ki te tautuhi i te 'tipping point' ka tukuna katoatia te kaupapa ki te tapanga kore-Ma.

I etahi wa, ka tautapahia e CLIP nga hikoi morph takawaenga me te Reihi Whakaranu (tirohia te kauwhata i runga ake nei), engari i te mutunga ka whakaatu i te manakohanga waenga-waenganui ki te whakarōpū i nga kaupapa hei reihi tokoiti.

I runga i nga korero mo te valence, ka tuhia e nga kaituhi te whakatau a CLIP:

'[Mean] te hononga valence (te hononga ki te kino, ki te kino ranei ki te pai, ki te pai ranei) he rereke ki te tauwehenga whakaranu i runga i te raupapa morph tane Pango-White, na te CLIP e whakawaehere i nga hononga me te kino mo nga kanohi e tino rite ana ki nga kaitoha CFD. -tautuhia he Pango.'

Ko nga hua o te valence - e whakaatu ana nga whakamatautau he nui ake te hono atu o nga roopu tokoiti ki nga aria kino i roto i te hoahoanga whakaahua/takirua atu i nga kaupapa kua tapaina ma-ma. Ko nga kaituhi e kii ana ko te hononga kino o te ahua ka piki ake me te ahua o te tauira e hono ana te ahua ki te tapanga Pango.

E kii ana te pepa:

'Ko nga taunakitanga e whakaatu ana ko te kaha o te ahua o te ahua e hono ana ki te [hononga] iwi. Ma te tino marama ake, ko o maatau hua e tohu ana ko te tino mohio o te tauira ko te ahua o te ahua e whakaatu ana i te tangata Pango, ka nui ake te hono atu ki te waahi whakauru kino o te ahua.'

Heoi ano, ko nga hua e tohu ana he hononga kino i roto i te keehi o nga kanohi o Ahia. E kii ana nga kaituhi na te paahitanga (ma nga raraunga i ahu mai i te ipurangi) o nga tirohanga pai o te ahurea o Amerika ki nga iwi o Ahia me nga hapori. Ka kii nga kaituhi *:

'Ko te kite i te hononga i waenga i te ahuareka me te tupono o te tapanga tuhinga Ahia ka rite pea ki te ahua "tauira tokoiti", e whakanuia ana nga tangata tupuna Ahia mo to ratou neke haere me te whakauru ki nga ahurea o Amerika, tae noa ki e hono ana ki te "whanonga pai".'

Mo te whainga whakamutunga, ki te tirotiro mena ko White te 'tuakiri taunoa' mai i te tirohanga a CLIP, ko nga hua e tohu ana he polarity kua mau, e kii ana i raro i tenei hoahoanga, he uaua ki te 'he paku ma'.

Ko te ahua o te Cosine puta noa i te 21,000 whakaahua i hangaia mo nga whakamatautau.

Ka korero nga kaituhi:

'Ko nga taunakitanga e tohu ana ka whakawaeheretia e CLIP a White hei reihi taunoa. E tautokohia ana tenei e te kaha ake o nga hononga i waenga i nga ritenga o te cosine White me te rite o te cosine tangata i era atu iwi, iwi ranei.'

*Ko taku hurihanga o nga korero a nga kaituhi ki nga honongaitua.

I whakaputaina tuatahi i te 24 o Haratua 2022.