Me pehea te mohio ki te wa e whakaputa ana nga punaha whakahiato whakaahua i nga rawa 'taketake'

He rangahau hou mai i Korea ki te Tonga i whakatakoto he tikanga hei whakatau mena kei te whakaputa nga punaha whakahiato whakaahua i nga whakaahua hou, i nga momo 'iti' ranei i runga i nga raraunga whakangungu, ka hinga pea te whainga o aua hoahoanga (penei i te hanga pukapuka me nga whakaahua taketake) .

I te nuinga o te wa, e kii ana te pepa, he pono tera, na te mea ko nga inenga o naianei e whakamahia ana e enei punaha ki te whakapai ake i o raatau kaha whakaputa i roto i te waa whakangungu ka kaha ki te aro ki nga whakaahua e tata ana ki nga whakaahua puna (kaore i te rūpahu) i roto i te huingararaunga. .

Ina hoki, ki te mea e tata ana te ahua o te ahua ki te puna raraunga, kare e kore ka pai ake te whiwhinga mo te 'motuhēhē' i te 'taketake', i te mea he 'pono' - ki te kore e whakaaweahia.

I roto i te rängai hou rawa atu, kare ano i whakamatauria kia mohiotia tonutia ona hua ture, ka taea tenei ka puta he take ture nui, mena ka kitea ko nga ihirangi whakaahua waihanga kua tauhokohoko kaore i te tino rerekee mai i te (he maha) nga rauemi matatiki mana pupuri i tenei wa. tukua ki te parai te rängai rangahau i roto i te ahua o nga huingararaunga rongonui kua werohia e te paetukutuku ka tae mai ki te rongonui tata nei mo te Microsoft's GitHub Co-Pilot AI).

I runga i nga ahuatanga o te whakaputanga mai i nga punaha penei i a OpenAI DALL-E2, a Google Imagen, me Haina CogView tukunga (me nga mea iti-specced DALL-E paku), he iti noa pou meka nga huarahi ki te whakamatautau pono mo te taketake o te ahua i hangaia.

Ae, ko te rapu i etahi o nga whakaahua rongonui hou o DALL-E 2 ka arahi noa atu ki etahi atu ahuatanga o aua whakaahua ano, i runga i te miihini rapu.

Ko te tuku ake i tetahi roopu whakaputa DALL-E 9 2-ahua ka arahi noa atu ki etahi atu roopu whakaputa DALL-E 2, na te mea ko te hanganga matiti te ahuatanga tino kaha. Te wehe me te tuku i te ahua tuatahi (mai tenei panui Twitter o te 8 o Hune 2022, mai i te kaute 'Weird Dall-E Generations') na Google ki te whakatika i te poitūkohu i roto i te pikitia, me te tango i te rapu whakaahua ki raro i tetahi huarahi matapo. Mo te rapu i runga i te ahua ano, te ahua nei kei te mahi a Yandex i nga mahi whakangao-a-pika me te whakahoahoa.

Ahakoa he nui ake a Yandex i te Rapu a Google ki te whakamahi i te pono āhuatanga (arā, he whakaahua i ahu mai/kua tatau āhuatanga, ehara i te mea he ahua kanohi o te tangata) me ataata (kaore i te reo) nga ahuatanga o te ahua kua tukuna kia kitea nga ahua rite, kei nga miihini rapu whakaahua katoa etahi momo kaupapa, mahi ranei he uaua pea ki te tautuhi i nga tauira puna>hanga te tinihanga ma te rapu paetukutuku.

I tua atu, ko nga raraunga whakangungu mo te tauira whakahiato kare pea i te watea ki te katoa o te katoa, ka whakapouri tonu i te tirotiro a te tangata mo te taketake o nga whakaahua i hangaia.

Ko te mea whakamiharo, ko te mahi rapu i runga i te paetukutuku-whakaahua i runga i tetahi o nga whakaahua hangahanga e whakaatuhia ana e Google i tana pae Imagen whakatapua kare rawa e kitea he mea e rite ana ki te kaupapa o te ahua, mo te titiro tonu ki te ahua me te rapu i nga ahua rite. Engari, he rite tonu te ahua, ko nga hua rapu a Google Imagen mo tenei pikitia Imagen e kore e whakaae ki te rapu paetukutuku-a-whakaahua parakore o te ahua me te kore e taapiri i nga kupu rapu 'imagen google' hei tawhā atu (me te whakaiti):

Ka kitea e Yandex te tini o nga whakaahua o te ao tino rite (me te iti rawa ranei) mai i te hapori toi runaruna:

I te nuinga o te waa, he pai ake mena ka taea te ine i te mea hou, i te taketake ranei o te whakaputanga o nga punaha whakahiato whakaahua, me te kore e hiahia ki te tango i nga ahuatanga mai i nga whakaahua katoa e anga ana ki te ipurangi i te ipurangi i te wa i whakangungua ai te tauira, i roto i nga huingararaunga kore-tumatanui e whakamahi ana pea i nga rawa mana pupuri.

E pa ana ki tenei take, kua mahi tahi nga kairangahau mai i te Kim Jaechul Graduate School of AI i te Korea Advanced Institute of Science and Technology (KAIST AI) me te ICT o te ao me te kamupene rapu NAVER Corp ki te whakawhanake i tetahi Rarity Score ka taea te awhina ki te tautuhi i nga hanganga taketake ake o nga punaha whakahiato whakaahua.

Ko nga whakaahua i konei ka hangaia ma StyleGAN-FFHQ. Mai i te maui ki te taha matau, ka tohu nga pou i te kino ki nga hua pai rawa atu. Ka kite tatou ko te inenga 'Truncation trick' (tirohia i raro nei) me te Realism metric kei a raatau ake kaupapa, engari ko te tatau hou 'Rarity' (rarangi o runga) e rapu ana i nga whakaahua whakakotahi engari taketake (kaua ko nga whakaahua whakakotahi noa). I te mea he rohe te rahi o te ahua kei roto i tenei tuhinga, tirohia te pepa puna mo nga taipitopito me te whakatau. Puna: https://arxiv.org/pdf/2206.08549.pdf

te hou pepa he taitara Rarity Score : He Inenga Hou hei Aromātai i te Aweaketanga o nga Atahanga Kua Whakakotahitia, ka ahu mai i nga kairangahau e toru i KAIST, me te toru mai i NAVER Corp.

I tua atu i te 'Tiaki Tino'

I roto i nga inenga o mua e rapu ana te pepa hou ki te whakapai ake ko te 'Truncation trick' i whakaarohia i te tau 2019 i roto i te mahi tahi i waenga i te Whare Wananga o Heriot-Watt o te UK me te DeepMind a Google.

Ka whakamahia e te Truncation Trick he tohatoha huna rereke mo te tauira i te mea i whakamahia mo te whakangungu i te tauira whakatipu.

Ko nga kairangahau nana i whakawhanake tenei tikanga i miharo i te whai hua, engari i whakaae i roto i te pepa taketake ka whakaitihia te momo whakaputanga. Heoi ano, kua whai hua, kua rongonui te Trick Truncation, i runga i te ahuatanga o te mea ka kiia ano he 'tinihanga iti' mo te whiwhi i nga hua ahua pono kaore e tino uru ki nga huarahi katoa kei roto i nga raraunga, a tera pea. he rite ki te raraunga puna nui ake i te hiahia.

Mo te Trincation Trick, ka kite nga kaituhi o te pepa hou:

'Ehara i te mea ki te whakaputa tauira onge i roto i nga huingararaunga whakangungu, engari kia pai ake te whakahiato i nga whakaahua angamaheni. Ki ta matou whakapae ka taea e nga tauira whakangao o naianei te whakaputa tauira i roto i te tohatoha raraunga tuuturu mena ka taea te whakaawe ki te whakaputa i nga tauira onge.'

O te ahua whanui ki te whakawhirinaki ki nga inenga tuku iho penei i te Frechet Inception Distance (FID, e i tae mai i raro i nga whakaheinga kaha i te Hakihea 2021), te kaute o te timatanga (IS) me te Kernel Inception Distance (KID) hei 'tohu ahunga whakamua' i te wa e whakangungu ana te tauira whakatipu, ka korero ano nga kaituhi*:

'Ko tenei kaupapa ako e arai ana i te kaihanga kia kaua e whakahiato i nga tauira onge noa he mea ahurei, he kaha nga ahuatanga kaore e pa ana ki te waahanga nui o te tohatoha whakaahua tuuturu. Ko nga tauira o nga tauira onge mai i nga huingararaunga a-iwi ko nga tangata he momo taputapu kei roto FFHQ, kararehe ma i AFHQ, a nga whakapakoko tauhou i Metfaces.

'Ko te kaha ki te whakaputa tauira onge he mea nui ehara i te mea e pa ana ki te kaha o te taha o nga tauira whakatipu, engari na te mea ka whai waahi nui te ahurei ki nga tono auaha penei i te tangata mariko.

'Heoi, ko nga hua kounga o te maha o nga rangahau tata nei he iti rawa enei tauira onge. Ki ta matou whakapae, na te ahua o te kaupapa ako a te hoariri i whakaputa i te tohatoha atahanga he rite ki tera o te huinga raraunga whakangungu. No reira, he iti noa nga waahanga o nga whakaahua kua whakahiatohia e nga tauira.'

technique

Ko te Rarity Score hou a nga kairangahau e urutau ana i tetahi whakaaro e whakaatuhia ana i mua mahi – te whakamahi o K-Tatata tata (KNNs) hei tohu i nga rarangi o nga raraunga pono (whakangungu) me te waihanga (putanga) i roto i te punaha whakahiato whakaahua.

Mo tenei tikanga tātaritanga hou, ka kii nga kaituhi:

'E whakapae ana matou ko nga tauira noa ka tata ki a ratau, engari ko nga tauira ahurei me te onge ka noho iti ki te waahi waahi.'

Ko te ahua o nga hua o runga e whakaatu ana i nga tawhiti tata tata rawa atu (NNDs) tae noa ki te rahi rawa, i roto i te hoahoanga StyleGAN i whakangungua FFHQ.

'Mo nga huingararaunga katoa, ko nga tauira me nga NND iti rawa e whakaatu ana i nga whakaahua me nga whakaahua angamaheni. Engari, ko nga tauira me nga NND nui rawa atu he kaha te takitahi me te tino rereke mai i nga whakaahua angamaheni me nga NND iti rawa.'

I roto i te ariā, ma te whakamahi i tenei inenga hou hei whakahāwea, me te whakauru atu ranei ki roto i te hoahoanga whakahāwea uaua ake, ka taea te aukati i te punaha whakaputa mai i te tauira parakore ki te algorithm auaha ake, me te pupuri i te whakakotahitanga o nga ariā he mea tino nui. mo te hanga whakaahua pono (ara 'tangata', 'wahine', 'motokā', 'hahi', etc.).

Whakataurite me nga Whakamatau

I roto i nga whakamatautau, i whakahaerehia e nga kairangahau he whakataurite mo nga mahi a te Rarity Score ki te Truncation Trick me te NVIDIA's 2019. Tohu Tino, a ka kitea i roto i nga momo anga me nga huingararaunga, ka taea e te huarahi te whakatau takitahi i nga hua 'ahurei'.

Ahakoa he nui rawa nga hua e whakaatuhia ana i roto i te pepa ki te whakauru mai ki konei, ko te ahua o nga kairangahau kua whakaatu i te kaha o te tikanga hou ki te tautuhi i te onge i roto i nga whakaahua e rua (pono) me nga whakaahua hanga (rūpahu) i roto i te tikanga whakaputa:

Tīpakohia ngā tauira mai i ngā hua matakite whānui i whakaputahia ki te pepa (tirohia te puna URL i runga ake mo etahi atu taipitopito). Kei te taha maui, he tauira pono mai i te FFHQ he iti noa nga hoa tata (arā, he mea hou, he rerekee) kei roto i te huingararaunga taketake; kei te taha matau, ko nga whakaahua rūpahu i hangaia e StyleGAN, i tohuhia e te inenga hou he pukapuka pono. I te mea he rohe te rahi o te ahua kei roto i tenei tuhinga, tirohia te pepa puna mo nga taipitopito me te whakatau.

Ko te inenga Rarity Score hou ehara i te mea ka taea te tautuhi i nga putanga whakaputa 'pukapuka' i roto i te hoahoanga kotahi, engari ano hoki, e kii ana nga kairangahau, ka taea te whakataurite i waenga i nga tauira whakaputa o nga momo hoahoanga rereke me te rereke (arā, autoencoder, VAE, GAN, etc. ).

E ai ki te pepa he rerekee te Rarity Score i nga inenga o mua ma te aro ki te kaha o te anga whakangao ki te hanga whakaahua ahurei me te onge, hei whakahē i nga inenga 'tikanga', e tirotiro ana (he ahua ake) te rereketanga i waenga i nga whakatipuranga i te wa e whakangungu ana te tauira.

I tua atu i nga mahi iti

Ahakoa i whakahaerehia e nga kairangahau o te pepa hou nga whakamatautau mo nga anga-a-rohe iti (penei i nga huinga kaihanga/raunga raraunga i hangaia hei whakaputa i nga pikitia o nga tangata, o nga ngeru ranei, hei tauira), ka taea pea te whakamahi te Rarity Score ki tetahi tikanga whakahiato whakaahua i reira. ko te hiahia ki te tautuhi i nga tauira hanga e whakamahi ana i nga tohatoha i ahu mai i nga raraunga kua whakangungua, kaua ki te whakanui ake i te pono (me te whakaiti i te kanorau) ma te wawao i nga tohanga huna o tawahi, me te whakawhirinaki atu ranei ki etahi atu 'pokatata' e whakararu ana i nga mea hou ki te pono.

Ko te tikanga, ka taea e taua inenga te wehewehe i nga ahuatanga whakaputa hou i roto i nga punaha penei i te raupapa DALL-E, ma te whakamahi i te tawhiti i tautuhia i waenga i tetahi hua 'waho' kitea, nga raraunga whakangungu, me nga hua mai i nga akiaki me nga whakaurunga rite (ara, atahanga. -i runga i nga akiaki).

I roto i te mahi, me te kore e tino marama ki te whanuitanga o te punaha kua whakahiato pono i nga ariā tirohanga me nga kupu (he maha nga wa e aukatihia ana e te iti o te mohiotanga mo nga raraunga whakangungu), he huarahi pai tenei ki te tautuhi i te waa pono whakahihiri' i roto i te punaha whakaputa – te waahi i puta ai te maha o nga ariā whakauru me nga raraunga ka puta mai he mea tino whakaaro, hei utu mo tetahi mea tino takea, tata ranei ki te puna raraunga.

* Ko aku hurihanga o nga korero a nga kaituhi ki nga honongaitua.

I whakaputaina tuatahi i te 20 o Pipiri 2022.