Ko nga Tauira Whakawhitiwhiti he anga AI whakahiato e whakahiato ana i nga whakaahua mai i te haruru na roto i te tukanga whakaheke. Ka whakanuia ratou mo o raatau kaha ki te whakaputa whakaahua me te kanorau, ko te nuinga o nga tikanga arataki tuhinga-a-akomanga ranei, tae atu ki te arataki whakarōpū me te arataki-kore-kore. Ko enei tauira kua tino angitu ki te hanga whakaahua kanorau, kounga teitei. Kua kitea e nga rangahau tata nei ko nga tikanga arataki penei i nga tapanga karaehe me nga tapanga ka whai waahi nui ki te whakarei ake i te kounga o nga whakaahua ka mahia e enei tauira.

Heoi, ko nga tauira whakamaarama me nga tikanga arataki ka raru i raro i etahi ahuatanga o waho. Ko te tikanga Whakaakoranga-Kore Arahi (CFG), e whakamahi ana i te whakaheke tapanga, ka taapiri i te uaua ki te mahi whakangungu, engari ko te tikanga Arahi Kaiako (CG) me whakangungu taapiri. Ko nga tikanga e rua he mea herea na te whakawhirinaki ki nga tikanga o waho kua whakapaua, te whakatiki i o raatau kaha me te herea ki nga whakaritenga here.

Hei whakatika i enei here, kua whakatakotohia e nga kaiwhakawhanake he huarahi whanui ake mo te arataki whakamaaramatanga, e kiia nei ko te Arataki Whaiaro Whaiaro (SAG). Ko tenei tikanga ka whakamahi i nga korero mai i nga tauira takawaenga o nga tauira tohatoha hei whakaputa whakaahua. Ka tuhurahia e matou te SAG i roto i tenei tuhinga, ma te korero mo ona mahi, tikanga, me nga hua ka whakaritea ki nga anga me nga raina paipa o naianei.

Arataki Whaiaro Whaiaro : Te Whakapai ake i te Kounga Tauira o nga Tauira Whakawhitiwhiti

Ko nga Tauira Whakawhitiwhiti Whakakore (DDMs) kua rongonui mo to raatau kaha ki te hanga whakaahua mai i te haruru na roto i te tukanga whakaheke. Ko te kaha o te whakahiato ahua o enei tauira na nga tikanga arataki whakamaarama. Ahakoa o ratou kaha, ka pa atu nga tauira whakamaarama me nga tikanga arataki i nga wero penei i te uaua taapiri me te pikinga o nga utu rorohiko.

Hei hinga i nga herenga o naianei, kua whakauruhia e nga kaiwhakawhanake te tikanga Arataki Whaiaro Whaiaro, he whakatakotoranga whanui mo te arataki whakamaarama kaore i te whakawhirinaki ki nga korero o waho mai i te arataki whakamaarama, na reira ka ngawari te huarahi ki te arahi. anga whakamaarama. Ko te huarahi i kowhiria e te Arataki Whaiaro Whaiaro ka awhina i te whakakaha ake i te whaihuatanga o nga tikanga arataki tiritiri tuku iho ki nga keehi me nga whakaritenga o waho ranei. 

Ko te Arataki Whaiaro Whaiaro e ahu mai ana i runga i te maapono ngawari o te whakatakotoranga whanui, me te whakaaro ko nga korero o roto kei roto i nga tauira takawaenga ka noho hei kaiarahi. I runga i te kaupapa o tenei kaupapa, ko te tikanga SAG te tuatahi ka whakauru i te Aratohu Blur, he otinga ngawari me te ngawari hei whakapai ake i te kounga tauira. Ko te whainga o te arataki Blur ki te whakamahi i nga ahuatanga pai o te Gaussian blur ki te tango i nga taipitopito tauine pai ma te arahi i nga tauira takawaenga ma te whakamahi i nga korero kua whakakorehia na te Gaussian blur. Ahakoa ko te tikanga arataki Blur e whakanui ana i te kounga tauira me te tauine arataki ngawari, karekau e taea te whakahoki i nga hua i runga i te tauine arataki nui na te mea he maha nga wa ka puta te rangirua o nga hanganga ki nga rohe katoa. Ko te mutunga mai, he uaua ki te arataki Blur ki te whakahāngai i te tāuru taketake ki te matapae o te tāuru whakaheke. Hei whakarei ake i te pumau me te whai huatanga o te tikanga arataki Blur i runga i te tauine arataki nui ake, ka ngana te Arataki Whaiaro-whaiaro ki te whakamahi i te tikanga aro-whaiaro o nga tauira whakamaarama i te mea kei roto i nga tauira whakamaaramatanga hou he tikanga aro-whaiaro i roto i o raatau hoahoanga. 

I runga i te whakaaro he mea nui te aro-whaiaro ki te hopu i nga korero hirahira, ka whakamahi te tikanga Arataki Whaiaro-whaiaro i nga mapi aro-whaiaro o nga tauira whakamaarama ki te whakapouri i nga rohe kei roto i nga korero whakahirahira, a, i roto i te tukanga, ka arahi i te tauira tohatoha me nga korero toenga e hiahiatia ana. Ko te tikanga ka whakamahi i nga mapi aro i te wa whakamuri o nga tauira whakamaarama, hei whakanui ake i te kounga o nga whakaahua me te whakamahi i te whakamaarama-whaiaro ki te whakaheke i nga taonga toi me te kore e hiahia whakangungu, korero o waho ranei. 

Hei whakarapopototanga, ko te tikanga Arataki Whaiaro Whaiaro

1. He huarahi hou e whakamahi ana i nga mapi aro-a-roto o nga anga whakamaarama ki te whakapai ake i te kounga o te ahua tauira i hangaia me te kore e hiahia whakangungu atu, e whakawhirinaki ana ranei ki nga ahuatanga o waho. 
2. Ko te tikanga SAG e ngana ana ki te whaanui i nga tikanga arataki herenga ki roto i te tikanga herekore ka taea te whakauru ki tetahi tauira whakamaarama me te kore e tono rauemi taapiri, tikanga o waho ranei, na reira ka whakarei ake i te whaihuatanga o nga anga-arahi. 
3. Ko te tikanga SAG hoki e ngana ana ki te whakaatu i ona kaha orthogonal ki nga tikanga here me nga anga o naianei, na reira ka pai ake te kaha o te mahi ma te whakauru ngawari ki etahi atu tikanga me nga tauira. 

Ma te neke haere, ka ako te tikanga Arataki Whaiaro-whaiaro mai i nga kitenga o nga anga e pa ana tae atu ki nga Tauira Whakawhitiwhiti, Te Arataki Tauira, Nga tikanga Atawhai Whaiaro AI Generative, me nga Whakaaturanga a-roto o nga Tauira Whakawhitiwhiti. Heoi ano, ko te tikanga o te Arataki Whaiaro Whaiaro ka whakatinana i nga akoranga mai i te DDPM, Denoising Diffusion Probabilistic Models, Classifier Guidance, Classifier-free Guidance, and Self-Attention in Diffusion frameworks. Ka korero hohonu tatou mo ratou i te waahanga e haere ake nei. 

Arataki Whaiaro Whaiaro  : Tuhinga o mua, Tikanga, me te Hangahanga

Te Whakakore i te Tauira Tuturuki Tuturuki, DDPM ranei

DDPM ranei Te Whakakore i te Tauira Tūponotanga he tauira e whakamahi ana i te tukanga whakahekenga hei whakaora i te ahua mai i te haruru ma. I nga wa o mua, ka whiwhi te tauira DDPM i te ahua whakauru me te raarangi rereke i te waa ki te tiki i te ahua ma te whakamahi i te tukanga whakamua e kiia nei ko te tukanga Markovian. 

Kaiwhakaako me te Kaitohu-Kore Arataki me te Whakamahinga GAN

Kei a GAN, Generative Adversarial Networks ranei te kanorau tauhokohoko ahurei mo te pono, me te kawe mai i tenei kaha o nga anga GAN ki nga tauira whakamaarama, e whakaaro ana te anga Arataki Whaiaro Whaiaro ki te whakamahi i tetahi tikanga arataki whakarōpū e whakamahi ana i tetahi atu whakarōpū. He rereke, ka taea hoki te whakamahi i tetahi tikanga arataki-kore-kore ki te kore e whakamahi i tetahi atu whakarōpū hei whakatutuki i nga hua rite. Ahakoa ka tukuna e te tikanga nga hua e hiahiatia ana, kare tonu e taea te tatau na te mea e hiahia ana he tapanga taapiri, me te taapiri i te anga ki nga tauira whakamaarama herenga e hiahia ana ki etahi atu tikanga penei i te tuhinga, i te karaehe ranei me etahi atu taipitopito whakangungu hei taapiri i te uaua o te te tauira. 

Te Arataki Whakawhänui

Ahakoa ko nga tikanga Arahi Kaiako me te Kaiako-kore e tuku nga hua e hiahiatia ana me te awhina i te whakatipu herenga i roto i nga tauira whakamaarama, kei te whakawhirinaki ratou ki etahi atu whakaurunga. Mo nga wa katoa, ko te whakaurunga mo te tauira whakamaarama he ahuatanga whaanui me tetahi tauira raruraru kaore he ahuatanga whanui. I tua atu, ko te ahuatanga whanui ka uru ki nga korero o roto i roto i te tauira ohorere, i tetahi ahuatanga o waho ranei, ahakoa e rua. Ko te hua o te arataki ka hangaia ma te whakamahi i te regressor pohewa me te whakaaro ka taea e ia te matapae i te ahuatanga whanui. 

Te Whakapai ake i te Kounga Atahanga ma te whakamahi i nga Mahere Whaiaro Whaiaro

E ai ki te Aratohu Whakawhitiwhiti Whanui ka taea te whakarato i te arataki ki te mahi whakamuri o nga tauira whakarara ma te tango i nga korero whakahirahira i roto i te ahuatanga whanui kei roto i te tauira ohorere. Ko te hanga i runga ano, ko te tikanga Arataki Whaiaro Whaiaro ka hopu i nga korero whakahirahira mo nga tukanga whakamuri me te whakaiti i nga tupono ka puta mai i nga take o waho o te tohatoha i roto i nga tauira tohatoha kua whakangungua. 

Aratohu Puku

Ko te arataki Blur i roto i te Arataki Whaiaro-whaiaro e ahu mai ana i runga i te Gaussian Blur, he tikanga tātari raina e hono ai te tohu whakauru ki te tātari Gaussian hei whakaputa i tetahi putanga. Na te pikinga o te inenga paerewa, ka whakaitihia e Gaussian Blur nga taipitopito tauine pai i roto i nga tohu whakauru, ka puta mai nga tohu whakaurunga kore e kitea ma te whakaene ki te taumau. I tua atu, kua tohuhia e nga whakamatautau he kore tauritenga korero i waenga i te tohu whakauru, me te tohu whakaputa a Gaussian blur kei roto i te tohu whakaputa he korero pai ake. 

I runga i te kaupapa o tenei akoranga, ka whakauruhia e te anga Arataki Whaiaro Whaiaro te arataki Blur, he tikanga ka whakakore i nga korero mai i nga hangahanga takawaenga i te wa o te whakamaaramatanga, engari, ka whakamahi i enei korero hei arahi i ana matapae ki te whakapiki ake i te whaitake o nga whakaahua ki te nga korero whakauru. Ko te arataki purongo ka nui ake te kotiti kee o te matapae taketake mai i te matapae whakaurunga pouri. I tua atu, ko nga taonga pai i roto i te Gaussian blur e aukati ana i nga tohu whakaputa kia kore e tino kotiti ke i te tohu taketake me te rerekee ngawari. I roto i nga kupu ngawari, ka puta te purongo i roto i nga whakaahua ka pai ake te ahua o te Gaussian blur hei whakamahi ki nga tauira whakamaarama kua whakangungua. 

I roto i te paipa Arataki Whaiaro Whaiaro, ko te tohu whakaurunga ka whakapouri i te tuatahi ma te whakamahi i te tātari Gaussian, katahi ka horahia me te haruru taapiri hei whakaputa i te tohu whakaputa. Ma te mahi i tenei, ka whakaitihia e te pipeline SAG te taha taha o te puhoi ka puta ka whakaheke i te haruru o Gaussian, ka whakawhirinaki te kaiarahi ki nga ihirangi, kaua ki te whakawhirinaki ki te haruru matapōkere. Ahakoa he pai nga hua o te arataki puanapu i runga i nga anga me te tauine arataki ngawari, kare e taea te whakahoki i nga hua ki nga tauira o naianei me te tauine arataki nui na te mea ka kaha ki te whakaputa hua ngangau pera i te whakaahua e whai ake nei. 

Ko enei hua he hua pea na te rangirua o te hanganga i whakaurua mai ki roto i te anga e te purongo o te ao e uaua ana mo te paipa SAG ki te whakahāngai i nga matapae o te whakaurunga taketake me te whakaurunga kua heke, ka puta nga putanga haruru. 

Tikanga Whaiaro Whaiaro

Ka rite ki te korero i mua ake nei, ko nga tauira whakamaarama he waahanga aro-a-roto i roto i te hanga, a koinei tetahi o nga waahanga tino nui i roto i te anga tauira whakamaarama. Ka whakatinanahia te tikanga Whaiaro Whaiaro ki te matua o nga tauira whakamaarama, a ka taea e te tauira te aro ki nga waahanga whakahirahira o te whakaurunga i te wa o te mahi whakangao penei i te whakaahua e whai ake nei me nga kopare teitei i te rarangi o runga, me nga kopare aro-whaiaro i te rarangi o raro o nga whakaahua ka oti. 

Ko te tikanga Arataki Whaiaro Whaiaro e hanga ana i runga i te maapono kotahi, me te whakamahi i nga kaha o nga mapi aro-whaiaro i roto i nga tauira whakamaarama. Ko te tikanga, ko te tikanga Arataki Whaiaro-whaiaro e whakapouri ana i nga papaa-whaiaro i roto i te tohu whakauru, i nga kupu ngawari ranei, e huna ana i nga korero o nga papanga e tukuna ana e nga tauira tohatoha. I tua atu, ko nga tohu whakaputa i roto i te Arataki Whaiaro Whaiaro kei roto i nga rohe totika o nga tohu whakauru te tikanga kaore e hua mai i te rangirua o te hanganga o nga whakaurunga, me te whakaoti i te raru o te purongo o te ao. Ka whiwhi te paipa i nga mapi aro-whaiaro whakahiato ma te whakahaere i te GAP, Global Average Pooling ranei hei whakahiato mapi aro-whaiaro ki te taha, me te whakahiato i te hoa tata-tata kia rite ki te whakataunga o te tohu whakauru. 

Arataki Whaiaro Whaiaro : Nga Whakamatau me nga Hua

Hei arotake i ana mahi, ka whakatauirahia te pipeline Arataki Whaiaro ma te whakamahi i te 8 Nvidia GeForce RTX 3090 GPU, ka hangaia ki runga IDDPM, ADM, me Nga anga diffusion Stable. 

Whakatupuranga Karekau me te Arataki Whaiaro Whaiaro

Hei ine i te whai huatanga o te paipa SAG i runga i nga tauira kore here me te whakaatu i nga rawa-kore-kore-kore-kore-kore-kore-kore-kore-kore-kore-kore-kore-kore-kore-kore-kore-kore-a-raa i te Arataki Kaiakoranga, me te huarahi Arataki Koreutu Kaiwhakaako, ka whakahaerehia te paipa SAG i runga i nga anga kua oti te whakangungu-a-mua i runga i te 50 mano tauira. 

I te mea e kitea ana, ko te whakatinanatanga o te paipa SAG ka whakapai ake i nga inenga FID, sFID, me IS o te whakaurunga kore here i te wa e whakaheke ana te uara maumahara i te wa ano. I tua atu, ko nga whakapainga kounga hei hua o te whakatinana i te paipa SAG ka kitea i roto i nga whakaahua e whai ake nei ko nga whakaahua kei runga he hua mai i nga anga ADM me te Stable Diffusion engari ko nga whakaahua kei raro he hua mai i te ADM me te Stable Diffusion frameworks me te SAG paipa. 

Whakatupu Herenga me SAG

Ko te whakaurunga o te paipa SAG i roto i nga anga o naianei ka puta he hua tino pai i roto i te whakatipuranga kore, a ko te paipa SAG e kaha ana ki te ahua-agnosticity e taea ai te paipa SAG ki te whakatinana mo te whakatipuranga herenga hoki. 

Te Torangapu Maamaa me te Arataki Whaiaro

Ahakoa ko te anga Whakawhitinga Stable taketake e whakaputa whakaahua kounga teitei, ko te whakauru i te anga Ruarua Ruarua me te paipa Arataki Whaiaro Whaiaro ka taea te whakanui i nga hua. Hei arotake i tona paanga, ka whakamahi nga kaiwhakawhanake i nga tohu watea mo te Stable Diffusion me te kakano matapōkere mo ia pikitia takirua, me te whakamahi i te arotake tangata i runga i te 500 takirua o nga whakaahua me te Arataki Whaiaro Whaiaro me te kore. Ko nga hua ka whakaatuhia i te ahua e whai ake nei.  

I tua atu, ka taea e te whakatinanatanga o te SAG te whakarei ake i nga kaha o te anga Whakawhitiwhiti Stable na te mea ko te whakakotahi i te Kaiako-Kore Arahi me te Arataki Whaiaro-whaiaro ka taea te whakawhanui i te awhe o nga tauira Whakawhitinga Rori ki te whakahiato kupu-ki-ahua. I tua atu, ko nga whakaahua i hangaia mai i te tauira Stable Diffusion me te Arataki Whaiaro Whaiaro he pai ake te kounga me nga taonga iti ake na te huanga o te paipa SAG e whakaatu ana i te ahua e whai ake nei. 

Nga here o naianei

Ahakoa ka taea e te whakatinanatanga o te paipa Arataki Whaiaro-whaiaro te whakapai ake i te kounga o nga whakaahua kua hangaia, he herenga kei a ia. 

Ko tetahi o nga here nui ko te orthogonality me te Kaiwhakaako-Arahi me te Kaitohu-Kore Arahi. I te mea ka kitea i te ahua e whai ake nei, ko te whakatinanatanga o te SAG ka whakapai ake i te kaute FID me te tohu matapae ko te tikanga kei roto i te paipa SAG tetahi waahanga orthogonal ka taea te whakamahi me nga tikanga arataki tuku iho i te wa kotahi. 

Heoi ano, me whakangungu tonu nga tauira whakamaarama i runga i nga tikanga motuhake hei taapiri atu ki te uaua me nga utu tatau. 

I tua atu, ko te whakatinanatanga o te Arataki Whaiaro-whaiaro e kore e whakanui ake i te mahara, i te paunga taima ranei, he tohu ko te nui o te hua mai i nga mahi penei i te huna me te whakapouri i te SAG he iti. Heoi, ka taapiri tonu atu ki nga utu kaute na te mea kei roto he waahanga taapiri ina whakaritea ki te kore huarahi arataki. 

Thoughts Final

I roto i tenei tuhinga, kua korero matou mo te Arataki Whaiaro Whaiaro, he pukapuka me te whakatakotoranga whanui mo te arataki arataki e whakamahi ana i nga korero o roto e waatea ana i roto i nga tauira whakamaarama mo te whakaputa whakaahua kounga teitei. Ko te Arataki Whaiaro Whaiaro e ahu mai ana i runga i te maapono ngawari o te whakatakotoranga whanui, me te whakaaro ko nga korero o roto kei roto i nga tauira takawaenga ka noho hei kaiarahi. Ko te Pipa Arataki Whaiaro-whaiaro he huarahi kore-kore me te whakangungu-kore ka taea te whakatinana puta noa i nga momo momo whakamaarama, me te whakamahi i te whakamaarama-whaiaro ki te whakaheke i nga taonga o nga whakaahua kua hangaia, me te whakanui i te kounga katoa.