I nga tau kua pahure ake nei kua kite i te ahunga whakamua tere i roto i te mahi, te kakama, me te kaha whakaputa o nga pukapuka hou ka puta. Nga tauira whakatipu AI e whakamahi ana i te maha o nga huingararaunga, me nga mahi whakangao 2D. I tenei ra, he tino kaha nga tauira AI whakahiato ki te whakaputa i nga momo momo 2D, me etahi waahanga, nga ihirangi pāpāho 3D tae atu ki nga tuhinga, whakaahua, ataata, GIF, me etahi atu. 

I roto i tenei tuhinga, ka korero tatou mo te anga Zero123++, he tauira AI whakahiato-ahua-whakaahua me te whai ki te whakaputa i nga whakaahua tirohanga-maha 3D-rite ma te whakamahi i te whakaurunga tirohanga kotahi. Hei whakanui ake i te painga i puta mai i nga tauira whakangao kua oti te whakangungu i mua, ka whakatinanahia e te anga Zero123++ te maha o nga kaupapa whakangungu me te whakamaarama hei whakaiti i te nui o te whakapau kaha ki te whakatika mai i nga tauira whakaahua tiritiri o waho. Ka ruku hohonu atu tatou ki te hoahoanga, mahi, me nga hua o te anga Zero123++, ka tātari i ona kaha ki te whakaputa i nga whakaahua tirohanga maha o te kounga teitei mai i te ahua kotahi. Na kia timata tatou. 

Zero123 and Zero123++: He Kupu Whakataki

Ko te anga Zero123++ he tauira AI whakahiato-ahua-ahua-ahua e whai ana ki te whakaputa whakaahua tirohanga-maha 3D-rite ma te whakamahi i te whakauru tirohanga kotahi. Ko te anga Zero123++ he haere tonu o te anga Zero123, Zero-1-ki-3 ranei e whakamahi ana i te tikanga whakahiato whakaahua pukapuka-kore-kore ki te timata i te hurihanga-a-ahua kotahi-ki-3D. Ahakoa ko te anga Zero123++ e tuku ana i nga mahi pai, ko nga whakaahua i hangaia e te anga kei te kitea nga taupatupatu ahuahanga, a koinei te tino take i noho tonu ai te aputa i waenga i nga tirohanga 3D, me nga whakaahua tirohanga-maha. 

Ko te anga Zero-1-to-3 te turanga mo etahi atu anga tae atu ki te SyncDreamer, One-2-3-45, Consistent123, me etahi atu taapiri taapiri ki te anga Zero123 kia pai ake ai nga hua ina whakaputa whakaahua 3D. Ko etahi atu anga penei i te ProlificDreamer, DreamFusion, DreamGaussian, me etahi atu e whai ana i te huarahi arotautanga ki te tiki whakaahua 3D ma te whakamaarama i tetahi whakaahua 3D mai i nga momo tauira koretake. Ahakoa e whai hua ana enei tikanga, me te whakaputa whakaahua 3D pai, ka taea te whakapai ake nga hua ma te whakatinanatanga o te tauira whakamaarama turanga e kaha ana ki te whakaputa whakaahua tirohanga-maha i nga wa katoa. No reira, ko te anga Zero123++ te tango i te Zero-1 ki te-3, me te whakatika i tetahi tauira tiritiri turanga maha-tirohanga hou mai i Stable Diffusion. 

I roto i te anga-kore-1-ki-3, he mea hanga takitahi ia tirohanga hou, a na tenei huarahi ka arai i nga taupatupatu i waenga i nga tirohanga ka puta i te mea he ahua tauira to nga tauira whakamaarama. Hei whakatika i tenei take, ka whakamahi te anga Zero123++ i te huarahi tahora tapapa, me te mea e karapotia ana e nga tirohanga e ono ki te ahua kotahi, me te whakarite i te whakatauira tika mo te tohatoha tahi o nga whakaahua tirohanga maha o tetahi mea. 

Ko tetahi atu wero nui e pa ana ki nga kaiwhakawhanake e mahi ana i te anga Zero-1-ki-3 ko te kore e whakamahia e ia nga kaha e tukuna ana e Whakawhanaketanga pumau i te mutunga ka arai ki te koretake, me nga utu taapiri. E rua nga take nui e kore e taea e te anga Zero-1-to-3 te whakanui ake i nga kaha e tukuna ana e Stable Diffusion

1. I te wa e whakangungu ana me nga ahuatanga ahua, kaore te anga Zero-1-ki-3 e whakauru tika ana i nga tikanga whakamaarama o te rohe, o te ao ranei e tukuna ana e Stable Diffusion. 
2. I te wa o te whakangungu, ka whakamahia e te angamahi Zero-1-to-3 te whakatau iti, he huarahi e whakahekehia ai te whakataunga putanga ki raro i te whakataunga whakangungu ka taea te whakaiti i te kounga o te hanga whakaahua mo nga tauira Stable Diffusion. 

Hei whakatutuki i enei take, ka whakatinanahia e te anga Zero123++ he momo tikanga whakamaarama e whakanui ana i te whakamahinga o nga rauemi e tukuna ana e Stable Diffusion, me te pupuri i te kounga o te hanga whakaahua mo nga tauira Stable Diffusion. 

Te Whakapai ake i te Waahanga me te Tauritenga

I roto i te ngana ki te whakapai ake i te whakamaarama whakaahua, me te riterite o nga whakaahua maha-tirohanga, i whakatinanahia e te anga Zero123++ etahi tikanga rereke, ko te kaupapa tuatahi ko te whakamahi ano i nga tikanga o mua i ahu mai i te tauira Stable Diffusion kua whakangungua. 

Whakatupuranga Tirohanga Maha

Ko te kounga nui o te whakaputa whakaahua maha-tirohanga rite tonu kei te whakatauira tika i te tohatoha o nga whakaahua maha. I roto i te anga Kore-1-ki-3, ka warewarehia te hononga i waenga i nga whakaahua tirohanga-maha na te mea mo ia ahua, ka whakatauira te anga i te tohatoha taha herenga motuhake me te wehe. Heoi, i roto i te angamahi Zero123++, kua whiriwhiria e nga kaiwhakawhanake he huarahi whakatakotoranga taera e tarai ana i nga whakaahua e 6 ki roto i te anga/whakaahua kotahi mo te whakatipuranga maha-tirohanga rite tonu, a ka whakaatuhia te tukanga i te ahua e whai ake nei. 

I tua atu, kua kitehia ko nga waahanga ahanoa ka huri i te wa e whakangungu ana i te tauira i runga i nga mahi a te kamera, me te aukati i tenei whakamaaramatanga, ko te anga Zero-1-ki-3 e whakangungu ana i runga i nga kaamera me nga koki teitei me te azimuth whanaunga ki te whakauru. Hei whakatinana i tenei huarahi, me mohio ki te koki teitei o te tirohanga o te whakaurunga ka whakamahia hei whakatau i te ahua o te ahua i waenga i nga tirohanga whakauru hou. I roto i te ngana ki te mohio ki tenei koki teitei, he maha nga wa ka taapirihia e nga anga he kōwae whakatau tata teitei, a ko tenei huarahi ka tae mai ki te utu mo etahi atu hapa o te paipa. 

Apiti Haruru

Ko te rarangi tauine-raina, ko te raarangi haruru taketake mo te Stable Diffusion e aro nui ana ki nga korero o te rohe, engari i te mea ka kitea i te ahua e whai ake nei, he iti noa nga hikoinga me te SNR iti, Waitohu ranei ki te Tauwehenga Haruru. 

Ko enei hikoinga o te Raiti Waitohu iti ki te Haruru ka puta moata i te wa o te whakahekenga, he waahi tino nui mo te whakatau i te hanganga auau-iti o te ao. Ko te whakaheke i te maha o nga hikoi i te wa o te waahi whakaheke, ahakoa i te wa e pokanoa ana, i te whakangungu ranei ka nui ake te rereketanga o te hanganga. Ahakoa he pai tenei tatūnga mo te whakatipu whakaahua kotahi ka whakawhāitihia te kaha o te angamahi ki te whakarite kia rite tonu te ao i waenga i nga tirohanga rereke. Hei hinga i tenei arai, ka whakatika te anga Zero123++ i tetahi tauira LoRA i runga i te anga matapae v-Stable Diffusion 2 hei mahi i tetahi mahi takaro, a ka whakaatuhia nga hua i raro nei. 

Ma te raupapa haruru-a-raina, kaore te tauira LoRA e eke ki runga, engari ka paku noa te ahua. I tua atu, i te wa e mahi ana me te raarangi haruru, ka hangaia e te anga LoRA he ahua paratea ahakoa te tere whakauru, na reira ka tohu te paanga o te raarangi haruru ki te kaha o te anga ki te urutau ki nga whakaritenga hou o te ao. 

Nga Tohutoro Whakatauhia mo nga Tikanga Paetata

Ko te whakauru tirohanga kotahi, ko nga whakaahua whakamaarama ranei i roto i te anga Zero-1-ki-3 ka honoa ki nga whakaurunga haruru i roto i te ahua o te ahua hei haruru mo te whakamaarama whakaahua.

Ko tenei whakakotahitanga e arai ana ki tetahi reta mokowā-pika-whakaaro i waenga i te atahanga kua tohua, me te whakaurunga. Hei whakarato i te whakaurunga whakamaaramatanga o te rohe, ka whakamahia e te anga Zero123++ he Whakanuia Tohutoro Attention, he huarahi e whakahaere ana i te tauira UNet whakakorehia ka tukuna ki runga i te ahua tohutoro taapiri, ka whai i te taapiri o nga matrices uara me te matua aro-whaiaro mai i te tohutoro. te ahua ki nga paparanga aro inaa ka whakakorehia te whakauru tauira, ka whakaatuhia ki te ahua e whai ake nei. 

Ko te huarahi Tohutoro Arotahi e kaha ana ki te arahi i te tauira whakamaarama ki te whakaputa whakaahua tiritiri he rite ki te kakano me te ahua tohutoro, me nga ihirangi oro me te kore he whakatikatika. Ma te whakatikatika pai, ko te huarahi Tohutoro Arotahi ka whakaputa nga hua pai ake me te whakahiatotanga o te mea huna. 

Whakaritea o te Ao : FlexDiffuse

I roto i te huarahi taketake Stable Diffusion, ko nga whakaurunga tuhinga anake te puna mo nga whakaurunga o te ao, a ka whakamahia e te huarahi te anga CLIP hei whakawaehere tuhinga hei mahi i nga whakamatautau whakawhiti i waenga i nga whakaurunga tuhinga, me nga tauira huna. Ko te mutunga, ka waatea nga kaiwhakawhanake ki te whakamahi i te tirohanga i waenga i nga mokowā tuhinga, me nga whakaahua CLIP ka puta hei whakamahi mo nga whakaahuru atahanga o te ao. 

Ko te anga Zero123++ e whakaaro ana ki te whakamahi i tetahi momo whakangungu o te huarahi arataki raina hei whakauru i te whakamaarama ahua o te ao ki roto i te anga me te iti rawa. whakatikatika pai e hiahiatia ana, ka whakaatuhia nga hua ki te ahua e whai ake nei. I te mea ka kitea, kaore he ahua o te ahua o te ao, ko te kounga o nga ihirangi i hangaia e te anga he pai mo nga rohe e kitea ana e rite ana ki te ahua whakauru. Heoi, ko te kounga o te ahua i hangaia e te anga mo nga rohe kore kitea e whakaatu ana i te tino paheketanga, na te korenga o te tauira ki te whakatau i nga kupu o te ao o te ahanoa. 

Tauira Hangahanga

Ko te anga Zero123++ kua whakangungua me te Stable Diffusion 2v-tauira hei turanga ma te whakamahi i nga huarahi rereke me nga tikanga kua whakahuahia i roto i te tuhinga. Ko te anga Zero123++ kua whakangungua i mua i runga i te huingararaunga Objaverse ka tukuna ki te rama HDRI matapōkere. Ka whai ano te angamahi i te huarahi whakahiatotanga whakangungu e whakamahia ana i roto i te anga Rerekēnga Atahanga Whakawhitiwhiti Whakamaua hei ngana ki te whakaiti ake i te nui o te whakatikatika pai e hiahiatia ana, me te pupuri i nga mea e taea ana i roto i te Stable Diffusion o mua. 

Ko te mahi, te hoahoanga ranei o te anga Zero123++ ka taea te wehewehea ki nga waahanga raupapa, ki nga waahanga ranei. Ko te wahanga tuatahi e whakaatu ana i te anga-whakarite pai i nga matrices KV o nga papa-a-whakawhitinga, me nga papa-aroaro-whaiaro o Stable Diffusion me AdamW hei kaiwhakatikatika, 1000 nga hikoi whakamahana me te raarangi reiti ako cosine e whakanui ana i te 7×10-5. I te wahanga tuarua, ka whakamahia e te anga he reiti ako tonu e tino tiaki ana me nga huinga whakamahana 2000, me te whakamahi i te huarahi Min-SNR hei whakanui ake i te pai i te wa o te whakangungu. 

Zero123++ : Nga Hua me te Whakataurite Mahinga

Mahinga Kounga

Hei aromatawai i te mahinga o te angamahi Zero123++ i runga i tona kounga i hangaia, ka whakatauritea ki a SyncDreamer, me Zero-1-to-3- XL, e rua o nga ahuatanga pai rawa atu o nga anga toi mo te whakatipu ihirangi. Ka whakatauritehia nga anga ki nga whakaahua whakauru e wha me te whanui rereke. Ko te ahua tuatahi he ngeru takawairore hiko, i tangohia tika mai i te huingararaunga o Objaverse, a ka whakanuia e ia he tino koretake kei te pito o muri o te taonga. Ko te tuarua ko te ahua o te tinei ahi, ko te tuatoru ko te ahua o te kuri e noho ana i runga i te roketi, he mea hanga e te tauira SDXL. Ko te ahua whakamutunga he whakaahua anime. Ko nga hikoinga teitei e hiahiatia ana mo nga anga ka tutuki ma te whakamahi i te tikanga whakatau tata teitei o te anga One-2-3-4-5, a ka tutuki te tango papamuri ma te whakamahi i te anga SAM. E kitea ana, ko te anga Zero123++ e whakaputa ana i nga whakaahua maha-tirohanga kounga teitei i nga wa katoa, me te kaha ki te whakawhanui ki nga whakaahua 2D-waho, me nga whakaahua i hangaia e AI. 

Tātari Rauemi

Hei whakatairite ine te anga Zero123++ ki nga anga Zero-1-ki-3 me te Zero-1to-3 XL hou, ka arotakehia e nga kaiwhakawhanake te kaute Whakaata Whakaata Whakaata Akohia (LPIPS) o enei tauira i runga i nga raraunga wehewehe whaimana, he waahanga iti. o te huingararaunga Objaverse. Hei arotake i te mahi a te tauira i runga i te hanga whakaahua maha-tirohanga, ka taraihia e nga kaihanga nga whakaahua tohutoro pono o te whenua, me nga whakaahua e 6 i hangaia, katahi ka tatauhia te tatau Learned Perceptual Image Patch Similarity (LPIPS). Ko nga hua e whakaatuhia ana i raro nei, me te mea e tino kitea ana, ka tutuki te anga Zero123++ i nga mahi pai i runga i te huinga wehewehenga whakamana. 

Kuputuhi ki te Aromātai Tirohanga Maha

Hei arotake i te kaha o te anga Zero123++ i roto i te Kuputuhi ki te Tirohanga-maha te whakaputa ihirangi, ka whakamahi tuatahi nga kaiwhakawhanake i te anga SDXL me nga kupu akiaki ki te whakaputa whakaahua, katahi ka whakamahi i te anga Zero123++ ki te atahanga i mahia. Ko nga hua ka whakaatuhia i roto i te ahua e whai ake nei, me te mea e kitea ana, ina whakaritea ki te anga Zero-1-ki-3 e kore e taea te whakapumau i nga whakatipuranga tirohanga-maha riterite, ka hoki mai te anga Zero123++ i te riterite, te kiko, me te tino taipitopito maha- tirohia nga whakaahua ma te whakatinana i te kupu-ki-whakaahua-ki-maha-tirohanga huarahi paipa ranei. 

Zero123++ Hohonu ManaKupenga

I tua atu i te turanga Zero123++ anga, kua tukuna ano e nga kaihanga te Depth ControlNet Zero123++, he putanga hohonu-whakahaere o te anga taketake i hangaia ma te whakamahi i te hoahoanga ControlNet. Ko nga whakaahua ahorangi kua whakatauhia e rite ana ki nga whakaahua RGB ka whai ake, ka whakangunguhia he anga Mana Whakahaere ki te whakahaere i te ahuahanga o te anga Zero123++ ma te whakamahi i te tirohanga hohonu. 

Opaniraa

I roto i tenei tuhinga, kua korerohia e matou mo Zero123++, he tauira AI whakahiato-ahua-whakaahua me te whainga ki te whakaputa whakaahua tirohanga-maha 3D-rite ma te whakamahi i te whakauru tirohanga kotahi. Hei whakanui ake i te painga i puta mai i nga tauira whakangao kua oti te whakangungu i mua, ka whakatinanahia e te anga Zero123++ te maha o nga kaupapa whakangungu me te whakamaarama hei whakaiti i te nui o te whakapau kaha ki te whakatika mai i nga tauira whakaahua tiritiri o waho. Kua korerohia ano e matou nga momo huarahi me nga whakareiatanga i whakatinanahia e te anga Zero123++ hei awhina i a ia ki te whakatutuki i nga hua e rite ana ki a, tae atu ki te nui atu i nga mea kua tutuki i te ahuatanga o nga anga toi o naianei. 

Heoi, ahakoa tona kaha, me te kaha ki te whakaputa i nga whakaahua maha-tirohanga kounga teitei i nga wa katoa, kei te anga Zero123++ tonu etahi waahi hei whakapai ake, me nga waahi rangahau pea he

• Tauira Whakaata-rua tera pea ka whakatau i te kore e taea e Zero123++ te whakatutuki i nga whakaritenga o te ao mo te riterite. 
• Tauine-Apiti atu ki te whakarei ake i te kaha o Zero123++ ki te whakaputa whakaahua o te kounga teitei ake.