Ko te taenga mai o nga tauira GPT, me etahi atu tauira reo nui autoregressive, AR ranei, i puta he wa hou i roto i te ako miihini, me te mohio mohio. Ko nga tauira GPT me nga tauira autoregressive he maha nga wa e whakaatu ana i te mohiotanga whanui me te whaikorero e kiia ana he huarahi nui ki te whai i te mohiotanga horihori whanui, te AGI ranei ahakoa he raruraru penei i te pohehe. Heoi, ko te raru pohehe o enei tauira nui ko te rautaki ako maataki e taea ai e te tauira te matapae i te tohu e whai ake nei i roto i te raupapa, he rautaki ngawari engari whai hua. Ko nga mahi o naianei kua whakaatu i te angitu o enei tauira autoregressive nui, e whakaatu ana i to raatau whanui me te tauine. He tauira angamaheni o nga ture whakatauine o naianei e taea ai e nga kairangahau te matapae i te mahinga o te tauira nui mai i te mahinga o nga tauira iti ake, ka pai ake te tohatoha rauemi. I tetahi atu taha, ka kitea te whanuitanga e nga rautaki ako penei i te ako-kore, i te maa kotahi me te ako iti-marama, e whakaatu ana i te kaha o nga tauira kaore ano kia whakangungua ki te urutau ki nga mahi kanorau me te kore e kitea. Ko te whakakotahitanga me te tauineine e whakaatu ana i te kaha o nga tauira autoregressive ki te ako mai i te maha o nga raraunga kore tapanga. 

Ko te hanga i runga ano, i roto i tenei tuhinga, ka korero tatou mo te Visual AutoRegressive, te anga VAR ranei, he tauira whakatipuranga hou e tautuhi ana i nga akoranga autoregressive i runga i nga whakaahua hei "matapae whakatau-muri" he "matapae-a-muri" ranei. . Ahakoa he ngawari, he whai hua te huarahi me te tuku i nga kaiwhakahuri autoregressive ki te ako pai ake i nga tohatoha tirohanga, me te whakarei ake i te whaanui. I tua atu, ko nga tauira Visual AutoRegressive ka taea e te GPT-style autoregressive tauira ki te neke atu i nga whakawhitinga whakamaarama i roto i te hanga whakaahua mo te wa tuatahi. Ko nga whakamatautau ano e whakaatu ana ko te anga VAR ka tino whakapai ake i nga raarangi autoregressive, me te pai ake i te Diffusion Transformer or DiT angamahi i roto i nga waahanga maha tae atu ki te pai o te raraunga, te kounga o te ahua, te tauine me te tere o te whakatau. I tua atu, ko te whakanui ake i nga tauira Visual AutoRegressive e whakaatu ana i nga ture whakahiato mana-ture e rite ana ki nga ture e kitea ana me nga tauira reo nui, me te whakaatu ano i te kaha ki te whaanui-kore i roto i nga mahi whakararo tae atu ki te whakatika, te peita, me te peita-waho. 

Ko te whainga o tenei tuhinga ki te hipoki hohonu i te anga Visual AutoRegressive, ka tirotirohia e matou te tikanga, te tikanga, te hoahoanga o te anga me tana whakataurite ki te ahua o nga anga toi. Ka korero ano tatou mo te whakaatu a te anga Visual AutoRegressive e rua nga ahuatanga nui o nga LLM: Nga Ture Tauine me te whaanui-kore. Na kia timata tatou.

Te Whakatauira Whakaaturanga AutoRegressive: Te Whakanui Atahanga

Ko te tauira noa i waenga i nga tauira reo nui o naianei ko te whakatinanatanga o te rautaki ako e tirotirohia ana e ia ano, he huarahi ngawari engari whai hua e tohu ana i te tohu e whai ake nei i roto i te raupapa. He mihi ki te huarahi, ko nga tauira reo autoregressive me nga tauira reo nui i enei ra kua whakaatu i te whakahiatotanga whakamiharo tae atu ki te whaanui, nga taonga e whakaatu ana i te kaha o nga tauira autoregressive ki te ako mai i te puna nui o nga raraunga kore tapanga, na reira ka whakarapopoto i te mauri o te General Artificial Intelligence. I tua atu, ko nga kairangahau i roto i te mara tirohanga rorohiko kei te mahi whakarara ki te whakawhanake i nga tauira autoregressive nui ranei o te ao me te whai ki te whakataurite, ki te nui atu ranei i o raatau whakahiato me te whanui, me nga tauira penei i te DALL-E me te VQGAN e whakaatu ana i te kaha o nga tauira autoregressive i roto i te mara. o te hanga whakaahua. I te nuinga o nga wa ka whakatinanahia e enei tauira he tohu tohu whakaata e whakaatu ana, e tata ana ranei nga whakaahua haere tonu ki roto i te matiti o nga tohu 2D, katahi ka whakararangitia ki te raupapa 1D mo te ako autoregressive, na reira ka whakaata i te tukanga whakatauira reo raupapa. 

Heoi ano, kare ano nga kairangahau ki te tirotiro i nga ture awhiowhio o enei tauira, a ko te mea tino pouri ko te mea ka taka te mahi o enei tauira ki muri i nga tauira purara ma te taha nui, pera i te ahua e whai ake nei. Ko te aputa i roto i nga mahi e tohu ana ka whakatauritea ki nga tauira reo nui, karekau te kaha o nga tauira autoregressive i roto i te tirohanga rorohiko. 

I tetahi taha, ko nga tauira autoregressive tuku iho e hiahia ana ki te raupapa raraunga kua tautuhia, engari i tetahi atu taha, ko te Visual AutoRegressive, ko te tauira VAR ranei e whakaaro ana me pehea te tono i tetahi ahua, a koinei te mea e wehewehe ana i te VAR mai i nga tikanga AR o mua. Ko te tikanga, ka hanga, ka kite ranei te tangata i tetahi ahua i runga i nga tikanga aroākapa, e hopu ana i te hanganga o te ao ka whai i nga korero o te rohe, he huarahi tauine-maha, taratara-ki-pai e whakaatu ana i te ota mo te ahua. I tua atu, he mea whakaawe mai i nga hoahoa tauine-maha, ka whakatauhia e te angamahi VAR te ako autoregressive mo nga whakaahua hei matapae tauine e whai ake nei, he rereke ki nga huarahi tikanga e whakatau ana i te ako hei tohu tohu e whai ake nei. Ko te huarahi e whakatinanahia ana e te anga VAR ka puta ma te whakawaehere i te ahua ki nga mapi tohu-maha. Ka timata te anga i te tukanga autoregressive mai i te mapi tohu 1×1, ka piki haere te taumira. I ia hikoinga, ka matapaehia e te kaihurihuri te mapi tohu taumira teitei e whai ake nei i runga i nga mea katoa o mua, he tikanga e kiia ana e te anga VAR he whakatauira VAR. 

Ka ngana te angamahi VAR ki te whakamahi i te hoahoanga hurihuri o te GPT-2 mo te ako autoregressive ataata, a ka kitea nga hua i runga i te tohu tohu ImageNet kei reira te tauira VAR ka tino whakapai ake i tana turanga AR, ka eke ki te FID o 1.80, me te whiwhinga o te timatanga o te 356. me te 20x whakapai ake i te tere whakatau. Ko te mea pai ake ko te anga VAR ka eke ki runga ake i nga mahi a te DiT or Diffusion Transformer anga mo nga tohu FID & IS, te tauine, te tere whakatau, me te pai o te raraunga. I tua atu, ko te tauira Visual AutoRegressive e whakaatu ana i nga ture whakaheke kaha e rite ana ki nga mea e kitea ana i roto i nga tauira reo nui. 

Hei whakarapopototanga, ka ngana te anga VAR ki te tuku i nga takoha e whai ake nei. 

1. Ka whakaarohia he anga whakahiato tirohanga hou e whakamahi ana i te huarahi autoregressive tauine-maha me te matapae-a-muri, he rereke ki te matapae tohu-a-muri tuku iho, ka puta ko te hoahoa i te algorithm autoregressive mo nga mahi tirohanga rorohiko. 
2. E ngana ana ki te whakamana i nga ture whakahiato mo nga tauira autoregressive me te pumanawa whaanui kore-pere e whai ana i nga ahuatanga o nga LLM. 
3. Ka tukuna he pakaruhanga i roto i te mahinga o nga tauira autoregressive ataata, e taea ai e nga anga autoregressive te ahua GPT ki runga ake i te waa. tauira tohatoha i nga mahi whakahiato whakaahua mo te wa tuatahi. 

I tua atu, he mea nui ano hoki te matapaki i nga ture tauine mana-ture e whakaatu ana i te hononga i waenga i nga rahinga huingararaunga, nga tawhā tauira, nga whakapainga mahi, me nga rauemi rorohiko o nga tauira ako miihini. Tuatahi, ko enei ture whakahiato mana-ture e whakahaere ana i te whakamahinga o te mahinga o te tauira nui ake ma te whakanui ake i te rahi o te tauira, te utu kaute, me te rahi o te raraunga, ka penapena i nga utu kore me te tohatoha i te tahua whakangungu ma te whakarato maataapono. Tuarua, kua whakaatuhia e nga ture whakahiato te pikinga riterite me te pikinga kore o te mahi. Ko te anga whakamua i runga i nga maataapono o te whakatikatika i nga ture i roto i nga tauira reo neural, he maha nga LLM e mau ana i te maapono ko te whakanui ake i te tauine o nga tauira ka kaha ake nga hua mahi. Ko te whakawhänui-kore i tëtahi taha e pä ana ki te kaha o te tauira, ina koa ko te LLM e mahi ana i nga mahi kaore i tino whakangungua. I roto i te rohe tirohanga rorohiko, te hiahia ki te hanga i roto i te kore-pere, me nga pukenga ako-a-roto o nga tauira turanga. 

Ko nga tauira reo ka whakawhirinaki ki te WordPiece algorithms, Byte Pair Encoding ranei mo te tohu tohu kuputuhi. Ko nga tauira whakakitenga i runga i nga tauira reo ka whakawhirinaki nui ki te whakawaehere whakaahua 2D ki nga raupapa tohu 1D. Ko nga mahi o mua penei i a VQVAE i whakaatu i te kaha ki te whakaatu i nga whakaahua hei tohu motuhake me te kounga o te hanga hou. Ko te kai-riiwhi ki a VQVAE, ko te anga VQGAN i whakauru mai i nga ngaronga whakaaro me nga hoariri ki te whakapai ake i te pono o te ahua, me te whakamahi hoki i te kaihurihuri-anake hei whakaputa tohu whakaahua i roto i nga tikanga autoregressive raster-scan. Ko nga tauira tiritiri i tera taha kua roa e kiia ana ko nga kaihautu o mua mo nga mahi whakahiato ataata na to ratou kanorau, me te kounga o te whakatipuranga pai ake. Ko te ahu whakamua o nga tauira whakamaarama kua aro ki te whakapai ake i nga tikanga whakatauira, te whakapainga hoahoanga, me te tere ake te whakatauira. Ko nga tauira whakamaaramatanga huna e whakamahi ana i te whakamaarama i roto i te waahi huna e pai ake ai te whakangungu me te whakatau. Ko nga tauira o te Diffusion Transformer e whakakapi ana i te hoahoanga U-Kupenga tuku iho me te hoahoanga-a-whakawhitiwhiti, a kua tukuna ki roto i nga tauira whakaahua, whakaata ataata ranei penei i te SORA, me Whakawhanaketanga pumau. 

Whakaatu AutoRegressive : Tikanga me te Hangahanga

Ko te kaupapa matua, e rua nga waahanga whakangungu motuhake o te anga VAR. I te wahanga tuatahi, ka whakawaeheretia e te autoencoder ine-maha, VQVAE ranei tetahi atahanga ki nga mapi tohu, a ka whakatinanahia te ngaronga o te hanga hou mo nga kaupapa whakangungu. I te ahua o runga ake nei, ko te whakauru he kupu hei whakamaarama i te huri i nga tohu motuhake ki roto i nga vector whakauru tonu. I te waahanga tuarua, ka whakangunguhia te kaitahuri i roto i te tauira VAR ma te whakaiti i te ngaronga whakawhiti-entropy, ma te whakanui ranei i te tupono ma te whakamahi i te huarahi matapae i muri mai. Ko te VQVAE kua whakangungua ka whakaputa i te mapi tohu pono mo te angamahi VAR. 

Te Whakatauira Autoregressive ma te Matapae Tohu Panuku

Mo te raupapatanga o nga tohu motuhake, inaa he tauoti ia tohu mai i te kupu o te rahi V, ko te tauira autoregressive tohu-muri e kii ana ko te tupono o te mataki i te tohu o naianei ka whakawhirinaki anake ki tona mua. Ki te whakaaro ko te ti'aturiraa tohu kotahi ka taea e te angamahi VAR te whakapohehe i nga tupono o te raupapatanga ki te hua o nga tupono herenga. Ko te whakangungu i te tauira autoregressive ko te arotau i te tauira puta noa i te huingararaunga, ka kiia tenei tikanga arotautanga ko tohu tohu muri, me te tuku i te tauira whakangungu ki te whakaputa i nga raupapa hou. I tua atu, ko nga whakaahua he tohu 2D tonu na roto i te tuku iho, me te whakamahi i te huarahi whakatauira autoregressive ki nga whakaahua ma te tukanga arotautanga matapae tohu e whai ake nei he iti noa nga whakaritenga. Tuatahi, me tohu te ahua ki etahi tohu motuhake. I te nuinga o te wa, ka mahia he autoencoder ki te huri i te mapi ahua ahua ki nga tohu motuhake. Tuarua, me tautuhi he raupapa tohu 1D mo te whakatauira kotahitanga. 

Ko nga tohu atahanga i roto i nga tohu motuhake kua whakaritea i roto i te matiti 2D, a, kaore i rite ki nga rerenga reo maori e mau tonu ana te raupapatanga maui ki te matau, me whakamarama te raupapa o nga tohu atahanga mo te ako autoregressive kotahi. Ko nga huarahi autoregressive o mua i whakamaarama i te matiti 2D o nga tohu motuhake ki te raupapa 1D ma te whakamahi i nga tikanga penei i te matawai raster haupae-nui, te pihi-z, te raupapa torino ranei. I te wa i whakaparahatia nga tohu motuhake, ka tangohia e nga tauira AR he huinga raupapa mai i te huingararaunga, katahi ka whakangunguhia he tauira autoregressive ki te whakanui ake i te tupono ki te hua o te T peatanga herenga ma te whakamahi matapae tohu-muri. 

Whakatauira Ataata-AutoRegressive ma te Matapae Tauine Panuku

Ko te angamahi VAR ka whakahou ano i te whakatauira autoregressive i runga i nga whakaahua ma te huri mai i te matapae tohu-a-muri ki te huarahi matapae-a-muri, he tukanga i raro i te mea hei tohu kotahi, ko te waeine autoregressive he mapi tohu katoa. Ko te tauira te ine tuatahi i te mapi ahua ki nga mapi tohu tauine-maha, he teitei ake o ia taumira i to mua, ka mutu ma te whakaorite ki te taumira o nga mapi ahuatanga taketake. I tua atu, ka hangaia e te anga VAR he encoder inenga-maha-tauine hou hei whakawaehere i tetahi ahua ki nga mapi tohu wehewehe-maha, e tika ana mo te ako VAR. He rite tonu te hoahoanga o te anga VAR ki te VQGAN, engari me te paparanga inenga-maha kua whakarereketia, me nga algorithm e whakaatuhia ana i te ahua e whai ake nei. 

Whakaatu AutoRegressive : Nga Hua me nga Whakamatau

Ka whakamahia e te anga VAR te hoahoanga vanilla VQVAE me te kaupapa inenga-maha-maha me te K taapiri taapiri, me te whakamahi i te pukapuka waehere tiritahi mo nga unahi katoa me te atarua o te 32. Ko te arotahi tuatahi kei runga i te VAR algorithm na te tauira hoahoa hoahoanga. he mea ngawari engari he whai hua. Ka whakamahia e te anga te hoahoanga o te kaitahuri-waehere-anake paerewa e rite ana ki nga mea i mahia ki nga tauira GPT-2, ko te whakarereketanga anake ko te whakakapi i te whakatikatika paparanga tuku iho mo te whakatikatika urutau, ko AdaLN ranei. Mo te whakahiato herenga karaehe, ka whakatinanahia e te anga VAR nga whakaurunga o te karaehe hei tohu tiimata, me te ahuatanga o te paparanga whakatikatika urutau. 

Nga Hua o te Whakatupu Atahanga Toi

Ina honoa ki nga anga whakaputa o naianei tae atu GANs ranei Generative Adversarial Whatunga, Ko nga tauira matapae matapae ahua-BERT, nga tauira whakamaarama, me nga tauira autoregressive ahua-GPT, e whakaatu ana te anga Visual Regressive AutoRegressive i nga hua pai kua whakarāpopotohia i te ripanga e whai ake nei. 

I te mea e kitea ana, ehara i te mea ka taea e te Visual AutoRegressive anga ki te pai ake nga tohu FID me te IS, engari he whakaatu ano i te tere o te whakaputa whakaahua, he rite ki te ahua o nga tauira toi. I tua atu, ka mau tonu te anga VAR i te tino tika me nga tohu maumahara, e whakapumau ana i te riterite o te reo. Engari ko te tino miharo ko te mahi whakamiharo i tukuna e te anga VAR mo nga mahi kaha AR tuku iho, na te mea ko ia te tauira autoregressive tuatahi i pai ake i te tauira Diffusion Transformer, pera i whakaatuhia i te ripanga e whai ake nei. 

Kore-Shot Tumahi Whānui Hua

Mo nga mahi peita o roto, o waho hoki, ko te pouako anga VAR te whakakaha i nga tohu pono whenua i waho o te kanohi, ka tuku i te tauira ki te whakaputa i nga tohu anake i roto i te kanohi, kaore he korero tapanga karaehe ka werohia ki te tauira. Ko nga hua e whakaatuhia ana i te ahua e whai ake nei, a, ka kitea, ka tutuki te tauira VAR i nga hua e manakohia ana mo nga mahi o raro me te kore e whakatika i nga tawhā me te whakarereke i te hoahoa whatunga, e whakaatu ana i te whanuitanga o te angamahi VAR. 

Thoughts Final

I roto i tenei tuhinga, kua korerohia e matou mo te anga hanga ataata hou e kiia nei ko Visual AutoRegressive modeling (VAR) e 1) e whakatika ana i etahi take i roto i nga tauira ahua autoregressive (AR) paerewa, me te 2) ka nui ake nga tauira AR i runga i te reo-tauira. he tauira whakamaoritanga kaha i runga i te kounga o te ahua, te kanorau, te pai o te raraunga, me te tere whakatau. I tetahi taha, ko nga tauira autoregressive tuku iho e hiahia ana ki te raupapa raraunga kua tautuhia, engari i tetahi atu taha, ko te Visual AutoRegressive, ko te tauira VAR ranei e whakaaro ana me pehea te tono i tetahi ahua, a koinei te mea e wehewehe ana i te VAR mai i nga tikanga AR o mua. I te whakanekehanga i te VAR ki te 2 piriona tawhā, i kite nga kaihanga o te anga VAR i te hononga kaha-ture i waenga i nga mahi whakamatautau me nga tawhā tauira, te tatauranga whakangungu ranei, me nga taunga Pearson e tata ana ki te −0.998, e tohu ana he anga pakari mo te matapae mahi. Ko enei ture whakaheke me te kaha ki te whakawhanui i nga mahi kore-pana, hei tohu mo nga LLM, kua whakamanahia i te tuatahi i roto i o maatau tauira hurihanga VAR.