I roto i nga ako miihini hou me nga anga mahi mohio horihori, ko nga kaiwhakahuri tetahi o nga waahanga e whakamahia nuitia ana puta noa i nga momo rohe tae atu ki nga raupapa GPT, me te BERT i roto i te Tukatuka Reo Maori, me nga Kaihuri Matakite i roto i nga mahi tirohanga rorohiko. Ahakoa ko te whakauru i nga kaiwhakawhitiwhiti i roto i te hoahoanga tauira ka nui ake te kaha o te mahi tauira, ko te waahanga aro i roto i nga Transformers ka whakataurite ki te roa o te raupapa tapawha, ka eke ki nga wero rorohiko nui. I roto i nga tau, kua tirotirohia e nga tauira rereke nga rautaki rereke hei tarai i nga wero rorohiko tae atu ki nga tikanga penei i te kernelization, te kopeke mahara hitori, te herenga awhe whakauru tohu, me nga huarahi iti. Ina tata nei, ko nga Whatunga Neural Recurrent pera i nga tikanga tae atu ki te Mamba me te RWKV kua aro nui ki a raatau na runga i o raatau hua pai i roto i nga tauira reo nui. 

Ko Mamba, he whanau tauira he hoahoanga me te Recurrent Neural Network penei i te whakaranu tohu o te tauira mokowā kawana i tukuna mai i mua tata nei ki te whakatika i te uauatanga tapawha o nga tikanga aro, ka whakamahia ki nga mahi tirohanga i muri mai. Kua rangahaua e nga Kairangahau nga huarahi ki te whakauru i te Mamba me te SSM, te Tauira Mokowhiti ranei a State ki roto i nga mahi whakakitenga, me te Vision Mamba e whakauru ana i a Mamba ki te whakawhanake i nga tauira tirohanga isotropic e rite ana ki te Vision Transformer he tauira pai o taua mea. I tetahi atu taha, ka whakauru a LocalMamba i nga taapiri whakauru o te rohe ki te whakarei ake i nga tauira Mamba ataata, me te anga VMamba e whakamahi ana i te tauira Mamba turanga ki te hanga tauira hierarchical rite ki a ResNet me AlexNet. Heoi ano, he mea tino nui te anga Mamba mo nga mahi horopaki whakakitenga? Ka puta ake te patai na te mea ko te mahi a te whanau Mamba o nga tauira mo nga mahi matakite i tenei wa he ngoikore te mahi ki te whakataurite ki nga tauira tuku iho-a-arotahi me nga tauira whakahoahoa. 

Ko te MambaOut he mahi e ngana ana ki te ruku ki roto i te ngako o te anga Mamba, me te whakautu mena e tika ana a Mamba mo nga mahi whai ahuatanga autoregressive me te raupapa-roa. E whakapae ana te anga MambaOut kaore e tika ana a Mamba mo nga mahi matakite na te mea karekau te whakarōpū atahanga e hono ki te raupapa-roa, ki nga ahuatanga autoregressive ranei. Ahakoa ko nga mahi wehewehe me nga mahi rapu kaore ano i te autoregressive, ka whakaatuhia e ratou nga ahuatanga raupapa-roa, e arahi ana i te anga MambaOut ki te whakapae i te kaha o Mamba mo enei mahi. Ko te angamahi MambaOut he mea hanga ma te taapu poraka Mamba ki runga ake o tetahi ki tetahi i te wa e tango ana i te tauira mokowhiti whenua, tona whakaranu tohu matua. Ko nga hua whakamatautau e tautoko ana i te whakapae i tukuna mai e te anga MambaOut i te mea ka taea e ia te neke atu i nga tauira Mamba katoa i runga i te anga whakarōpū whakaahua ImageNet, e tohu ana kaore te Mamba e tika mo nga mahi tirohanga. I tetahi atu ringa mo nga mahi rapu me te wehewehe, kaore e taea e te anga MambaOut te whakahoki i nga mahi e tukuna ana e te ahua o te ahua o te tauira Mamba, e whakaatu ana i te kaha o te whanau Mamba o nga tauira mo nga mahi tirohanga-roa. 

Ko te whainga o tenei tuhinga ki te whakamaarama hohonu i te anga MambaOut, ka tirotirohia e matou te tikanga, te tikanga, te hoahoanga o te anga me tana whakataurite ki te ahua o nga anga toi. Na kia timata tatou. 

MambaOut: Kei te Hiahia Tino Mamba mo te Matakite?

Na te ahunga whakamua o nga tono ako miihini me nga kaha, kua puta mai a Transformers hei tuara auraki mo te maha o nga mahi, e whakakaha ana i nga tauira rongonui tae atu ki Nga Kaihuri Matakite, GPT raupapa tauira, BERT, me etahi atu. Heoi, ko te whakaranu tohu o te kaihurihuri ka pa mai he uaua tapawha e pa ana ki te roa o te raupapa, he wero nui mo nga raupapa roa. Hei whakatika i tenei take, he maha nga kaiwhakaranu tohu me te uaua raina ki te roa tohu penei i te Linformer, Longformer, Performer, Dynamic Convolution, me Big Bird kua whakauruhia. Heoi, i nga wa tata nei, ko te Recurrent Neural Network penei i nga tauira kei te rongonui na te kaha ki te whakangungu whakarara, me te tuku mahi pai mo nga raupapa roa. I arahina e nga mahi whakamiharo e tukuna ana e nga tauira rite-RNN, kei te ngana nga kairangahau ki te whakauru me te whakamahi i te whanau Mamba o nga tauira ki roto i nga mahi whakakitenga tirohanga mai i te mea ko te whakaranu tohu o nga tauira Mamba te tauira mokowhiti kua hangaia i raro i te wairua o te Recurrent Neural Networks. . Heoi ano, ko nga hua whakamatautau e tohu ana he iti te mahi a nga anga mokowhiti mo te matakite puta noa i nga mahi matakite o te ao ina whakatauritea ki nga tauira whakangao-a-aro, me te ahua o te toi. 

Ko te MambaOut he ngana ki te tirotiro i te ahua o te Mamba te whanau o nga tauira, me te whakarāpopoto e tika ana a Mamba mo nga mahi he autoregressive, he raupapa roa ranei na te mea he tikanga RNN to te tauira mokowhiti. Heoi, ko te nuinga o nga mahi matakite kaore i te whakaatu i enei ahuatanga e rua, a, i runga i etahi o nga whakamatautau, ka whakatakotohia e MambaOut nga whakapae e rua e whai ake nei. Tuatahi, karekau te tauira mokowhiti ahua e tika ana mo te whakarōpū ahua mai i te mahi whakarōpū whakaahua kaore e rite ki nga ahuatanga autoregressive me te raupapa-roa. Tuarua, ka whai hua pea nga tauira mokowhiti mokowhiti hei tauira mo te wehewehenga me te wehewehenga kupu me te kitenga ahanoa, na te mea ka whai i nga ahuatanga raupapa-roa ahakoa kaore i te autoregressive. Ko nga hua whakamatautau i whakahaeretia hei tātari i te Whatunga Neural Recurrent pera i te tikanga o te tauira mokowā kawana i whakatauhia e pai ana te anga Mamba mo nga mahi e mau ana i nga ahuatanga autoregressive, raupapa-roa ranei, a kaore e tika mo nga mahi whakarōpū whakaahua. Ka tae mai ki te anga MambaOut ake, he raupapa o nga tauira Mamba i runga i nga poraka Gated Convolutional Neural Network kaore he tauira mokowhiti o te kawanatanga, a ko nga hua whakamatautau e tohu ana ka taea e te anga MambaOut te pai ake i nga tauira Mamba i roto i nga mahi whakarōpū whakaahua, engari karekau ki te tukurua. te mahi i runga i nga mahi rapu whakaahua me nga mahi wehewehe. 

He aha nga mahi e tika ana mo Mamba?

Ko te whakaranu tohu o te anga Mamba he tauira mokowā ahua whiriwhiri e tautuhi ana i nga tawhā whakauru-whakawhirinaki e wha. Ko nga taonga o te anga e wehewehe ana i nga tauira mokowhiti ahua-RNN mai i te aro nui. Ka taea te kite i te ahua huna he mahara-rahi-rahi e pupuri ana i nga korero o mua. Ko te rahi o te rahi ka ngaro te mahara, engari ka mau tonu te uaua o te rorohiko ki te whakauru i te mahara ki te whakauru o naianei. I tua atu, ka penapenahia e nga papahanga aro turuki nga taviri me nga uara katoa mai i nga tohu o mua, ka whakawhānuihia ma te taapiri i te matua me te uara o te tohu o naianei ki ia whakauru hou, a ka kore e ngaro tenei mahara. Heoi, ka piki te rahi o te mahara i te maha o nga tohu ka whakauruhia, ka piki ake te uaua o te whakauru i te mahara ki te whakauru o naianei. Ko te rereketanga i waenga i nga tikanga mahara i waenga i te aro nui me nga tauira rite-RNN e whakaatuhia ana i te ahua e whai ake nei. 

I te mea kua ngaro te maharatanga o te tauira mokowhiti o te kawanatanga, ka taka ki raro i te mahara ngaro o te aro nui, na reira, Nga tauira Mamba Kaore e taea e ia te whakaatu i tona kaha ki te whakahaere i nga raupapa poto, he waahi e pai ana te mahi a nga tikanga aro. Heoi, i roto i nga ahuatanga e whai ana i nga raupapa roa, ka hee te huarahi aro ki te take na te uaua o te tapawha. I roto i tenei ahuatanga, ka whakaatu te anga Mamba i tona kaha ki te whakakotahi i te mahara ki te whakauru o naianei, me te kaha ki te whakahaere i nga raupapa roa ma te pai, e tohu ana he pai te whanau o nga tauira Mamba mo te tukatuka i nga raupapa roa. 

He mea tika ano kia mohio ko tetahi o nga waahi ka taea e nga tauira Mamba te whakahaere i nga waahanga roa ka taea e nga tauira Mamba te whakahaere i nga waahanga roa, na te mea ka taea e ia te uru atu ki nga korero mai i nga waahanga o naianei me o mua, me tenei momo Ko te ranu tohu ka kiia ko te aratau take, ka whakaatuhia ki te ahua e whai ake nei. Na tona ahua take, he pai tenei tikanga mo nga mahi whakatipuranga autoregressive. 

Ko te aratau tino kitea he pai mo te mohio ki nga mahi ka taea e te tauira te uru ki nga whakaurunga katoa i te wa kotahi. I tua atu, ko te aro kei roto i te aratau tino-kitea ma te taunoa, ka taea te huri ki te aratau takenga ma te whakamahi i nga kopare take ki nga mapi aro, me nga tauira rite-RNN e mahi ana i roto i te aratau takenga na runga i o raatau ahuatanga. Hei whakarāpopoto i nga mea, he pai te anga Mamba mo nga mahi e whai waahi ana ki te tukatuka i nga raupapa roa, ki nga mahi ranei e hiahia ana ki te aratau whakauru tohu take.

Nga Mahi Ahurangi Ataata, Waehere Whakaranu Tohu Take, me nga raupapatanga Tino Nui

Ka rite ki te korero i mua ake nei, ka taea e te aratau whakaranu tohu tino kitea ka taea te awhe o te ranu karekau i te mea ko te aratau take e whakawhāiti ana i te tohu o naianei kia uru noa ki nga korero mai i nga tohu o mua. I tua atu, ka whakarōpūhia te whakakitenga tirohanga hei mahi mohio ka taea e te tauira te kite i te ahua katoa i te wa kotahi, a ka whakakorea te hiahia mo te aukati i te whakaranu tohu, me te whakatau i etahi atu here mo te whakaranu tohu ka taea te whakaheke i te mahinga tauira. Ko te tikanga, e tika ana te aratau tino kitea mo te maarama ki nga mahi engari ko te aratau waatea e pai ake ana ki nga mahi autoregressive. I tua atu, kei te tautokohia tenei kereme na te mea ka whakamahia nga tauira BeRT me ViT mo te mohio ki nga mahi nui atu i nga tauira GPT.

Manatokonga Whakamatau me nga Hua

Ko te mahi e whai ake nei ko te manatoko i nga whakapae e whakaarohia ana e te anga MambaOut. Ka rite ki te whakaatu i te ahua e whai ake nei, ko te poraka Mamba kei runga i te poraka Gated Convolutional Neural Network, a ko te hanganga-meta o nga poraka Mamba me Gated CNN ka taea te mahi hei whakauru ngawari o te whakauru tohu o te anga MetaFormer, me te MLP. . 

Ko te poraka Mamba e whakawhānui ana i te Gated Convolutional Neural Network me tetahi atu Tauira Mokowā State, a ko te noho o te SSm te mea e wehewehe ana i te Gated CNN me te poraka Mamba. I tua atu, ki te whakapai ake i te tere mahi, ko te anga MambaOut e whakahaere ana i te whakakotahitanga hohonu noa iho i runga i nga hongere waahanga, a, e whakaatuhia ana i roto i te algorithm e whai ake nei, he ngawari te whakatinanatanga o te poraka CNN Gated, engari he whai hua me te huatau. 

Taumahi Whakarōpū Whakaahua

Ko ImageNet te tohu tohu mo nga mahi whakarōpū whakaahua na te mea he neke atu i te kotahi mano nga karaehe noa, neke atu i te 1.3 miriona nga whakaahua whakangungu, neke atu i te 50,000 nga whakaahua whakamana. Ko te whakarahinga raraunga e whakamahia ana mo te whakamatautau he hua matapōkeretia te rahi o te rahi, Mixup, tae jitter, Random Erasing, CutMix, me Rand Augment. Ko te ripanga e whai ake nei e whakarāpopoto ana i te mahinga a te whanau Mamba o nga tauira, tauira MambaOut, me etahi atu tauira aro-aro & hurihanga i runga i te huingararaunga ImageNet. Ka kitea, ko te anga MambaOut me te kore te tauira mokowhiti whenua ka nui ake i nga tauira Mamba ataata me te SSM puta noa i nga rahi tauira katoa. 

Hei tauira, ka whakahokia e te tauira MambaOut-Small te kaute tika o runga-1 neke atu i te 84%, 0.4% teitei ake i tana whakataetae Mamba tata. Ko tenei hua ka tino tautoko i te whakapae tuatahi e kii ana kaore e hiahiatia te whakauru i tetahi tauira mokowhiti ahua mo nga mahi whakarōpū whakaahua. 

Te Rapu Ahanoa me nga Mahi Waahanga Tauira

Ka noho a COCO hei tohu tohu mo te rapu ahanoa me nga mahi wehewehe tauira. Ahakoa e kaha ana te anga MambaOut ki runga ake i nga mahi a etahi tauira Mamba ataata, ka taka tonu i te ahua o nga tauira toi a Mamba tae atu ki a LocalVMamba me VMamba. Ko te rerekeetanga o te mahinga a MambaOut ki nga tauira toi ahua toi e whakanui ana i nga painga o te whakauru i te whanau Mamba o nga tauira ki nga mahi tirohanga-roa. Heoi ano, me mahara tonu kei te noho tonu tetahi aputa mahi nui i waenga i te ahua o nga tauira convolution-attention-hybrid me nga tauira Mamba ataata. 

Thoughts Final

I roto i tenei tuhinga, kua korerohia e matou nga kaupapa o te whanau Mamba o nga tauira, me te whakatau he pai mo nga mahi e pa ana ki nga ahuatanga autoregressive me te raupapa-roa. Ko te MambaOut he mahi e ngana ana ki te ruku ki roto i te ngako o te anga Mamba, me te whakautu mena e tika ana a Mamba mo nga mahi whai ahuatanga autoregressive me te raupapa-roa. E whakapae ana te anga MambaOut kaore e tika ana a Mamba mo nga mahi matakite na te mea karekau te whakarōpū atahanga e hono ki te raupapa-roa, ki nga ahuatanga autoregressive ranei. Ahakoa ko nga mahi wehewehe me nga mahi rapu kaore ano i te autoregressive, ka whakaatuhia e ratou nga ahuatanga raupapa-roa, e arahi ana i te anga MambaOut ki te whakapae i te kaha o Mamba mo enei mahi. Ko te anga MambaOut he mea hanga na roto i te taapu poraka Mamba ki runga ake o tetahi ki tetahi i te wa e tango ana i te tauira mokowhiti whenua, tona whakaranu tohu matua. Ko nga hua whakamatautau e tautoko ana i te whakapae i tukuna mai e te anga MambaOut i te mea ka taea e ia te neke atu i nga tauira Mamba katoa i runga i te anga whakarōpū whakaahua ImageNet, e tohu ana kaore te Mamba e tika mo nga mahi tirohanga. I tetahi atu ringa mo nga mahi rapu me te wehewehe, kaore e taea e te anga MambaOut te whakahoki i nga mahi e tukuna ana e te ahua o te ahua o te tauira Mamba, e whakaatu ana i te kaha o te whanau Mamba o nga tauira mo nga mahi tirohanga-roa.