Barashada mashiinka casriga ah iyo qaab-dhismeedka sirdoonka macmalka ah, transformers waa mid ka mid ah qaybaha ugu badan ee loo isticmaalo qaybaha kala duwan oo ay ku jiraan taxanaha GPT, iyo BERT ee Habaynta Luqadda Dabiiciga ah, iyo Transformers Vision ee hawlaha aragga kombiyuutarka. In kasta oo lagu daro transformers-ka qaab-dhismeedka moodeelku ay si weyn u kordhiso waxqabadka moodeelka, moduleka dareenka ee Miisaanka Transformers oo leh dhererka isku xigxiga afar ahaan, taasoo horseedaysa caqabado xisaabeed sare. Sanadihii la soo dhaafay, noocyo kala duwan ayaa sahamiyay xeelado kala duwan si wax looga qabto caqabadaha xisaabinta oo ay ku jiraan hababka sida kernelization, isku-buufinta xusuusta taariikhda, xaddidaadda isku dhafka calaamadda, iyo habab hoose. Dhowaan, Shabakadaha Neural ee soo noqnoqda sida hababka ay ku jiraan Mamba iyo RWKV ayaa soo ururiyay fiiro gaar ah taas oo ay ugu wacan tahay natiijooyinkooda rajo-gelinta leh ee moodooyinka luqadda waaweyn. 

Mamba, qoys ka mid ah moodooyinka ayaa leh qaab-dhismeed leh Shabakad Neural ah oo soo noqnoqota sida calaamadda isku-dhafka qaab-dhismeedka gobolka ayaa dhawaan la soo bandhigay si wax looga qabto kakanaanta afar geesoodka ee hababka dareenka waxaana lagu dabaqay hawlaha aragga ka dib. Cilmi-baarayaashu waxay horey u sahamiyeen siyaabaha loogu darayo Mamba iyo SSM ama Model Space State ee hawlaha aqoonsiga muuqaalka, iyo Vision Mamba oo ku daraya Mamba si loo horumariyo moodooyinka aragtida isotropic ee la mid ah Vision Transformer waa tusaale weyn oo isku mid ah. Dhanka kale, LocalMamba waxay ku daraysaa eexda soo-jiidashada maxalliga ah si kor loogu qaado moodooyinka Mamba ee muuqaalka ah, iyo qaab-dhismeedka VMamba wuxuu shaqaaleeyaa moodalka Mamba ee saldhigga ah si loo dhiso moodooyin heersare ah oo la mid ah ResNet iyo AlexNet. Si kastaba ha ahaatee, qaabka Mamba ma yahay mid muhiim u ah hawlaha macnaha guud ee aqoonsiga? Su'aashu waxay soo baxdaa sababtoo ah waxqabadka qoyska Mamba ee moodooyinka hawlaha aragga ayaa ilaa hadda hoos u dhacay marka la barbardhigo moodooyinka ku salaysan dareenka dhaqameed iyo kacdoonka. 

MambaOut waa shaqo isku dayaysa in ay dhexda u gasho nuxurka qaab-dhismeedka Mamba, kana jawaabto in Mamba ay ku habboon tahay hawlo leh sifooyin isdaba-joog ah iyo in kale. Qaab dhismeedka MambaOut wuxuu qiyaasayaa in Mamba aysan lagama maarmaan u ahayn hawlaha aragga maadaama kala-soocidda sawirku aysan la jaan qaadin sifooyin isdaba-joog ah ama is-difaac. In kasta oo hawlaha kala-qaybinta iyo ogaanshaha aanay sidoo kale ahayn kuwo is-daba-marin ah, waxay soo bandhigaan sifooyin isku-xig-dheer, taasoo horseedaysa qaab-dhismeedka MambaOut si loo qiyaaso awoodda Mamba ee hawlahan. Qaab dhismeedka MambaOut waxaa lagu dhisay iyadoo la is dulsaarayo baloogyada Mamba iyadoo la saarayo qaabka booska gobolka, isku-darka xudunta u ah. Natiijooyinka tijaabada ah waxay taageerayaan mala-awaalka ay soo bandhigtay qaab-dhismeedka MambaOut maadaama ay awood u leedahay in ay dhaafto dhammaan moodooyinka muuqaalka ee Mamba ee qaabka kala soocida sawirka ImageNet, taas oo muujinaysa Mamba maaha mid lagama maarmaan u ah hawlaha aragga. Dhinaca kale hawlaha ogaanshaha iyo kala qaybinta, qaabka MambaOut ma awoodo inuu dib u soo celiyo waxqabadka ay bixiso qaabka farshaxanka ee Mamba, taas oo muujinaysa kartida qoyska Mamba ee moodooyinka loogu talagalay hawlo muuqaal ah oo isdaba-joog ah. 

Maqaalkani waxa uu ujeedkiisu yahay in uu si qoto dheer u daboolo qaabka MambaOut, waxaanan sahamineynaa habka, habka, qaab-dhismeedka qaabdhismeedka oo ay weheliso isbarbardhigga xaaladda qaababka farshaxanka. Haddaba aan bilowno. 

MambaOut: Mamba Runtii Ma Loo Baahan Yahay Aragtida?

Iyada oo horumarka codsiyada iyo awoodaha barashada mashiinka, Transformers ayaa u soo baxay laf dhabarta guud ee hawlo kala duwan, awood u leh moodooyinka caanka ah oo ay ku jiraan Transformers Vision, GPT taxanaha moodooyinka, BERT, iyo qaar kaloo badan. Si kastaba ha ahaatee, isku-darka calaamada taransfooriyuhu waxa uu keenayaa kakanaanta afar-geesoodka ah marka loo eego dhererka isku xigxiga, waxana uu keenayaa caqabado waaweyn oo isku xigxiga dheer. Si arrintan wax looga qabto, isku-daryaal badan oo calaamado leh oo leh kakanaanta toosan ee dhererka calaamadaha sida Linformer, Longformer, Performer, Convolution Dynamic, iyo Big Bird ayaa la soo bandhigay. Si kastaba ha ahaatee, waayadan dambe, Shabakadda Neural Network ee sida moodooyinka oo kale waxay helayaan sumcad taasoo ay ugu wacan tahay kartida ay u leeyihiin tababbarka isbarbar-dhigga, iyo bixinta waxqabad hufan oo taxane dheer ah. Iyadoo lagu hagayo waxqabadka cajiibka ah ee ay bixiyaan moodooyinka u eg RNN, cilmi-baarayaashu waxay isku dayayaan inay soo bandhigaan oo ay ka faa'iidaystaan ​​qoyska Mamba ee moodooyinka hawlo aqoonsi muuqaal ah maaddaama isku-darka moodooyinka Mamba uu yahay qaabka booska dawladeed ee habaysan ee hoos yimaada ruuxa shabakadaha Neural ee soo noqnoqda . Si kastaba ha ahaatee, natiijooyinka tijaabada ahi waxay muujinayaan in qaabka booska dawladeed ee ku salaysan qaab-dhismeedka aragga uu si liidata u fuliyo hawlaha aragga dhabta ah ee dunida marka la barbar dhigo feejignaanta ku salaysan, iyo xaaladda farshaxanka moodooyinka is-daba-joogga ah. 

MambaOut waa isku day lagu baarayo dabeecadda Mamba qoyska moodooyinka, oo soo koobaya in Mamba ay ku habboon tahay hawlaha ama autoregressive ama isku xigxiga dheer mar haddii qaabka booska gobolku leeyahay habka RNN ee dabiiciga ah. Si kastaba ha ahaatee, badi hawlaha aragga kuma jiraan labadan astaamood, iyadoo ku saleysan tijaabooyinka qaarkood, MambaOut waxay soo jeedinaysaa labadan mala-awaal ee soo socda. Marka hore, qaabka booska gobolku muhiim uma aha kala soocida sawirka mar haddii hawsha kala soocidda sawirku aanay waafaqsanayn sifooyin isdaba-joog ah iyo mid dheerba. Marka labaad, moodooyinka boosaska gobolka ayaa laga yaabaa inay faa'iido ahaan faa'iido u leeyihiin tusaale ahaan kala qaybinta iyo qaybinta semantic oo ay weheliso ogaanshaha shayga, maadaama ay raacaan sifooyinka isku xigxiga ee muddada dheer inkasta oo aanay ahayn kuwo is-difaacaya. Natiijooyinka tijaabada ah ee la sameeyay si loo falanqeeyo Shabakadda Neural ee soo noqnoqota sida habka qaabka booska gobolka ayaa lagu soo gabagabeeyay in qaabka Mamba uu ku habboon yahay hawlaha leh sifooyin isdaba-joog ah ama muddo dheer, oo aan loo baahnayn hawlaha kala-soocidda sawirka. U imaatinka qaabka MambaOut laftiisa, waa noocyo Mamba ah oo taxane ah oo ku salaysan Gated Convolutional Neural Networks oo aan lahayn qaabka booska gobolka, iyo natiijooyinka tijaabada ah waxay muujinayaan in qaabka MambaOut uu awood u leeyahay inuu ka sarreeyo moodooyinka Mamba ee hawlaha kala-saarista sawirka, laakiin ku guuldareysto inuu soo celiyo. waxqabadka ku saabsan ogaanshaha sawirka iyo hawlaha qaybinta. 

Waa maxay hawlaha ay Mamba ku habboon tahay?

Isku-darka calaamada qaab-dhismeedka Mamba waa nooc meel bannaan oo dawladeed oo la xushay kaasoo qeexaya afar cabbir-ku-tiirsanaan. Hantida soo noqnoqota ee qaab dhismeedka ayaa ka soocaya moodooyinka booska gobolka ee RNN-ka iyo dareenka sababta. Xaaladda qarsoon waxaa loo arki karaa inay tahay xusuus go'an oo kaydisa macluumaadka taariikhiga ah. Cabbirka go'an wuxuu ka dhigan yahay in xasuustu ay lumiso, laakiin waxay sidoo kale hubisaa kakanaanta xisaabinta ee isku-darka xusuusta iyo gelinta hadda jirta. Taa beddelkeeda, lakabyada feejignaanta sababaha waxay kaydiyaan dhammaan furayaasha iyo qiyamka calaamadihii hore, waxayna balaadhiyaan iyagoo ku daraya furaha iyo qiimaha calaamadda hadda la galiyay kasta oo cusub, xusuustani waa mid aan lumin, aragti ahaan. Si kastaba ha ahaatee, xajmiga xusuusta ayaa koraya marka calaamado badan la soo geliyo, taas oo kordhinaysa kakanaanta isku dhafka xusuusta iyo gelinta hadda. Farqiga u dhexeeya hababka xusuusta ee u dhexeeya dareenka sababaha iyo moodooyinka RNN u eg ayaa lagu muujiyey shaxanka soo socda. 

Maadaama xusuusta qaabka booska dawladeed uu si dabiici ah u lumo, waxay hoos ugu dhacdaa xusuusta aan lumin ee dareenka sababaha, iyo natiijada, Moodooyinka Mamba ma muujin karto xooggeeda xagga maaraynta taxanaha gaagaaban, aag meesha habka fiiro gaar ahaaneed ee sababuhu si fudud ugu fuliyo. Si kastaba ha ahaatee, xaaladaha ku lug leh isku xigxiga dheer, habka feejignaanta sababtu waa u dhintaa kakanaanta quadratic. Muuqaalkan, qaabka Mamba wuxuu soo bandhigayaa waxtarkiisa ku milanka xusuusta iyo gelinta hadda, wuxuuna awood u leeyahay inuu si habsami leh u maareeyo taxanaha dheer, taas oo muujinaysa in qoyska Mamba ee moodooyinka ay si fiican ugu habboon yihiin socodsiinta taxanaha dheer. 

Waxaa sidoo kale xusid mudan in hal dhinac oo dabeecadda soo noqnoqda ee qaabka booska gobolka ay u ogolaato moodooyinka Mamba inay si hufan u qabtaan taxane dheer, waxay soo bandhigaysaa xaddidaad gaar ah maadaama ay heli karto macluumaadka kaliya wakhtiyada hadda iyo kuwii hore, iyo noocaan oo kale ah. isku darka calaamada waxa loo yaqaan hab sabab, waxaana lagu muujiyey shaxanka soo socda. Sababtoo ah dabeecadda sababta, habkani wuxuu ku habboon yahay hawlo jiilka autoregressive. 

Habka si buuxda u muuqda wuxuu ku habboon yahay fahamka hawlaha halkaas oo qaabku uu hal mar wada heli karo dhammaan agabyada. Intaa waxaa dheer, dareenka ayaa si buuxda u muuqda qaab caadi ah, waxaana si fudud loogu rogi karaa hab sabab ah iyadoo la adeegsanayo maaskaro sababa khariidadaha dareenka, iyo moodooyinka RNN u eg waxay si dabiici ah ugu shaqeeyaan qaabka sababaha sababtoo ah hantidooda soo noqnoqda. Si aan wax u soo koobno, qaabka Mamba wuxuu ku habboon yahay hawlaha ka mid ah habaynta taxanaha dheer, ama hawlaha u baahan habka isku-darka calaamadaha.

Hawlaha Aqoonsiga Muuqaalka, Koodhka Isku-dhafka Sababta, iyo Taxanayaal Aad u Weyn

Sidii hore looga hadlay, qaabka isku dhafka ah ee si buuxda loo arki karo wuxuu ogolaanayaa kala duwanaansho aan xadidneyn oo iskudhaf ah halka qaabka sababuhu uu xaddidayo calaamadda hadda jirta si loo helo kaliya macluumaadka calaamadihii hore. Intaa waxaa dheer, aqoonsiga muuqaalka waxaa loo kala saaraa shaqo faham ah halkaas oo moodalku uu arki karo sawirka oo dhan hal mar, tani waxay meesha ka saaraysaa baahida loo qabo xaddidaadda isku-dhafka calaamadda, iyo soo rogida caqabado dheeraad ah oo ku saabsan isku-darka calaamaduhu waxay hoos u dhigi kartaa waxqabadka tusaalaha ee suurtogalka ah. Guud ahaan, qaabka si buuxda u muuqda ayaa ku habboon in la fahmo hawlaha halka habka caadiga ahi uu si fiican ugu habboon yahay hawlaha is-difaacida. Intaa waxaa dheer, sheegashadan waxaa sii taageeraya xaqiiqda ah in moodooyinka BeRT iyo ViT loo isticmaalo fahamka hawlaha in ka badan noocyada GPT.

Xaqiijinta Tijaabada iyo Natiijooyinka

Tallaabada xigta waa in la xaqiijiyo mala-awaalka uu soo jeediyay qaab-dhismeedka MambaOut si tijaabo ah. Sida ku cad sawirka soo socda, block Mamba wuxuu ku salaysan yahay Gated Convolutional Neural Network block, iyo meta-architecture ee Mamba iyo Gated CNN blocks waxaa loola dhaqmi karaa mid fudud oo isku darka calamada ee qaabka MetaFormer, iyo MLP ah. . 

Qeybta Mamba waxay ku fidisaa Shabakadda Gated Convolutional Neural Model oo leh Model dheeraad ah oo Gobolka ah, joogitaanka SSm-ka ayaa ah waxa kala sooca Gated CNN iyo block Mamba. Intaa waxaa dheer, si loo hagaajiyo xawaaraha wax ku oolka ah, qaabka MambaOut wuxuu sameeyaa oo kaliya is-beddel qoto dheer oo ku saabsan kanaalada qayb ahaan, iyo sida lagu muujiyay algorithm-ka soo socda, hirgelinta xannibaadda CNN Gated waa mid fudud, weli waxtar leh oo qurux badan. 

Hawsha Kala Saarida Sawirka

ImageNet waxay u adeegtaa sidii halbeeg u ah hawlaha kala soocida sawirka maadaama ay ka kooban tahay in ka badan kun fasal oo caadi ah, in ka badan 1.3 milyan oo sawirro tababar ah, iyo in ka badan 50,000 oo sawirro ansax ah. Kordhinta xogta loo isticmaalo tijaabadu waxay ka kooban tahay dalagga la cabbiray ee random, Mixup, midabka jitter, Tirtiridda Random, CutMix, iyo Rand Augment. Jadwalka soo socdaa wuxuu soo koobayaa waxqabadka qoyska Mamba ee moodooyinka, moodeelka MambaOut, iyo moodooyinka kale ee ku salaysan feejignaanta & kacaanka ee Dataset-ka ImageNet. Sida la arki karo, qaabka MambaOut oo aan lahayn qaabka booska gobolka ayaa ka sarreeya moodooyinka Mamba ee muuqaalka leh SSM si joogto ah dhammaan cabbirrada moodeelka. 

Tusaale ahaan, moodeelka MambaOut-Small waxa uu soo celinayaa dhibcaha saxda ah ee ugu sarreeya 1 ee ka sarreeya 84%, 0.4% ka sarreeya tartanka Mamba ee ugu dhow. Natiijadu waxay si xoog leh u taageertaa mala-awaalka ugu horreeya ee sheeganaya in soo bandhigida qaabka booska gobolka ee hawlaha kala-soocidda sawirka aan loo baahnayn. 

Ogaanshaha Shayga iyo Hawlaha Qaybinta Tusaalaha

COCO waxay u adeegtaa sidii halbeeg u ah ogaanshaha shay iyo tusaale ahaan hawlaha qaybinta. Inkasta oo qaabka MambaOut uu awood u leeyahay inuu dhaafo waxqabadka qaar ka mid ah moodooyinka Mamba ee muuqaalka ah, weli way ka hooseysaa heerka farshaxanka muuqaalka moodooyinka Mamba oo ay ku jiraan LocalVMamba iyo VMamba. Farqiga u dhexeeya waxqabadka MambaOut ee ka soo horjeeda heerka farshaxanka moodooyinka muuqaalka ayaa xooga saaraya faa'iidooyinka isku dhafka qoyska Mamba ee moodooyinka hawlaha muuqaalka ee isku xigta. Si kastaba ha ahaatee, waxaa mudan in la ogaado in farqi weyn oo wax qabad uu wali ka dhex jiro xaaladda faneed-ka-fiirsashada- moodooyinka isku-dhafan iyo moodooyinka Mamba-ga ee muuqaalka ah. 

Afkaarta Final

Maqaalkan, waxaan ka wada hadalnay fikradaha qoyska Mamba ee moodooyinka, waxaanan ku soo gabagabeeynay in ay ku habboon tahay hawlaha ku lug leh sifooyinka isdaba-joogga ah iyo muddada dheer. MambaOut waa shaqo isku dayaysa in ay dhexda u gasho nuxurka qaab-dhismeedka Mamba, kana jawaabto in Mamba ay ku habboon tahay hawlo leh sifooyin isdaba-joog ah iyo in kale. Qaab dhismeedka MambaOut wuxuu qiyaasayaa in Mamba aysan lagama maarmaan u ahayn hawlaha aragga maadaama kala-soocidda sawirku aysan la jaan qaadin sifooyin isdaba-joog ah ama is-difaac. In kasta oo hawlaha kala-qaybinta iyo ogaanshaha aanay sidoo kale ahayn kuwo is-daba-marin ah, waxay soo bandhigaan sifooyin isku-xig-dheer, taasoo horseedaysa qaab-dhismeedka MambaOut si loo qiyaaso awoodda Mamba ee hawlahan. Qaab dhismeedka MambaOut waxaa lagu dhisay iyadoo la is dulsaarayo baloogyada Mamba iyadoo la saarayo qaabka booska gobolka, isku-darka xudunta u ah. Natiijooyinka tijaabada ah waxay taageerayaan mala-awaalka ay soo bandhigtay qaab-dhismeedka MambaOut maadaama ay awood u leedahay in ay dhaafto dhammaan moodooyinka muuqaalka ee Mamba ee qaabka kala soocida sawirka ImageNet, taas oo muujinaysa Mamba maaha mid lagama maarmaan u ah hawlaha aragga. Dhinaca kale hawlaha ogaanshaha iyo kala qaybinta, qaabka MambaOut ma awoodo inuu dib u soo celiyo waxqabadka ay bixiso qaabka farshaxanka ee Mamba, taas oo muujinaysa kartida qoyska Mamba ee moodooyinka loogu talagalay hawlo muuqaal ah oo isdaba-joog ah.