Ko te whakawhanaketanga o nga Tauira Reo Nui (LLM) i hangaia mai i nga tauira whakahuri-waehere-anake kua whai waahi nui ki te huri i te rohe Tukatuka Reo Maori (NLP), me te ahu whakamua i nga tono ako hohonu kanorau tae atu ki te whakapakari i te ako, tātaritanga raupapa-waahi, tukatuka whakaahua, me te maha atu. Heoi, ahakoa to ratou tauine me te kaha o te mahi, kei te raru tonu nga LLM i hangaia mai i nga tauira whakahuri-waehere-anake. Ahakoa e whakaatu ana, ko te tikanga aro i roto i nga LLM i ahu mai i te kaiwhakawhitiwhiti me whai rauemi rorohiko teitei i te wa o te whakatau me te whakangungu, me mahara nui mo te roanga raupapa me nga FLOP tapawha. Ko tenei whakaritenga rorohiko nui e whakawhäitihia ana te roanga o te horopaki o nga tauira whakawhiti, ka nui te utu o nga mahi whakatipuranga autoregressive ki te tauine, me te aukati i te ako mai i nga awa raraunga tonu me te kaha ki te tukatuka raupapa mutunga kore.

I roto i nga wa tata, Tauira Mokowā State (SSMs) kua whakaatu i nga kaha me nga mahi whakamiharo, te whakataetae me nga tauira hangahanga-whakawhitiwhiti i roto i nga tohu tohu whakatauira nui i te wa e tutuki ana te uaua o te mahara hei mahi mo te roa o te raupapa me te wa raina. I tua atu, ko Mamba, he Tauira Mokowā Whenua i tukuna tata nei, kua whakaatu i nga mahi tino pai i roto i te whānuitanga o nga mahi whakatauira reo me nga mahi tukatuka raupapa-roa. I te wa ano, ko nga tauira Mixture of Expert (MoE) kua whakaatu mai i nga mahi whakamihi i te wa e tino whakahekehia ana te roanga me nga utu rorohiko o te whakatau, ahakoa he nui ake te utu o te tapuwae mahara. Ko te hanga i runga i nga tauira Mamba me MoE, ka korero tenei tuhinga ki a BlackMamba, he hoahoanga pukapuka e whakakotahi ana i te Mamba State Space Model me nga tauira MoE hei whakamahi i nga painga e tukuna ana e nga anga e rua. Ko nga whakamatautau mo BlackMamba kua whakaatu i tona kaha ki te eke ki runga ake i te angamahi o te Mamba o naianei me nga raina-whakawhiti i roto i nga whakangungu FLOP me te whakatau. Ko te mahinga o te anga BlackMamba e whakaatu ana ka taea e ia te whakakotahi i nga kaha o nga anga Mamba me te MoE, e tuku ana i te whakatau tere me te utu utu mai i a MoE me te whakatipuranga uaua-rarangi mai i Mamba.

Ko te whainga o tenei tuhinga ki te hipoki hohonu i te angamahi BlackMamba. Ka tuhurahia e matou te tikanga, te tikanga, me te hoahoanga o te angamahi, me tana whakataurite ki nga anga o te ahua hou me te hanga ataata. Kia timata tatou.

BlackMamba : He Whakataki ki MoE mo nga Tauira Mokowhiti a te Kawanatanga

Ko te ahunga whakamua o nga Tauira Reo Nui (LLM), ina koa ko era i ahu mai i nga hoahoanga whakahuri-waehere-anake, kua awe i te Mahinga Reo Reo Maori (NLP) mara me te whakawhānui atu ki nga momo tono ako hohonu, tae atu ki te ako whakakaha, te tātari-a-waa, te tukatuka whakaahua, me tua atu. Heoi ano, ahakoa to raatau kaha me te kaha o te mahi, ko enei LLM-whakawhitinga-anake e pa ana ki nga wero nui. Ko te tikanga aro, he ahuatanga matua o te hurihanga Nga LLMs, e hiahia ana i nga rauemi rorohiko maha mo te whakatau me te whakangungu. Kei roto i tenei ko te hiahia mo te mahara ka tipu me te roanga o te raupapa me nga mahinga rorohiko (FLOPs) ka piki tapawha. Ko enei hiahia rorohiko e whakatiki ana i te roanga o te horopaki o nga tauira, ka whakanuia nga utu mo nga mahi whakatipuranga autoregressive kia rite ki te tauine tauira, me te aukati i te kaha o nga tauira ki te ako mai i nga rerenga raraunga haere tonu, i nga raupapa tukatuka o te roa mutunga kore. 

He nui nga mahi i mahia i roto i nga tau kua pahure ake nei ki te ngana ki te hinga i enei herenga, a kua huri te aro ki te hanga huarahi hoahoanga ki nga tauira whakahuri aro nui kanoona me nga tauira SSM me MoE nga hoahoanga kaitono tino pai. Ko te painga nui i kohia ma te pai ki nga Tauira Mokowā State ki runga i nga tauira hoahoanga whakahuri, ko te uauatanga o te tatauranga raina e pa ana ki te roa o te raupapa whakauru e tukuna ana e nga SSM hei whakahē i te uauatanga tapawha e tukuna ana e nga kaihurihuri. Ki te ariā, ko te uauatanga o te raupaparorohiko e pa ana ki te roa o te raupapa whakaurunga ka taea e nga Tauira Mokowā State ki te tukatuka i nga raupapatanga nui ake i nga tauira hangahanga-whakawhitiwhiti mo tetahi mahinga FLOPS, Tohu-Maangi ranei mo ia tahua tuarua, me te whakahoki ano i te reanga autoregressive i roto i te kaute kaore he keteroki KV. Ko nga Tauira Mokowā Whenua i whakawhanakehia tata nei, tae atu ki a Mamba, RetNet me etahi atu kua whakaatu i te pai o te whakatauira me te whakangungu raupapa-roa, me nga mahi whakatauira reo whakataetae ki nga kaihurihuri e rite ana ki nga ahuatanga tauine. I tetahi atu taha, kei te rongonui haere nga hoahoanga tauira Whakaranutanga o nga Tohunga hei momo rereke ki nga kaitahuri matotoru mai i te mea ka kaha te whakahekenga o te whakatauira me te whakangungu i nga FLOP e tika ana mo te whakatutuki i te kounga rite ki te tauira mato. Ka mahi nga tauira MoE (Te Rahui o nga Tohunga) ma te whakahohe i te kowhiringa iti noa o nga tawhā katoa i roto i te tuku whakamua kotahi. Ka whakamahi ratou i tetahi mahi ararere ki te whakatau ko wai nga 'tohunga' ka mahia i runga i te horopaki kua homai. Ko tenei huarahi ka hanga he wehewehenga i waenga i te utu kaute mo te whakatauki me te tapeke o nga tawhā, ka taea te whakaniko i te mahi i roto i te tahua whakatau, ahakoa kua piki ake te maha o nga tawhā me te hiahia mahara nui ake.

Ko tenei ahunga whakamua i roto i te hoahoanga ka nui ake nga painga ki runga i nga huringa tuku iho me te tohu i te ahunga whakaihiihi mo etahi atu whanaketanga. Ki ta matou whakaaro ko te whakauru i enei whakanikotanga ki roto i te tauira Mamba-MoE whakakotahi ka taea te whakatere i te kaha me te whaihua o te whakatauira reo ki tua atu o nga tauira whakawhiti paerewa. Ko nga painga e tumanakohia ana o te hoahoanga Mamba-MoE ka whakatauritea ki te tauira whakawhiti mataotao tuku iho ko:

Mamba: Ka eke ki te whīwhiwhi o te rorohiko raupapa e pa ana ki te roa o te raupapa whakaurunga mo nga waahanga whakangungu me nga waahanga whakatau. Ka taea e te reanga autoregressive te puta i roto i te waa tonu me te whakamahi mahara tonu.

MoE: Ka tuku i te tere whakatau me te whakangungu i te pai o te rorohiko e whakatauritea ana ki te tauira raina turanga iti ake, me te pupuri i te taumata o te kounga o te tauira e rite ana ki to te tauira he rite te maha o nga tawhā rite te putanga kiato.

I runga i tera korero, he mea nui ki te kii kei te mau tonu nga tauira hoahoanga whakahuri, me te whakaatu i te riterite me te tino kaha o te mahi ki nga mahi whakatauira reo me nga mahi tukatuka raupapa. Ko te mea matua, ko te hangahanga hurihanga e whakamahi ana i te aro-whaiaro e mahi ana i te whakatairite tapawha katoa-ki-katoa o nga ritenga hua ira i waenga i nga whakaurunga o nga tohu rereke i roto i te raupapa, ka mahia he mapi raina ki tetahi vector whakaputa. Ko te tauira whakawhiti he poraka aro-whaiaro kua tapaehia i waenga i nga poraka MLP, Multi-Layer Perceptron ranei, he MLP papa-rua me te mahi whakahohe. 

BlackMamba : Hangahanga me te Tikanga

Tauira Mokowā State

Ko nga Tauira Mokowā State kei roto i te roopu o nga tauira raupapa me te uaua rarangi e pa ana ki te roa o te raupapa whakauru. Ko te hoahoanga o nga Tauira Mokowhiti Whenua e hono atu ana ki nga Whatunga Neural Recurrent and Convolutional Neural Networks, kaua ki te hoahoanga-a-aroaro, he mea whakaawe mai i te punaha hihiri tonu e mapi ana i te mahi ahu-1 na roto i te mokowā huna. Ma te punaha hihiko raina e pai ai nga tatauranga whakarara ma te whakamahi i te hononga hono, i te karapa hurihanga ranei. I roto i nga ahuatanga whaihua, ko te ahua o te ahua o nga Tauira Mokowā State te take i mau tonu ai ki runga i nga taputapu AI tino whakarara penei i nga GPU. Heoi, ko te putanga o nga SSM penei i te RWKV me Mamba kua whakamahi i nga kakano matawai whakarara ki te mapi i nga mahi auau ki nga GPU, na reira ka pai te whakangungu o nga hoahoanga hou me te pai e rite ana ki era i tutuki i nga tauira hurihuri. 

Ko te whīwhiwhitanga tapawhā e pā ana ki te roa o te raupapa i roto i nga kaitahuri, he herenga rongonui e aukati ana i te whakaaro me te maramatanga i roto i nga horopaki tino roa. Ko nga mahi hou o naianei kua puta te whakaaro ki te whakaroa i te roanga o te horopaki, e taea ai te whakangungu i nga kaiwhakawhitiwhiti i runga i te tauine ka taea i mua i te tono ki nga horopaki roa ake i te wa o te whakatau. Ahakoa enei ahu whakamuatanga, he nui tonu te nui o nga rauemi rorohiko me te mahara e hiahiatia ana e te tukanga whakatau, ina koa mo te pupuri i te keteroki Ura-Kua (KV), kia kaha rawa te mahi. Ko nga mahi rangahau o naianei kua aro ki te whakarei ake i nga kaha whakaatu o nga tauira mokowā-a-motu ma te whakauru i nga tikanga keeti e whakawhirinaki ana ki te whakauru, he rite ki nga matrices Uiui, Kī, Uara (QKV) i kitea i roto i nga tikanga aro. 

Ko enei mahi e whai ana ki te pupuri i te ahunga whakamua o te recursion mokowā-mokowā, e taea ai te mahi pai ma te hurihanga, ma te mahi karapa whiriwhiri ranei. Ko tenei huarahi ka tino whakaiti i te rereketanga o nga mahi me nga kaitahuri i roto i nga tono mahi. I roto i enei ahunga whakamua, ka tu a Mamba hei tauira mokowhiti whenua e whakaata ana i nga whainga o nga rangahau o mua, e whakaatu ana i nga taumata mahi whakamihiihi e rite ana ki nga kaiwhakahuri i nga unahi ki te 2.8 piriona tawhā. Ka tutuki tenei ma te whakamahi i te kuti e whakawhirinaki ana ki te whakauru ki nga whakaurunga o te tauira mokowā-mokowā (SSM), i nga wa katoa e whakarite ana i te tatauranga pai ma te whakamahi i nga kakano matawai kua tohua.

Te ranunga o nga Tauira Tohunga

Ko nga tauira Whakaranutanga o te Tohunga (MoE) ka taea te wehe i waenga i te utu whakatau me te tatau tawhā katoa ma te kowhiria te whakahohe i nga tawhā i te waa o mua. Engari i te whakamahi i nga tawhā katoa, ko enei tauira ka tohu tohu ki nga tohunga motuhake Multilayer Perceptron (MLP). Ko te mea pai, he mea whakarite ia tohunga ki te tukatuka i tetahi momo whakaurunga, me te huarahi ararere, te tikanga he whatunga neural kiato, e whakatau ana i te tohunga tino pai mo ia tohu. Ko te whainga o tenei huarahi ki te pupuri i te kaha whakaatu matawhānui o te tauira me te tau rite o nga tawhā i roto i te whirihoranga kiato, engari me te iti o nga tono rorohiko. Ko te tikanga, ko te pouara he mahere o nga paparanga raina mai i nga tohu ki nga tohu tohunga me ia tohunga he kaitahuri paerewa Multilayer Perceptron. Heoi ano, kare ano nga kaiwhakawhanake kia mohio ki te huarahi whakangungu tino pai mo te pouara i te mea ko te raru taumahi tohunga kaore e rerekee, a he maha nga wa e uaua ana nga tauira Whakaranu o te Tohunga ki te whakataurite kawenga me te pumau whakangungu i waenga i nga tohunga rereke mo te pai o te taputapu. 

Architecture

I tona uho, kei te whakamahi a BlackMamba i tetahi tauira huringa paerewa kei roto i nga poraka MLP tuitui me nga poraka aro kua taapirihia ki te raupapatanga ki te taha o te awa toenga. Inaianei, ko te nuinga o nga tauira Mixture of Expert ka whakakapi noa i nga poraka perceptron multilayer me te paparanga tohunga. I tetahi atu taha, ko te anga BlackMamba ehara i te whakakapi anake i te poraka perceptron multilayer i roto i te kaitahuri me te paparanga tohunga arai, engari ka whakakapi ano i te paparanga aro ki te paparanga Mamba State Space Model. Ko te hoahoanga o te anga BlackMamba e whakaatuhia ana i te ahua e whai ake nei. 

Whakangungu me te Raraunga Raraunga

Kua whakangunguhia te tauira BlackMamba ki runga ake i te 300 piriona tohu i runga i te huingararaunga ritenga, me te whakamahi i te mahi whakahohe SwiGLU mo nga tohunga mohio ki nga perceptrons multilayer. E whakangungu ana te anga me nga tohunga e 8, he tau i kitea e nga kaiwhakawhanake ko te toenga tika me te hokohoko atu i waenga i te tapuwae mahara me te utu whakatau o te tauira. Ko te huinga raraunga ritenga i whakamahia ki te whakangungu i te anga BlackMamba he ranunga o nga huingararaunga puna tuwhera o naianei tae atu ki a Starcoder, SlimPajama, Pile, me etahi atu. Ko te ripanga e whai ake nei e whakaatu ana i nga taumahatanga o ia huinga raraunga i whakamahia hei whakangungu i te angamahi BlackMamba. I te katoa, he 1.8 trillion tohu kei roto i te huingararaunga. 

BlackMamba : Hua

Hei whakarite i te whakataurite tika i waenga i a Mamba me BlackMamba, kua whakangungu nga kaiwhakawhanake i nga tauira e rua he rite nga tawhā whakangungu i runga i nga raraunga whakangungu kotahi. Ka taea e te anga BlackMamba te pai ake i nga tauira Mamba me nga tauira whakawhiti mo te rahi o te tauira whakawhiti whakamua i te wa whakatau me te whakangungu i nga mahi Tohu-Mango ia hekona. Ko te whika e whai ake nei e whakaatu ana i te wa i pau ki te whakaputa i te raupapa o te roa kua whakaritea mai i te tohu tohu tuatahi hei mahi mo te roanga raupapa. 

I tua atu, ko nga painga o te noho roa o nga tauira Mixture of Expert me Mamba e honoa ana ki roto i te anga BlackMamba na te mea ka tere ake te wa whakataurite ki nga tauira whakawhiti, tauira Mamba parakore, me nga tauira MoE. I tua atu, ko te painga o te anga BlackMamba e tika ana ki te roa o te raupapa, e tino whai hua ana a BlackMamba ki te whakatipuranga raupapa roa. Ma te neke haere, ko te ahua e whai ake nei e whakaatu ana i te maha o nga tohu kua tohua ki nga tauira BlackMamba me te 340 miriona me te 640 miriona tawhā. I te mea ka kitea, ko te nuinga o nga paparanga e whakaatu ana i te taumata teitei o te toenga tohunga na te whakapai ake i te Sinkhorn algorithm i whakatinanahia e nga tauira BlackMamba. 

Ko te ripanga e whai ake nei e kapi ana i nga kaute aro mātai o te anga BlackMamba i whakatairitehia ki te whānuitanga o nga tauira reo kua whakangungua i mua i te puna tuwhera. Ka taea te kite, ka taea e te anga BlackMamba te whakataetae me te eke ki runga ake i te nuinga o nga anga puta noa i nga rarangi turanga katoa. I tua atu, he mea tika kia mahara ko nga tauira e pai ake ana i te BlackMamba he nui ake te maha o nga tawhā, he iti noa te waahi o te mahi, e tohu ana i te kaha o te anga BlackMamba me te iti ake o nga tawhā. 

Thoughts Final

I roto i tenei tuhinga, kua korero matou mo BlackMamba, he hoahoanga pukapuka e whakakotahi ana i te Mamba State Space Model me nga tauira Mixture of Expert ki te kokoti i nga painga e tukuna ana e enei anga e rua. Ko nga whakamatautau i runga i BlackMamba kua whakaatu i te pai ake o te angamahi o te Mamba o naianei me nga turanga whakawhiti i roto i nga whakangungu FLOPs me te whakatau. Ko te tino mahi o te anga BlackMamba e whakaatu ana ka taea e ia te tuku iho me te whakakotahi i nga kaha o te Mamba me te MoE anga he tino pai na te mea he whakakotahi i te utu iti me te tere mai i a MoE me te whakatipuranga-a-rangi mai i a Mamba. Kua korero matou mo te kaha o te hoahoanga o te anga BlackMamba ki runga ake i nga Tauira Reo Nui kua whakangungua, te anga Mamba o naianei, me nga tauira Rahui o nga Tohunga mo te whakangungu i nga FLOP me te utu whakatau. I tua atu, ka whakawhiwhia ano e te anga BlackMamba nga reanga FLOP me te whakaiti i nga whakangungu mai i nga tauira Mixture of Expert me te anga Mamba i te wa kotahi.