Mistral AI: Te Whakaritea i nga Tohu Hou i tua atu i te Llama2 i te Mokowā Tuwhera-Source

Ko nga Tauira Reo Rahi (LLMs) katahi ano ka tu ki te atamira, he mihi ki nga kaihaka rongonui penei i a ChatGPT. I te wa i whakauruhia e Meta a raatau tauira Llama, i puta ake te hiahia ki nga LLM tuwhera-puna. Ko te whainga? Hei hanga i nga LLM tuwhera-tuwhera he pai ki nga tauira taumata-runga penei i te GPT-4, engari kaore he tohu utu nui, he uaua ranei.

Ko tenei whakakotahitanga o te utu me te whai hua kaore i whakatuwhera noa i nga huarahi hou mo nga kairangahau me nga kaiwhakawhanake engari i whakatakoto ano hoki i te waahi mo te wa hou o te ahunga whakamua hangarau i roto i te tukatuka reo maori.

I tata nei, kua eke nga umanga AI whakangao me nga putea. Tahi whakaarahia $ 20 miriona, e whai ana ki te hanga AI tuwhera-puna. I kohia ano e Anthropic he $450 miriona, a Cohere, mahi tahi me Google Cloud, $270 miriona taara i te Hune o tenei tau.

Whakataki ki Mistral 7B: Rahi me te waatea

Ko Mistral AI, e noho ana i Paris, na nga alums mai i DeepMind me Meta a Google, i whakapuaki i tana tauira reo nui tuatahi: Mistral 7B. Ko tenei tauira ka taea te tango ngawari e tetahi mai i GitHub me te ma te 13.4-kipaita awa.

I kaha tenei whakaoho ki te mau i nga putea kakano pakaru rekoata ahakoa i mua i te whakaputanga hua. Mistral AI aratau tuatahi ki te 7 piriona tauira tawhā nui atu i te mahi o mura 2 13B i roto i nga whakamatautau katoa ka whiua a Llama 1 34B i roto i nga inenga maha.

Ka whakatauritea ki etahi atu tauira penei i a Llama 2, ko te Mistral 7B he rite, he pai ake ranei nga kaha engari he iti ake te mahi rorohiko. Ahakoa ka taea e nga tauira taketake penei i te GPT-4 te whakatutuki, he nui ake te utu, kaore i te pai ki te kaiwhakamahi na te mea ka uru atu ma nga API.

Ina tae mai ki nga mahi whakawaehere, ka homai e Mistral 7B CodeLlama 7B he oma mo ana moni. I tua atu, he iti noa i te 13.4 GB hei whakahaere i runga i nga miihini paerewa.

I tua atu, Mistral 7B Instruct, he mea whakarite mo nga raraunga tohutohu kei runga Kanohi Kohia, kua whakaatu i te mahi nui. He pai ake i etahi atu tauira 7B i runga i te MT-Bench me te tu pakihiwi me nga tauira korerorero 13B.

Awhi Mata Mistral 7B tauira

Tohu Paetau Mahi

I roto i te tātaritanga mahi taipitopito, i inehia a Mistral 7B ki nga tauira whanau Llama 2. He maamaa nga hua: Ko te Mistral 7B he nui ake i te Llama 2 13B puta noa i nga tohu tohu katoa. Inaa, i rite ki nga mahi a Llama 34B, ina koa e tu ana i roto i nga tohu tohu me nga tohu whakaaro.

I whakaritea nga tohu tohu ki etahi waahanga, penei i te Commonsense Reasoning, te Matauranga o te Ao, te Maramatanga Panui, te Math, me te Waehere, me etahi atu. Ko tetahi tirohanga tino nui ko te inenga utu-mahi a Mistral 7B, e kiia ana ko “nga rahi tauira rite”. I nga waahi penei i te whakaaro me te mohio, i whakaatu a Mistral 7B i nga mahi rite ki te tauira Llama 2 e toru nga wa o tona rahi, e tohu ana ka taea te penapena i roto i te mahara me te pikinga o te whakaputanga. Heoi, i roto i nga tohu tohu matauranga, i hono tata a Mistral 7B ki a Llama 2 13B, tera pea e kiia ana na ona herenga tawhā e pa ana ki te kopiri matauranga.

He aha te mea i pai ake ai te tauira Mistral 7B i te nuinga atu o nga Tauira Reo?

Te Whakamaamaa i nga Tikanga Ataata

Ahakoa he mea hangarau nga hianga o nga tikanga aro, he ngawari noa o raatau whakaaro. Whakaarohia te panui pukapuka me te whakanui i nga rerenga korero nui; he rite tenei ki te "whakahirahira" o nga tikanga aro ki te whakahirahira ki nga tohu raraunga motuhake i roto i te raupapa.

I roto i te horopaki o nga tauira reo, ma enei tikanga ka taea e te tauira te aro ki nga waahanga e tino whai kiko ana o nga raraunga whakauru, me te whakarite kia pai te whakaputanga me te tika o te horopaki.

I roto i nga huringa paerewa, ka tatauhia nga kaute aro ki te tauira:

Tātai Arotahi Kaihuri

Ko te tauira mo enei kaute he taahiraa nui - ko te whakareatanga matrix o Q me K. Ko te wero kei konei ka tipu haere te roanga o te raupapa, ka nui haere nga matrices e rua, ka puta he mahinga rorohiko. Ko tenei maaharahara tauineine tetahi o nga take nui e puhoi ai nga kaiwhakahuri paerewa, ina koa ka pa ki nga raupapa roa.

Ka awhina nga tikanga aro ki nga tauira kia aro ki nga waahanga motuhake o te raraunga whakauru. Ko te tikanga, ka whakamahia e enei tikanga nga 'upoko' hei whakahaere i tenei aro. Ko te nui ake o nga mahunga kei a koe, ka kaha ake te aro, engari ka kaha ake te uaua me te puhoi. Ruku hōhonu ki roto i nga huringa me nga tikanga aro ki konei.

Ko te aro nui ki te uiui-maha (MQA) ka tere ake ma te whakamahi i tetahi huinga upoko 'uara-matua' engari i etahi wa ka whakaekea te kounga. Inaianei, ka miharo pea koe, he aha e kore ai e whakakotahi i te tere o te MQA me te kounga o te aro nui-nui? I reira ka uru mai te aro-a-rōpū (GQA).

Roopu-Uiui Arotahi (GQA)

Roopu-uiui aro

Ko te GQA he otinga-waenganui. Engari ki te whakamahi i te kotahi, te maha ranei o nga upoko 'uara-matua', ka whakarōpūhia. Ma tenei ara, ka tutuki a GQA i tetahi mahi tata ki te aro nui-nui engari me te tere o te MQA. Mo nga tauira penei i a Mistral, ko te tikanga he pai te mahi me te kore e whakararu i te kounga.

Matapihi Whakarereke (SWA)

te matapihi retireti Ko tetahi atu tikanga e whakamahia ana ki te tukatuka i nga raupapa aro. Ka whakamahia e tenei tikanga he matapihi aro nui-rahi huri noa i ia tohu i roto i te raupapa. Na te maha o nga paparanga e mau ana i tenei tirohanga matapihi, ka puta he tirohanga whanui atu i nga papa o runga, ka uru ki nga korero mai i te whakaurunga katoa. He rite tonu tenei tikanga ki nga mara manaaki i kitea i roto i te Convolutional Neural Networks (CNNs).

I tetahi atu taha, ko te "whakaaro i te matapihi whakahekeheke" o te tauira Longformer, he rite tonu te ahua ki te tikanga matapihi reiti, ka tatau i etahi hauroki noa o te $QKT$ matrix. Ko tenei huringa ka piki ake te whakamahinga o te mahara i runga i te rarangi, kaua i te tapawha, na te mea he tikanga pai ake mo nga raupapa roa.

Nga Maharahara a Mistral AI ki te Haumaru i roto i te Whakakotahitanga

I roto i ta raatau panui, i kii ano a Mistral AI i te maarama me te korero: "Kaore he tinihanga, kaore he raraunga rangatira." Engari i te wa ano ko ta raatau tauira e waatea ana i tenei wa ko 'Mistral-7B-v0.1' he tauira turanga kua whakangungua, na reira ka taea e ia te whakaputa whakautu ki tetahi patai me te kore whakaōrite, ka puta ake he awangawanga haumaru. Ahakoa ko nga tauira penei i a GPT me Llama he tikanga ki te mohio ki te wa e whakautu ai, ka taea e nga kaiwhakaari kino te whakamahi i te ahua o Mistral.

Heoi ano, ko te whakawhanaungatanga o nga Tauira Reo Rahi he painga. Ahakoa kei te whakamahi pohehe etahi, ka taea e te tangata te whakamahi i tona mana mo te pai o te hapori, me te whai matauranga ki te katoa.

Te Whakamahinga Ngawari

Ko tetahi o nga mea nui ko te Mistral 7B kei te waatea i raro i te raihana Apache 2.0. Ko te tikanga karekau he tino arai ki te whakamahi - ahakoa kei te whakamahi koe mo nga kaupapa whaiaro, he kaporeihana nui, he hinonga kawanatanga ranei. Me tika te punaha ki te whakahaere, me haumi ranei koe ki nga rauemi kapua.

Ahakoa tera ano etahi atu raihana penei i te Raihana MIT ngawari ake me te mahi tahi CC BY-SA-4.0, e whakahau ana i te nama me te raihana rite mo nga hua, ka whakaratohia e Apache 2.0 he turanga pakari mo nga mahi nui.

Thoughts Final

Ko te pikinga o nga Tauira Reo Rahi-tuwhera penei i a Mistral 7B e tohu ana i te huringa tino nui i roto i te umanga AI, ka taea e nga tauira reo-kounga teitei te uru atu ki te hunga whakarongo whanui. Ko nga huarahi auaha a Mistral AI, penei i te aro-a-roopu me te Tirohanga Matapihi Sliding, ka oati i te mahi pai me te kore e whakararu i te kounga.

Ahakoa ko te ahua o te Mistral he wero, ko tana ngawari me te raihana puna tuwhera e whakaatu ana i te kaha o te manapori AI. I te wa e tipu haere ana te whenua, kare e kore ka aro ki te whakataurite i te mana o enei tauira me nga whakaaro matatika me nga tikanga haumaru.

Kei runga ake mo Mistral? Ko te tauira 7B te timatanga noa iho. Ko te whainga a te kapa ki te whakarewa i nga tauira nunui ake nei. Mena ka rite enei tauira hou ki nga mahi a te 7B, ka tere ka ara ake a Mistral hei kaikaro nui i roto i te umanga, katoa i roto i to raatau tau tuatahi.