5 Isha Furan ee ugu Fiican LLMs (Maajo 2024)

Qaababka Luuqadaha Waaweyn (LLMs) waxay u soo baxeen inay yihiin tiir-dhexaadka AI-ga maanta, iyagoo wata hal-abuurnimo iyo dib-u-qaabaynta habka aan ula fal-galno tignoolajiyada.

Marka moodooyinkan ay noqdaan kuwo aad u casrisan, waxa jirta culays sii kordhaya oo ku wajahan dimuqraadiyaynta gelitaankooda. Moodooyinka il-furan, gaar ahaan, ayaa door muhiim ah ka ciyaaraya dimuqraadiyeyntan, iyagoo siinaya cilmi-baarayaasha, horumariyeyaal, iyo xiiseeyaasheeda si isku mid ah fursad ay si qoto dheer ugu dhex-dhuuban karaan qallafsanaantooda, u hagaajiyaan hawlo gaar ah, ama xitaa ku dhisaan aasaaskooda.

Balooggan, waxaan ku sahamin doonaa qaar ka mid ah ilaha ugu sarreeya ee LLM-yada ka sameeya mowjadaha bulshada AI. Mid waliba waxa uu miiska soo saarayaa awoodiisa iyo awoodiisa gaarka ah.

1. holac 3

Meta's Llama 3 waxa ay ka dhigan tahay horumar weyn oo horudhac ah oo ku jira safkooda moodeelka luqadda weyn ee isha furan. Isaga oo ku-xigeen u noqon doona Llama 2 oo la sii daayay 2023, Llama 3 waxa ay dejisay heer-farshaxan cusub oo loogu talagalay moodooyinka si cad loo heli karo ee cabbirrada 8B iyo 70B. Tani ma aha oo kaliya cusbooneysiin kordhin; waa horumar isbedel leh oo awood u siinaya horumariyayaashu inay dhisaan codsiyada luqadda dabiiciga ah ee aadka u wanaagsan iyagoo dhiirigelinaya cilmi-baaris furan iyo hal-abuurnimo AI.

Waxqabadka Llama 3 ee aan lala tartamin waxaa mahada iska leh horumarada waaweyn ee habka tababarka kahor iyo qaab dhismeedka. Qaabka ayaa lagu tababaray xog aad u badan oo ka badan 15 trillion token oo laga helay ilo dadweyne oo la heli karo, xog la yaab leh oo 7 jeer ka badan Llama 2. Tan waxaa ku jira 4 jeer xog koodh oo dheeri ah si kor loogu qaado awoodaha koodh ee Llama 3, iyo sidoo kale caymiska muhiimka ah ee 30+ luqadaha si ay asaaska ugu dhigaan noocyada luuqadaha badan mustaqbalka. Shaandhayn ballaaran ayaa loo adeegsaday si loo saxo xogtan, iyadoo la hubinayo in Llama 3 laga bartay kaliya ilaha tayada ugu sarreeya.

Laakin kobcinta Llama 3 waxay dhaafsiisan tahay xog badan. Hagaajinta gees-goynta qaab-dhismeedka moodeelka iyo habka tababarka ayaa si weyn u wanaajiyey awoodaheeda sababaynta, koodhka soo saarista, tilmaamaha soo socda, iyo kala duwanaanta jawaabta. Tokenizer-ka la hagaajiyay wuxuu ka dhigayaa Llama 3 ilaa 15% ka waxtar badan kii ka horreeyay. Feejignaanta weydiinta kooxaysan waxay u oggolaanaysaa moodelka 8B inuu ilaaliyo sinnaanta u dhiganta moodeelkii hore ee 7B.

Xigasho: Meta

Natiijada kama dambaysta ahi waa nooc luqadeed oo ka sarreeya hawlo luqadeed oo kala duwan oo kala duwan:

• Jiilka Hal-abuurka: Llama 3 waxa uu dhalin karaa qoraal aad isku xidhan oo hal abuur leh oo ah sheeko, qoraalo, qaybo muusig, gabayo, iyo kuwo kale.
• Codaynta iyo Sababaynta: Waad ku mahadsantahay xogta tababarka koodhka ee la xoojiyey, Llama 3 waxay ku faantaa si cajiib leh kood u xoog badan iyo xirfado sababayn macquul ah oo lagula tacaalayo dhibaatooyinka adag.
• Jawaabta Su'aasha: Marka la isku xidho xogta guud ahaan saldhigeeda aqooneed, Llama 3 waxa ay ku siin kartaa jawaabo aqoon leh oo qoto dheer su'aalaha ku saabsan mawduucyo kala duwan.
• Soo KoobidLlama 3 waxa uu ku xeel dheer yahay soo saarida qoraallo dhaadheer oo kooban iyo xog dhab ah oo kooban.
• Tilmaanta Soo socota: Mid ka mid ah waxqabadyada ugu cajiibsan ee Llama 3 waa awoodda ay u leedahay in ay si sax ah u raacdo tilmaamo dhowr tallaabo ah oo adag oo hawlo furan.

Mustaqbalku waa u iftiimay taxanaha Llama. Meta waxa ay horeba u horumarinaysay noocyo Llama 3 ah oo leh in ka badan 400B oo xuduudo kuwaas oo aan ka weynayn oo keliya balse sidoo kale ku hadla luqado badan iyo hab-badan. Tijaabada hore waxay tusinaysaa moodooyinkan aadka u wayn ee keenaya natiijooyin rajo leh oo la tartamaya hababka lahaanshaha ugu fiican.

Xigasho: Meta

Booqo Llama 3 →

2. Bloom

Sannadkii 2022, mashruuca BLOOM ayaa la daah furay ka dib dadaal iskaashi oo socday muddo sannad ah oo ay hoggaaminaysay shirkadda AI Hugging Face oo ay ku lug lahayd in ka badan 1,000 cilmi-baarayaal iskaa wax u qabso ah oo ka kala yimid in ka badan 70 waddan. BLOOM (Model Luqadaha Kala Duwan ee Furan ee Sayniska Weyn) waa 176 bilyan halbeeg cabbir luuqadeed oo weyn oo loogu talagalay jiilka qoraalka, awood u leh inuu kordhiyo degdegga qoraalka si loo dhaliyo sheekooyin isku xiran, qoraallo, gabayo, maqaallo, iyo in ka badan.

Waxa ka sooca BLOOM waa dabeecadda gelitaankeeda furan - moodeelka, koodhka isha, iyo xogta tababarka dhamaantood si xor ah ayaa loogu heli karaa shatiyo furan, si ka duwan inta badan noocyada luqadaha kale ee waaweyn ee ay sameeyeen shirkadaha tignoolajiyada. Furfurnaantani waxay martiqaadaysaa imtixaan socda, ka faa'iidaysi, iyo kobcinta moodeelka guud ahaan bulshada AI.

BLOOM waxa ay ku faantaa awoodo afaf badan oo cajiib ah, ka dib markii lagu tababaray 1.6TB dataset (the ROOTS corpus) oo ka kooban 46 luqadood oo dabiici ah iyo 13 luuqado barnaamij ah, iyada oo in ka badan 30% xogta ay tahay Ingiriis. Luqado badan sida Isbaanishka iyo Carabiga, BLOOM waa qaabka ugu horreeya ee cabbirkiisa.

Qaabka waxaa lagu tababaray in ka badan 3.5 bilood Jean Zay supercomputer ee Faransiiska iyadoo la adeegsanayo 384 NVIDIA A100 GPUs, oo ay suurtagelisay deeq xisaabeed oo ka timid dowladda Faransiiska - oo u dhiganta in ka badan 5 milyan oo saacadood oo xisaab ah. Iyada oo ku saleysan qaab dhismeedka GPT ee leh wax ka beddelka, BLOOM waxay ku guulaysataa waxqabadka tartan ee bartilmaameedyada.

Waxyaabaha Muhiimka ah ee BLOOM:

• Helitaanka Furan: Moodeelka BLOOM, koodka iyo xogta tababarka si xor ah ayaa loo heli karaa, dimuqraadiyaynta gelitaanka moodooyinka luqadda ee xoogga leh oo awood u siinaya cilmi-baadhis furan.
• Kartida Luuqadaha Badan: Waxaa lagu tababaray xogta ku saabsan 46 luqadood oo dabiici ah iyo 13 luqadood oo barnaamij ah, BLOOM waxay leedahay awoodo badan oo luqado badan ah.
• Xirfadaha Luuqadaha Kala Duwan: Laga soo bilaabo jiilka qoraalka ilaa su'aalaha ka jawaabista, koobitaanka, tarjumaada, iyo jiilka koodka, BLOOM waxay ku fiican tahay hawlo kala duwan oo luqadeed.
• Horumarinta AI ee mas'uulka ah: BLOOM waxaa la sameeyay iyadoo diiradda la saaray dhaqamada AI ee mas'uulka ka ah waxaana lagu sii daayay shatiga mamnuucaya kiisaska isticmaalka xun.
• Gelin Fudud Horumariyayaashu waxay ka geli karaan BLOOM iyagoo dhex maraya maktabadda Hugging Face Transformers oo geyn karaan iyagoo isticmaalaya dardar.

Iyadoo horay loo eegayo, kooxda BigScience waxay qorsheynayaan inay BLOOM ku balaadhiyaan luqado badan, la cadaadiyo qaabka, oo ay u adeegsadaan meel bilow u ah dhismooyin horumarsan. BLOOM waxay ka dhigan tahay tallaabo weyn oo lagu samaynayo moodooyinka luqadda waaweyn mid hufan oo la heli karo dhammaan.

Booqo Bloom →

3. MPT-7B

Aasaaska MosaicML ayaa kaalin mug leh ku soo kordhiyey booskan iyada oo la hirgeliyey MPT-7B, il-furankoodii ugu dambeeyay LLM. MPT-7B, oo la soo gaabiyo MosaicML Transformer Pretrained, waa qaabka GPT, qaab beddele-kaliya-kaliya. Habkani waxa uu ku faanaa dhawr horumarin, oo ay ku jiraan fulinta lakabka la hagaajiyay iyo isbeddellada qaab dhismeedka ee hubinaya xasilloonida tababarka weyn.

Muuqaalka muuqda ee MPT-7B waa tababarkeeda ku saabsan xog-ururin ballaaran oo ka kooban 1 tiriliyan calaamado qoraal iyo kood ah. Tababarkan adag waxaa lagu fuliyay goobta MosaicML muddo 9.5 maalmood ah.

Dabeecadda il-furan ee MPT-7B waxay u dhigaysaa qalab qiimo leh oo loogu talagalay codsiyada ganacsiga. Waxay haysaa awoodda ay si weyn u saameyn karto falanqaynta saadaalinta iyo hababka go'aan qaadashada ee ganacsiyada iyo ururada.

Marka lagu daro qaabka saldhiga, MosaicML Foundations waxa kale oo ay sii daynaysaa moodooyin gaar ah oo loogu talagalay hawlo gaar ah, sida MPT-7B-Tilmaanta habka gaaban ee soo socota, MPT-7B-Chat ee jiilka wadahadalka, iyo MPT-7B-Qoraa-65k+ abuurista sheeko dheer.

Safarka horumarineed ee MPT-7B wuxuu ahaa mid dhamaystiran, iyadoo kooxda MosaicML ay maamulayeen dhammaan heerarka laga soo bilaabo diyaarinta xogta ilaa geynta dhowr toddobaad gudahood. Xogta waxaa laga soo xigtay kaydyo kala duwan, kooxduna waxay adeegsatay agabka sida EleutherAI's GPT-NeoX iyo 20B tokenizer si loo hubiyo isku dhafka tababarka kala duwan oo dhamaystiran.

Muuqaalka guud ee astaamaha muhiimka ah ee MPT-7B:

• Shatiga Ganacsiga: MPT-7B waxa ay shati u haysataa isticmaalka ganacsiga, taas oo ka dhigaysa hanti qiimo leh ganacsiyada.
• Xogta Tababarka oo Balaaran: Qaabku wuxuu ku faanaa tababbarka xog-ururin ballaaran oo 1 tiriliyan calaamado ah.
• Wax ka qabashada soo-gelinta dheer: MPT-7B waxaa loogu talagalay in lagu farsameeyo wax-soo-gelinta aadka u dheer iyada oo aan la dhimin.
• Xawaaraha iyo Hufnaanta: Qaabka waxaa loo habeeyay tababarka degdega ah iyo ka-fiirsashada, iyadoo la hubinayo natiijooyinka waqtiga ku habboon.
• Koodhka isha furan: MPT-7B waxay la socotaa kood tababar il furan oo hufan, kor u qaadaya hufnaanta iyo fududaynta isticmaalka.
• Isbarbardhigga Heerka Sare: MPT-7B waxay muujisay inay ka sarreyso moodooyinka kale ee il furan ee kala duwan ee 7B-20B, iyadoo tayadooda la mid ah tan LLAMA-7B.

Booqo MPT-7B →

4. Falcon 2

Fiidiyow ku saabsan Falcon 180B, kii ka horreeyay Falcon 2

Falcon 2 waa jiilkii ugu dambeeyay ee moodooyinka luqadaha waaweyn ee furan ee ka socda Machadka Hal-abuurka Tiknoolajiyada (TII) ee Abu Dhabi, iyada oo lagu dhisayo guushoodii hore ee Falcon 7B, 40B, iyo 180B ee la sii daayay 2023. Taxanaha Falcon 2 hadda waxaa ku jira :

• Falcon 2 11B: Nashqada 11 bilyan ee halbeeg-causal-kaliya moodeel kaas oo ka sarreeya Meta's LLAMA 3 8B oo u shaqeeya si la mid ah Google's Gemma 7B moodeelka cabbirrada caadiga ah, sida uu xaqiijiyay hugging Face hoggaamiyaha.
• Falcon 2 11B VLM: Nooca cusub ee qaab-dhismeedka badan ee Falcon 2 11B oo leh karti-aragti-luqad, taasoo ka dhigaysa mid ka mid ah moodooyinka isha furan ee kaliya ee bixiya shaqadan.

Xigasho: TII

Moodooyinka Falcon 2 ayaa si buuxda u furan iyadoo hoos timaad shatiga TII Falcon License 2.0, oo ku salaysan Apache 2.0 laakiin leh siyaasad la aqbali karo oo isticmaalka si kor loogu qaado horumarinta AI mas'uul ka ah. Tani waxay u ogolaaneysaa isticmaalka bilaashka ah ee moodooyinka cilmi baarista iyo inta badan codsiyada ganacsiga.

Moodooyinka Falcon 2 waxaa lagu tababaray in ka badan 5 tiriliyan calaamado laga soo qaaday xogta RefinedWeb ee la xoojiyey, kaas oo ay ku jiraan isku dhafka kala duwan ee xogta mareegaha tayada sare leh, buugaag, qorista farsamada, koodka, iyo wada sheekaysiga. shaandhayn ballaadhan iyo farsamooyin kala-saarid ayaa la isticmaalay si loo soo saaro xogta ugu fiican. Iyadoo ay weli diiradda saarayaan Ingiriisiga, qayb ka mid ah xogta tababarka ayaa daboolaysa luqadaha kale sida Jarmalka, Isbaanishka, Faransiiska, iyo Talyaaniga, iyada oo aasaaska u ah moodooyinka mustaqbalka ee luuqadaha badan.

Falcon 2 waxa ay isticmaashaa qaab-dhismeedka beddelka-dejiya-kaliya ee la hagaajiyay kaas oo awood u siinaya waxqabad xooggan oo miisaan yar marka la barbar dhigo moodooyinka kale ee furan. TII waxay qorsheyneysaa inay kor u qaaddo hufnaanta iyadoo la adeegsanayo farsamooyinka sida khubarada isku dhafka ah ee soo saarista soo socota.

Marka la eego awoodaha cayriin, Falcon 2 11B waxa uu ku fiican yahay hawlo kala duwan oo luuqadda dabiiciga ah, oo ay ku jiraan:

• Soo saarista qoraalka nuxurka qaab-dheer ee isku xidhan sida sheekooyinka iyo maqaallada
• Su'aal aqoon leh oo ka jawaabeysa isku xirka macluumaadka mowduucyo kala duwan
• Soo koobida tayada sare leh ee maqaallada dhaadheer ama nuxurka dhabta ah
• Tilmaamo sax ah oo raacaya marka si fiican loo habeeyey
• Waxqabad adag oo ku saabsan kood samaynta iyo sal-dhigyada sababaynta

Kala duwanaanshaha Falcon 2 11B VLM wuxuu ku darayaa awooda gaarka ah ee lagu fahmo sawirada iyo soo saarista qoraalka ku salaysan agabka muuqaalka iyo luuqada labadaba. Tani waxay awood u siinaysaa kiisas adeegsi badan oo awood badan sida ka jawaabista su'aalaha muuqaalka, sawir ka bixinta, iyo sababaynta aragtida-luqada.

Iyadoo horay loo eegayo, TII waxay leedahay qorshayaal la wadaago si ay u ballaariso taxanaha Falcon 2 oo leh cabbirro moodeel oo waaweyn iyadoo la ilaalinayo waxtarka iyo gelitaanka furan. Farsamooyinka sida khubarada-isku-dhafka ah ayaa loo adeegsan doonaa si kor loogu qaado awoodda iyada oo aan si weyn loo kordhin shuruudaha xisaabinta.

Booqo Falcon 2 →

5. Vicuna-13B

LMSYS ORG waxa ay calaamad la taaban karo ka samaysay saaxadda LLM-yada furan ee Vicuna-13B. Shabakadda isha furan ee loo yaqaan 'chatbot-ka' waxaa si taxadar leh u tababaray hagaajinta LLAMA ee ku dhawaad ​​​​70K wada sheekaysiga isticmaale-wadaaga ah ee laga keenay ShareGPT.com iyadoo la adeegsanayo API-yada dadweynaha. Si loo hubiyo tayada xogta, wada sheekeysiga waxaa laga beddelay HTML oo lagu soo celiyay calaamadeynta waxaana la sifeeyay si meesha looga saaro muunado aan habboonayn ama tayadoodu hooseeyso. Wada sheekaysiga dheer ayaa sidoo kale loo qaybiyay qaybo yaryar oo ku habboon qaabka dhererkiisa macnaha guud.

Qiimaynta horudhaca ah, ee GPT-4 ku simaha garsooraha, waxay muujisay in Vicuna-13B ay gaadhay in ka badan 90% tayada moodooyinka caanka ah sida OpenAI ChatGPT iyo Google Bard. Si la yaab leh, Vicuna-13B ayaa ka fiicnaaday moodooyinka kale ee caanka ah sida LLAMA iyo Stanford Alpaca in ka badan 90% kiisaska wakhtigaas. Dhammaan habka tababarka ee Vicuna-13B waxaa lagu fuliyay qiimihiisu ku dhow yahay $300, ka faa'iidaysiga farsamooyinka sida tusaalooyinka goobta, isbaarada tartiib-tartiib ah, iyo feejignaan toos ah si kor loogu qaado isticmaalka xusuusta loona yareeyo kharashyada. Kuwa xiisaynaya inay sahamiyaan awoodooda, koodka, miisaanka, iyo muujinta khadka tooska ah ayaa loo sameeyay si guud oo aan ganacsi ahayn.

Cunto karinta tababbarka ee Vicuna waxay ku dhisan tahay qaabka Stanford's Alpaca oo leh dhowr horumarin oo muhiim ah:

• Sheeko-rogasho badan: Khasaaraha tabobarka waxa lagu hagaajiyaa in lagu xisaabtamo wada sheekaysi-wareegyo badan, iyada oo la xisaabinayo khasaaraha hagaajinta ee kaliya ee ku saabsan wax soo saarka chatbot-ka.
• Hagaajinta xusuusta: Dhererka macnaha guud ayaa laga soo qaaday 512 gudaha Alpaca ilaa 2048 gudaha Vicuna, taasoo awood u siinaysa fahamka macnaha guud ee qiimaha korodhka shuruudaha xusuusta GPU. Tan waxa lagu xalliyaa isbaaro tartiib tartiib ah iyo feejignaan toos ah.
• Qiimaha dhimista: 40x xog-ururin weyn iyo dhererka isku xigxiga ee 4x ayaa soo bandhigay caqabado xagga kharashyada tababarka ah, laakiin shaqaalaynta tusaalooyinka goobta la maareeyay ee SkyPilot ayaa si weyn hoos ugu dhigay kharashaadka - min $82K ilaa $140 ee qaabka 7B iyo min $135K ilaa $300 ee qaabka 13B.

Si loogu adeego Vicuna, nidaam adeeg oo qaybsan ayaa la dhisay oo awood u leh in uu la tacaalo noocyo badan oo shaqaale ah kuwaas oo si dabacsanaan leh looga xidhi karo rucubyada goobta ama daruuraha. Isticmaalka kontaroolayaasha u dulqaadan kara cilladaha iyo tusaalooyinka dhibcaha la maareeyay waxay awood u siinayaan nidaamkan inuu si fiican ula shaqeeyo xaaladaha ka jaban ee daruuraha badan si loo yareeyo kharashka adeega. Iyadoo hadda la fulinayo miisaan fudud, shaqada ayaa socota si loo mideeyo cilmi-baaristii ugu dambeysay si loo sii wanaajiyo kaabayaasha adeegga.

Astaamaha muhiimka ah ee Vicuna-13B:

• Dabeecada Isha Furan: Vicuna-13B waxay diyaar u tahay gelitaanka dadweynaha, kor u qaadida daahfurnaanta iyo ka qaybgalka bulshada.
• Xogta Tababarka oo Balaaran: Qaabka ayaa lagu tababaray 70K wada sheekaysiga isticmaale-wadaaga ah, isaga oo hubinaya faham dhamaystiran ee isdhexgalka kala duwan.
• Tababarka Qiimaha Badan: Farsamooyinka sida tusaaleyaal la maareeyey, isbaaro tartiib tartiib ah, iyo feejignaan toos ah ayaa suurtageliyay tababar qiimo-ku-ool ah oo ku dhow $300 oo ah nooca 13B.
• Cuntada Tababarka La Wanaajiyey: Vicuna waxa ay ku dhistaa cuntada Alpaca iyada oo horumarinaysa maaraynta wada sheekaysiga-rogadka badan, hagaajinta xusuusta, iyo dhimista kharashka.
• Kaabayaasha Adeegga Qaybsan: Nidaam adeeg oo qaybsan oo dabacsan oo kharash-ool ah ayaa la dhisay si Vicuna looga dhigo mid si guud loo heli karo.
• Helitaanka Bandhig Online: Bandhig online is dhexgal ah ayaa diyaar u ah isticmaalayaasha si ay u tijaabiyaan oo ay ula kulmaan awoodaha Vicuna-13B.

Waxaa muhiim ah in la ogaado in falanqeyntu ay ku saleysneyd qiimeyn hordhac ah oo aan cilmi ahayn iyadoo la adeegsanayo GPT-4. Qiimayn adag ayaa wali loo baahan yahay.

Booqo Vicuna-13B →

Baahinta Boqortooyada Modelyada Luuqadaha Waaweyn