Sirdoonka Artificial
Wax walba oo aad uga baahan tahay inaad ka ogaato Llama 3 | Qaabka Isha Furan ee Ugu Awooda Badan Wali | Fikradaha Isticmaalka
Meta ayaa dhawaan soo baxday holac 3, jiilka soo socda ee il furan oo casri ah oo qaab luqadeed weyn (LLM). Dhisida aasaaska uu dejiyay kii ka horeeyay, Llama 3 waxay rabta in kor loo qaado awoodaha dhigay Llama 2 inuu yahay tartame il furan oo muhiim ah ChatGPT, sida lagu qeexay dib u eegista dhamaystiran ee maqaalka. Llama 2: Murugo Qoto dheer u galay tartame-Isha Furan ee ChatGPT.
Maqaalkan waxaan kaga hadli doonaa fikradaha asaasiga ah ee ka dambeeya Llama 3, sahaamin doonaa qaabdhismeedkeeda cusub iyo habka tababarka, waxaanan bixin doonaa hagitaan wax ku ool ah oo ku saabsan sida loo galo, loo isticmaalo, loona geeyo moodelkan curdinka ah si masuuliyadi ku jirto. Haddii aad tahay cilmi-baare, horumariye, ama xamaasad AI, boostadani waxay ku qalabayn doontaa aqoonta iyo agabka loo baahan yahay si looga faa'iidaysto awoodda Llama 3 ee mashaariicdaada iyo codsiyadaada.
Horumarka Llama: Laga soo bilaabo Llama 2 ilaa Llama 3
Madaxa guud ee Meta, Mark Zuckerberg, ku dhawaaqay bilawgii Llama 3, moodelkii AI ee ugu dambeeyay oo ay samaysay Meta AI. Qaabkan casriga ah, oo hadda il-furan, ayaa lagu wadaa inuu kor u qaado badeecadaha kala duwan ee Meta, oo ay ku jiraan Messenger iyo Instagram. Zuckerberg wuxuu iftiimiyay in Llama 3 boosaska Meta AI ay yihiin kuwa ugu horumarsan Kaaliyaha AI oo si xor ah loo heli karo.
Kahor inta aynaan ka hadlin waxyaabaha gaarka ah ee Llama 3, aynu si kooban dib ugu eegno kii ka horeeyay, Llama 2. La soo bandhigay 2022, Llama 2 waxay ahayd guul muhiim ah oo ka dhacday muuqaalka isha furan ee LLM, oo bixisa qaab awood leh oo hufan oo lagu shaqayn karo qalabka macaamiisha .
Si kastaba ha ahaatee, halka Llama 2 ay ahayd guul la taaban karo, waxay lahayd xaddidaaddeeda. Isticmaalayaashu waxay ka warbixiyeen arrimo diidmo been abuur ah (qaabka diidaya inuu ka jawaabo dardaaranno aan fiicneyn), caawinta xaddidan, iyo qolka horumarinta meelaha sida sababaynta iyo soo saarista koodhka.
Geli Llama 3: Jawaabta Meta ee caqabadahan iyo jawaab celinta bulshada. Iyadoo Llama 3, Meta waxay dejisay inay dhisto moodooyinka il-furan ee ugu wanaagsan si la mid ah moodooyinka ugu sarreeya ee lahaanshaha ee la heli karo maanta, iyadoo sidoo kale mudnaanta siinaysa horumarinta mas'uuliyadda iyo hababka hawlgelinta.
Llama 3: Dhismaha iyo Tababarka
Mid ka mid ah hal-abuurka muhiimka ah ee Llama 3 waa calaamadihiisa, kaas oo leh ereyo si weyn loo ballaariyay 128,256 calaamadood (laga bilaabo 32,000 ee Llama 2). Erayadan weyni waxa ay saamaxaysaa in si hufan loo codeeyo qoraalka, labadaba wax gelinta iyo soo saarista, taas oo u horseedi karta luuqado badan oo xoog badan iyo horumarinta waxqabadka guud.
Llama 3 ayaa sidoo kale ku jira Feejignaan-kooxeed (GQA), farsamo matalaad hufan oo xoojisa miisaanka oo ka caawisa moodelku inuu si wax ku ool ah u qabsado xaaladaha dhaadheer. The 8B Nooca Llama 3 wuxuu isticmaalaa GQA, halka labadaba 8B iyo 70B moodooyinka ayaa socodsiin kara isku xigxiga ilaa 8,192 calaamadood.
Xogta Tababarka iyo Qiyaasida
Xogta tababarka ee loo adeegsaday Llama 3 ayaa ah arin muhim u ah waxqabadkeeda la wanaajiyay. Meta waxay soo saartay xog-ururin aad u badan oo dhaaftay 15 trillion calaamado laga helay ilo online ah oo si cad loo heli karo, todoba jeer ka weyn xogta loo isticmaalo Llama 2. Xogtan waxa kale oo ka mid ah qayb muhiim ah (in ka badan 5%) xogta aan Ingiriisida oo tayo sare leh, oo daboolaysa in ka badan Luqadaha 30, diyaarinta codsiyada mustaqbalka ee luqadaha badan.
Si loo hubiyo tayada xogta, Meta waxay shaqaalaysiisay farsamooyin shaandhayn heer sare ah, oo ay ku jiraan filtarrada heuristic, filtarrada NSFW, kala soocida semantic, iyo kala soocida qoraalka ee lagu tababaray Llama 2 si loo saadaaliyo tayada xogta. Kooxdu waxay sidoo kale samaysay tijaabooyin ballaaran si loo go'aamiyo isku dhafka ugu wanaagsan ee ilaha xogta ee tababarka hore, hubinta in Llama 3 ay si fiican u qabato kiisaska badan ee isticmaalka, oo ay ku jiraan trivia, STEM, codeing, iyo aqoonta taariikheed.
Kor u qaadista tababbarka hore waxay ahayd arrin kale oo muhiim ah oo ku saabsan horumarka Llama 3. Meta waxay horumarisay shuruuc miisaan oo u suurtageliyay inay saadaaliyaan waxqabadka moodalkeeda ugu waaweyn ee hawlaha muhiimka ah, sida jiilka code, ka hor intaysan si dhab ah u tababarin. Tani waxay ku wargelisay go'aamada ku saabsan isku dhafka xogta iyo xisaabinta qoondaynta, taasoo ugu dambeyntii horseedaysa tababar hufan oo waxtar leh.
Moodooyinka Llama 3 ee ugu weyn waxaa lagu tababaray laba si gaar ah loo dhisay oo ah 24,000 GPU, ka faa'iidaysiga isku darka xogta isbarbardhigga, isbarbardhigga moodeelka, iyo farsamooyinka isbarbardhigga dhuumaha. Tababarka sare ee Meta wuxuu xidhaa ogaanshaha qaladka otomaatiga ah, maaraynta, iyo dayactirka, kordhinta wakhtiga GPU-da iyo kordhinta waxtarka tababarka ku dhawaad saddex jeer marka la barbar dhigo Llama 2.
Hagaajinta Hagaajinta iyo Waxqabadka Tilmaanta
Si loo furo kartida buuxda ee Llama 3 ee codsiyada wada sheekeysiga iyo wadahadalka, Meta waxay cusboonaysiisay qaabkeeda habaynta wanagsan ee tilmaamaha. Habkeeda ayaa isku dhafan hagaajinta hagaajinta la kormeerayo (SFT), muunad diidmo, hagaajinta siyaasadda dhow (PPO), iyo doorashada tooska ah (DPO).
Tayada soo jeedinta loo adeegsaday SFT iyo kala-doorbidaynta loo adeegsaday PPO iyo DPO ayaa door muhiim ah ka ciyaartay waxqabadka moodooyinka la siman. Kooxda Meta waxay si taxadar leh u habeeyeen xogtan waxayna sameeyeen wareegyo badan oo hubinta tayada qoraalada ay bixiyeen falanqeeyayaasha aadanaha.
Tababarka ku saabsan qiimeynta doorbidida iyada oo loo sii marayo PPO iyo DPO ayaa sidoo kale si weyn u wanaajiyay waxqabadka Llama 3 ee ku saabsan sababaynta iyo codeynta hawlaha. Meta waxay ogaatay in xitaa marka moodalku uu ku dhibtoonayo inuu si toos ah uga jawaabo su'aasha sababaynta, inay wali soo saari karto raad macquul ah oo sax ah. Tababarka ku saabsan qiimaynta dookhyada ayaa u sahashay moodalku inuu barto sida jawaabta saxda ah looga xusho raadadkan.
Natiijooyinku waxay u hadlaan naftooda: Llama 3 waxay ka sarraysaa moodallo wada sheekaysi il furan oo badan oo la heli karo oo ku saabsan halbeegyada warshadaha caadiga ah, samaynta wax qabad cusub oo casri ah oo loogu talagalay LLMs ee cabbirrada 8B iyo 70B.
Tixgelinta Horumarka iyo Badbaadada Mas'uulka Ka ah
Iyadoo la raacayo waxqabadka goynta, Meta waxay sidoo kale mudnaanta siisay horumarinta mas'uulka ka ah iyo hababka geynta Llama 3. Shirkaddu waxay qaadatay hab-nidaameed, iyada oo la eegayo noocyada Llama 3 oo qayb ka ah nidaam deegaan oo ballaadhan oo dhigaya horumarinta kursiga darawalka, taas oo u oggolaanaysa inay naqshadeeyaan. una habeeyaan moodooyinka kiisaskooda gaarka ah iyo shuruudaha badbaadada.
Meta waxay samaysay layliyo koox-cas ah oo ballaadhan, waxay samaysay qiimayno iska soo horjeeda, waxayna hirgelisay farsamooyinka yaraynta badbaadada si loo yareeyo khataraha haraaga ah ee moodooyinka hab-raaca ee tilmaamaha. Si kastaba ha ahaatee, shirkaddu waxay qiraysaa in khataraha haraaga ah ay u badan tahay inay sii jiri doonaan waxayna ku talinaysaa horumariyayaashu inay qiimeeyaan khatarahan marka loo eego kiisas isticmaalkooda gaarka ah.
Si loo taageero geynta mas'uulka ah, Meta waxa ay cusboonaysiisay Hagaha Isticmaalka Mas'uulka ah, iyada oo siinaya ilo dhammaystiran horumariyayaashu si ay u hirgeliyaan moodeel iyo hab-dhaqannada badbaadada heerka nidaamka ugu wanaagsan ee codsiyadooda. Hagaha waxa uu daboolayaa mawduucyo ay ka mid yihiin dhexdhexaadinta nuxurka, qiimaynta khatarta, iyo isticmaalka aaladaha badbaadada sida Llama Guard 2 iyo Code Shield.
Llama Guard 2, oo lagu dhisay cashuurta MLCommons, waxaa loogu talagalay in lagu kala saaro agabyada LLM iyo jawaabaha, ogaanshaha waxyaabaha loo qaadan karo badbaado ama waxyeelo. CyberSecEval 2 waxay ku fidinaysaa tii ka horaysay iyadoo ku daraysa tillaabooyin lagaga hortagayo ku xadgudubka koodka tusaalaha, awoodaha amniga internetka ee weerarka ah, iyo u nuglaanshaha degdega ah weerarada duritaanka.
Code Shield, horudhac cusub oo leh Llama 3, wuxuu ku darayaa shaandheynta-waqtiga shaandhaynta koodka aan sugnayn ee ay soo saaraan LLMs, yaraynta khataraha la xidhiidha talooyinka koodhka aan sugnayn, aflagaadada koodka, iyo fulinta amarka sugan.
Gelitaanka iyo Isticmaalka Llama 3
Ka dib markii la bilaabay Meta AI's Llama 3, dhowr qalab oo furan ayaa la diyaariyay si loogu diro gudaha nidaamyada kala duwan ee hawlgalka, oo ay ku jiraan Mac, Windows, iyo Linux. Qaybtani waxay faahfaahinaysaa saddex qalab oo caan ah: Ollama, Open WebUI, iyo LM Studio, mid kastaa wuxuu bixiyaa astaamo u gaar ah ka faa'iidaysiga awoodaha Llama 3 ee aaladaha gaarka ah.
Ollama: Waxaa loo heli karaa Mac, Linux, iyo Windows, Ollama waxay fududaysaa hawlgalka Llama 3 iyo noocyada kale ee luqadaha waaweyn ee kombuyuutarrada gaarka ah, xitaa kuwa leh qalab yar. Waxa ku jira maareeyaha xirmada ee maaraynta moodeel fudud iyo taageeridda amarada guud ahaan aaladaha soo dejinta iyo socodsiinta moodooyinka.
Ku fur WebUI Docker: Qalabkani waxa uu siinayaa isticmaal-saaxiibtinimo, DockerInterface-ku-saleysan oo ku habboon Mac, Linux, iyo Windows. Waxay si aan kala go 'lahayn ula midowdaa moodooyinka ka socda diiwaanka Ollama, taasoo u oggolaanaysa isticmaaleyaasha inay geeyaan oo ay la falgalaan moodooyinka sida Llama 3 ee dhex-dhexaadinta shabakadda maxalliga ah.
LM Studio: Bartilmaameedka isticmaalayaasha Mac, Linux, iyo Windows, LM Studio waxay taageertaa noocyo kala duwan waxayna ku dhisan tahay mashruuca llama.cpp. Waxay bixisaa interface interface waxayna fududaysaa isdhexgalka tooska ah ee noocyada kala duwan, oo ay ku jiraan qaabka Llama 3 8B Instruct.
Aaladahani waxay xaqiijinayaan in isticmaalayaashu ay si hufan uga faa'iidaysan karaan Llama 3 qalabkooda gaarka ah, iyaga oo dejinaya xirfado iyo shuruudo farsamo oo kala duwan. Goob kastaa waxay bixisaa habab-tallaabo ah oo loogu talagalay dejinta iyo isdhexgalka moodeelka, taasoo ka dhigaysa AI horumarsan mid la heli karo horumariyeyaasha iyo xiisaha.
Gelitaanka Llama 3 ee Miisaanka
Marka lagu daro bixinta helitaanka tooska ah ee miisaannada moodeelka, Meta waxay iskaashi la samaysay bixiyeyaasha daruuraha kala duwan, moodooyinka adeegyada API, iyo aaladaha qalabka si ay awood ugu geeyaan si aan kala go 'lahayn ee Llama 3 miisaan ahaan.
Mid ka mid ah faa'iidooyinka muhiimka ah ee Llama 3 waa hufnaantiisa calaamada oo la hagaajiyay, taas oo ay ugu wacan tahay tokenizer-ga cusub. Calaamadaynta waxay muujinaysaa in Llama 3 u baahan yahay ilaa 15% ka yar calaamadaha marka la barbar dhigo Llama 2, taasoo keentay in si degdeg ah oo ka badan oo kharash-ku-ool ah soo jeedin.
Isku darka Feejignaanta Su'aalaha Kooxaysan (GQA) ee nooca 8B ee Llama 3 waxay gacan ka geysataa sii wadista hufnaanta fikradda ee la mid ah nooca 7B ee Llama 2, in kasta oo ay korodhay tirinta cabbirka.
Si loo fududeeyo habka dirista, Meta waxa ay siisay kaydka cuntada ee Llama, kaas oo ka kooban kood il furan iyo tusaalayaal hagaajinta wanaagsan, geynta, qiimaynta moodeelka, iyo in ka badan. Kaydkani waxa uu u adeegaa sidii kheyraad qiimo leh horumariyayaasha doonaya in ay ka faa'iidaystaan awoodaha Llama 3 ee codsiyadooda.
Kuwa danaynaya inay sahamiyaan waxqabadka Llama 3, Meta waxay ku dartay moodaheedii ugu dambeeyay Meta AI, oo ah kaaliyaha AI ee hormuudka ka ah oo lagu dhisay tignoolajiyada Llama 3. Isticmaalayaashu waxay la falgali karaan Meta AI iyagoo isticmaalaya abka Meta ee kala duwan, sida Facebook, Instagram, WhatsApp, Messenger, iyo webka, si ay wax u qabtaan, u bartaan, u abuuraan, oo ay ugu xidhmaan waxyaalaha iyaga khuseeya.
Maxaa xiga Llama 3?
Halka moodooyinka 8B iyo 70B ay astaan u yihiin bilawga sii deynta Llama 3, Meta waxa ay leedahay qorshayaal hami leh oo mustaqbalka LLM-ga curdinka ah.
Bilaha soo socda, waxaan filan karnaa inaan aragno awoodo cusub oo la soo bandhigay, oo ay ku jiraan qaababka kala duwan (awoodda farsamaynta iyo soo saarista habab xogeed oo kala duwan, sida sawirada iyo fiidiyowyada), luuqadaha badan (taageerida luuqado badan), iyo daaqado aad u dheer oo macnaha guud ah si kor loogu qaado waxqabadka hawlaha u baahan macnaha guud.
Intaa waxaa dheer, Meta waxay qorsheyneysaa inay sii deyso cabbirrada moodeelka weyn, oo ay ku jiraan moodallo leh in ka badan 400 bilyan oo cabbir, kuwaas oo hadda ku jira tababar oo muujinaya isbeddello rajo leh oo ku saabsan waxqabadka iyo kartida.
Si loo sii hormariyo goobta, Meta waxay sidoo kale daabici doontaa warqad cilmi baaris faahfaahsan oo ku saabsan Llama 3, iyada oo la wadaagaysa natiijooyinkeeda iyo fikradaheeda bulshada ballaaran ee AI.
Sida horudhac sir ah oo waxa iman doona, Meta waxa ay wadaagtay sawiro hore oo sawir-qaadis ah oo ku saabsan qaabkii ugu weynaa ee LLM ee cabbirro kala duwan. In kasta oo natiijooyinkani ay ku saleysan yihiin isbaaro hore oo ay isbeddeli karaan, waxay bixiyaan aragti xiiso leh mustaqbalka mustaqbalka ee Llama 3.
Ugu Dambeyn
Llama 3 waxay ka dhigan tahay horumar la taaban karo oo ku saabsan horumarinta moodooyinka luqadaha waaweyn ee il furan, riixaya xudduudaha waxqabadka, awoodaha, iyo dhaqamada horumarineed ee mas'uuliyadda leh. Iyada oo leh qaab-dhismeedkeeda hal-abuurka leh, xogta tababarka ballaaran, iyo farsamooyinka hagaajinta wanaagsan, Llama 3 waxay dejisay jaangooyooyin cusub oo casri ah oo loogu talagalay LLM-yada ee cabbirka 8B iyo 70B.
Si kastaba ha ahaatee, Llama 3 waa ka badan yahay oo kaliya qaab luqadeed oo awood leh; waxa ay marag u tahay sida ay Meta uga go'an tahay in ay kobciso hab-deegaan AI oo furan oo masuul ah. Iyada oo la siinayo ilo dhamaystiran, qalabka badbaadada, iyo hababka ugu fiican, Meta waxa ay awood u siisaa horumariyeyaasha si ay uga faa'iidaystaan karti buuxda ee Llama 3 iyada oo hubinaysa hawlgelinta mas'uuliyadda ah ee ku habboon kiisas isticmaalkooda gaarka ah iyo dhagaystayaasha.
Sida safarka Llama 3 uu sii socdo, oo leh awoodo cusub, cabbirada moodeelka, iyo natiijooyinka cilmi-baarista ee horudhaca, bulshada AI waxay si hagar la'aan ah u sugaysaa codsiyada cusub iyo horumarka kuwaas oo shaki la'aan ka soo bixi doona LLM-gan.
Haddii aad tahay cilmi-baare riixaya xuduudaha habaynta luqadda dabiiciga ah, horumariye dhisaya jiilka soo socda ee codsiyada caqliga leh, ama xiisee AI xiiseeya horumarkii ugu dambeeyay, Llama 3 wuxuu ballan qaadayaa inuu noqon doono aalad awood badan oo ku jirta arsenalkaaga, furitaanka albaabo cusub iyo furitaanka adduunka fursadaha.
