Llama 2: Murugo Qoto dheer u galay tartame-Isha Furan ee ChatGPT

Qaababka Luuqadaha Waaweyn (LLMs) oo awood u leh hawlo caqli-gal oo adag ayaa muujiyay ballan-qaadka qaybaha gaarka ah sida barnaamijyada iyo qoraalka hal-abuurka. Si kastaba ha ahaatee, dunida LLMs ma aha si fudud janno plug-iyo-ciyaar; waxaa jira caqabado dhanka isticmaalka, badbaadada, iyo dalabaadka xisaabinta. In this article, waxaan si qoto dheer u quusin doonaa awoodaha ee holac 2, iyadoo la bixinayo socod faahfaahsan oo loogu talagalay dejinta LLM-kan waxqabadka sare leh iyada oo loo marayo Hugging Face iyo T4 GPUs ee Google Colab.

Waxaa soo saartay Meta oo ay iskaashi la leedahay Microsoft, qaabkan luqadda weyn ee il-furan ayaa ujeeddadiisu tahay in dib loo qeexo xaqiiqooyinka AI-abuurista iyo fahamka luqadda dabiiciga ah. Llama 2 kaliya maaha nooc kale oo tirakoob oo lagu tababaray terabyte-yada xogta; waa qaab falsafadeed. Mid ka mid ah kuwa xoogga saaraya habka il-furan ee laf-dhabarta horumarinta AI, gaar ahaan booska AI-abuurka.

Llama 2 iyo beddelkeeda la hagaajiyay ee wada-hadalka, Llama 2-Chat, ayaa ku qalabaysan ilaa 70 bilyan oo cabbir. Waxay maraan hannaan habayn wanaagsan oo loogu talagalay in lagu waafajiyo si dhow oo ay la socdaan dookhyada bini'aadamka, taasoo ka dhigaysa labadoodaba ka badbaado iyo waxtar badan marka loo eego noocyo badan oo kale oo la heli karo. Heerkan weynaanta ee hagaajinta hagaajinta waxaa inta badan loo hayaa "alaabta" LLM-yada xiran, sida Kala hadalGPT iyo BARD, kuwaas oo aan guud ahaan diyaar u ahayn baadhista dadweynaha ama habaynta.

Technical Deep Dive of Llama 2

Tababarka qaabka Llama 2; Sida kuwii ka horreeyay, waxay isticmaashaa auto-regressive qaab-dhismeedka transformer, horay loogu tababaray xog is-maamuleed oo ballaaran. Si kastaba ha ahaatee, waxay ku darsataa lakab dheeraad ah oo casriyeyn ah iyadoo la isticmaalayo Xoojinta Barashada Feedback Human (RLHF) si ay si wanaagsan ula jaanqaado dabeecadda aadanaha iyo doorbidyada. Tani waa xisaab ahaan qaali laakiin muhiim u ah horumarinta badbaadada iyo waxtarka moodeelka.

Tabobarka kahor & Hufnaanta Xogta

Hal-abuurnimada aasaasiga ah ee Llama 2 waxay ku jirtaa nidaamkeeda tababbarka ka hor. Qaabku wuxuu tilmaamo ka qaataa kii ka horreeyay, Llama 1, laakiin wuxuu soo bandhigayaa dhowr horumarin oo muhiim ah si kor loogu qaado waxqabadkiisa. Waxaa xusid mudan, kororka 40% ee tirada guud ee calaamadihii la tababaray iyo laba laab-laabashada dhererka macnaha guud ayaa taagan. Waxaa intaa dheer, moodelku waxa uu ka faa'iidaysanayaa dareenka su'aal-kooxeed (GQA) si uu u kordhiyo miisaanka cabbirka.

Korjoogteynta Fine-Tuning (SFT) & Barashada Xoojinta ee Jawaab celinta Aadanaha (RLHF)

Llama-2-chat si adag ayaa loo hagaajiyay iyadoo la adeegsanayo SFT iyo xoojinta Barashada Jawaab celinta Aadanaha (RLHF). Xaaladdan oo kale, SFT waxay u adeegtaa sidii qayb muhiim ah oo ka mid ah qaab-dhismeedka RLHF, iyada oo hagaajinaysa jawaabaha moodeelka si ay si dhow ula jaanqaadaan dookhyada aadanaha iyo waxyaabaha laga filayo.

OpenAI waxay bixisay sawir mug leh oo sharaxaya hababka SFT iyo RLHF ee lagu isticmaalo InstructGPT. Si la mid ah LLaMa 2, InstructGPT sidoo kale waxay ka faa'iideysataa farsamooyinkan tababar ee horumarsan si ay u wanaajiso waxqabadka moodelkeeda.

Talaabada 1 ee sawirka hoose waxa ay diirada saaraysaa la kormeero Fine-Tuning (SFT), halka tillaabooyinka xiga ay dhamaystirayaan Dib-u-Xoojinta Barashada Jawaab celinta Aadanaha (RLHF).

Korjoogteynta Fine-Tuning (SFT) waa nidaam gaar ah oo loogu talagalay in lagu wanaajiyo Modelka Luuqadda Weyn ee horay loo tababbaray (LLM) ee hawl gaar ah oo hoose. Si ka duwan hababka aan la kormeerin, ee aan u baahnayn ansaxinta xogta, SFT waxay shaqaaleysiisaa xog-ururin hore loo ansixiyey oo la calaamadeeyay.

Guud ahaan samaynta xog-ururintani waa kharash iyo wakhti badan. Habka Llama 2 wuxuu ahaa mid ka tayo badan tirada. Iyaga oo kaliya 27,540 tilmaamo ah, kooxda Meta waxay gaadheen heerar hawl qabad oo ay kula tartameen falanqeeyayaasha bini'aadamka. Tani waxay si fiican ula socotaa Daraasadihii dhawaa muujinaya in xitaa xaddidan laakiin xogta nadiifka ah ay keeni karto natiijooyin tayo sare leh.

Habka SFT, LLM-ka horay loo tababbaray waxa uu la kulmayaa xog-ururin sumadeysan, halkaas oo algorithms-ka barashada la kormeero ay soo galaan. Miisaanka gudaha ee moodeelka ayaa dib loo habeeyey iyadoo lagu salaynayo jaangooyooyin laga soo xisaabiyay hawl lumin gaar ah. Hawsha lumintani waxay qiyaasaysaa faraqa u dhexeeya wax-soo-saarka la saadaaliyay ee moodeelka iyo sumadaha dhabta ah ee dhabta ah.

Hagaajintani waxay u ogolaanaysaa LLM inay fahanto qaababka qalafsan iyo nuucyada ku dhex jira kaydka xogta summaysan. Sidaa awgeed, moodalku maaha kaliya qalab la soo koobay laakiin waxa uu u xuubsiibtaa hanti gaar ah, oo ku xeel dheer fulinta hawsha la hiigsanayo oo saxnaan sare leh.

Barashada xoojinta waa tillaabada xigta, looga dan leeyahay in la waafajiyo hab-dhaqanka moodeelka iyo dookhyada aadanaha si dhow.

Marxaladda habayntu waxa ay ka faa'iidaysataa Barashada Xoojinta ee Jawaab celinta Aadanaha (RLHF), iyada oo la adeegsanayo farsamooyin sida Muunaynta Muhiimka ah iyo Kordhinta Siyaasada Ku Dhaw si loo soo bandhigo qaylada algorithm, si looga fogaado niyad-jabka maxalliga ah. Hagaajintan isdabajoogga ah kaliya ma wanaajin qaabka laakiin sidoo kale waxay la jaanqaadday wax soo saarkeeda filashada aadanaha.

Llama 2-Chat waxay adeegsatay borotokoolka isbarbardhigga laba-geesoodka ah si ay u ururiso xogta doorbidida aadanaha, taasoo calaamadinaysa isbeddel muuqda oo loo wajahaayo habab tayo badan leh. Habkani waxa uu ku wargeliyay Hababka Abaalmarinta, kuwaas oo markaa loo isticmaalo in si fiican loo hagaajiyo qaabka wada sheekaysiga AI.

Feejignaanta Ruuxa: Wada-hadallo-noqod-badan

Meta waxay soo bandhigtay muuqaal cusub, Ghost Attention (GAtt) kaas oo loogu talagalay in lagu wanaajiyo waxqabadka Llama 2 ee wada-hadallada-rogadka badan. Tani waxay si wax ku ool ah u xallisaa arrinta joogtada ah ee luminta macnaha guud ee wada hadalada socda. GAtt wuxuu u dhaqmaa sidii barroosin, isagoo ku xiraya tilmaamaha bilowga ah dhammaan fariimaha isticmaalaha xiga. Marka lagu daro farsamooyinka barashada xoojinta, waxay gacan ka geysataa soo saarista jawaabo joogto ah, habboon, iyo isticmaale-ku-habboon wada-hadallo dhaadheer.

Laga soo bilaabo Meta Git Kaydka Isticmaalka download.sh

1. Booqo Mareegta Meta: U gudub Goobta rasmiga ah ee Meta Llama 2 oo guji 'Download Model'
2. Buuxi Faahfaahinta: Akhri oo aqbal shuruudaha iyo shuruudaha si aad u sii wadato.
3. Xaqiijinta emaylka: Marka foomka la gudbiyo, waxaad heli doontaa iimaylka Meta oo leh xiriir si aad u soo dejiso moodalka kaydkooda git.
4. Fulin download.shXir kaydka Git oo fuli download.sh qoraal. Qoraalkani wuxuu kugu dhiirigelin doonaa inaad ku xaqiijiso adigoo isticmaalaya URL Meta kaas oo dhacaya 24 saacadood gudahood. Waxa kale oo aad dooran doontaa cabbirka qaabka-7B, 13B, ama 70B.

Laga soo bilaabo waji laabta

1. Hel iimaylka OggolaanshahaKa dib markaad ka soo gasho Meta, u gudub Wajiga isku duuban.
2. Codsi Helitaan: Dooro qaabka aad rabto oo gudbi codsi si aad u oggolaato gelitaanka.
3. xaqiijintaFilo iimaylka 'helitaanka la oggolaaday' 1-2 maalmood gudahood.
4. Samee Calaamadaha Helitaanka: U gudub 'Settings' ee akoonkaaga Hugging Wejiga si aad u abuurto calaamado gelitaanka

Transformers 4.31 siideynta waxay si buuxda ula jaan qaadaysaa LLaMa 2 waxayna furaysaa qalabyo iyo hawlo badan oo ku dhex jira nidaamka deegaanka Hugging Face. Laga soo bilaabo tababbarka iyo qoraallada tixraaca ilaa 4-bit tiro oo leh bitsandbytes iyo Parameter Efficient Fine-tuning (PEFT), qalabku waa ballaaran yahay. Si aad u bilowdo, hubi inaad ku jirto Transformers-kii ugu dambeeyay oo aad gasho akoonkaaga Wajiga Hugging.

Halkan waxaa ah hage la habeeyey si loo socodsiiyo LLMa 2 tusaalaha qaabka a google colab deegaanka, ka faa'iidaysiga waqtiga runtime GPU:

 

 

 

 

 

 

Rakibaadda Xidhmada

!pip install transformers
!huggingface-cli login

Soo rar maktabadaha Python ee lagama maarmaanka ah.

from transformers import AutoTokenizer
import transformers
import torch

Bilow Model iyo Tokenizer

Tallaabadan, sheeg nooca Llama 2 ee aad isticmaalayso. Hagahan, waxaanu isticmaalnaa meta-llama/Llama-2-7b-chat-hf.

model = "meta-llama/Llama-2-7b-chat-hf"
tokenizer = AutoTokenizer.from_pretrained(model)

Deji Dhuumaha

Ka faa'iidayso dhuumaha Wajiga Hugging si aad u abuurto qoraallo leh goobo gaar ah:

pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto")

Samee taxanaha qoraalka

Ugu dambeyntii, socodsii dhuumaha oo samee isku xigxig qoraal ah oo ku saleysan gelintaada:

sequences = pipeline(
    'Who are the key contributors to the field of artificial intelligence?\n',
    do_sample=True,
    top_k=10,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
    max_length=200)
for seq in sequences:
    print(f"Result: {seq['generated_text']}")

A16Z's UI ee LLaMa 2

Andreessen Horowitz (A16Z) ayaa dhawaan bilaabay interface ah Streamlit-ku-salaysan chatbot interface oo loogu talagalay Llama 2. Hosted on GitHub, UI-kani wuxuu ilaaliyaa taariikhda sheekada kalfadhiga wuxuuna sidoo kale bixiyaa dabacsanaan si loo doorto Llama 2 API badan oo dhamaadka ah ee lagu martigeliyay Kala beddel. Naqshaddan xudunta u ah adeegsaduhu waxay higsanaysaa inay fududayso isdhexgalka Llama 2, taasoo ka dhigaysa qalab ku habboon labada horumariyayaal iyo isticmaalayaasha dhamaadka. Kuwa danaynaya inay tan la kulmaan, bandhig toos ah ayaa laga heli karaa Llama2.ai.

Llama 2: Muxuu kaga duwan yahay Models GPT iyo kii ka horreeyay Llama 1?

Kala duwanaanshaha Miisaanka

Si ka duwan noocyada luqadaha badan ee bixiya miisaan xaddidan, Llama 2 waxay ku siinaysaa farabadan doorashooyin kala duwan ee moodooyinka leh cabbirro kala duwan. Moodelku waxa uu cabbiraa min 7 bilyan ilaa 70 bilyan oo xuduudo, isaga oo siinaya habab kala duwan oo ku habboon baahiyaha xisaabinta ee kala duwan.

Dhererka Macnaha La Wanaajiyey

Qaabku wuxuu leeyahay kororka macnaha guud ee calaamadaha 4K marka loo eego Llama 1. Tani waxay u oggolaaneysaa inay hayso macluumaad badan, sidaas darteed kor u qaadida awoodda ay u leedahay inay fahmaan oo ay soo saaraan waxyaabo badan oo adag oo ballaaran.

Feejignaanta Weydiinta Kooxaysan (GQA)

Nashqadadu waxay isticmaashaa fikradda GQA, loogu talagalay in lagu adkeeyo habka xisaabinta dareenka iyadoo la kaydinayo lammaane hore oo calaamad ah. Tani waxay si wax ku ool ah u wanaajisaa miisaamidda fikradda moodeelka si kor loogu qaado gelitaanka.

Tilmaamaha Hawlaha

LLama 2 waxay dejisay halbeeg cusub oo cabirka waxqabadka. Ma aha oo kaliya in ay ka sarreyso kuwii ka horreeyay, LLama 1 laakiin sidoo kale waxay bixisaa tartan weyn moodooyinka kale sida Falcon iyo GPT-3.5.

Moodeelka ugu weyn ee Llama 2-Chat, 70B, ayaa sidoo kale ka sarreeya ChatGPT 36% kiisaska wuxuuna la mid yahay waxqabadka 31.5% ee kiisaska kale. Xigasho: Paper

Isha Furan: Awooda Bulshada

Meta iyo Microsoft waxay ku tala jiraan Llama 2 inay ka badan yihiin wax soo saarka; waxay u arkaan inay tahay qalab ay bulshadu wadato. Llama 2 waa u bilaash in lagu galo cilmi-baadhis iyo ujeeddooyin aan ganacsi ahayn labadaba. Kuwan ayaa higsanaya inay dimuqraadiyeeyaan awoodaha AI, taasoo ka dhigaysa mid la heli karo bilawga, cilmi-baarayaasha, iyo ganacsiyada. Qaabka il-furan wuxuu u oggolaanayaa 'cilad-raadinta ilo-wareed' ee moodeelka. Soo-saareyaasha iyo akhlaaq-yaqaannada AI waxay culays saari karaan tijaabinta, aqoonsan karaan dayacanka, oo ay ku bixin karaan xalal degdeg ah.

Iyadoo shuruudaha shatiga ee LLaMa 2 ay guud ahaan ogol yihiin, marka laga reebo ma jiraan. Shirkadaha waaweyn ee ku faana in ka badan 700 milyan isticmaale bishii, sida Google, waxay uga baahan yihiin ogolaansho cad Meta ka faa'iidaysigeeda. Intaa waxaa dheer, shatigu wuxuu mamnuucayaa isticmaalka LLaMa 2 horumarinta noocyada luqadaha kale.

Caqabadaha hadda jira Llama 2

1. Guudmarka Xogta: Llama 2 iyo GPT-4 labaduba waxay mararka qaarkood ku dhacaan waxqabad isku mid ah oo sarreeya marka loo eego hawlaha kala duwan. Tayada xogtu iyo kala duwanaanshiyaha ayaa laf dhabar u ah sida mugga xaaladahan.
2. Daah-furnaanta ModelMarka la eego dib-u-dhacii hore ee AI oo soo saartay wax-soo-saar marin-habaabin ah, sahaminta fikradda go'aan-qaadashada ee ka dambeeya moodooyinkan adag ayaa muhiim ah.

Code Llama – Daahfurkii ugu dambeeyay ee Meta

Meta ayaa dhawaan lagu dhawaaqay Code Llama Kaas oo ah nooc luqadeed oo weyn oo ku takhasusay barnaamijka oo leh cabbir cabbir oo u dhexeeya 7B ilaa 34B. La mid ah ChatGPT Turjubaanka Code; Code Llama wuxuu hagaajin karaa socodka shaqada horumariyaha wuxuuna ka dhigi karaa barnaamijka mid la heli karo. Waxay dejisaa luuqado barnaamijyo kala duwan waxayna ku timaadaa kala duwanaansho gaar ah, sida Code Llama–Python ee hawlaha gaarka ah ee Python. Qaabku wuxuu kaloo bixiyaa heerar waxqabad oo kala duwan si uu u buuxiyo shuruudaha daahitaanka ee kala duwan. Si furan shati u haysta, Code Llama waxa uu ku martiqaadayaa talada bulshada horumarka socda.

Soo bandhigida Code Llama, Qalabka AI ee Codaynta

Ugu Dambeyn

Maqaalkani waxa uu kugu dhex maray samaynta qaabka Llama 2 ee jiilka qoraalka Google Colab oo leh taageerada wejiga Hugging. Waxqabadka Llama 2 waxaa lagu sii huriyay farsamooyin horumarsan oo kala duwan oo laga soo bilaabo qaab-dhismeedyada is beddelka dib-u-noqoshada ah ilaa xoojinta Barashada Jawaabcelinta Aadanaha (RLHF). Iyada oo leh ilaa 70 bilyan oo cabbir iyo astaamo sida Ghost Attention, qaabkani wuxuu ka sarreeyaa heerarka warshadaha ee hadda meelaha qaarkood, iyo dabeecadeeda furan, waxay u gogol xaareysaa xilli cusub oo fahamka luqadda dabiiciga ah iyo AI abuurista.