Vekirina Meta Llama 3: Di Modelên Zimanên Mezin de Pêşveçûnek Pêşveçûn

Di warê AI-ya hilberîner de, Meta bi pabendbûna xwe ya bi hebûna çavkaniya vekirî re pêşengiyê dike, rêzikên xweya pêşkeftî ya Modela Zimanê Mezin Meta AI (Llama) li gerdûnî li pêşdebir û lêkolîneran belav dike. Li ser însiyatîfên xwe yên pêşkeftî ava kirin, Meta vê dawiyê dubarekirina sêyemîn a vê rêzê destnîşan kir, Lama 3. Ev çapa nû bi girîngî li ser çêtir dibe Lama 2, gelek pêşkeftinan pêşkêşî dike û pîvanan destnîşan dike ku pêşbazên pîşesaziyê yên wekî Google, Mistral, û Anthropic diceribînin. Ev gotar pêşkeftinên girîng ên Llama 3 vedikole û ew çawa bi pêşiyê xwe, Llama 2 re berhev dike.

Rêzeya Llama ya Meta: Ji Taybetî Berbi Gihîştina Vekirî û Performansa Pêşkeftî

Meta di sala 2022-an de bi destpêkirina rêza Llama-ya xwe dest pê kir Lama 1, modelek ku bi karanîna ne-bazirganî ve girêdayî ye û tenê ji saziyên lêkolînê yên bijartî re tê gihîştin ji ber daxwazên mezin ên hesabkerî û xwezaya xwedan ku di wê demê de LLM-yên pêşkeftî diyar dikirin. Di sala 2023-an de, bi derxistina Llama 2, Meta AI ber bi vebûna mezintir ve çû, hem ji bo mebestên lêkolîn û hem jî ji bo bazirganî modelê bi serbestî pêşkêşî dike. Ev tevger ji bo demokratîzekirina gihandina teknolojiyên AI-ya hilberîner ên sofîstîke hate sêwirandin, ku rê dide komek berfireh a bikarhêneran, di nav de destpêk û tîmên lêkolînê yên piçûktir, ku bêyî lêçûnên giran ku bi gelemperî bi modelên mezin ve girêdayî ne, nûvekirin û pêşdebirina sepanan bikin. Berdewamkirina vê meylê ber bi vekirîbûnê ve, Meta Llama 3 destnîşan kir, ku balê dikişîne ser baştirkirina performansa modelên piçûktir li seranserê pîvanên pîşesaziyê yên cihêreng.

Naskirina Llama 3

Llama 3 nifşa duyemîn a modelên zimanên mezin ên çavkaniya vekirî (LLM) ya Meta-yê ye, ku hem modelên pêş-perwerdekirî û hem jî bi rêgezên rêzkirî yên bi pîvanên 8B û 70B vedihewîne. Li gorî pêşiyên xwe, Llama 3 a bi kar tîne dekoder-tenê mîmarî transformer û pratîka xweseriya xwe didomîne, perwerdeya xweser ji bo pêşbînîkirina nîşaneyên paşîn di rêzikên nivîsê de. Llama 3 li ser danûstendinek ku heft qat ji ya ku ji bo Llama 2 tê bikar anîn pêş-perwerdekirî ye, ku zêdetirî 15 trîlyon nîşanekan vedihewîne ku ji berhevokek nû hatî hilanîn a daneyên serhêl ên berdest ên gelemperî hatine kişandin. Ev databasa berfireh bi karanîna du komikên ku bi 24,000 GPU-yan ve hatine pêvajo kirin. Ji bo parastina kalîteya bilind a daneyên vê perwerdehiyê, cûrbecûr AI-a-navendî teknîk hatin xebitandin, tevî parzûnên heurîstîk û NSFW, veqetandina semantîk, û dabeşkirina kalîteya nivîsê. Ji bo serîlêdanên diyalogê hatî çêkirin, modela Llama 3 Instruct bi girîngî hate pêşve xistin, zêdetirî 10 mîlyon nimûneyên daneya şirovekirî yên mirovan vedihewîne û tevliheviyek sofîstîke ya rêbazên perwerdehiyê yên wekî ahenga baş a bi çavdêrî (SFT), nimûne redkirina, optimîzasyona siyaseta nêzîk (PPO), û Optimîzasyona siyaseta rasterast (DPO).

Llama 3 vs

Llama 3 li ser Llama 2 gelek çêtirkirinan tîne, bi girîngî fonksiyon û performansa xwe zêde dike:

• Ferhenga Berfirehkirî: Llama 3 ji 128,256 tokenên Llama 2 zêde bû 32,000 nîşanekan. Ev pêşkeftin hem ji bo têketin û hem jî ji bo derketinan kodkirina nivîsê ya bikêrtir piştgirî dike û kapasîteyên wê yên pirzimanî xurt dike.
• Dirêjahiya Têkiliya Berfireh: Modelên Llama 3 dirêjahiya çarçoweya 8,000 nîşanan peyda dikin, 4,090 tokenên ku ji hêla Llama 2 ve têne piştgirî kirin duqat dikin. Ev zêdebûn rê dide hilgirtina naverokê ya berfirehtir, hem daxwazên bikarhêner û hem jî bersivên modelê digire nav xwe.
• Daneyên Perwerdehiya Nûvekirî: Danûstendina perwerdehiyê ji bo Llama 3 heft qat ji ya Llama 2 mezintir e, di nav de çar qat bêtir kod. Zêdetirî 5% daneya kalîteya bilind, ne-îngilîzî ku ji zêdetirî 30 zimanan vedihewîne dihewîne, ku ji bo piştgirîya serîlêdana pirzimanî girîng e. Vê daneyê bi karanîna teknîkên pêşkeftî yên wekî fîlterên heurîstîk û NSFW, veqetandina semantîk, û dabeşkerên nivîsê di bin kontrola kalîteyê ya hişk de derbas dibe.
• Rêzkirin-Rastkirin û Nirxandin: Ji Llama 2 cuda dibe, Llama 3 teknolojiyên pêşkeftî yên rêwerz-rêberê bikar tîne, di nav de lêkûpêkkirina çavdêrîkirî (SFT), nimûneya redkirinê, xweşbîniya polîtîkaya nêzîk (PPO), û xweşbîniya siyaseta rasterast (DPO). Ji bo zêdekirina vê pêvajoyê, komek nû ya nirxandina mirovî ya bi kalîte hate destnîşan kirin, ku ji 1,800 şîretan pêk tê, ku dozên karanîna cihêreng ên wekî şêwirdarî, mêjî, dabeşkirin, kodkirin, û hêj bêtir vedihewîne, ku nirxandina berfireh û başkirina kapasîteyên modelê misoger dike.
• Ewlehiya AI-ya pêşkeftî: Llama 3, mîna Llama 2, tedbîrên ewlehiyê yên hişk ên wekî rêwerzkirina rêzik û tîmê sor a berfireh vedihewîne da ku xetereyan kêm bike, nemaze li deverên krîtîk ên mîna ewlehiya sîber û xetereyên biyolojîkî. Ji bo piştgirîkirina van hewldanan, Meta di heman demê de Llama Guard 2, ku li ser guhertoya 8B ya Llama 3-yê xweş hatî çêkirin, destnîşan kir. Llama Guard series bi dabeşkirina têketin û bersivên LLM-ê ji bo destnîşankirina naveroka potansiyel ne ewledar, ku ew ji bo hawîrdorên hilberînê îdeal dike.

Hebûna Llama 3

Modelên Llama 3 naha di nav de têne yek kirin ekosîstema Hugging Face, zêdekirina gihîştina pêşdebiran. Model di heman demê de bi platformên model-wek-karûbar ên wekî Perplexity Labs û Fireworks.ai, û li ser platformên ewr ên mîna AWS SageMaker, AzureML, û Vertex AI. Meta plan dike ku hebûna Llama 3 bêtir berfireh bike, di nav de platformên wekî Google Cloud, Kaggle, IBM WatsonX, NVIDIA NIM, û Snowflake. Wekî din, piştgiriya hardware ji bo Llama 3 dê were dirêj kirin ku platformên ji AMD, AWS, Dell, Intel, NVIDIA, û Qualcomm vehewîne.

Pêşveçûnên Pêşerojê li Llama 3

Meta eşkere kir ku serbestberdana niha ya Llama 3 tenê qonaxa destpêkê ye di vîzyona wan a berfireh de ji bo guhertoya tevahî ya Llama 3. Ew modelek pêşkeftî ya bi zêdetirî 400 mîlyar pîvanan pêşdixin ku dê taybetmendiyên nû destnîşan bike, di nav de pirrengî û kapasîteya bi gelek zimanan re mijûl dibe. Ev guhertoya pêşkeftî dê di heman demê de pencereyek çarçoveyek girîng a dirêjkirî û kapasîteyên performansa giştî baştir bike.

The Bottom Line

Meta's Llama 3 di perestgeha modelên zimanên mezin de pêşkeftinek girîng nîşan dide, ku rêzê ne tenê berbi gihîştina çavkaniya vekirî ya mezintir di heman demê de di heman demê de bi giranî kapasîteyên performansa xwe jî zêde dike. Li gel databasek perwerdehiyê heft qat ji ya berê mezintir û taybetmendiyên mîna ferhenga berfireh û dirêjahiya çarçovê, Llama 3 pîvanên nû destnîşan dike ku tewra pêşbazên pîşesaziyê yên herî bihêz jî dijwar dike.

Ev dubarekirina sêyem ne tenê demokratîkkirina teknolojiya AI-ê bi peydakirina kapasîteyên astek bilind ji berfirehtir pêşdebiran re didomîne lê di heman demê de pêşkeftinên girîng di ewlehî û rastbûna perwerdehiyê de jî destnîşan dike. Bi entegrekirina van modelan di platformên mîna Hugging Face û dirêjkirina hebûna bi navgîniya karûbarên ewr ên sereke, Meta piştrast dike ku Llama 3 ew qas ku li her derê bi hêz e.

Li pêş çavan, pêşkeftina domdar a Meta soz dide kapasîteyên hê bêtir bihêztir, di nav de pirmodalîtî û piştgirîya zimanî ya berfireh, qonaxê ji Llama 3 re saz dike ku ne tenê bi pêşbaziyê re, lê bi potansiyel ji modelên din ên sereke yên AI-ê yên li sûkê derbas bibe. Llama 3 şahidiyek ji pabendbûna Meta ye ku pêşengiya şoreşa AI-ê dike, amûrên ku ne tenê gihîştî ne lê di heman demê de ji bo bingehek bikarhênerek gerdûnî pir pêşkeftî û ewledar peyda dike.