5 LLM Foinse Oscailte is Fearr (Bealtaine 2024)

I ndomhan na hintleachta saorga (AI) atá ag forbairt go tapa, tá Múnlaí Móra Teanga (LLManna) tagtha chun cinn mar bhunchloch, ag tiomáint nuálaíochta agus ag athmhúnlú an chaoi a n-idirghníomhaíonn muid leis an teicneolaíocht.

De réir mar a éiríonn na samhlacha seo ag éirí níos sofaisticiúla, tá béim mhéadaithe ar rochtain orthu a dhaonlathú. Tá ról lárnach ag samhlacha foinse oscailte, go háirithe, sa daonlathú seo, ag tabhairt an deis do thaighdeoirí, d’fhorbróirí agus do dhíograiseoirí araon dul i ngleic go domhain lena n-intricachtaí, iad a mhionchoigeartú le haghaidh tascanna sonracha, nó fiú tógáil ar a mbunús.

Sa bhlag seo, déanfaimid iniúchadh ar chuid de na LLManna foinse oscailte is fearr atá ag déanamh tonnta sa phobal AI, gach ceann ag tabhairt a láidreachtaí agus a chumais uathúla chun an tábla.

1. Láma 2

Cuireann Meta's Llama 2 go mór lena n-imlíne samhail AI. Ní hamháin gur samhail eile é seo; tá sé deartha chun raon feidhmchlár den scoth a spreagadh. Tá sonraí oiliúna Llama 2 ollmhór agus éagsúil, rud a fhágann gur dul chun cinn suntasach é thar a réamhtheachtaí. Cinntíonn an éagsúlacht seo in oiliúint nach feabhas incriminteach amháin atá i Lama 2 ach céim shuntasach i dtreo idirghníomhaíochtaí atá á dtiomáint ag AI sa todhchaí.

Tá leathnú déanta ag an gcomhoibriú idir Meta agus Microsoft ar na radharcanna do Llama 2. Tá an tsamhail foinse oscailte tacaithe anois ar ardáin cosúil le Azure agus Windows, arb é is aidhm dó na huirlisí a sholáthar d'fhorbróirí agus d'eagraíochtaí chun eispéiris ghiniúna AI-tiomáinte a chruthú. Leagann an chomhpháirtíocht seo béim ar thiomantas an dá chuideachta chun AI a dhéanamh níos inrochtana agus níos oscailte do chách.

Ní hamháin gur comharba ar an mbunmhúnla Lama é Lama 2; is ionann é agus athrú paradigm sa réimse chatbot. Cé go raibh an chéad mhúnla Lama réabhlóideach maidir le téacs agus cód a ghiniúint, bhí a infhaighteacht teoranta chun mí-úsáid a chosc. Ar an láimh eile, tá Lama 2 le teacht ar lucht féachana níos leithne. Tá sé optamaithe le haghaidh ardáin cosúil le ardán óstála samhail AI AWS, Azure, agus Hugging Face. Ina theannta sin, le comhoibriú Meta le Microsoft, tá Llama 2 ar tí a rian a dhéanamh ní hamháin ar Windows ach freisin ar fheistí atá faoi thiomáint ag córas-ar-sliseanna Qualcomm's Snapdragon.

Tá sábháilteacht ag croílár dhearadh Llama 2. Ag aithint na ndúshlán a bhí roimh mhúnlaí móra teanga níos luaithe cosúil le GPT, a chruthaigh uaireanta ábhar míthreorach nó díobhálach, tá bearta fairsinge glactha ag Meta chun iontaofacht Llama 2 a chinntiú. Tá an tsamhail tar éis dul faoi oiliúint dhian chun 'siabhálacha', mífhaisnéis agus laofachtaí a íoslaghdú.

Príomhghnéithe LLaMa 2:

• Sonraí Oiliúna Éagsúla: Tá sonraí oiliúna Llama 2 fairsing agus éagsúil araon, rud a chinntíonn tuiscint agus feidhmíocht chuimsitheach.
• Comhoibriú le Microsoft: Tugtar tacaíocht do Llama 2 ar ardáin mar Azure agus Windows, ag leathnú a raon feidhme feidhmchláir.
• Infhaighteacht Oscailte: Murab ionann agus a réamhtheachtaí, tá Llama 2 ar fáil do lucht féachana níos leithne, réidh le mionchoigeartú ar ardáin éagsúla.
• Dearadh Sábháilteacht-lárnach: Chuir Meta béim ar shábháilteacht, ag cinntiú go dtáirgeann Llama 2 torthaí cruinne iontaofa agus íoslaghdú á dhéanamh ar aschuir dhochracha.
• Leaganacha Optamaithe: Tagann Llama 2 in dhá phríomhleagan – Llama 2 agus Llama 2-Chat, agus an ceann deireanach deartha go speisialta do chomhráite déthreo. Réimsíonn castacht na leaganacha seo ó 7 billiún go 70 billiún paraiméadair.
• Traenáil Feabhsaithe: Cuireadh oiliúint ar Lama 2 ar dhá mhilliún comhartha, méadú suntasach ó 1.4 trilliún comhartha bunaidh Llama.

2. Faoi bhláth

In 2022, tar éis comhiarracht dhomhanda a bhain le hoibrithe deonacha ó níos mó ná 70 tír agus saineolaithe ó Hugging Face, nochtadh tionscadal BLOOM. Tá an tsamhail mhór teanga seo (LLM), a cruthaíodh trí thionscnamh bliana, deartha le haghaidh giniúint uathchéimnitheach téacs, in ann leid téacs ar leith a leathnú. Cuireadh oiliúint air ar chorpas ollmhór de shonraí téacs ag baint úsáide as cumhacht ríomhaireachta suntasach.

Ba chéim shuntasach é tús BLOOM maidir le teicneolaíocht ghinideach AI a dhéanamh níos inrochtana. Mar LLM foinse oscailte, tá 176 billiún paraiméadair aige, rud a fhágann go bhfuil sé ar cheann de na cinn is suntasaí ina rang. Tá an cumas ag BLOOM téacs soiléir beacht a ghiniúint thar 46 teanga agus 13 theanga ríomhchlárúcháin.

Cuireann an tionscadal béim ar thrédhearcacht, rud a ligeann don phobal rochtain a fháil ar a cód foinse agus ar shonraí oiliúna. Iarrann an oscailteacht seo scrúdú leanúnach, úsáid agus feabhsú na samhla.

Inrochtana gan aon chostas tríd an ardán Hugging Face, seasann BLOOM mar theist ar nuálaíocht chomhoibríoch in AI.

Príomhghnéithe Bloom:

• Cumais Ilteangacha: Tá BLOOM inniúil ar théacs a ghiniúint i 46 teanga agus 13 theanga ríomhchlárúcháin, ag taispeáint a raon leathan teanga.
• Rochtain Foinse Oscailte: Tá cód foinse agus sonraí oiliúna na samhla ar fáil go poiblí, rud a chuireann trédhearcacht agus feabhsú comhoibríoch chun cinn.
• Giniúint Téacs Uathchéimnitheach: Deartha chun leanúint ar aghaidh le téacs ó leid tugtha, tá BLOOM ar fheabhas maidir le sraitheanna téacs a shíneadh agus a chomhlánú.
• Comhaireamh Paraiméadar Ollmhór: Le 176 billiún paraiméadair, seasann BLOOM mar cheann de na LLManna foinse oscailte is cumhachtaí atá ann.
• Comhoibriú Domhanda: Forbraíodh é trí thionscadal bliana le ranníocaíochtaí ó oibrithe deonacha ó níos mó ná 70 tír agus taighdeoirí Hugging Face.
• Inrochtaineacht In Aisce: Is féidir le húsáideoirí rochtain a fháil ar BLOOM agus é a úsáid saor in aisce tríd an éiceachóras Hugging Face, ag cur lena daonlathú i réimse an AI.
• Traenáil ar Scála Tionscail: Cuireadh oiliúint ar an tsamhail ar mhéideanna ollmhóra sonraí téacs agus úsáid á baint as acmhainní suntasacha ríomhaireachtúla, ag cinntiú feidhmíocht láidir.

3. MPT-7B

Chuir MosaicML Foundations go mór leis an spás seo le tabhairt isteach MPT-7B, an LLM foinse oscailte is déanaí acu. Is samhail de chlaochladán díchódóra-amháin é MPT-7B, acrainm do MosaicML Pretrained Transformer, ar stíl GPT. Tá roinnt feabhsuithe ar an tsamhail seo, lena n-áirítear cur i bhfeidhm ciseal barrfheabhsaithe feidhmíochta agus athruithe ailtireachta a chinntíonn cobhsaíocht oiliúna níos fearr.

Gné shuntasach de MPT-7B is ea an oiliúint atá aige ar thacar sonraí fairsing a chuimsíonn 1 trilliún comhartha téacs agus cód. Cuireadh an dianoiliúint seo i gcrích ar an ardán MosaicML thar thréimhse 9.5 lá.

De bharr nádúr foinse oscailte MPT-7B, is uirlis luachmhar é le haghaidh feidhmeanna tráchtála. Tá an poitéinseal aige tionchar suntasach a bheith aige ar anailísíocht thuarthach agus ar phróisis cinnteoireachta gnólachtaí agus eagraíochtaí.

Chomh maith leis an mbunsamhail, tá MosaicML Foundations ag scaoileadh sainmhúnlaí atá oiriúnaithe do thascanna sonracha, mar shampla MPT-7B-Instruct le haghaidh teagasc gearrthéarmach a leanann, MPT-7B-Comhrá le haghaidh comhphlé a ghiniúint, agus MPT-7B-StoryWriter-65k+ le haghaidh cruthú scéalta fada.

Bhí aistear forbartha MPT-7B cuimsitheach, agus bhain foireann MosaicML gach céim ó ullmhú sonraí go himscaradh laistigh de chúpla seachtain. Fuarthas na sonraí ó stórtha éagsúla, agus bhain an fhoireann úsáid as uirlisí cosúil le GPT-NeoX EleutherAI agus an comhartha 20B chun meascán oiliúna cuimsitheach agus éagsúil a chinntiú.

Príomhghnéithe Forbhreathnú ar MPT-7B:

• Ceadúnú Tráchtála: Tá MPT-7B ceadúnaithe le haghaidh úsáide tráchtála, rud a fhágann gur sócmhainn luachmhar é do ghnólachtaí.
• Sonraí Traenála Leathan: Bródúil as an tsamhail oiliúint ar thacar sonraí ollmhór de 1 trilliún comharthaí.
• Láimhseáil Ionchur Fada: Tá MPT-7B deartha chun ionchuir thar a bheith fada a phróiseáil gan comhréiteach.
• Luas agus Éifeachtúlacht: Tá an tsamhail optamaithe le haghaidh oiliúna tapa agus tátail, ag cinntiú torthaí tráthúla.
• Cód Foinse Oscailte: Tagann MPT-7B le cód oiliúna foinse oscailte éifeachtach, a chuireann trédhearcacht agus éascaíocht úsáide chun cinn.
• Sármhaitheas Comparáideach: Tá sármhaitheas léirithe ag MPT-7B ar mhúnlaí foinse oscailte eile sa raon 7B-20B, agus a cháilíocht ag teacht le cáilíocht LLaMA-7B.

4. Falcon

Is samhail é Falcon LLM a chuaigh suas go tapa go barr an ordlathais LLM. Is LLM bunaithe é Falcon LLM, go sonrach Falcon-40B, atá feistithe le 40 billiún paraiméadair agus cuireadh oiliúint air ar thrilliún comhartha suntasach. Feidhmíonn sé mar shamhail uath-aischéimnitheach díchódaithe-amháin, rud a chiallaíonn go bunúsach go ndéanann sé an comhartha ina dhiaidh sin a thuar i seicheamh bunaithe ar na comharthaí roimhe seo. Tá an ailtireacht seo i gcuimhne ar an tsamhail GPT. Go háirithe, léirigh ailtireacht Falcon feidhmíocht níos fearr ná GPT-3, ag baint amach an éacht seo gan ach 75% den bhuiséad ríomh oiliúna agus ag teastáil i bhfad níos lú ríomh le linn tátail.

Leag an fhoireann ag an Institiúid Nuálaíochta Teicneolaíochta béim láidir ar cháilíocht sonraí le linn fhorbairt Falcon. Agus íogaireacht LLManna maidir le cáilíocht sonraí traenála á n-aithint acu, chuir siad le chéile píblíne sonraí a mhéadaigh go dtí na mílte croíleacáin LAP. Cheadaigh sé seo próiseáil mhear agus asbhaint ábhair ardcháilíochta ón ngréasán, a baineadh amach trí phróisis fhairsing scagtha agus dídhúbailte.

Chomh maith le Falcon-40B, tá leaganacha eile tugtha isteach ag TII freisin, lena n-áirítear Falcon-7B, a bhfuil 7 billiún paraiméadair aige agus a bhfuil oiliúint déanta aige ar 1,500 billiún comharthaí. Tá múnlaí speisialaithe ann freisin mar Falcon-40B-Instruct agus Falcon-7B-Instruct, atá oiriúnaithe do thascanna sonracha.

Ba phróiseas fairsing é Training Falcon-40B. Cuireadh oiliúint ar an tsamhail ar an tacar sonraí RefinedWeb, tacar sonraí gréasáin ollmhór Béarla a chuir TII le chéile. Tógadh an tacar sonraí seo ar bharr CommonCrawl agus rinneadh scagadh dian air chun cáilíocht a chinntiú. Nuair a ullmhaíodh an tsamhail, bailíochtaíodh é i gcoinne roinnt tagarmharcanna foinse oscailte, lena n-áirítear EAI Harness, HELM, agus BigBench.

Príomhghnéithe Forbhreathnú ar Falcon LLM:

• Paraiméadair Fhairsing: Tá Falcon-40B feistithe le 40 billiún paraiméadair, ag cinntiú foghlaim agus feidhmíocht chuimsitheach.
• Múnla Díchódóra Uathchéimnitheach Amháin: Ligeann an ailtireacht seo do Falcon comharthaí ina dhiaidh sin a thuar bunaithe ar na cinn roimhe seo, cosúil leis an tsamhail GPT.
• Sárfheidhmíocht: Feidhmíonn Falcon níos fearr ná GPT-3 agus é ag baint úsáide as ach 75% den bhuiséad ríomh oiliúna.
• Píblíne Sonraí Ardchaighdeáin: Cinntíonn píblíne sonraí TII go mbaintear ábhar ardcháilíochta ón ngréasán, rud atá ríthábhachtach d'oiliúint na samhla.
• Éagsúlacht Múnlaí: Chomh maith le Falcon-40B, cuireann TII Falcon-7B agus samhlacha speisialaithe cosúil le Falcon-40B-Instruct agus Falcon-7B-Instruct.
• Infhaighteacht Foinse Oscailte: Tá foinse oscailte ag Falcon LLM, a chuireann inrochtaineacht agus cuimsitheacht chun cinn san fhearann ​​AI.

5. Vicún-13B

Tá marc suntasach déanta ag LMSYS ORG i réimse na LLManna foinse oscailte le tabhairt isteach Vicuna-13B. Tá an chatbot foinse oscailte seo oilte go cúramach trí LLaMA a mhionchoigeartú ar chomhráite úsáideoirí-roinnte a fuarthas ó ShareGPT. Léiríonn réamh-mheastóireachtaí, le GPT-4 ag gníomhú mar bhreitheamh, go mbaineann Vicuna-13B amach níos mó ná 90% de chaighdeán samhlacha cáiliúla mar OpenAI ChatGPT agus Google Bard.

Go hiontach, is fearr le Vicuna-13B samhlacha suntasacha eile ar nós LLaMA agus Stanford Alpaca i níos mó ná 90% de na cásanna. Cuireadh an próiseas oiliúna iomlán do Vicuna-13B i gcrích ar chostas thart ar $300. Dóibh siúd ar spéis leo a gcumas a fhiosrú, tá an cód, na meáchain, agus taispeántas ar líne curtha ar fáil go poiblí chun críocha neamhthráchtála.

Tá an tsamhail Vicuna-13B mionchoigeartaithe le 70K de chomhráite ChatGPT roinnte ag an úsáideoir, rud a chuir ar a chumas freagraí níos mionsonraithe agus níos dea-struchtúrtha a ghiniúint. Tá cáilíocht na bhfreagraí seo inchomparáide le ChatGPT. Mar sin féin, is iarracht chasta é chatbots a mheas. Leis an dul chun cinn i GPT-4, tá fiosracht ag dul i méid faoin gcumas atá ann feidhmiú mar chreat meastóireachta uathoibrithe le haghaidh giniúint tagarmhairc agus measúnuithe feidhmíochta. Tugann torthaí tosaigh le fios gur féidir le GPT-4 céimeanna comhsheasmhacha agus measúnuithe mionsonraithe a tháirgeadh agus freagraí chatbot á gcur i gcomparáid. Léiríonn réamh-mheastóireachtaí bunaithe ar GPT-4 go mbaineann Vicuna cumas 90% amach i múnlaí mar Bard/ChatGPT.

Príomhghnéithe Forbhreathnú ar Vicuna-13B:

• Nádúr Foinse Oscailte: Tá Vicuna-13B ar fáil le haghaidh rochtana poiblí, ag cur trédhearcacht agus rannpháirtíocht an phobail chun cinn.
• Sonraí Traenála Leathan: Cuireadh oiliúint ar an tsamhail ar chomhráite 70K atá roinnte ag úsáideoirí, rud a chinntíonn tuiscint chuimsitheach ar idirghníomhaíochtaí éagsúla.
• Feidhmíocht Iomaíoch: Tá feidhmíocht Vicuna-13B ar chomhchéim le ceannairí tionscail ar nós ChatGPT agus Google Bard.
• Oiliúint Cost-Éifeachtach: Cuireadh an próiseas oiliúna iomlán do Vicuna-13B i gcrích ar chostas íseal timpeall $300.
• Mionchoigeartú ar LLaMA: Rinneadh mionchoigeartú ar an tsamhail ar LLaMA, ag cinntiú feidhmíocht feabhsaithe agus cáilíocht freagartha.
• Infhaighteacht taispeána ar líne: Tá taispeántas idirghníomhach ar líne ar fáil d’úsáideoirí chun cumas Vicuna-13B a ​​thástáil agus taithí a fháil orthu.

An Réimse Méadaithe de Mhúnlaí Móra Teanga

Tá réimse na Múnlaí Teangacha Móra fairsing agus ag síormhéadú, le gach múnla nua ag brú teorainneacha an méid is féidir. Ní hamháin go léiríonn nádúr foinse oscailte na LLManna a phléitear sa bhlag seo spiorad comhoibritheach an phobail AI ach réitíonn sé an bealach le haghaidh nuálaíochtaí amach anseo.

Léiríonn na samhlacha seo, ó chumais chatbot iontacha Vicuna go méadracht feidhmíochta níos fearr Falcon, buaic na teicneolaíochta LLM reatha. Agus muid ag leanúint ar aghaidh le dul chun cinn tapa a fheiceáil sa réimse seo, is léir go mbeidh ról ríthábhachtach ag samhlacha foinse oscailte i múnlú todhchaí AI.

Cibé an bhfuil tú i do thaighdeoir le taithí, i do dhíograiseoir AI úrnua, nó duine éigin fiosrach faoi acmhainneacht na múnlaí seo, níl aon am níos fearr chun tumadóireacht a dhéanamh agus na féidearthachtaí ollmhóra a chuireann siad ar fáil a fhiosrú.