An Féidir Leat Samhlacha Móra Teanga a Thógáil Cosúil le ChatGPT ar Leathchostas?

Múnlaí Móra Teanga (LLManna) cosúil le GPT-3 agus ChatGPT tar éis AI a réabhlóidiú trí chumas Tuiscint Teanga Nádúrtha agus giniúint ábhair a thairiscint. Ach tagann a bhforbairt ar phraghas an-ard a chuireann srian le hinrochtaineacht agus le tuilleadh taighde. Measann taighdeoirí go gcosnaíonn oiliúint GPT-3 do OpenAI thart $ 5 milliún. Mar sin féin, d'aithin Microsoft an poitéinseal agus d'infheistigh sé $ 1 billiún i 2019 agus $ 10 billiún in 2023 i bhfiontar GPT-3 agus ChatGPT de chuid OpenAI.

Is samhlacha meaisínfhoghlama iad LLManna atá oilte ar shonraí téacsacha fairsinge d’fheidhmchláir NLP. Tá siad bunaithe ar ailtireacht claochladáin agus úsáideann siad meicníochtaí aire do thascanna NLP cosúil le freagra ceisteanna, aistriúchán meaisín, anailís meon, etc.

Éiríonn an cheist: an féidir éifeachtúlacht na múnlaí móra seo a mhéadú agus costas ríomhaireachtúil agus am oiliúna á laghdú ag an am céanna?

Roinnt cur chuige, cosúil le Líonraí Néaracha Forásacha, Morphism líonra, comhthreomhaireacht samhail laistigh den tsraith, oidhreacht eolais, etc., chun an costas ríomhaireachtúil a bhaineann le líonraí néaracha oiliúna a laghdú. An t-úrscéal LiGO (Oibritheoir Líneach Fáis) is é an cur chuige a phléfaimid ná tagarmharc nua a shocrú. Déanann sé leath an chostais ríomha a bhaineann le LLManna a thraenáil.

Sula bpléifear an teicníc seo, tá sé ríthábhachtach na fachtóirí a chuireann leis an bpraghas ard a bhaineann le LLM a dhéanamh a scrúdú.

Costas Tógáil Múnlaí Móra Teanga

Seo a leanas trí mhórchostas chun LLManna a fhorbairt:

1. Acmhainní Ríomhaireachta

Teastaíonn acmhainní ollmhóra ríomhaireachta chun oiliúint a chur ar thacair shonraí mhóra chun LLManna a thógáil. Caithfidh siad na billiúin paraiméadair a phróiseáil agus patrúin chasta a fhoghlaim ó shonraí téacs ollmhóra.

Infheistíocht i gcrua-earraí speisialaithe amhail Aonaid Phróiseála Grafaicí (GPUanna) agus Aonaid Próiseála Teannasóra (TPUanna) chun LLManna a thógáil agus a oiliúint chun feidhmíocht den scoth a bhaint amach.

Mar shampla, cuireadh oiliúint ar GPT-3 ar a supercomputer le 10000 GPU de ghrád fiontair (H100 agus A100) agus 285,000 croíleacan LAP.

2. Tomhaltas Fuinnimh

De bharr na n-acmhainní diana ríomhaireachta atá riachtanach chun LLManna a thógáil, ídítear go leor fuinnimh. Mar shampla, ghlac oiliúint 175 billiún paraiméadair GPT-3 laethanta 14.8 ag baint úsáide as 10,000 V100 GPU, comhionann le 3.55 milliún uair an chloig GPU. Tá éifeachtaí comhshaoil ​​suntasacha ag leibhéal ard tomhaltas fuinnimh den sórt sin freisin.

3. Stóráil & Bainistíocht Sonraí

Cuirtear oiliúint ar LLManna ar thacair shonraí mhóra. Mar shampla, cuireadh oiliúint ar GPT-3 ar chorpas mór téacs dáta, lena n-áirítear Common Crawl, WebText2, Books1, Books2, agus Vicipéid, i measc foinsí eile. Tá infheistíocht shuntasach bonneagair ag teastáil chun na tacair shonraí seo a bhailiú, a choimeád agus a stóráil.

Chomh maith leis sin, tá stóráil néil ag teastáil le haghaidh stóráil sonraí, agus saineolas daonna le haghaidh réamhphróiseála sonraí agus rialú leagan. Ina theannta sin, cuireann cinntiú go gcomhlíonann do straitéis sonraí rialacháin mar GDPR leis an gcostas freisin.

Teicníc LiGO: Laghdaigh an Costas a bhaineann le Múnlaí Móra Teanga a Thógáil go Leathcheann

Teicníc nua is ea LiGO (Oibreoir Fáis Líneach) a d’fhorbair taighdeoirí ag MIT chun costas ríomhaireachtúil oiliúna LLManna a laghdú 50%. Is éard atá i gceist leis an modh seo ná meáchain samhlacha níos mó a thosú ó mhúnlaí réamh-oilte níos lú, rud a chumasaíonn scálaithe éifeachtach líonraí néaracha.

Yoon Kim, údar sinsearach an pháipéir, a deir:

“Meastar go bhféadfadh samhlacha oiliúna ar scála a bhfuil sé tuartha ag ChatGPT a reáchtáil orthu na milliúin dollar a thógáil le haghaidh aon rith oiliúna amháin. An féidir linn éifeachtúlacht na modhanna oiliúna seo a fheabhsú, ionas gur féidir linn samhlacha maithe a fháil fós i níos lú ama agus ar níos lú airgid? Tá sé beartaithe againn é seo a dhéanamh trí leas a bhaint as múnlaí teanga níos lú a cuireadh oiliúint orthu roimhe seo.”

Coinníonn an modh seo na buntáistí feidhmíochta a bhaineann le samhlacha níos mó le costas ríomhaireachta laghdaithe agus am oiliúna i gcomparáid le múnla mór a oiliúint ón tús. Úsáideann LiGO oibreoir fáis líneach atá tiomáinte ag sonraí a chomhcheanglaíonn oibreoirí doimhneachta agus leithead chun an fheidhmíocht is fearr a bhaint amach.

Bhain an páipéar úsáid as tacair shonraí éagsúla chun turgnaimh bunaithe ar théacs a dhéanamh, lena n-áirítear corpas Vicipéid an Bhéarla chun samhlacha BERT agus RoBERTa a thraenáil agus tacar sonraí C4 le haghaidh oiliúna GPT2.

Áiríodh le turgnamh teicníc LiGO fás BERT-Small go BERT-Base, BERT-Base go BERT-Large, RoBERTaSmall go RoBERTa-Base, GPT2-Base go GPT2-Medium, agus CaiT-XS go CaiT-S.

Chuir na taighdeoirí a gcur chuige i gcomparáid le roinnt bonnlínte eile, lena n-áirítear oiliúint ón tús, oiliúint fhorásach, bert2BERT, agus KI.

Thairg teicníc LiGO coigilteas 44.7% in FLOPanna (oibríochtaí snámhphointe in aghaidh an tsoicind) agus coigilteas 40.7% in am balla i gcomparáid le hoiliúint BERT-Base ón tús trí mhúnla BERT-Small a athúsáid. Is fearr le hoibreoir fáis LiGO ná StackBERT, MSLT, bert2BERT, agus KI in oiliúint éifeachtach.

Buntáistí a bhaineann le Teicníc Optamaithe Oiliúna a Úsáid Cosúil le LiGO

Is modh oiliúna líonra néarúil éifeachtach é LiGO a bhfuil buntáistí éagsúla aige liostaithe mar seo a leanas:

1. Oiliúint níos tapúla

Mar a dúradh níos luaithe, is é oiliúint níos tapúla an príomhbhuntáiste a bhaineann le teicníc LiGO. Traenálann sé LLManna i leath an ama, ag méadú táirgiúlachta agus ag laghdú costais.

2. Tíosach ar Acmhainní

Tá LiGO tíosach ar acmhainní toisc go n-íoslaghdaíonn sé am balla agus FLOPanna, rud a fhágann go bhfuil cur chuige níos cost-éifeachtaí agus níos cairdiúla don chomhshaol maidir le hoiliúint a chur ar mhúnlaí móra claochladáin.

3. Ginearálú

Tá feabhas curtha ag teicníc LiGO ar fheidhmíocht claochladáin teanga agus fís araon, rud a thugann le tuiscint gur teicníc inghinearálaithe é is féidir a chur i bhfeidhm ar thascanna éagsúla.

Níl sa tógáil táirgí AI tráchtála ach gné amháin de na costais fhoriomlána a bhaineann le córais AI. Tagann comhpháirt shuntasach eile de chostais ó oibríochtaí laethúla. Mar shampla, cosnaíonn sé thart ar OpenAI $700,000 gach lá chun ceisteanna a fhreagairt ag baint úsáide as ChatGPT. Táthar ag súil go leanfaidh taighdeoirí ag iniúchadh cineálacha cur chuige a fhágann go mbeidh LLM-éifeachtach ó thaobh costais de le linn na hoiliúna agus níos inrochtana ar am rite.

Le haghaidh níos mó ábhar a bhaineann le AI, tabhair cuairt ar aonaigh.ai.