Xakamaynta Baahida Awoodeed ee Koraysa ee Barashada Mashiinka

Marka la eego walaaca sii kordhaya ee ku saabsan shuruudaha tamarta ee moodooyinka barashada mashiinka waaweyn, daraasad dhowaan laga sameeyay MIT Lincoln Laboratory iyo Jaamacadda Waqooyi-bari ayaa baadhay kaydka ay samayn karaan GPU-yada awoodda-cajabiya ee ka shaqeeya tababbarka moodeelka iyo soo-jeedinta, iyo sidoo kale dhowr kale. farsamooyinka iyo hababka loo yareeyo isticmaalka tamarta AI.

Shaqada cusub waxay sidoo kale ku baaqaysaa waraaqo cusub oo AI ah inay ku soo gabagabeeyaan 'Bayaan Tamareed' (oo la mid ah kan isbedel dhawaan ee 'macnaha akhlaaqda' ee ku qoran waraaqaha ka soo baxa qaybta cilmi baarista barashada mashiinka).

Talo soo jeedinta ugu weyn ee shaqada ayaa ah in awood-samaynta ( xadidaysa awoodda la heli karo GPU-da tababaraysa moodeelka) ay bixiso faa'iidooyin qiimo leh oo tamar-badbaadin ah, gaar ahaan Qaabaynta Luuqadda Masked (MLM), iyo qaab-dhismeedka sida BERT iyo sooyaalkeeda.

Saddexda shabakadood ee qaabaynta luqadda ee ku shaqeeya boqolkiiba 250W goobaha caadiga ah (khadka madow), marka la eego isticmaalka awoodda. Xakamaynta isticmaalka korantadu kuma koobna hufnaanta tababarka ama saxnaanta 1-1, waxayna bixisaa kayd awoodeed oo caan ku ah miisaanka. Xigasho: https://arxiv.org/pdf/2205.09646.pdf

Moodooyinka waaweyn, kuwaas oo soo jiitay dareenka sannadihii la soo dhaafay sababtoo ah xog-ururinta hyperscale iyo moodooyinka cusub ee balaayiin ama trillions ee cabbirada, kaydinta la midka ah ayaa lagu heli karaa ganacsi-off inta u dhaxaysa wakhtiga tababarka iyo isticmaalka tamarta.

Tababarka moodooyinka NLP ee ka sii adag ee miisaanka hoos yimaada caqabadaha awoodda. Celceliska wakhtiga qaraabada ah ee ka hooseeya daboolka 150W waxa lagu muujiyay buluug, iyo celceliska isticmaalka tamarta qaraabada ah ee 150W ee liin.

Hawlgalladan heerka sare ah, cilmi-baarayaashu waxay ogaadeen in 150W oo ku xiran isticmaalka tamarta ay heleen celcelis ahaan 13.7% hoos u dhigista isticmaalka tamarta marka loo eego heerka ugu sarreeya ee 250W, iyo sidoo kale wax yar oo 6.8% ah oo kordhay wakhtiga tababarka.

Intaa waxaa dheer, cilmi-baarayaashu waxay xuseen in, inkastoo cinwaanada in kharashka tababarka moodeelku uu soo kordhay dhowrkii sano ee la soo dhaafay, kharashka tamarta ee dhab ahaantii isticmaalka moodooyinka la tababaray waa fog sare*.

Qaabaynta luqadda ee BERT, faa'iidooyinka tamarta iyada oo la adeegsanayo korantada ayaa si muuqata uga weyn marka la samaynayo fikradda marka loo eego tababarka. Haddii tani ay ku habboon tahay codsiyada kale ee AI, tani waxay yeelan kartaa saameyno la taaban karo marka la eego isticmaalka tamarta ee baaxadda weyn ama xisaabinta daruuraha ee u adeega codsiyada cilmi-baarista iyo warshadaha.'

Dheeraad ah, iyo laga yaabee inta ugu badan ee lagu muransan yahay, warqaddu waxay soo jeedinaysaa in tababarka weyn ee moodooyinka barashada mashiinka lagu celiyo bilaha qabow ee sanadka, iyo wakhtiga habeenkii, si loo badbaadiyo kharashka qaboojinta.

Xagga sare, PUE statistics ee maalin kasta 2020 gudaha xarunta xogta qorayaasha, oo leh mug iyo barar joogto ah bilaha xagaaga. Hoosta, celceliska saacadaha kala duwan ee PUE ee isla goobta inta lagu jiro usbuuca, iyadoo isticmaalka tamarta kor u kaca ilaa bartamaha maalinta, iyada oo labadaba qalabka qaboojinta GPU ee gudaha iyo qaboojinta xarunta xogta jawiga ay u halgamayaan ilaalinta heerkulka la shaqeyn karo.

Qorayaashu waxay yiraahdeen:

Sida cad, culeysyada shaqada ee NLP ee culus ayaa caadi ahaan aad uga tayo yar xagaaga marka loo eego kuwa la fuliyo xilliga jiilaalka. Marka la eego kala duwanaanshaha weyn ee xilliyeedka, haddii ay jirto, waxaa jira tijaabooyin xisaabeed qaali ah oo lagu qaban karo bilo qaboojiye waqtigan ayaa si weyn u dhimi kara raad kaarboonka.'

Waraaqdu waxay sidoo kale qiraysaa fursadaha soo baxaya ee tamarta-badbaadinta ee suurtagalka ah iyada oo loo marayo manjooyin iyo tayaynta qaab-dhismeedka moodeelka iyo socodka shaqada - in kasta oo qorayaashu ay uga tagaan horumarinta jidkan dadaallo kale.

Ugu dambeyntii, qorayaashu waxay soo jeedinayaan in waraaqaha sayniska ee cusub ee qaybta barashada mashiinka lagu dhiirigeliyo, ama laga yaabo in la xaddido, si ay u xiraan bayaan ay ku muujinayaan isticmaalka tamarta shaqada ee lagu sameeyay cilmi-baarista, iyo saameynta tamarta ee suurtogalka ah ee qaadashada hindisayaasha lagu soo jeediyay shaqada. .

Warqadda, oo hogaamineysa tusaale ahaan, waxay sharraxaysaa saameynta tamarta ee cilmi-baaristeeda.

The warqad waxaa cinwaan looga dhigay Awood Weyn, Mas'uuliyad Wayn: Talooyinka Yaraynta Tamarta ee Qaababka Luuqada Tababarka, oo ka yimid lix cilmi-baarayaal oo ku kala baahsan MIT Lincoln iyo Waqooyi-bari.

Qabsashada tamarta soo socota ee Barashada Mashiinka

Sida baahida xisaabinta ee moodooyinka barashada mashiinka ay leeyihiin kordhay iyada oo la socota faa'iidada natiijooyinka, dhaqanka ML ee hadda jira wuxuu la mid yahay kharashka tamarta iyo waxqabadka la wanaajiyey - inkastoo qaar ka mid ah ololayaal caan ah, sida Andrew Ng, isagoo soo jeedinaya in xogta xogta laga yaabo inay noqoto a arrin ka muhiimsan.

Mid ka mid ah iskaashiga muhiimka ah MITn laga bilaabo 2020, waxaa lagu qiyaasay in toban laab-laabka horumarinta waxqabadka moodelku ay keenayso koror 10,000-laab ah ee shuruudaha xisaabinta, oo ay weheliso qadar tamar ah oo u dhiganta.

Sidaa awgeed, cilmi-baadhis lagu sameeyay tababbarka ML ee waxtarka leh ee xoogga leh ee yar ayaa kordhay dhawrkii sano ee la soo dhaafay. Warqadda cusub, qorayaashu waxay sheeganayaan, waa kan ugu horreeya ee si qoto dheer u eegaya saameynta koofiyadaha awoodda ee tababarka barashada mashiinka iyo ka-fiirsashada, iyada oo xoogga la saarayo qaababka NLP (sida taxanaha GPT).

Maadaama tayada wax-is-sheegiddu ay tahay welwelka ugu weyn, qorayaashu waxay sheegaan natiijooyinkooda bilowga:

Habkani ma saameeyo saadaasha moodooyinka la tababaray ama sidaas awgeed saxnaanta waxqabadkooda hawlaha. Taasi waa, haddii laba shabakadood oo leh qaab dhismeed isku mid ah, qiyamka bilowga ah iyo xogta dufcaddu loo tababaro tiro isku mid ah oo hoos yimaada koofiyadaha kala duwan, cabbiradoodu waxay noqonayaan isku mid oo kaliya tamarta loo baahan yahay si loo soo saaro iyaga ayaa kala duwanaan kara.'

Goynta Awoodda NLP

Si loo qiimeeyo saamaynta koofiyadaha awooddu ku leeyihiin tababarka iyo ka-qaybgalka, qorayaashu waxay isticmaaleen nvidia-smi (Interface Maareynta Nidaamka) utility-line utility, oo ay la socdaan a MLM maktabady oo ka yimid HuggingFace.

Qorayaashu waxay tababareen moodooyinka Habaynta Luuqadda Dabiiciga ah BERT, DistilBERT iyo Shimbir Weyn in ka badan MLM, oo ay la socdeen awoodooda xagga tababarka iyo geynta.

Moodooyinka waxaa lagu tababaray ka dhanka ah DeepAI's WikiText-103 dataset ee 4 epochs ee dufcadaha sideed, ee 16 V100 GPUs, oo leh afar koofi oo kala duwan: 100W, 150W, 200W, iyo 250W (sida caadiga ah, ama salka, ee NVIDIA V100 GPU). Moodooyinka waxay soo bandhigeen cabbirro la tababaray oo xoqan iyo qiyamka bilawga ah ee random, si loo hubiyo qiimaynta tababarka ee la midka ah.

Sida lagu arkay sawirka hore ee kore, natiijadu waxay muujinaysaa kayd tamar wanaagsan oo aan toos ahayn, korodhka wanaagsan ee waqtiga tababarka. Qorayaashu waxay yiraahdeen:

Tijaabooyinkayadu waxay muujinayaan in fulinta koofiyadaha korontada ay si weyn u yareeyn karto isticmaalka tamarta qiimaha waqtiga tababarka.'

Hoos u dhigista 'Big NLP'

Marka xigta qorayaashu waxay isticmaaleen qaab isku mid ah xaalad aad u baahi badan: tababbarka BERT ee MLM ee isku xidhka la qaybiyey ee GPU-yo badan - kiis adeegsiyeedka caadiga ah oo si wanaagsan loo maalgeliyo oo si wanaagsan loo shaaciyo FAANG NLP moodooyinka.

Farqiga ugu weyn ee tijaabadan ayaa ahaa in moodalku uu isticmaali karo meel kasta oo u dhexeeya 2-400 GPUs tusaale ahaan tababar kasta. Xayiraado isku mid ah ee isticmaalka korantada ayaa lagu dabaqay, isla hawshana waa la isticmaalay (WikiText-103). Fiiri sawirka labaad ee sare garaafyada natiijooyinka

Wargeysku wuxuu leeyahay:

Celcelis ahaan dhammaan xulasho kasta oo qaabeyn ah, 150W oo ku xiran isticmaalka korantada ayaa horseeday celcelis ahaan 13.7% hoos u dhac ku yimid isticmaalka tamarta iyo 6.8% oo kordhay waqtiga tababarka marka loo eego heerka ugu sarreeya. Goobta 100W waxay leedahay waqtiyo tababar oo aad u dheer (31.4% ka dheer celcelis ahaan). Xadka 200W wuxuu u dhigmaa ku dhawaad ​​isla wakhtiga tababarka ee xadka 250W laakiin kaydka tamarta yar oo ka yar xadka 150W.'

Qorayaashu waxay soo jeedinayaan in natiijooyinkani ay taageeraan awood-samaynta 150W ee naqshadaha GPU iyo codsiyada ku shaqeeya. Waxay kaloo xuseen in kaydka tamarta ee la helay ay turjumaan dhammaan aaladaha qalabka, oo ay mar kale tijaabiyeen imtixaannada si ay isu barbar dhigaan natiijooyinka NVIDIA K80, T4 iyo A100 GPUs.

Kaydinta laga helay seddexda NVIDIA GPUs ee kala duwan.

Wax-soo-saarka, Ma Tababarka, Cuna Awood

Warqaddu waxay soo xiganeysaa dhowr daraasadood oo hore oo muujinaya in, inkastoo cinwaannada cinwaannada, ay tahay fikradda (adeegsiga moodalka dhammeeyey, sida qaabka NLP) oo aan ahayn tababbarka soo jiidaya xaddiga ugu badan ee awoodda, oo soo jeedinaysa in moodooyinka caanka ah la habeeyey oo la galo Guud ahaan, isticmaalka korantadu waxay noqon kartaa arrin ka weyn tan hadda lagu jiro marxaladdan curdinka ah ee horumarinta NLP.

Sidaa darteed cilmi-baarayaashu waxay cabbireen saameynta ka-fiirsashada isticmaalka awoodda, iyagoo ogaanaya in soo-rogista koofiyadaha awoodda ay saameyn muuqata ku leedahay daahitaanka fikradda:

Marka loo eego 250W, goobta 100W waxay u baahan tahay labanlaab wakhtiga goynta (114% korodhka) oo cunay 11.0% tamar kayar, 150W waxay u baahday 22.7% wakhti dheeri ah waxayna badbaadisay 24.2% tamarta tamarta.

Tababarka Jiilaalka

Warqaddu waxay soo jeedinaysaa in tababbarka (haddii aysan ahayn fikradda, sababo muuqda dartood) la jadwalsan karo waqtiyada ay xarunta xogtu ku jirto heerka ugu sarreeya ee waxtarka isticmaalka awoodda (PUE) - si wax ku ool ah, taasi waa xilliga jiilaalka, iyo habeenkii.

'Koox tamareed oo muhiim ah ayaa la heli karaa haddii culeyska shaqada la jadwalsan karo waqtiyada PUE hoose la filayo. Tusaale ahaan, ka wareejinta shaqo gaaban oo socota maalinti ilaa habeenimo waxa laga yaabaa inay bixiso qiyaas ahaan 10% dhimis, iyo u guurista shaqo dheer oo qaali ah (tusaale qaabka luuqada oo qaadanaysa todobaadyo in la dhamaystiro) xagaaga ilaa jiilaalka waxa laga yaabaa inay aragto hoos u dhac 33%.

'In kasta oo ay adag tahay in la saadaaliyo kaydadka uu cilmi-baaraha shakhsi ahaaneed ku guulaysan karo, xogta halkan lagu soo bandhigay waxay muujinaysaa muhiimadda ay leedahay arrimaha deegaanka ee saameeya tamarta guud ee ay cunaan culayska shaqadoodu.'

Daruur ha ahaato

Ugu dambeyntii, warqaddu waxay eegaysaa in agabka wax-soo-saarka gurigu aysan u badnayn inay hirgeliyaan tallaabooyin waxtar leh oo la mid ah xarumaha xogta waaweyn iyo ciyaartoyda xisaabinta daruuraha heerka sare ah, iyo in faa'iidooyinka deegaanka lagu heli karo iyada oo loo wareejinayo culeyska shaqada goobaha kuwaas oo si weyn u maalgeliyay PUE wanaagsan.

"In kasta oo ay jirto ku habboonaanta helitaanka ilaha xisaabinta gaarka ah ee la heli karo, ku habboonaantani waxay ku timaadaa kharash. Guud ahaan marka loo eego kaydinta tamarta iyo saamaynta si fudud ayaa loo heli karaa miisaan weyn. Xarumaha xogta iyo bixiyeyaasha xisaabinta daruuraha waxay sameeyaan maalgashi la taaban karo oo ku saabsan hufnaanta xarumahooda.'

* Xidhiidhada khuseeya ee uu bixiyay warqadu.