Faodaidh GPUs a bhith nas fheàrr, chan e dìreach nas luaithe, aig trèanadh lìonraidhean domhainn neural

Tha luchd-rannsachaidh às a’ Phòlainn agus Iapan, ag obair còmhla ri Sony, air fianais a lorg gum faodadh nas lugha de mhearachdan a bhith ann an siostaman ionnsachaidh inneal air an trèanadh air GPUs seach CPUan tron ​​​​phròiseas trèanaidh, agus gum bi iad a’ toirt a-mach toraidhean nas fheàrr, a ’dol an-aghaidh an tuigse choitcheann gu bheil GPUs dìreach a’ coileanadh a leithid de ghnìomhachd nas luaithe, seach na fearr air bith.

Tha an rannsachadh, leis an tiotal Buaidh mì-chinnt GPU air trèanadh lìonraidhean domhainn neurolach ro-innseach, a’ tighinn bho Dàmh Eòlas-inntinn agus Saidheansan Cognitive aig Oilthigh Adam Mickiewicz agus dà oilthigh Iapanach, còmhla ri SONY Computer Science Laboratories.

Tha an sgrùdadh a 'moladh sin 'mì-chinnt' a tha lìonraidhean neural domhainn a’ nochdadh an aghaidh diofar rèiteachaidhean bathar-cruaidh is bathar-bog airson a bhith nas daoire (agus a’ sìor fhàs gann).

Anns an eisimpleir leasachail seo bhon phàipear, chì sinn (dà shreath gu h-ìosal), càileachd toraidh coltach ris a gheibhear bho ghrunn GPUs, agus (a’ chiad sreath), na toraidhean nas ìsle a gheibhear bho raon de CPUan a tha gu math comasach.. Stòr: https://arxiv.org/pdf/2109.01451.pdf

Phenomena neònach

Chan eil na co-dhùnaidhean tòiseachaidh sin a’ buntainn gu co-ionnan thairis air algorithms ionnsachadh inneal mòr-chòrdte, agus a thaobh ailtireachd autoencoder sìmplidh, chan eil an t-iongantas a’ nochdadh.

Ach a dh’ aindeoin sin tha an obair a’ moladh ‘astar teichidh’ a dh’fhaodadh a bhith ann airson èifeachd trèanaidh ann an lìonraidhean neòil iom-fhillte, far nach eil a bhith a’ còmhdach na h-aon obrachaidhean aig astar nas ìsle agus amannan trèanaidh nas àirde a’ faighinn co-ionannachd coileanaidh ris am biodh dùil bho chleachdaidhean ath-aithris matamataigeach.

Tha an luchd-rannsachaidh a’ moladh gum faodadh an eadar-dhealachadh coileanaidh seo a bhith sònraichte do sheòrsan sònraichte de lìonraidhean neural, agus gur dòcha nach e a-mhàin gu bheil na taobhan neo-chinnteach de ghiullachd a tha sònraichte do GPU, a chithear gu tric mar chnap-starra gus faighinn seachad air mu dheireadh, a’ toirt seachad buannachdan sònraichte, ach gum faodadh iad a bhith a dh’aona ghnothach. gabhail a-steach siostaman nas fhaide air adhart. Tha am pàipear cuideachd a’ moladh gum faodadh na co-dhùnaidhean seallaidhean nas doimhne a thoirt seachad air giollachd coimpiutaireachd co-cheangailte ri eanchainn.

Le bhith a’ comharrachadh na nithean sònraichte a tha ag àrdachadh èifeachdas agus càileachd thoraidhean san dòigh seo air GPUs tha comas ann sealladh nas doimhne fhaighinn air ailtireachd AI ‘bogsa dubh’, agus eadhon airson coileanadh CPU a leasachadh - ged a tha na h-adhbharan bunaiteach an-dràsta so-ruigsinneach.

Autoencoder vs. PredNet

Ann a bhith a’ sgrùdadh nan neo-riaghailteachdan, chleachd an luchd-rannsachaidh còdaiche fèin-ghluasadach bunaiteach agus cuideachd Lìonra Neural Predictive Oilthigh Harvard. PredNet, rannsachadh bho 2016 a chaidh a dhealbhadh gus sgrùdadh agus feuchainn ri giùlan an cortex cerebral daonna ath-riochdachadh.

Tha an dà shiostam nan lìonraidhean neural domhainn a chaidh an dealbhadh gus ìomhaighean iomchaidh a cho-chur tro ionnsachadh gun stiùireadh (le dàta às an deach bileagan fhàgail a-mach), ged a bhios an autoencoder a’ dèiligeadh gu sreathach ri aon ìomhaigh gach baidse, a bheireadh an uairsin toradh mar an ath ìomhaigh ann an loidhne-phìoban ath-chuairteachaidh. Chaidh an autoencoder a thrèanadh air an MNIST stòr-dàta làmh-sgrìobhaidh.

Chaidh an autoencoder ann an deuchainnean an luchd-rannsachaidh a thrèanadh air stòr-dàta MNIST, anns a bheil 60,000 ìomhaigh trèanaidh aig 28 × 28 piogsail, anti-aliased airson inntrigeadh sgèile glas, a bharrachd air ìomhaighean deuchainn 10,000.

An coimeas ri sin, tha PredNet a’ measadh cuir a-steach bhidio iom-fhillte, agus a thaobh an rannsachaidh seo, chaidh a thrèanadh air an Stòr-dàta FPSI, anns a bheil dealbhan farsaing de bhidio caitheamh bodhaig de latha ann an Disney World ann an Orlando, Florida (Bha Disney mar aon de na companaich rannsachaidh air pàipear 2012).

Sreathan ìomhaighean bho FPSI, a’ sealltainn seallaidhean ciad-neach air latha aig Disney World.

Tha an dà ailtireachd gu math eadar-dhealaichte a thaobh iom-fhillteachd. Tha an autoencoder air a dhealbhadh gus ìomhaighean ath-chruthachadh seach a bhith a’ ro-innse luachan targaid. An coimeas ri sin, tha ceithir sreathan aig PredNet, agus tha gach fear dhiubh a 'gabhail a-steach riochdachadh neurons a' cleachdadh cuimhne geàrr-ùine connspaideach (LSTM).

Bidh na sreathan a’ toirt a-mach ro-innse co-theacsail a tha an uairsin air an coimeas ri targaid gus teirm mearachd a thoirt gu buil a bhios a’ sgaoileadh air feadh an lìonraidh. Bidh gach aon den dà mhodail a’ cleachdadh ionnsachadh gun stiùir.

Ailtireachd shìmplidh, sreathach an autoencoder, agus an lìonra nas labyrinthine agus ath-chuairteach de PredNet.

Chaidh an dà shiostam a dhearbhadh air grunn rèiteachaidhean bathar-cruaidh is bathar-bog, a’ toirt a-steach CPUan às aonais GPUs (Intel i5-4590, i7-6800K, i5-7600K, no AMD Ryzen-5-3600) agus CPUs le GPUs (Intel i5-7600K + NVIDIA GTX-750Ti, i5-7600K + GTX-970, i7-6700K + GTX-1080, i7-7700K + GTX-1080Ti, i7-9700 + RTX-2080Ti, i5-7600K + RTX-2060 super, AMD Ryzen-5- 3600 + RTX-2070 super, no i5-9400 + Titan-RTX).

Sealladair pròiseas eadar-ghnìomhach htop air a chleachdadh gus dèanamh cinnteach gun do thachair an trèanadh gu lèir an dàrna cuid air aon snàithlean (air Intel i7-6800K), air ceithir snàithleanan (air Intel i5-4590 agus i5-7600K), no sia snàithleanan (air AMD Ryzen-5-3600 ).

Puingean dìollaid

Air an autoencoder, cha robh an eadar-dhealachadh cuibheasach thar gach rèiteachadh, le agus às aonais cuDNN, cudromach. Airson PredNet, bha na toraidhean nas inntinniche, le eadar-dhealachaidhean sònraichte ann am measadh call agus càileachd eadar trèanadh CPU agus GPU.

Tha na toraidhean call cuibheasach airson trèanadh PredNet thairis air ceithir CPUan agus ochd GPUn, leis an lìonra air a thrèanadh air frèamaichean bhidio 5000 ann an batches 250, le call cuibheasach airson na frèamaichean 1000 mu dheireadh (50 batches) air an sealltainn. cuDNN air a chur dheth.

Tha an luchd-rannsachaidh a’ co-dhùnadh sin 'Ged nach eil an uidheamachd soilleir, tha coltas gu bheil comas aig bathar-cruaidh an GPU trèanadh DNNn a thoirt air adhart.'

Tha na toraidhean a’ nochdadh gum faodadh GPUs a bhith nas fheàrr air puingean dìollaid a sheachnadh - na raointean ann an teàrnadh caisead a tha a’ toirt cunntas air bonn leathad.

Is e nadir nan slèibhtean ann an teàrnadh caisead an 'puing diollaid', air ainmeachadh airson adhbharan follaiseach. Stòr: https://www.pinterest.com.au/pin/436849232581124086/

Tha puingean dìollaid, ged a tha iad nan cnap-starra, air a bhith air an cur às gu ìre mhòr mar a chaidh obrachadh timcheall gu furasta ann an smaoineachadh o chionn ghoirid air optimachadh teàrnadh caisead stochastic (SGD), ach tha am pàipear ùr a’ moladh chan e a-mhàin gum faodadh GPUs a bhith air an sgeadachadh gu sònraichte airson an seachnadh, ach gu bheil buaidh bu chòir coimhead a-rithist air puingean dìollaid.