Kacerdasan buatan
Tumuwuh Sareng Prune Strategi AI Sigana Ngurangan Pamakéan Énergi AI
Otak manusa beroperasi kalawan strategi "tumuwuh jeung prune", mimitina dimimitian ku jumlah masif sambungan saraf lajeng pruning jauh sambungan henteu kapake kana waktu. Anyar-anyar ieu, tim panaliti AI parantos nerapkeun pendekatan ieu kana sistem AI sareng mendakan yén éta tiasa ngirangan jumlah énergi anu diperyogikeun pikeun ngalatih AI.
Hiji tim peneliti ti Universitas Princeton nembe nyiptakeun metode anyar pikeun ngalatih sistem kecerdasan buatan. Metoda palatihan anyar ieu sigana tiasa nyumponan atanapi ngalangkungan standar industri pikeun akurasi, tapi éta tiasa ngalaksanakeun ieu bari nyéépkeun kakuatan komputasi anu langkung handap, sareng ku kituna kirang énergi, tibatan modél pembelajaran mesin tradisional. Ngaliwatan dua makalah anu béda, panalungtik Princeton nunjukkeun kumaha tumuwuh jaringan ku cara nambihan neuron sareng sambungan kana éta. Sambungan anu henteu kapake teras dipangkas ku waktosna, nyésakeun bagian modél anu paling efektif sareng éfisién.
Niraj Jha, dosen Téknik Eléktro di Princeton, ngajelaskeun ka Princeton warta yén modél anu dikembangkeun ku panalungtik beroperasi dina "paradigma baris-na-prune". Jha ngécéskeun yén otak manusa mangrupikeun anu paling kompleks anu kantos umurna sakitar tilu taun, sareng saatos titik ieu otak mimiti ngirangan sambungan sinaptik anu henteu diperyogikeun. Hasilna nyaéta yén otak anu pinuh dikembangkeun tiasa ngalaksanakeun sagala tugas anu luar biasa rumit anu urang laksanakeun unggal dinten, tapi ngagunakeun kira-kira satengah tina sadaya sinapsis anu aya dina puncakna. Jha sareng panalungtik sanésna niru strategi ieu pikeun ningkatkeun palatihan AI.
"Pendekatan kami nyaéta anu kami sebut paradigma tumuwuh-na-prun. Éta sami sareng anu dilakukeun ku otak ti nalika urang orok dugi ka budak leutik. Dina taun katilu na, otak manusa mimiti snipping jauh sambungan antara sél otak. Prosés ieu terus nepi ka dewasa, ku kituna otak pinuh dimekarkeun beroperasi dina kasarna satengah puncak synaptic na. Otak sawawa ngahususkeun kana latihan naon waé anu kami parantos nyayogikeunana. Éta henteu saé pikeun diajar tujuan umum sapertos otak budak leutik.
Hatur nuhun kana téhnik tumuwuh sarta pruning, prediksi sarua alus bisa dijieun ngeunaan pola dina data ngagunakeun ngan fraksi kakuatan komputasi nu saméméhna diperlukeun. Panaliti narékahan pikeun milari metode pikeun ngirangan pamakean énérgi sareng biaya komputasi, sabab ngalakukeunana mangrupikeun konci pikeun nyangking pembelajaran mesin ka alat-alat leutik sapertos telepon sareng jam tangan pinter. Ngurangan jumlah énergi anu dikonsumsi ku algoritma pembelajaran mesin ogé tiasa ngabantosan industri ngirangan tapak suku karbon na. Xiaoliang Dai, panulis munggaran dina makalah, ngécéskeun yén modél-modélna kedah dilatih sacara lokal kusabab pangiriman ka méga anu peryogi seueur énergi.
Salila pangajaran munggaran, Para panalungtik nyoba ngamekarkeun alat nyieun jaringan neural nu bisa dipaké pikeun insinyur jaringan neural jeung nyieun deui sababaraha jaringan kinerja pangluhurna ti scratch. Alat ieu disebut NeST (Alat Sintésis jaringan saraf), sareng nalika disayogikeun ku sababaraha neuron sareng sambungan, éta gancang ningkatkeun pajeulitna ku nambihan langkung seueur neuron kana jaringan. Sakali jaringan nyumponan patokan anu dipilih, éta mimiti pruning sorangan dina waktosna. Bari model jaringan saméméhna geus dipaké téknik pruning, métode direkayasa ku peneliti Princeton éta kahiji nyandak jaringan sarta simulate tahapan pangwangunan, bade ti "orok" ka "bayi" sarta tungtungna "otak dewasa".
Salila makalah kadua, panalungtik gawé bareng tim ti Universitas California-Berkely jeung Facebook pikeun ngaronjatkeun téhnik maranéhanana ngagunakeun alat disebut Chameleon. Chameleon sanggup ngamimitian ku tungtung anu dipikahoyong, hasil anu dipikahoyong, sareng damel mundur pikeun ngawangun jinis jaringan saraf anu pas. Ieu ngaleungitkeun loba guesswork aub dina tweaking jaringan sacara manual, mere insinyur titik awal nu dipikaresep bakal langsung mangpaat. Chameleon ngaramalkeun kinerja arsitéktur anu béda dina kaayaan anu béda. Ngagabungkeun Chameleon sareng kerangka NeST tiasa ngabantosan organisasi riset anu kakurangan sumberdaya komputasi beurat ngamangpaatkeun kakuatan jaringan saraf.
