Umjetna inteligencija
Čini se da strategija uzgoja i obrezivanja umjetne inteligencije smanjuje potrošnju energije umjetne inteligencije
Ljudski mozak funkcionira prema strategiji "rasti i orezati", u početku započinjući s ogromnom količinom neuronskih veza, a zatim s vremenom odstranjujući neiskorištene veze. Nedavno je tim istraživača umjetne inteligencije primijenio ovaj pristup na sustave umjetne inteligencije i otkrio da bi mogao značajno smanjiti količinu energije potrebne za treniranje umjetne inteligencije.
Tim istraživača sa Sveučilišta Princeton nedavno je stvorio novu metodu treniranja sustava umjetne inteligencije. Čini se da ova nova metoda obuke može zadovoljiti ili nadmašiti industrijske standarde za točnost, ali to može postići uz utrošak mnogo manje računalne snage, a time i manje energije, od tradicionalnih modela strojnog učenja. Tijekom dva različita rada, istraživači s Princetona pokazali su kako razviti mrežu dodavanjem neurona i veza na nju. Neiskorištene veze zatim su s vremenom uklonjene, ostavljajući samo najučinkovitije i najučinkovitije dijelove modela.
Niraj Jha, profesor elektrotehnike na Princetonu, objasnio je za Princeton News da model koji su razvili istraživači funkcionira na „paradigmi redanja i orezivanja“. Jha je objasnio da je ljudski mozak najsloženiji ikada oko tri godine starosti, a nakon te točke mozak počinje uklanjati nepotrebne sinaptičke veze. Rezultat je da je potpuno razvijen mozak sposoban obavljati sve izvanredno složene zadatke koje radimo svaki dan, ali koristi otprilike polovicu svih sinapsi koje je imao u svom vrhuncu. Jha i drugi istraživači oponašali su ovu strategiju kako bi poboljšali obuku umjetne inteligencije.
“Naš pristup je ono što nazivamo paradigmom uzgoja i orezivanja. To je slično onome što mozak radi od kad smo beba do kad smo tek prohodalo dijete. U svojoj trećoj godini ljudski mozak počinje prekidati veze između moždanih stanica. Taj se proces nastavlja u odrasloj dobi, tako da potpuno razvijeni mozak radi na otprilike polovici svog sinaptičkog vrhunca. Mozak odrasle osobe specijaliziran je za bilo koju obuku koju smo mu pružili. Nije dobar za učenje opće namjene kao mozak malog djeteta.”
Zahvaljujući tehnici uzgoja i rezanja, mogu se napraviti jednako dobra predviđanja o obrascima u podacima koristeći samo djelić računalne snage koja je prije bila potrebna. Istraživači nastoje pronaći metode za smanjenje potrošnje energije i troškova računanja, budući da je to ključno za dovođenje strojnog učenja na male uređaje poput telefona i pametnih satova. Smanjenje količine energije koju troše algoritmi strojnog učenja također može pomoći industriji da smanji svoj ugljični otisak. Xiaoliang Dai, prvi autor radova, objasnio je da se modeli moraju trenirati lokalno zbog prijenosa u oblak koji zahtijeva puno energije.
Tijekom prve studije, istraživači su pokušali razviti alat za stvaranje neuronske mreže koji bi mogli koristiti za projektiranje neuronskih mreža i rekreaciju nekih od mreža s najboljim performansama od nule. Alat se zvao NeST (Neural network Synthesis Tool), a kada mu je priloženo samo nekoliko neurona i veza, njegova složenost brzo raste dodavanjem više neurona u mrežu. Jednom kada mreža ispuni odabranu referentnu vrijednost, s vremenom se počinje skratiti. Dok su prethodni mrežni modeli koristili tehnike rezanja, metoda koju su osmislili istraživači s Princetona bila je prva koja je uzela mrežu i simulirala faze razvoja, od "bebe" do "malog djeteta" i konačno do "mozga odrasle osobe".
Tijekom drugog rada, istraživači su surađivali s timom sa Sveučilišta Kalifornija-Berkely i Facebookom kako bi poboljšali svoju tehniku koristeći alat nazvan Chameleon. Chameleon je sposoban započeti sa željenom krajnjom točkom, željenim ishodima i raditi unatrag kako bi izgradio pravu vrstu neuronske mreže. Ovo eliminira veliki dio nagađanja uključenog u ručno podešavanje mreže, dajući inženjerima početne točke koje će vjerojatno biti odmah korisne. Chameleon predviđa performanse različitih arhitektura u različitim uvjetima. Kombinacija Chameleona i okvira NeST mogla bi pomoći istraživačkim organizacijama kojima nedostaju veliki računalni resursi da iskoriste snagu neuronskih mreža.
