Programeri stvaraju softver otvorenog koda kako bi pomogli istraživačima umjetne inteligencije da smanje ugljični otisak

Skupina međunarodnih istraživača umjetne inteligencije i znanstvenika koji se bave podacima surađivali su na dizajniranju softvera koji može procijeniti ugljični otisak računalnih operacija. Softverski paket otvorenog koda, pod nazivom CodeCarbo, dizajnirao je konzorcij AI i tvrtki za podatkovnu znanost. Nadamo se da će softver omogućiti i potaknuti programere da učine svoj kod učinkovitijim i smanje količinu CO2 koja se stvara korištenjem računalnih resursa.

Smanjenje ugljičnog otiska

Prema ITP-u, novi programski paket CodeCarbon razvio je tim istraživačkih grupa za umjetnu inteligenciju predvođen tvrtkom za istraživanje umjetne inteligencije Mila, zajedno s Comet.ml, Haverford College u Pennsylvaniji i GAMMA-om. Softver ne samo da procjenjuje količinu CO2 proizvedenu upotrebom računalnih resursa, već programerima daje i savjete za smanjenje ugljičnog energetskog otiska.

Obuka AI modela može zahtijevati puno energije. Kako objašnjava ArsTechnica, istraživači sa Sveučilišta Massachusetts Amherst procijenili su ukupne troškove stvaranja i obuke određenih modela umjetne inteligencije, a tim je otkrio da je obukom mreže prirodnog jezika BERT nekoć stvoreno približno onoliko ugljika koliko povratni let između San Francisca i New Yorka. U međuvremenu, uvježbavanje modela više puta dok se ne optimizira moglo bi generirati onoliko CO2 koliko 315 različitih putnika leti tim istim letom.

Zašto točno AI modeli troše toliko energije i generiraju toliko CO2 kao nusproizvod? Dio odgovora leži u tome kako se AI modeli obučavaju i optimiziraju. Kako bi postigli čak i mala poboljšanja u odnosu na postojeće najsuvremenije algoritme, istraživači umjetne inteligencije mogli bi trenirati svoj model tisuće puta, unoseći mala podešavanja na model svaki put dok se ne otkrije optimalna arhitektura modela.

AI modeli također stalno rastu u veličini, postajući svake godine sve složeniji.

Najmoćniji algoritmi i modeli strojnog učenja kao što su GPT-3, BERT i VGG, imaju milijune parametara i treniraju se tjednima, što iznosi stotine ili tisuće sati vremena obuke. GPT-2 je imao približno 1.5 milijardi parametara unutar mreže, dok GPT-3 ima oko 175 milijardi težina. Ovo završava korištenjem stotina kilograma vrijednog CO2.

CodeCarbon

CodeCarbon ima modul mehanizma za praćenje koji bilježi količinu energije koju koriste pružatelji usluga oblaka i podatkovni centri. Sustav zatim koristi podatke iz javno dostupnih izvora za procjenu količine proizvedenog CO2, provjeravajući statistiku iz električne mreže na koju je hardver spojen. Pratitelj procjenjuje CO2 proizveden za svaki eksperiment pomoću određenog AI modula, pohranjujući podatke o emisijama za oba projekta i cijelu organizaciju.

Osnivač Mila, Yohua Bengio, objasnio je da iako je umjetna inteligencija nevjerojatno moćan alat koji se može uhvatiti u koštac s mnogim problemima, često zahtijeva znatnu količinu računalne snage. Sylvian Duranton, direktor Boston Consulting Groupa, ustvrdio je da će računalstvo i umjetna inteligencija nastaviti rasti eksponencijalnim stopama diljem svijeta. Ideja je da će CodeCarbon pomoći AI i računalnim tvrtkama da ograniče svoj ugljični otisak dok nastavljaju rasti. CodeCarbon će generirati nadzornu ploču koja tvrtkama omogućuje da lako vide količinu emisija generiranih obukom njihovih modela strojnog učenja. Također će predstavljati emisije u mjernim podacima koje programeri mogu lako razumjeti, kao što su kilometri prijeđeni automobilom, sati gledanja TV-a i tipična potrošnja energije u kućanstvu u SAD-u.

Programeri CodeCarbona očekuju da softver ne samo da će potaknuti istraživače umjetne inteligencije da pokušaju smanjiti vlastiti ugljični otisak, već da će potaknuti veću transparentnost u pogledu ukupnih emisija. Programeri će moći kvantificirati i izvijestiti o emisijama koje stvara niz različitih AI i računalnih eksperimenata. Tim odgovoran za stvaranje CodeCarbona nada se da će drugi programeri preuzeti njihov alat otvorenog koda i poboljšati ga novim značajkama koje će pomoći inženjerima umjetne inteligencije i istraživačima da još više obuzdaju svoj utjecaj na okoliš.