Utvecklare skapar programvara med öppen källkod för att hjälpa AI-forskare att minska koldioxidavtryck

En grupp internationella AI-forskare och datavetare har samarbetat för att designa programvara som kan uppskatta koldioxidavtrycket från datorverksamhet. Programpaketet med öppen källkod, kallat CodeCarbo, designades av ett konsortium av AI- och datavetenskapsföretag. Förhoppningen är att mjukvaran ska göra det möjligt för programmerare att göra sin kod mer effektiv och minska mängden CO2 som genereras av användningen av datorresurser.

Minska koldioxidavtryck

Enligt ITP, utvecklades det nya mjukvarupaketet CodeCarbon av ett team av AI-forskningsgrupper ledda av AI-forskningsföretaget Mila, tillsammans med Comet.ml, Haverford College i Pennsylvania och GAMMA. Programvaran uppskattar inte bara mängden CO2 som produceras genom användning av datorresurser, utan den ger också utvecklare råd för att minska deras koldioxidavtryck.

Utbildning av AI-modeller kan kräva mycket energi. Som förklarat av ArsTechnica, uppskattade forskare från University of Massachusetts Amherst den totala kostnaden för att skapa och träna vissa AI-modeller, och teamet fann att träning av det naturliga språknätverket BERT en gång genererade ungefär lika mycket koldioxid som en flygning tur och retur mellan San Francisco och New York. Samtidigt kan träning av modellen flera gånger tills den är optimerad generera så mycket CO2 som 315 olika passagerare som tar samma flygning.

Varför förbrukar AI-modeller så mycket energi och genererar så mycket CO2 som en biprodukt? En del av svaret ligger i hur AI-modeller tränas och optimeras. För att få till och med små förbättringar jämfört med de befintliga toppmoderna algoritmerna kan AI-forskare träna sin modell tusentals gånger om och göra små justeringar av modellen varje gång tills en optimal modellarkitektur upptäcks.

AI-modeller växer också i storlek hela tiden och blir mer komplexa för varje år.

De mest kraftfulla maskininlärningsalgoritmerna och modellerna som GPT-3, BERT och VGG har miljontals parametrar och tränas i veckor åt gången, vilket motsvarar hundratals eller tusentals timmars träningstid. GPT-2 hade cirka 1.5 miljarder parametrar inom nätverket, medan GPT-3 har cirka 175 miljarder vikter. Detta slutar med att använda hundratals kilo koldioxid.

CodeCarbon

CodeCarbon har en spårningsmekanismmodul som loggar mängden ström som används av molnleverantörer och datacenter. Systemet använder sedan data hämtade från allmänt tillgängliga källor för att uppskatta volymen av genererad CO2, kontrollerar statistik från det elnät som hårdvaran är ansluten till. Trackern uppskattar den CO2 som produceras för varje experiment med hjälp av en viss AI-modul, och lagrar utsläppsdata för både projekt och hela organisationen.

Grundaren av Mila, Yohua Bengio, förklarade att även om AI är ett otroligt kraftfullt verktyg som kan hantera många problem, kräver det ofta en betydande mängd datorkraft. Sylvian Duranton, VD för Boston Consulting Group, hävdade att datoranvändning och AI kommer att fortsätta växa i exponentiella takter runt om i världen. Tanken är att CodeCarbon ska hjälpa AI- och dataföretag att hålla tillbaka sitt koldioxidavtryck när de fortsätter att växa. CodeCarbon kommer att generera en instrumentpanel som gör att företag enkelt kan se mängden utsläpp som genereras av utbildningen av deras maskininlärningsmodeller. Det kommer också att representera utsläppen i mätvärden som utvecklare lätt kan förstå, såsom mil körda i en bil, timmar med tv-tittande och typisk energiförbrukning för ett hushåll i USA.

CodeCarbon-utvecklarna förväntar sig att programvaran inte bara kommer att uppmuntra AI-forskare att försöka minska sitt eget koldioxidavtryck, utan att det kommer att uppmuntra större transparens när det gäller utsläpp överlag. Utvecklare kommer att kunna kvantifiera och rapportera om utsläpp som genereras av en rad olika AI- och datorexperiment. Teamet som ansvarar för att skapa CodeCarbon hoppas att andra utvecklare kommer att ta deras open source-verktyg och förbättra det med nya funktioner som hjälper AI-ingenjörer och forskare att minska deras miljöpåverkan ytterligare.