Vývojáři vytvořili open source software, aby pomohli výzkumníkům AI snížit uhlíkovou stopu

Skupina mezinárodních výzkumníků AI a datových vědců spolupracovala na návrhu softwaru, který je schopen odhadnout uhlíkovou stopu výpočetních operací. Balíček open-source softwaru, nazvaný CodeCarbo, byl navržen konsorciem společností AI a datové vědy. Doufají, že software umožní a motivuje programátory, aby jejich kód učili efektivnější a snížili množství CO2 generovaného použitím výpočetních zdrojů.

Snížení uhlíkové stopy

Podle ITP, nový balíček softwaru CodeCarbon byl vyvinut týmem výzkumných skupin AI vedených společností Mila, spolu s Comet.ml, Haverford College v Pensylvánii a GAMMA. Software nejenže odhaduje množství CO2 vyprodukovaného použitím výpočetních zdrojů, ale také poskytuje vývojářům rady, jak snížit svou uhlíkovou stopu.
Školení modelů AI může vyžadovat大量 energie. Jak vysvětluje ArsTechnica, výzkumníci z University of Massachusetts Amherst odhadli celkové náklady na vytvoření a školení určitých modelů AI a tým zjistil, že školení sítě BERT jednou vygenerovalo přibližně tolik uhlíku, jako let mezi San Franciskem a New Yorkem. Zatímco školení modelu mnohokrát, dokud není optimalizován, může vygenerovat tolik CO2, jako 315 různých pasažérů, kteří absolvují stejný let.
Proč přesně modely AI spotřebují tolik energie a generují tolik CO2 jako vedlejší produkt? Část odpovědi spočívá v tom, jak jsou modely AI školeny a optimalizovány. Aby získali i malé zlepšení nad stávajícími algoritmy, výzkumníci AI mohou školení svého modelu tisíckrát, přičemž každým okamžikem provádějí malé úpravy modelu, dokud není objevena optimální architektura modelu.
Modely AI také neustále rostou, stávají se složitějšími každý rok.
Nejmocnější algoritmy strojového učení a modely, jako GPT-3, BERT a VGG, mají miliony parametrů a jsou školeny týdny, což představuje stovky nebo tisíce hodin školení. GPT-2 měl přibližně 1,5 miliardy parametrů ve síti, zatímco GPT-3 má kolem 175 miliard váh. To nakonec spotřebuje stovky kilogramů uhlíku.

CodeCarbon

CodeCarbon má modul pro sledování, který zaznamenává množství energie spotřebované poskytovateli cloudových služeb a datových center. Systém pak používá data z veřejně dostupných zdrojů k odhadu objemu CO2 vyprodukovaného, kontroluje statistiky z elektrické sítě, ke které je hardware připojen. Sledovač odhaduje CO2 vyprodukované pro každý experiment pomocí konkrétního modulu AI, ukládá data o emisích pro projekty i celou organizaci.
Zakladatel Mila, Yohua Bengio, vysvětlil, že zatímco AI je neuvěřitelně silným nástrojem, který může řešit mnoho problémů, často vyžaduje大量 výpočetní síly. Sylvian Duranton, generální ředitel Boston Consulting Group, argumentoval, že výpočetní technika a AI budou i nadále růst exponenciálně po celém světě. Nápad spočívá v tom, že CodeCarbon pomůže společnostem AI a výpočetní technice omezit svou uhlíkovou stopu, zatímco budou i nadále růst. CodeCarbon vygeneruje panel, který umožní společnostem snadno vidět množství emisí vyprodukovaných školením svých modelů strojového učení. Také bude představovat emise v metrikách, které vývojáři snadno pochopí, jako je počet ujetých mil, hodiny sledovaného TV a typické spotřebě energie domácností v USA.
Vývojáři CodeCarbon očekávají, že software nejen povzbudí výzkumníky AI, aby se snažili snížit svou vlastní uhlíkovou stopu, ale také povzbudí větší transparentnost ohledně emisí obecně. Vývojáři budou moci kvantifikovat a hlásit emise vyprodukované řadou různých experimentů AI a výpočetní techniky. Tým odpovědný za vytvoření CodeCarbon doufá, že ostatní vývojáři vezmou jejich open-source nástroj a vylepší jej novými funkcemi, které pomohou inženýrům a výzkumníkům AI omezit svůj environmentální dopad ještě dále.