Dezvoltatori creează software cu sursă deschisă pentru a ajuta cercetătorii AI să reducă amprenta de carbon

Un grup de cercetători internaționali AI și oameni de știință din domeniul datelor au colaborat pentru a proiecta software capabil să estimeze amprenta de carbon a operațiunilor de calcul. Pachetul de software cu sursă deschisă, numit CodeCarbo, a fost proiectat de un consorțiu de companii AI și știință a datelor. Speranța este că software-ul va permite și va stimula programatorii să-și facă codul mai eficient și să reducă cantitatea de CO2 generată de utilizarea resurselor de calcul.

Reducerea amprentei de carbon

Conform ITP, noul pachet de software CodeCarbon a fost dezvoltat de o echipă de grupuri de cercetare AI conduse de compania de cercetare AI Mila, împreună cu Comet.ml, Haverford College din Pennsylvania și GAMMA. Software-ul nu numai că estimează cantitatea de CO2 produsă de utilizarea resurselor de calcul, dar oferă și sfaturi dezvoltatorilor pentru reducerea amprentei de carbon a energiei.

Antrenarea modelelor AI poate necesita multă energie. Așa cum explică ArsTechnica, cercetătorii de la Universitatea din Massachusetts Amherst au estimat costul total al creării și antrenării anumitor modele AI, iar echipa a constatat că antrenarea rețelei de limbaj natural BERT de o singură dată a generat aproximativ atâta carbon câtă ar fi generat de un zbor dus-întors între San Francisco și New York. Între timp, antrenarea modelului de mai multe ori până când este optimizat ar putea genera atâta CO2 câtă ar fi generat de 315 de pasageri diferiți care ar face același zbor.

De ce modelele AI consumă atât de multă energie și generează atâta CO2 ca produs secundar? Parte a răspunsului constă în modul în care modelele AI sunt antrenate și optimizate. Pentru a obține îmbunătățiri mici față de algoritmii existenți, cercetătorii AI ar putea antrena modelul lor de mii de ori, făcând ajustări mici ale modelului de fiecare dată până când se descoperă o arhitectură de model optimă.

Modelele AI cresc în dimensiune în permanență, devenind mai complexe în fiecare an.

Algoritmii și modelele de învățare automată cele mai puternice, cum ar fi GPT-3, BERT și VGG, au milioane de parametri și sunt antrenate timp de săptămâni, ceea ce înseamnă sute sau mii de ore de antrenament. GPT-2 avea aproximativ 1,5 miliarde de parametri în rețea, în timp ce GPT-3 are aproximativ 175 de miliarde de greutăți. Acest lucru se traduce prin utilizarea a sute de kilograme de CO2.

CodeCarbon

CodeCarbon are un mecanism de urmărire care înregistrează cantitatea de putere utilizată de furnizorii de cloud și centrele de date. Sistemul utilizează apoi date extrase din surse publice disponibile pentru a estima volumul de CO2 generat, verificând statisticile de la rețeaua electrică la care este conectată hardware-ul. Urmăritorul estimează CO2 produs pentru fiecare experiment care utilizează un anumit modul AI, stocând datele de emisii atât pentru proiecte, cât și pentru întreaga organizație.

Fondatorul Mila, Yohua Bengio, a explicat că, deși AI este un instrument incredibil de puternic care poate aborda multe probleme, adesea necesită o cantitate substanțială de putere de calcul. Sylvian Duranton, director general al Boston Consulting Group, a argumentat că calculul și AI-ul vor continua să crească la rate exponențiale în întreaga lume. Ideea este că CodeCarbon va ajuta companiile AI și de calcul să-și restrângă amprenta de carbon pe măsură ce continuă să crească. CodeCarbon va genera un dashboard care permite companiilor să vadă ușor cantitatea de emisii generate de antrenarea modelelor lor de învățare automată. De asemenea, va reprezenta emisiile în metrici pe care dezvoltatorii le pot înțelege ușor, cum ar fi kilometrii parcurși cu mașina, orele de televizor vizionate și consumul tipic de energie al unui gospodărie din SUA.

Dezvoltatorii CodeCarbon se așteaptă ca software-ul să nu numai să încurajeze cercetătorii AI să încerce să-și reducă propria amprentă de carbon, dar să stimuleze și o mai mare transparență cu privire la emisii în general. Dezvoltatorii vor putea cuantifica și raporta emisiile generate de o varietate de experimente AI și de calcul. Echipa responsabilă pentru crearea CodeCarbon speră că alți dezvoltatori vor prelua instrumentul lor cu sursă deschisă și îl vor îmbunătăți cu funcții noi care vor ajuta inginerii și cercetătorii AI să-și reducă impactul asupra mediului într-o măsură și mai mare.