Deweloperzy tworzą oprogramowanie open source, aby pomóc badaczom AI w redukcji śladu węglowego

Grupa międzynarodowych badaczy AI i naukowców danych współpracowała w celu zaprojektowania oprogramowania zdolnego do szacowania śladu węglowego operacji komputerowych. Pakiet oprogramowania open-source, nazwany CodeCarbo, został zaprojektowany przez konsorcjum firm AI i data-science. Istnieje nadzieja, że oprogramowanie to umożliwi i zachęci programistów do uczynienia ich kodu bardziej efektywnym i zmniejszenia ilości CO2 generowanej przez użycie zasobów komputerowych.

Reducing Carbon Footprint

Według ITP, nowy pakiet oprogramowania CodeCarbon został opracowany przez zespół grup badawczych AI pod przewodnictwem firmy badawczej AI Mila, wraz z Comet.ml, Haverford College w Pensylwanii i GAMMA. Oprogramowanie to nie tylko szacuje ilość CO2 wyprodukowanego przez użycie zasobów komputerowych, ale również zapewnia deweloperom porady dotyczące zmniejszenia ich śladu węglowego.

Trening modeli AI może wymagać dużej ilości energii. Jak wyjaśnia ArsTechnica, badacze z Uniwersytetu Massachusetts Amherst oszacowali całkowity koszt tworzenia i trenowania pewnych modeli AI, a zespół stwierdził, że trenowanie sieci językowej BERT jeden raz wygenerowało przybliżoną ilość węgla, jak lot w obie strony między San Francisco a Nowym Jorkiem. Tymczasem trenowanie modelu wielokrotnie, aż do optymalizacji, mogło wygenerować tyle CO2, ile 315 pasażerów podróżujących tym samym lotem.

Dlaczego właściwie modele AI zużywają tyle energii i generują tyle CO2 jako produkt uboczny? Część odpowiedzi leży w tym, jak modele AI są trenowane i optymalizowane. Aby uzyskać nawet niewielkie ulepszenia istniejących algorytmów stanu sztuki, badacze AI mogą trenować swój model tysiące razy, wprowadzając niewielkie modyfikacje modelu za każdym razem, aż do odkrycia optymalnej architektury modelu.

Modele AI również rosną w rozmiarze cały czas, stając się bardziej złożone każdego roku.

Najpotężniejsze algorytmy uczenia maszynowego i modele, takie jak GPT-3, BERT i VGG, mają miliony parametrów i są trenowane przez tygodnie, co wynosi setki lub tysiące godzin czasu trenowania. GPT-2 miał około 1,5 miliarda parametrów w sieci, podczas gdy GPT-3 ma około 175 miliardów wag. To skutkuje użyciem setek kilogramów węgla.

CodeCarbon

CodeCarbon ma moduł mechanizmu śledzącego, który rejestruje ilość energii zużywanej przez dostawców chmury i centra danych. System następnie wykorzystuje dane pobrane z publicznie dostępnych źródeł, aby oszacować objętość CO2 wygenerowanego, sprawdzając statystyki z sieci elektrycznej, do której podłączone jest sprzęt. Śledzący szacuje CO2 wyprodukowane dla każdego eksperymentu przy użyciu określonego modułu AI, przechowując dane emisji dla projektów i całej organizacji.

Założyciel Mila, Yohua Bengio, wyjaśnił, że podczas gdy AI jest niezwykle potężnym narzędziem, które może rozwiązać wiele problemów, często wymaga znacznej ilości mocy obliczeniowej. Sylvian Duranton, Dyrektor Zarządzający Boston Consulting Group, argumentował, że komputery i AI będą nadal rosły w tempie wykładniczym na całym świecie. Pomysł polega na tym, że CodeCarbon pomoże firmom AI i komputerowym ograniczyć swój ślad węglowy, gdy będą nadal rosły. CodeCarbon wygeneruje pulpit nawigacyjny, który pozwoli firmom łatwo zobaczyć ilość emisji wygenerowanej przez trenowanie ich modeli uczenia maszynowego. Będzie również reprezentować emisje w metrykach, które deweloperzy mogą łatwo zrozumieć, takich jak mile przejechane samochodem, godziny oglądania telewizji i typowe zużycie energii przez gospodarstwo domowe w USA.

Deweloperzy CodeCarbon oczekują, że oprogramowanie to nie tylko zachęci badaczy AI do prób redukcji własnego śladu węglowego, ale również zachęci do większej przejrzystości emisji ogółem. Deweloperzy będą mogli ilościowo określić i raportować emisje wygenerowane przez różne eksperymenty AI i komputerowe. Zespół odpowiedzialny za stworzenie CodeCarbon liczy, że inni deweloperzy wezmą ich oprogramowanie open-source i ulepszają je nowymi funkcjami, które pomogą inżynierom AI i badaczom ograniczyć swój wpływ na środowisko jeszcze bardziej.