Entwickler erstellen Open-Source-Software, um AI-Forschern zu helfen, ihren CO2-Fußabdruck zu reduzieren

Eine Gruppe internationaler AI-Forscher und Data-Scientist haben zusammengearbeitet, um eine Software zu entwerfen, die den CO2-Fußabdruck von Rechenoperationen schätzen kann. Das Open-Source-Softwarepaket, genannt CodeCarbo, wurde von einem Konsortium von AI- und Data-Science-Unternehmen entworfen. Die Hoffnung ist, dass die Software es ermöglichen und anregen wird, dass Programmierer ihren Code effizienter machen und die Menge an CO2, die durch die Nutzung von Rechenressourcen erzeugt wird, reduzieren.

Reduzierung des CO2-Fußabdrucks

Laut ITP, wurde das neue CodeCarbon-Softwarepaket von einem Team von AI-Forschungsgruppen unter der Leitung des AI-Forschungsunternehmens Mila, zusammen mit Comet.ml, Haverford College in Pennsylvania und GAMMA, entwickelt. Die Software schätzt nicht nur die Menge an CO2, die durch die Nutzung von Rechenressourcen erzeugt wird, sondern bietet auch Entwicklern Ratschläge, um ihren CO2-Fußabdruck zu reduzieren.

Das Training von AI-Modellen kann viel Energie erfordern. Wie von ArsTechnica erklärt, schätzten Forscher der University of Massachusetts Amherst die Gesamtkosten für die Erstellung und das Training bestimmter AI-Modelle und fanden heraus, dass das Training des natürlichen Sprachnetzwerks BERT einmal etwa so viel CO2 erzeugte wie ein Hin- und Rückflug zwischen San Francisco und New York. Während das Training des Modells mehrmals, bis es optimiert ist, so viel CO2 erzeugen könnte wie 315 verschiedene Passagiere, die denselben Flug nehmen.

Warum verbrauchen AI-Modelle so viel Energie und erzeugen so viel CO2 als Nebenprodukt? Teil der Antwort liegt in der Art und Weise, wie AI-Modelle trainiert und optimiert werden. Um auch nur kleine Verbesserungen gegenüber den bestehenden Algorithmen zu erzielen, können AI-Forscher ihr Modell tausendfach trainieren, wobei sie jedes Mal kleine Anpassungen am Modell vornehmen, bis eine optimale Modellarchitektur entdeckt wird.

AI-Modelle wachsen auch ständig in der Größe und werden jedes Jahr komplexer.

Die leistungsfähigsten Machine-Learning-Algorithmen und -Modelle wie GPT-3, BERT und VGG haben Millionen von Parametern und werden über Wochen hinweg trainiert, was Hunderte oder Tausende von Trainingsstunden entspricht. GPT-2 hatte etwa 1,5 Milliarden Parameter im Netzwerk, während GPT-3 etwa 175 Milliarden Gewichte hat. Dies führt dazu, dass Hunderte von Kilogramm CO2 verbraucht werden.

CodeCarbon

CodeCarbon verfügt über ein Tracking-Mechanismus-Modul, das die von Cloud-Anbietern und Rechenzentren verbrauchte Leistung protokolliert. Das System verwendet dann Daten aus öffentlich zugänglichen Quellen, um die Menge an CO2 zu schätzen, die erzeugt wird, indem es Statistiken aus dem Stromnetz überprüft, mit dem die Hardware verbunden ist. Der Tracker schätzt die CO2-Produktion für jedes Experiment mit einem bestimmten AI-Modul und speichert die Emissionsdaten für Projekte und die gesamte Organisation.

Der Gründer von Mila, Yohua Bengio, erklärte, dass AI ein unglaublich leistungsfähiges Werkzeug ist, das viele Probleme lösen kann, aber oft eine erhebliche Menge an Rechenleistung erfordert. Sylvian Duranton, Managing Director der Boston Consulting Group, argumentierte, dass Computing und AI weiterhin exponentiell um die Welt herum wachsen werden. Die Idee ist, dass CodeCarbon AI- und Computing-Unternehmen helfen wird, ihren CO2-Fußabdruck zu reduzieren, während sie weiter wachsen. CodeCarbon wird ein Dashboard generieren, das es Unternehmen ermöglicht, die Menge an Emissionen, die durch das Training ihrer Machine-Learning-Modelle erzeugt wird, leicht zu sehen. Es wird auch die Emissionen in Metriken darstellen, die Entwickler leicht verstehen können, wie z. B. gefahrene Meilen in einem Auto, Stunden Fernsehschauen und typischer Energieverbrauch eines Haushalts in den USA.

Die Entwickler von CodeCarbon erwarten, dass die Software nicht nur AI-Forscher ermutigen wird, ihren eigenen CO2-Fußabdruck zu reduzieren, sondern auch eine größere Transparenz hinsichtlich der Emissionen insgesamt fördern wird. Entwickler werden in der Lage sein, die Emissionen, die durch eine Reihe von AI- und Computing-Experimenten erzeugt werden, zu quantifizieren und zu berichten. Das Team, das CodeCarbon erstellt hat, hofft, dass andere Entwickler ihr Open-Source-Tool übernehmen und es mit neuen Funktionen erweitern werden, die AI-Ingenieuren und Forschern helfen, ihren Umweltimpact noch weiter zu reduzieren.