Pengembang Membuat Perangkat Lunak Sumber Terbuka untuk Membantu Peneliti AI Mengurangi Jejak Karbon

Sebuah kelompok peneliti AI dan ilmuwan data internasional telah berkolaborasi untuk merancang perangkat lunak yang mampu memperkirakan jejak karbon dari operasi komputasi. Paket perangkat lunak sumber terbuka, yang disebut CodeCarbo, dirancang oleh konsorsium perusahaan AI dan ilmu data. Harapannya adalah perangkat lunak ini akan memungkinkan dan mendorong programmer untuk membuat kode mereka lebih efisien dan mengurangi jumlah CO2 yang dihasilkan oleh penggunaan sumber daya komputasi.

Mengurangi Jejak Karbon

Menurut ITP, paket perangkat lunak CodeCarbon baru ini dikembangkan oleh tim kelompok penelitian AI yang dipimpin oleh perusahaan penelitian AI Mila, bersama dengan Comet.ml, Haverford College di Pennsylvania, dan GAMMA. Tidak hanya perangkat lunak ini memperkirakan jumlah CO2 yang dihasilkan oleh penggunaan sumber daya komputasi, tetapi juga memberikan pengembang saran untuk mengurangi jejak energi karbon mereka.

Pelatihan model AI dapat memerlukan banyak energi. Seperti yang dijelaskan oleh ArsTechnica, peneliti dari Universitas Massachusetts Amherst memperkirakan biaya total pembuatan dan pelatihan model AI tertentu, dan tim menemukan bahwa pelatihan jaringan bahasa alami BERT sekali menghasilkan sekitar jumlah karbon yang sama dengan penerbangan pulang pergi antara San Francisco dan New York. Sementara itu, pelatihan model beberapa kali hingga dioptimalkan dapat menghasilkan sekitar CO2 yang sama dengan 315 penumpang yang mengambil penerbangan yang sama.

Mengapa model AI mengonsumsi begitu banyak energi dan menghasilkan begitu banyak CO2 sebagai produk sampingan? Bagian dari jawabannya terletak pada bagaimana model AI dilatih dan dioptimalkan. Untuk mendapatkan peningkatan kecil atas algoritma yang ada, peneliti AI mungkin melatih model mereka ribuan kali, membuat sedikit perubahan pada model setiap kali hingga arsitektur model optimal ditemukan.

Model AI juga tumbuh dalam ukuran sepanjang waktu, menjadi lebih kompleks setiap tahun.

Algoritma dan model pembelajaran mesin paling kuat seperti GPT-3, BERT, dan VGG, memiliki jutaan parameter dan dilatih selama berminggu-minggu, berjumlah ratusan atau ribuan jam waktu pelatihan. GPT-2 memiliki sekitar 1,5 miliar parameter dalam jaringan, sedangkan GPT-3 memiliki sekitar 175 miliar bobot. Ini berakhir dengan menggunakan ratusan kilogram CO2.

CodeCarbon

CodeCarbon memiliki modul pelacakan yang mencatat jumlah daya yang digunakan oleh penyedia cloud dan pusat data. Sistem kemudian menggunakan data yang ditarik dari sumber yang tersedia secara publik untuk memperkirakan volume CO2 yang dihasilkan, memeriksa statistik dari grid listrik yang terhubung ke perangkat keras. Pelacak memperkirakan CO2 yang dihasilkan untuk setiap eksperimen menggunakan modul AI tertentu, menyimpan data emisi untuk proyek dan organisasi secara keseluruhan.

Pendiri Mila, Yohua Bengio, menjelaskan bahwa sementara AI adalah alat yang sangat kuat yang dapat menangani banyak masalah, seringkali memerlukan sejumlah besar daya komputasi. Sylvian Duranton, Managing Director of the Boston Consulting Group, berargumentasi bahwa komputasi dan AI akan terus tumbuh dengan tingkat eksponensial di seluruh dunia. Ide ini adalah bahwa CodeCarbon akan membantu perusahaan AI dan komputasi untuk mengurangi jejak karbon mereka saat mereka terus tumbuh. CodeCarbon akan menghasilkan dasbor yang memungkinkan perusahaan untuk dengan mudah melihat jumlah emisi yang dihasilkan oleh pelatihan model pembelajaran mesin mereka. Ini juga akan mewakili emisi dalam metrik yang dapat dengan mudah dipahami oleh pengembang, seperti jarak yang ditempuh dengan mobil, jam menonton TV, dan konsumsi energi rata-rata oleh rumah tangga di AS.

Pengembang CodeCarbon berharap bahwa perangkat lunak ini tidak hanya akan mendorong peneliti AI untuk mencoba mengurangi jejak karbon mereka sendiri, tetapi juga akan mendorong transparansi yang lebih besar tentang emisi secara keseluruhan. Pengembang akan dapat mengukur dan melaporkan emisi yang dihasilkan oleh berbagai eksperimen AI dan komputasi. Tim yang bertanggung jawab untuk menciptakan CodeCarbon berharap bahwa pengembang lain akan mengambil alat sumber terbuka mereka dan meningkatkannya dengan fitur baru yang akan membantu insinyur dan peneliti AI untuk mengurangi dampak lingkungan mereka lebih lanjut.