Các nhà phát triển tạo phần mềm nguồn mở để giúp các nhà nghiên cứu AI giảm lượng khí thải carbon

Một nhóm các nhà nghiên cứu AI quốc tế và các nhà khoa học dữ liệu đã hợp tác để thiết kế phần mềm có khả năng ước tính lượng khí thải carbon của các hoạt động điện toán. Gói phần mềm mã nguồn mở, được gọi là CodeCarbo, được thiết kế bởi một tập đoàn gồm các công ty khoa học dữ liệu và trí tuệ nhân tạo. Hy vọng là phần mềm sẽ cho phép và khuyến khích các lập trình viên làm cho mã của họ hiệu quả hơn và giảm lượng CO2 được tạo ra do sử dụng tài nguyên máy tính.

Giảm lượng khí thải carbon

Theo ITP, gói phần mềm CodeCarbon mới được phát triển bởi một nhóm gồm các nhóm nghiên cứu AI do công ty nghiên cứu AI Mila đứng đầu, cùng với Comet.ml, Haverford College ở Pennsylvania và GAMMA. Phần mềm không chỉ ước tính lượng CO2 được tạo ra bằng cách sử dụng tài nguyên máy tính mà còn cung cấp cho các nhà phát triển lời khuyên để giảm lượng khí thải carbon của họ.

Đào tạo mô hình AI có thể cần rất nhiều năng lượng. Theo giải thích của ArsTechnica, các nhà nghiên cứu từ Đại học Massachusetts Amherst đã ước tính tổng chi phí tạo và đào tạo một số mô hình AI nhất định và nhóm nhận thấy rằng việc đào tạo mạng ngôn ngữ tự nhiên BERT từng tạo ra lượng carbon xấp xỉ bằng một chuyến bay khứ hồi giữa San Francisco và New York. Trong khi đó, đào tạo mô hình nhiều lần cho đến khi nó được tối ưu hóa có thể tạo ra lượng CO2 tương đương với 315 hành khách khác nhau trên cùng một chuyến bay.

Chính xác thì tại sao các mô hình AI tiêu thụ quá nhiều năng lượng và tạo ra quá nhiều CO2 như một sản phẩm phụ? Một phần của câu trả lời nằm ở cách các mô hình AI được đào tạo và tối ưu hóa. Để có được những cải tiến dù chỉ là nhỏ so với các thuật toán tiên tiến nhất hiện có, các nhà nghiên cứu AI có thể đào tạo mô hình của họ hàng nghìn lần, mỗi lần thực hiện một số điều chỉnh nhỏ đối với mô hình cho đến khi phát hiện ra kiến ​​trúc mô hình tối ưu.

Các mô hình AI cũng không ngừng phát triển về quy mô và trở nên phức tạp hơn qua từng năm.

Các thuật toán và mô hình học máy mạnh mẽ nhất như GPT-3, BERT và VGG, có hàng triệu tham số và được đào tạo trong nhiều tuần liên tục, lên tới hàng trăm hoặc hàng nghìn giờ đào tạo. GPT-2 có khoảng 1.5 tỷ tham số trong mạng, trong khi GPT-3 có khoảng 175 tỷ trọng lượng. Điều này dẫn đến việc sử dụng hàng trăm kg CO2.

MãCarbon

CodeCarbon có một mô-đun cơ chế theo dõi ghi lại lượng điện năng được sử dụng bởi các nhà cung cấp đám mây và trung tâm dữ liệu. Sau đó, hệ thống sử dụng dữ liệu được lấy từ các nguồn có sẵn công khai để ước tính lượng CO2 được tạo ra, kiểm tra số liệu thống kê từ lưới điện mà phần cứng được kết nối. Trình theo dõi ước tính lượng CO2 được tạo ra cho mọi thử nghiệm bằng cách sử dụng một mô-đun AI cụ thể, lưu trữ dữ liệu phát thải cho cả dự án và toàn bộ tổ chức.

Người sáng lập Mila, Yohua Bengio, giải thích rằng mặc dù AI là một công cụ vô cùng mạnh mẽ có thể giải quyết nhiều vấn đề, nhưng nó thường đòi hỏi một lượng điện năng máy tính đáng kể. Sylvian Duranton, Giám đốc điều hành của Boston Consulting Group, lập luận rằng máy tính và AI sẽ tiếp tục phát triển với tốc độ cấp số nhân trên toàn thế giới. Ý tưởng là CodeCarbon sẽ giúp các công ty AI và máy tính hạn chế lượng khí thải carbon của họ khi họ tiếp tục phát triển. CodeCarbon sẽ tạo ra một bảng điều khiển cho phép các công ty dễ dàng nhìn thấy lượng khí thải do đào tạo các mô hình máy học của họ tạo ra. Nó cũng sẽ thể hiện lượng khí thải trong các số liệu mà các nhà phát triển có thể dễ dàng hiểu được, chẳng hạn như số km lái xe, số giờ xem TV và mức tiêu thụ năng lượng điển hình của một hộ gia đình ở Hoa Kỳ.

Các nhà phát triển CodeCarbon kỳ vọng rằng phần mềm này sẽ không chỉ khuyến khích các nhà nghiên cứu AI cố gắng giảm lượng khí thải carbon của chính họ mà còn khuyến khích sự minh bạch hơn về lượng khí thải nói chung. Các nhà phát triển sẽ có thể định lượng và báo cáo về lượng khí thải được tạo ra bởi một loạt các thử nghiệm điện toán và AI khác nhau. Nhóm chịu trách nhiệm tạo CodeCarbon hy vọng rằng các nhà phát triển khác sẽ sử dụng công cụ nguồn mở của họ và cải tiến nó bằng các tính năng mới sẽ giúp các kỹ sư và nhà nghiên cứu AI hạn chế tác động môi trường của họ hơn nữa.