Đo lường và giảm dấu chân carbon của AI bằng CodeCarbon

Các khối tải AI tiêu thụ điện, và lượng khí nhà kính phát sinh từ điện này phụ thuộc vào nơi và thời điểm tính toán được thực hiện. CodeCarbon là một công cụ mã nguồn mở ước tính phát thải hoạt động bằng cách kết hợp ước tính năng lượng của khối tải với cường độ carbon của điện.

Một ước tính hữu ích khi ranh giới và độ không chắc của nó được nêu rõ. Nó không tự động bao gồm việc sản xuất phần cứng, xây dựng trung tâm dữ liệu, mạng, lưu trữ hoặc các tác động hậu quả khi triển khai mô hình.

Những điểm chính

• Sử dụng năng lượng và phát thải carbon có liên quan nhưng không đồng nhất; cường độ carbon của lưới điện thay đổi theo khu vực và thời gian.
• CodeCarbon ước tính năng lượng của CPU, GPU và bộ nhớ, sau đó áp dụng các hệ số phát thải phụ thuộc vào vị trí.
• Mức độ sử dụng phần cứng, thời gian chạy, chi phí phụ trợ trung tâm dữ liệu và nguồn đo lường ảnh hưởng đến độ chính xác.
• Mục tiêu thực tiễn là báo cáo và giảm thiểu có thể so sánh, không phải độ chính xác giả tạo.

Năng lượng, công suất và cường độ carbon

Công suất là tốc độ tiêu thụ năng lượng, thường đo bằng watt. Năng lượng tích lũy theo thời gian, thường đo bằng kilowatt-giờ. Lượng CO₂ tương đương hoạt động được ước tính bằng cách nhân năng lượng với một hệ số phát thải, chẳng hạn gram CO₂e trên mỗi kilowatt-giờ.

Cùng một công việc có thể có lượng phát thải khác nhau khi chạy trên lưới điện sạch hơn hoặc vào thời điểm carbon thấp hơn. Một bộ tăng tốc nhanh hơn có thể tiêu thụ công suất tức thời cao hơn nhưng tổng năng lượng ít hơn nếu hoàn thành nhanh hơn nhiều.

CodeCarbon đo lường gì

CodeCarbon quan sát hoặc ước tính năng lượng cho các thành phần tính toán và ghi lại siêu dữ liệu như thời lượng và vị trí. Khi phần cứng cung cấp dữ liệu đo công suất trực tiếp, các ước tính có thể chi tiết hơn; nếu không, công cụ sẽ sử dụng mô hình phần cứng và giả định mức độ sử dụng.

Chế độ trực tuyến có thể sử dụng cường độ carbon dựa trên vị trí, trong khi cài đặt ngoại tuyến dựa vào các hệ số đã cấu hình. Kết quả là một ước tính, phương pháp, phiên bản phần mềm và cấu hình của nó nên được lưu lại cùng với thí nghiệm.

Chọn ranh giới báo cáo

Ranh giới ở mức chạy có thể bao gồm một công việc đào tạo. Ranh giới dự án có thể bao gồm việc tìm kiếm siêu tham số, các chạy thất bại, tiền xử lý và suy luận. Ranh giới dịch vụ có thể bao gồm mạng, lưu trữ và triển khai liên tục.

Hiệu suất sử dụng năng lượng của trung tâm dữ liệu (PUE) tính đến chi phí phụ trợ của cơ sở vượt ra ngoài thiết bị CNTT. Phát thải nội tại từ sản xuất và xây dựng đòi hỏi dữ liệu vòng đời mà bộ theo dõi thời gian chạy thường không cung cấp. Báo cáo nên nêu rõ các ngoại lệ thay vì trộn lẫn các tổng không so sánh được.

Giảm trước khi bù đắp

Bắt đầu với giá trị của khối tải: loại bỏ các thí nghiệm dư thừa, sử dụng dừng sớm, tái sử dụng các checkpoint và chọn các baseline hiệu quả. Cải thiện mức độ sử dụng, nhóm dữ liệu hợp lý và phù hợp kích thước mô hình với nhiệm vụ. Học chuyển giao có thể tránh việc đào tạo từ đầu.

Lên lịch công việc linh hoạt ở các khu vực hoặc thời điểm có carbon thấp hơn khi pháp luật và thực tiễn cho phép. Nén mô hình và chọn phần cứng phục vụ hiệu quả; AI biên có thể giảm việc truyền dữ liệu nhưng cũng có thể sao chép phần cứng chưa được sử dụng hết, vì vậy hãy đo toàn bộ hệ thống.

Báo cáo độ không chắc và so sánh công bằng

Công bố phần cứng, vị trí, thời gian chạy, năng lượng, hệ số phát thải, số lần chạy và liệu giá trị được đo hay ước tính. Tách tính toán khám phá khỏi lần đào tạo cuối cùng. Tránh báo cáo quá nhiều chữ thập phân khi các giả định chi phối độ chính xác.

So sánh các hệ thống ở cùng mức chất lượng nhiệm vụ và cùng ranh giới. Một mô hình tiêu thụ năng lượng thấp nhưng không hoàn thành nhiệm vụ không hiệu quả, trong khi một cải thiện độ chính xác nhỏ có thể không biện minh cho việc tăng đáng kể tài nguyên. Carbon là một yếu tố ảnh hưởng cùng với chi phí, nước, vòng đời phần cứng và lợi ích xã hội.

CodeCarbon ước tính gì

CodeCarbon ước tính mức tiêu thụ năng lượng và phát thải carbon liên quan đến một phép tính. Tùy thuộc vào môi trường và dữ liệu đo sẵn có, nó có thể đọc CPU, GPU, RAM hoặc công suất hệ thống, tích hợp năng lượng theo thời gian và nhân với ước tính cường độ carbon của khu vực điện. Kết quả là các ước tính chịu ảnh hưởng của phạm vi phần cứng, khoảng thời gian lấy mẫu, phân bổ quy trình, mô hình công suất, vị trí và dữ liệu lưới. Chúng nên bao gồm đơn vị, phiên bản, phương pháp và độ không chắc thay vì được báo cáo như các đo lường vật lý chính xác.

Phát thải hoạt động xuất phát từ điện năng trong quá trình đào tạo và suy luận; phát thải nội tại đến từ sản xuất, vận chuyển và tiêu hủy phần cứng và thường nằm ngoài phạm vi của bộ theo dõi thời gian chạy. Các máy chủ chia sẻ làm phức tạp việc phân bổ, trong khi các phiên bản đám mây có thể chỉ cung cấp dữ liệu đo hạn chế. Cường độ trung bình của lưới điện khác với cường độ biên và thay đổi theo thời gian. Hợp đồng năng lượng tái tạo và các biện pháp bù đắp là công cụ kế toán, không phải bằng chứng cho thấy khối tải gây ra phát thải bằng không. Hãy nêu rõ ranh giới trước khi so sánh các lần chạy hoặc nhà cung cấp.

Thiết kế thí nghiệm đo lường có ý nghĩa

Theo dõi nhiệm vụ, mô hình, dữ liệu, phần cứng, khu vực, thời lượng, mức độ sử dụng, năng lượng, ước tính carbon, chất lượng và số lượng đầu ra thành công. Hiệu ứng khởi động và bộ nhớ đệm có thể làm sai lệch các lần chạy ngắn, vì vậy lặp lại đo lường dưới tải kiểm soát. So sánh các mô hình ở cùng mức chất lượng và mục tiêu dịch vụ thay vì dựa vào một epoch đào tạo hoặc số token. Bao gồm việc chuẩn bị dữ liệu, tìm kiếm siêu tham số, các thí nghiệm thất bại, tài nguyên nhàn rỗi và suy luận lặp lại khi có ảnh hưởng đáng kể. Một dấu chân đào tạo nhỏ hơn có thể bị áp đảo bởi việc phục vụ với khối lượng lớn.

Sử dụng công cụ để tìm các yếu tố kỹ thuật: giảm các lần chạy không cần thiết, dùng dừng sớm, điều chỉnh kích thước bộ tăng tốc phù hợp, cải thiện mức độ sử dụng và nhóm dữ liệu, chọn mô hình hiệu quả, lượng tử hoá hoặc tách gọn, lưu kết quả trong bộ nhớ đệm, lên lịch công việc linh hoạt trong các khoảng thời gian hoặc khu vực carbon thấp, và loại bỏ tài nguyên nhàn rỗi. Mọi tối ưu hóa phải duy trì độ chính xác, độ trễ, an toàn và độ tin cậy yêu cầu. Di chuyển tính toán mà không xem xét việc truyền dữ liệu hoặc các hạn chế khu vực có thể chỉ chuyển đổi tác động thay vì giảm nó.

Báo cáo và quản trị

Công bố phương pháp, phiên bản phần mềm, phần cứng, giả định địa lý, chỉ số chất lượng và độ không chắc cùng với ước tính. Tránh so sánh các tổ chức sử dụng ranh giới khác nhau. Đặt ngân sách và xem xét các thí nghiệm lớn trước khi chúng chạy, nhưng không thưởng cho các nhóm vì giấu tính toán ngoài môi trường đo lường. Bảo mật siêu dữ liệu thí nghiệm và tránh ghi lại các lời nhắc hoặc dữ liệu riêng tư. CodeCarbon làm cho chi phí môi trường trở nên hiện rõ và có thể so sánh trong một phương pháp có kỷ luật; nó không thể cung cấp đánh giá vòng đời đầy đủ hoặc thay thế việc kiểm toán năng lượng và carbon được xác minh độc lập.

Ví dụ thực tế: so sánh hai lần đào tạo mô hình

Một nhóm đào tạo cùng một mô hình hình ảnh trên hai loại bộ tăng tốc và sử dụng CodeCarbon với dữ liệu, mục tiêu chất lượng, logic nhóm và quy tắc dừng giống nhau. Nhóm ghi lại phiên bản công cụ, phần cứng, khu vực, tần suất lấy mẫu, mức độ sử dụng, thời lượng, năng lượng, nguồn cường độ carbon và độ không chắc. So sánh bao gồm các thử nghiệm thất bại và tiền xử lý, trong khi phát thải phần cứng nội tại được xác định rõ là ngoài ước tính thời gian chạy. Kết quả được chuẩn hoá trên mỗi lần đào tạo đáp ứng tiêu chuẩn chất lượng.

Cấu hình hiệu quả hơn sau đó được kiểm tra về độ trễ suy luận, độ tin cậy và độ chính xác downstream. Các kỹ sư giảm thời gian nhàn rỗi và các lần chạy siêu tham số, cải thiện việc nhóm dữ liệu, và lên lịch công việc linh hoạt ở nơi cường độ lưới điện thấp hơn mà không di chuyển dữ liệu được quy định. Một báo cáo công bố các giả định và tránh khẳng định không có tác động từ hợp đồng năng lượng tái tạo. Ước tính trở thành một ngân sách và tín hiệu thiết kế, không phải huy hiệu tiếp thị. Việc đo lường lặp lại kiểm tra liệu tối ưu hoá đã giảm tổng khối lượng công việc vòng đời hay chỉ giảm một lần chạy có thể quan sát được.

Bằng chứng triển khai và khả năng vận hành

Một quyết định sản xuất cần nhiều hơn một buổi trình diễn thành công. Xác định người dùng dự định, môi trường vận hành, đầu vào, đầu ra, các phụ thuộc, người sở hữu và hậu quả của mỗi lỗi quan trọng. Thiết lập một nền tảng có thể tái tạo và một bộ đánh giá có phiên bản trước khi tinh chỉnh. Kiểm tra các trường hợp bình thường, điều kiện biên, đầu vào sai định dạng hoặc thiếu, sự dịch chuyển phân phối, mất kết nối phụ thuộc, lạm dụng, và các nhóm hoặc môi trường có khả năng bị thiếu hụt. Đo lường chất lượng nhiệm vụ cùng với hiệu chuẩn hoặc độ không chắc, độ trễ, thông lượng, chi phí tài nguyên, khả năng tiếp cận, quyền riêng tư và bảo mật. Ghi lại mọi chuyển đổi và ngưỡng để một người đánh giá độc lập có thể tái tạo kết quả và phân biệt bằng chứng với một nguyên mẫu hấp dẫn.

Trước khi ra mắt, chỉ định quyền chịu trách nhiệm cho việc phát hành, ngoại lệ, thay đổi, quay lại và ngừng sử dụng. Sử dụng triển khai theo giai đoạn, duy trì một phương án dự phòng an toàn và xác minh giám sát bằng các lỗi được chèn có chủ đích. Dữ liệu đo lường hoạt động nên tiết lộ chất lượng đầu vào, hành vi đầu ra, phiên bản mô hình hoặc quy tắc, tình trạng phụ thuộc, can thiệp của con người và kết quả đã xác nhận mà không thu thập dữ liệu nhạy cảm không cần thiết. Xác định ngưỡng cảnh báo và người chịu trách nhiệm phản hồi, sau đó xem xét bằng chứng thực tế sau khi triển khai thay vì giả định hiệu năng ngoại tuyến sẽ kéo dài. Đánh giá lại mỗi khi nguồn dữ liệu, người dùng, mô hình, nhà cung cấp, chính sách, phần cứng hoặc mục tiêu thay đổi. Một hệ thống được duy trì cũng cần có quy trình phục hồi, học hỏi từ sự cố, xóa và lưu trữ tài liệu, và một điểm rõ ràng khi nó nên bị vô hiệu hoá hoặc thay thế.

Câu hỏi thường gặp

CodeCarbon có đo trực tiếp CO₂ phát sinh từ máy tính không?

Không. Nó ước tính phát thải dựa trên việc tiêu thụ năng lượng và cường độ carbon của điện; máy tính không phát thải trực tiếp các khí nhà kính của lưới điện.

Điện toán đám mây luôn có lượng carbon thấp hơn không?

Không. Kết quả phụ thuộc vào hiệu suất phần cứng, mức độ sử dụng, chi phí phụ trợ trung tâm dữ liệu, hỗn hợp lưới điện, khu vực, thời gian và việc di chuyển dữ liệu.

Tài liệu tham khảo chính

• Tài liệu chính thức của CodeCarbon
• Henderson và cộng sự: Báo cáo có hệ thống về năng lượng và carbon trong học máy
• Lacoste và cộng sự: Định lượng phát thải carbon của học máy
• Patterson và cộng sự: Phát thải carbon và đào tạo mạng nơ-ron lớn