Google Vừa Cung Cấp Số Liệu Thật Về Năng Lượng Của Trợ Lý Ảo — Và Nó Không Phải Là Điều Bạn Nghĩ

Mọi người đang nói về lượng năng lượng khổng lồ mà trợ lý ảo tiêu thụ. Bạn đã thấy những tiêu đề như: “ChatGPT sử dụng nhiều điện như một quốc gia nhỏ” hoặc “Mỗi truy vấn trợ lý ảo tiêu thụ một chai nước.”

Google (GOOGL ) vừa công bố dữ liệu thực tế từ các hệ thống sản xuất của họ, và những con số cho thấy một câu chuyện hoàn toàn khác.

Chi Phí Năng Lượng Thật Của Truy Vấn Trợ Lý Ảo Của Bạn

Đây là những gì Google đã tìm thấy: Truy vấn văn bản trung vị Gemini sử dụng 0,24 watt-giờ năng lượng. Đó là ít điện hơn so với việc xem TV trong chín giây. Tiêu thụ nước? Năm giọt. Không phải năm ly. Năm giọt.

Khoảng cách giữa nhận thức công chúng và thực tế là khổng lồ. Các ước tính trước đây cho rằng các truy vấn trợ lý ảo tiêu thụ từ 10 đến 50 mililit nước mỗi truy vấn. Một số nghiên cứu đề xuất tiêu thụ năng lượng cao hơn 30 lần so với những gì Google đo lường trong sản xuất.

Tại sao lại có sự khác biệt lớn như vậy? Bởi vì không ai đo lường các hệ thống thực tế ở quy mô lớn cho đến bây giờ. Các nghiên cứu học thuật chạy các thử nghiệm cô lập trên phần cứng dưới mức sử dụng. Họ基本上 đang đo lường hiệu suất nhiên liệu của một chiếc xe trong khi nó đang đậu trong đường lái xe.

Cải Thiện 44 Lần

Google đã giảm lượng khí thải carbon của trợ lý ảo xuống 44 lần trong một năm. Không phải 44 phần trăm — 44 lần.

Đây không phải là một cải thiện lý thuyết trong phòng thí nghiệm. Điều này đang xảy ra ngay bây giờ trên các hệ thống phục vụ hàng tỷ truy vấn. Họ đạt được điều này thông qua sự kết hợp của tối ưu hóa phần mềm (cải thiện 33 lần) và nguồn năng lượng sạch hơn (cải thiện 1,4 lần).

Hầu hết các nghiên cứu chỉ xem xét các chip trợ lý ảo thực hiện tính toán. Đó giống như đo lường mức tiêu thụ năng lượng của một nhà hàng bằng cách chỉ đếm các lò nướng, bỏ qua tủ lạnh, đèn và hệ thống sưởi.

Dữ liệu của Google cho thấy bức tranh hoàn chỉnh: Vâng, các bộ tăng tốc trợ lý ảo sử dụng 58% năng lượng. Nhưng bạn cũng cần các bộ xử lý và bộ nhớ thông thường (24%), khả năng dự phòng cho độ tin cậy (10%) và hệ thống làm mát (8%). Bỏ qua bất kỳ yếu tố nào trong số này trong phép đo của bạn, và các con số của bạn cơ bản là vô nghĩa.

Khi Google áp dụng phương pháp đo lường hẹp mà mọi người khác sử dụng — chỉ đo lường các chip trợ lý ảo trên máy đã được sử dụng đầy đủ — con số năng lượng của họ giảm xuống 0,10 watt-giờ. Hệ thống sản xuất thực sự sử dụng 2,4 lần nhiều năng lượng hơn vì các hệ thống thực sự cần sự dự phòng, làm mát và cơ sở hạ tầng hỗ trợ.

Điều Này Thực Sự Có Nghĩa Là Gì Đối Với Tương Lai Của Trợ Lý Ảo

Câu chuyện về mức tiêu thụ năng lượng của trợ lý ảo cần một kiểm tra thực tế. Vâng, trợ lý ảo sử dụng năng lượng. Nhưng các hệ thống được tối ưu hóa đúng cách thì hiệu quả hơn nhiều so với những kịch bản ảm đạm mà mọi người đề xuất.

Context quan trọng ở đây. Đó là 0,24 watt-giờ mỗi truy vấn? Người Mỹ sử dụng khoảng 30 kilowatt-giờ điện mỗi ngày trung bình. Bạn cần chạy 125.000 truy vấn trợ lý ảo để khớp với một ngày sử dụng năng lượng hộ gia đình trung bình.

Câu chuyện về tiêu thụ nước thậm chí còn ấn tượng hơn. Những giọt nước đó mỗi truy vấn? Bạn sử dụng nhiều nước hơn trong giây đầu tiên khi rửa tay.

Ngăn Tối Ưu Hóa

Google không đạt được những con số này thông qua một đột phá đơn lẻ. Họ đặt chồng các tối ưu hóa trên mọi lớp của hệ thống.

Họ chạy các mô hình “bản nháp” nhỏ hơn phác thảo ra các phản hồi, sau đó xác minh với các mô hình lớn hơn chỉ khi cần. Họ nhóm hàng nghìn truy vấn lại với nhau để hiệu quả. Họ sử dụng các chip tùy chỉnh được thiết kế đặc biệt cho các khối lượng công việc trợ lý ảo, hiệu quả hơn 30 lần so với thế hệ đầu tiên của họ.

Các trung tâm dữ liệu của họ chạy ở mức 9% chi phí trên mức tối thiểu lý thuyết — cơ bản là hiệu quả nhất có thể. Và họ ngày càng được cung cấp năng lượng bởi năng lượng sạch, cắt giảm lượng khí thải thậm chí khi sử dụng điện tăng.

Kết Quả

Điều này chỉ hoạt động khi các công ty thực sự tối ưu hóa toàn bộ ngăn xếp của họ và đo lường đúng cách. Các công ty coi cơ sở hạ tầng trợ lý ảo là một điều gì đó phụ, chạy các hệ thống không hiệu quả trên lưới điện bẩn? Họ là những người tạo ra các vấn đề mà mọi người lo lắng.

Khoảng cách giữa các hệ thống trợ lý ảo hiệu quả và không hiệu quả là tuyệt đối khổng lồ. Và hiện tại, hầu hết ngành công nghiệp vẫn đang chạy phiên bản không hiệu quả.