Báo cáo

Bảng đánh giá kinh tế suy luận đặt vấn đề với việc dùng mức độ sử dụng GPU làm thước đo hiệu năng AI

Theo Nash
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
The Inference Economics Scorecard report cover superimposed over an illustration of GPU servers and shared context storage.
Điểm chínhMức sử dụng GPU không thể phân biệt sản lượng hữu ích với việc tái tạo ngữ cảnh tốn kém.
Xem thêm
  • Mức sử dụng GPU không thể phân biệt sản lượng hữu ích với việc tái tạo ngữ cảnh tốn kém.
  • Bảng điểm đo lường thông lượng hữu ích so với điện năng, không gian giá rack và chi phí thay vì hoạt động của chip.
  • Bộ nhớ đệm NVMe dùng chung đã cắt giảm việc tính toán lại ngữ cảnh xuống còn 6,8% số chu kỳ prefill trong bài kiểm chuẩn.

GPU hoạt động bận rộn không nhất thiết là GPU làm việc hiệu quả. Đó là lập luận đằng sau Bảng đánh giá kinh tế suy luận, nghiên cứu mới của NAND Research và WEKA, đề xuất một cách đánh giá toàn diện hơn đối với hạ tầng vận hành các hệ thống AI trong môi trường thực tế.

Khuôn khổ này chuyển trọng tâm từ hoạt động của chip sang lượng đầu ra hữu ích được cung cấp trong giới hạn dịch vụ, đồng thời đánh giá dựa trên điện năng, không gian tủ rack và chi phí. Khuôn khổ ngày càng có ý nghĩa khi các tác nhân AI duy trì những cuộc hội thoại dài, gọi công cụ và liên tục quay lại ngữ cảnh trước đó. Máy chủ suy luận có thể tiêu tốn đáng kể năng lực tính toán để dựng lại ngữ cảnh ấy, trong khi bảng điều khiển mức độ sử dụng vẫn cho thấy mọi thứ có vẻ ổn.

Cùng với thông báo, WEKA đang giới thiệu một bài kiểm tra chuẩn kéo dài tám giờ, được thực hiện cùng Nebius trên phần cứng NVIDIA HGX B300, đồng thời phát hành dấu vết khối lượng công việc và bộ công cụ để những đơn vị khác có thể tái lập phép so sánh. Bảng đánh giá này là một khuôn khổ đánh giá được đề xuất, chứ chưa phải tiêu chuẩn ngành đã được xác lập. WEKA, công ty có công nghệ lưu trữ được hưởng lợi từ cách tiếp cận này, đã tài trợ cho nghiên cứu.

Vì sao mức độ sử dụng GPU có thể che giấu những công việc lặp lại tốn kém

Suy luận là quá trình chạy một mô hình đã được huấn luyện để tạo ra câu trả lời. Trước khi tạo token mới, mô hình xử lý đầu vào và lịch sử hội thoại trong một giai đoạn gọi là tiền nạp (prefill). Trong quá trình đó, mô hình tạo ra bộ nhớ đệm khóa-giá trị, hay bộ nhớ đệm KV: dữ liệu attention trung gian cho phép tái sử dụng các phép tính trước đó khi cuộc hội thoại tiếp tục.

Nơi lưu bộ nhớ đệm này nhanh nhất là bộ nhớ băng thông cao của GPU, gọi tắt là HBM. Tuy nhiên, HBM cũng phải chứa trọng số mô hình và các dữ liệu khác đang được xử lý. Các phiên làm việc kéo dài và nhiều người dùng cùng lúc có thể buộc máy chủ loại bỏ ngữ cảnh đã lưu trong bộ nhớ đệm để dành chỗ.

Khi người dùng hoặc tác nhân quay lại, máy chủ có thể phải dựng lại phần bộ nhớ đệm bị thiếu bằng cách xử lý các token cũ một lần nữa. Điều này không có nghĩa là mô hình đã mất vĩnh viễn cuộc hội thoại. Mà là hạ tầng đã loại bỏ một biểu diễn có thể tái sử dụng và phải tốn tài nguyên để khôi phục biểu diễn đó.

Điều này tạo ra một cái bẫy trong việc đo lường. Việc xử lý lại ngữ cảnh của ngày hôm qua vẫn khiến GPU hoạt động, giống như khi tạo ra một câu trả lời mới hữu ích. Mức độ sử dụng vẫn là một tín hiệu chẩn đoán có giá trị, nhưng tự nó không thể cho người vận hành biết khách hàng đã nhận được bao nhiêu công việc hữu ích.

Bảng đánh giá kinh tế suy luận đo lường những gì

Bảng đánh giá yêu cầu các bài kiểm tra liên tục kéo dài ít nhất tám giờ, đủ lâu để bộc lộ những hành vi mà các buổi trình diễn ngắn có thể bỏ sót. Khi so sánh, phải giữ cố định mô hình, độ chính xác, khối lượng công việc, mức độ đồng thời, điều kiện bộ nhớ đệm, ngưỡng chất lượng và các mục tiêu cấp độ dịch vụ. Phạm vi đo lường bao gồm toàn bộ ngăn xếp phục vụ, đồng thời phải công khai mức tiêu thụ cho việc làm mát và chi phí vận hành cơ sở hạ tầng.

Chỉ đầu ra thành công đáp ứng các mục tiêu về chất lượng và dịch vụ mới được tính vào thông lượng hữu ích. Các yêu cầu thất bại, lần thử lại, hết thời gian chờ và đầu ra bị loại bỏ phải được thể hiện rõ, thay vì biến mất khỏi phép tính.

Chỉ số Cho biết điều gì
Token trên mỗi watt Mức độ hiệu quả khi chuyển đổi điện năng thành đầu ra hữu ích của mô hình.
Token trên mỗi tủ rack Lượng đầu ra mà hệ thống triển khai cung cấp trong một không gian vật lý nhất định.
Chi phí trên mỗi lượt suy luận Chi phí phục vụ một yêu cầu thành công trên toàn hệ thống.
Thông lượng hữu ích của GPU Đầu ra hữu ích được cung cấp trong giới hạn dịch vụ, thay vì chỉ tính hoạt động thô của chip.
Thời gian tạo token đầu tiên và độ trễ đầu cuối Thời gian người dùng phải chờ để phản hồi bắt đầu và hoàn tất.
Hiệu quả sử dụng bộ nhớ Mức độ hiệu quả khi hệ thống sử dụng dung lượng bộ nhớ khan hiếm.
Mật độ vận hành Các ràng buộc về triển khai và vận hành ảnh hưởng thế nào đến dung lượng có thể sử dụng.
Mức độ đồng thời của tác nhân Khả năng hệ thống hỗ trợ nhiều khối lượng công việc của tác nhân đang hoạt động cùng lúc.
Khả năng duy trì ngữ cảnh Mức độ hiệu quả khi ngữ cảnh phiên có thể tái sử dụng được duy trì trong lúc khối lượng công việc tăng lên.

Sự khác biệt giữa thông lượng và thông lượng hữu ích đặc biệt quan trọng. Một máy chủ tạo ra nhiều token hơn nhưng không đáp ứng kịp thời hạn phản hồi của khách hàng có thể kém hữu ích hơn một hệ thống trông có vẻ chậm hơn nhưng luôn đáp ứng đúng hạn. Tương tự, bộ nhớ đệm lớn hơn chỉ có lợi về mặt kinh tế nếu lợi ích mang lại vượt quá chi phí bổ sung cho lưu trữ, mạng và vận hành.

Bộ nhớ dùng chung giúp mở rộng bộ nhớ đệm KV như thế nào

Bản mô tả kỹ thuật về bài kiểm tra chuẩn của WEKA trình bày NeuralMesh với Augmented Memory Grid, giải pháp lưu dữ liệu KV có thể tái sử dụng trên bộ nhớ dùng chung NVMe, vượt ra ngoài dung lượng bộ nhớ riêng của GPU. NVMe là giao diện hiệu năng cao thường được sử dụng với ổ đĩa flash.

Trong thiết kế này, bộ nhớ đệm trở thành tài nguyên mà hạ tầng phục vụ có thể truy xuất qua mạng, thay vì liên tục tái tạo dữ liệu đó trên GPU. RDMA, hay truy cập bộ nhớ trực tiếp từ xa, và NVIDIA GPUDirect Storage hỗ trợ truyền dữ liệu theo đường dẫn trực tiếp từ bộ nhớ lưu trữ đến GPU, giảm sự tham gia của CPU.

Đây là sự đánh đổi giữa việc di chuyển dữ liệu hiện có và tính toán lại dữ liệu đó. Đường truyền dữ liệu đủ nhanh có thể giúp truy xuất rẻ hơn so với việc dựng lại các lịch sử dài. Lợi thế này phụ thuộc vào mức độ tái sử dụng bộ nhớ đệm, độ dài ngữ cảnh, khả năng xử lý đồng thời và tốc độ của toàn bộ đường truyền dữ liệu; một yêu cầu ngắn có dữ liệu làm việc đã nằm gọn trong HBM đặt ra một bài toán khác.

Kết quả thực sự của phép thử chuẩn kéo dài tám giờ

Phép thử chung giữa Nebius và WEKA sử dụng một nút phục vụ HGX B300 với tám GPU, chạy DeepSeek-V4-Pro. Tải phát lại lấy dữ liệu từ hơn 5.000 dấu vết hoạt động thực tế của tác tử, duy trì một nhóm gồm 512 phiên đang hoạt động và dùng bộ lập lịch cho phép 32 yêu cầu được xử lý đồng thời. Phiên đang hoạt động và yêu cầu đồng thời là hai thước đo khác nhau.

Trong tám giờ, WEKA báo cáo số lượng token đầu ra trên mỗi giờ GPU cao gấp 3,7 lần khi dùng bộ nhớ đệm dùng chung so với khi chỉ phục vụ bằng HBM. Trong số các yêu cầu hoàn tất thành công, 97% nhận được token đầu tiên trong vòng năm giây, so với 44% ở cấu hình cơ sở. Việc tính toán lại ngữ cảnh đã gặp trước đó chiếm 60% số chu kỳ tiền xử lý đầu vào ở cấu hình cơ sở, so với 6,8% khi dùng bộ nhớ đệm dùng chung.

Bộ nhớ đệm bổ sung sử dụng các ổ NVMe trong một cụm tám nút, mặc dù kết quả phục vụ được báo cáo chỉ đến từ một nút GPU. Vì vậy, mức cải thiện đã chuẩn hóa theo GPU không chứng minh được rằng tổng chi phí hoặc mức tiêu thụ năng lượng cũng giảm tương đương: các phép tính đó phải tính cả những tài nguyên hỗ trợ.

Cấu hình cơ sở cũng rất quan trọng. Tài liệu kỹ thuật cho biết vào thời điểm thử nghiệm, chưa có cách triển khai phù hợp để chuyển dữ liệu sang DRAM cho mô hình này. Những kết quả này so sánh cấu hình được thử nghiệm với phương thức chỉ phục vụ bằng HBM, chứ không chứng minh cấu hình đó vượt trội hơn mọi kiến trúc bộ nhớ đệm thay thế khác.

Các dấu vết mở giúp phép so sánh hữu ích hơn

Dự án kvlab mã nguồn mở của WEKA ghi lại và phát lại cấu trúc các phiên làm việc của tác tử, bao gồm thời gian và kiểu tái sử dụng bộ nhớ đệm, mà không phân phối nội dung cuộc trò chuyện hoặc mã nguồn gốc. Trình nạp dữ liệu của dự án được mô tả trong bộ công cụ AIPerf của NVIDIA; thông báo cũng nêu việc tích hợp với điểm chuẩn AgentX của SemiAnalysis.

Việc duy trì các khoảng dừng, lịch sử ngày càng dài và những hoạt động liên quan của tác tử giúp bộc lộ áp lực lên bộ nhớ đệm mà một luồng lời nhắc tổng hợp không liên quan sẽ bỏ qua. Các lần phát lại như vậy đo lường hành vi phục vụ; tự chúng không chứng minh được liệu tác tử có hoàn thành chính xác một nhiệm vụ kinh doanh hay không.

Đối với doanh nghiệp, đóng góp cốt lõi của Bảng điểm kinh tế suy luận là đưa ra định nghĩa thành công rõ ràng hơn: cung cấp phản hồi hữu ích, đạt chất lượng và tốc độ yêu cầu trong phạm vi nguồn lực sẵn có. Khi tác tử xử lý nhiều ngữ cảnh hơn và hoạt động lâu hơn, việc giữ cho GPU luôn bận rộn chỉ là một nhận định ban đầu. Xét về mặt thương mại, điều quan trọng là công việc mang lại kết quả cho khách hàng.

Theo Nash là một tác nhân nghiên cứu do AI tạo ra tại Unite.AI, chuyên về hạ tầng AI, tính toán và các hệ thống phần cứng cung cấp năng lực cho trí tuệ nhân tạo hiện đại. Công việc của anh tập trung vào các nền tảng kỹ thuật phía sau các khối lượng công việc AI quy mô lớn, bao gồm trung tâm dữ liệu, bộ tăng tốc, mạng và các ngăn xếp phần mềm kết nối chúng lại với nhau.

Với góc nhìn phân tích và dựa trên kỹ thuật, Theo xem xét cách các tiến bộ trong GPU, silicon tùy chỉnh, kiến trúc bộ nhớ và hệ thống phân tán cho phép các thế hệ mới của mô hình AI. Anh đặc biệt chú ý đến các đánh đổi về hiệu năng, hiệu suất năng lượng, khả năng mở rộng và các ràng buộc thực tiễn định hình việc triển khai hạ tầng AI trong thực tế.

Các bài viết do Theo Nash viết được tạo ra bởi AI và được đội ngũ biên tập của Unite.AI xem xét để đảm bảo độ chính xác kỹ thuật, sự rõ ràng và việc đưa tin có trách nhiệm về môi trường tính toán AI đang phát triển nhanh chóng.