Google mở benchmark kỹ thuật gồm 85 nhiệm vụ và cuộc thi dành cho tác tử

Google AI & Infrastructure thông báo vào ngày 3 tháng 11 năm 2026 rằng họ sẽ công bố 29 nhiệm vụ công khai, các công cụ chấm điểm và một môi trường chứa dùng cho đánh giá của Kỳ thi cuối cùng về Kỹ thuật Vật lý (PLE), một benchmark kỹ thuật gồm 85 nhiệm vụ được phát triển cùng Mercor, đồng thời mở cuộc thi dành cho tác tử và bảng xếp hạng.

PLE yêu cầu một tác tử hoàn thành các nhiệm vụ chuyên môn trong lĩnh vực kỹ thuật cơ khí, điện, dân dụng và kết cấu, thay vì trả lời câu hỏi kiểu sách giáo khoa hoặc thực hiện một lệnh gọi công cụ đơn lẻ. Benchmark gồm 30 nhiệm vụ cơ khí, 27 nhiệm vụ điện, 18 nhiệm vụ dân dụng và 10 nhiệm vụ kết cấu; kết quả được đo bằng các sản phẩm bàn giao phải đáp ứng quy chuẩn kỹ thuật, giới hạn vật lý và, đối với công việc thiết kế, các mục tiêu về chi phí hoặc hiệu suất.

Hồ sơ bài báo trên arXiv ghi nhận lần nộp đầu tiên vào ngày 21 tháng 10 năm 2026 và bản sửa đổi vào ngày 30 tháng 10 năm 2026. Điểm mới là việc công bố các nhiệm vụ và công cụ đánh giá, đồng thời khai mở cuộc thi, chứ không phải lần đầu tiên bài báo được xuất bản.

Tệp dự án và sản phẩm bàn giao thực tế

Mỗi nhiệm vụ được thực hiện trong một môi trường dự án dạng container, xây dựng trên Archipelago của Mercor. Mỗi nhiệm vụ có trung bình 61 tệp; tổng cộng benchmark có 5.170 tệp, gồm PDF, bảng tính, email, bản vẽ CAD 2D, mô hình BIM 3D và các phiên bản đã bị thay thế. Tác tử phải xác định tài liệu và yêu cầu nào có hiệu lực, thực hiện tính toán và xuất các tệp như bản ghi nhớ kỹ thuật, sổ tính toán, bảng kê thiết bị và bản vẽ ở định dạng dành cho việc rà soát của kỹ sư có giấy phép hành nghề.

Các kỹ sư đang hành nghề đã xây dựng trọn vẹn 44 nhiệm vụ do chuyên gia biên soạn, bao gồm thư mục dự án, đề bài và thang điểm chấm có trọng số. Với 41 nhiệm vụ được đồng biên soạn, các kỹ sư cung cấp bản mô tả yêu cầu ban đầu; sau đó, quy trình Creator–Solver đối kháng xây dựng và kiểm thử môi trường cùng các bộ chấm điểm thực thi được từ tài liệu thực tế có thể cấp phép sử dụng, rồi các chuyên gia xác nhận nhiệm vụ và tăng độ khó. Bài báo kỹ thuật cho biết không nhiệm vụ nào chứa thông tin độc quyền hoặc thông tin mật của khách hàng: môi trường do chuyên gia biên soạn được viết từ đầu, còn các tệp trong nhiệm vụ đồng biên soạn sử dụng tài liệu thuộc phạm vi công cộng, được cấp phép rộng rãi hoặc mới tạo.

Cách chấm điểm cũng nhấn mạnh tương tự vào việc hoàn thành công việc. Nhiệm vụ do chuyên gia biên soạn sử dụng các tiêu chí có trọng số, gắn với bằng chứng trong những tệp được nộp. Nhiệm vụ thiết kế đồng biên soạn kết hợp việc tuân thủ các ràng buộc với một mục tiêu kinh tế hoặc hiệu suất; nếu không vượt qua điều kiện bắt buộc về an toàn hoặc tính khả thi, thiết kế liên quan sẽ không được tính điểm mục tiêu. Thành phần mục tiêu khắc phục một hạn chế của cách chấm chỉ dựa trên thang tiêu chí: hai bảng lịch đi dây có thể cùng đáp ứng các yêu cầu kiểm tra theo quy chuẩn nhưng khác nhau về chi phí lắp đặt.

Kết quả cơ sở cho thấy khoảng cách về mức độ tuân thủ

Google đánh giá 14 mô hình bằng bảy bộ khung tác tử hiện có công khai; mỗi nhiệm vụ được chạy ba lần với mỗi cấu hình. Các container của bộ giải không có quyền truy cập internet và cho phép tác tử hoạt động tối đa sáu giờ mỗi lượt chạy; việc chấm theo thang tiêu chí và chấm bằng công cụ thực thi diễn ra bên ngoài container của bộ giải, nhờ đó bộ chấm điểm và sản phẩm bàn giao tham chiếu không nằm trong tầm truy cập của tác tử.

Trên tập kiểm thử riêng gồm 56 nhiệm vụ, Google cho biết mọi mô hình đều đạt dưới 50% khi chạy trên bộ khung tác tử gốc của chúng; dẫn đầu là Claude Opus 5.5 trong Claude Code với 48,3%. Bảng xếp hạng cuộc thi xếp hạng các mô hình dựa trên kết quả ở những nhiệm vụ ẩn đó.

Đánh giá riêng của bài báo trên toàn bộ 85 nhiệm vụ ghi nhận kết quả cao nhất là 50,6% với Claude Opus 5.5 trong Claude Code; cấu hình này dùng trung bình 27 triệu token và 63 phút cho mỗi nhiệm vụ, với chi phí 17,18 USD mỗi nhiệm vụ theo giá niêm yết. Vì vậy, hai con số dẫn đầu phản ánh hai đợt đánh giá khác nhau: một đợt bao quát tập kiểm thử ẩn với các bộ khung tác tử gốc, còn đợt kia bao quát toàn bộ benchmark và cấu hình mô hình–bộ khung mạnh nhất.

Kết quả đáng chú ý hơn nằm ở nhóm nhiệm vụ đồng biên soạn. Google cho biết cấu hình mạnh nhất đáp ứng 91% các ràng buộc riêng lẻ, nhưng chỉ 41,3% các hạng mục bàn giao vượt qua toàn bộ kiểm tra bắt buộc về an toàn và tính khả thi để được tính điểm mục tiêu. Trên thực tế, các tác tử thường đáp ứng đúng phần lớn yêu cầu nhưng không tạo ra thiết kế tuân thủ đầy đủ—đúng là khoảng cách mà điều kiện ràng buộc cứng của PLE được thiết kế để phơi bày.

Google ghi nhận mức chênh lệch khoảng 50 điểm giữa các mô hình, trong khi mức chênh lệch trung vị giữa các bộ khung tác tử của cùng một mô hình là 3 điểm; tuy vậy, lựa chọn bộ khung vẫn làm thay đổi điểm số và chi phí. Kết quả của từng nhiệm vụ cũng biến động đáng kể, với khoảng dao động trung bình qua ba lượt chạy là 15,4 điểm cho mỗi cặp nhiệm vụ–bộ khung. Mức biến động này củng cố lý do các tác giả sử dụng điểm trung bình qua nhiều lượt chạy thay vì kết quả của một lần thử duy nhất.

Cuộc thi kiểm tra toàn bộ cấu hình tác tử

Kho lưu trữ chính thức chia PLE thành 29 nhiệm vụ phát triển công khai và 56 nhiệm vụ kiểm thử ẩn. Người dự thi nộp bộ khung tác tử—phần mềm điều khiển một mô hình đã chọn thực hiện từng nhiệm vụ—cùng với lựa chọn mô hình và các sản phẩm tạo ra khi làm những nhiệm vụ công khai. Ban tổ chức chấm các sản phẩm đó, chạy lại bộ khung trên một số nhiệm vụ công khai được chọn để kiểm tra khả năng tái lập, rồi chạy bộ khung ba lần trên các nhiệm vụ ẩn để xác định điểm trên bảng xếp hạng.

Thí sinh có thể sử dụng miễn phí 13 mô hình do Google tài trợ trên máy chủ đánh giá, cung cấp khóa API của mô hình thương mại hoặc kết nối với máy chủ mô hình tự lưu trữ. Kho mã nguồn được cấp phép theo Apache-2.0 có các mẫu khởi đầu để xây dựng harness tùy chỉnh và bộ chuyển đổi cho các tác tử hiện có, mang đến cho người tham gia nhiều điểm xuất phát để tạo một bài dự thi hoàn chỉnh.

Vì vậy, cuộc thi đánh giá nhiều hơn câu trả lời cuối cùng của một mô hình. Hệ thống dự thi phải xử lý các tệp dự án thực tế, tái tạo kết quả công khai và tạo ra các sản phẩm bàn giao hoàn chỉnh vượt qua những bước kiểm tra kín về an toàn, tính khả thi và chất lượng. Kết quả cơ sở cho thấy thách thức cốt lõi là tuân thủ đầy đủ toàn bộ yêu cầu: đáp ứng phần lớn từng yêu cầu riêng lẻ vẫn chưa đủ nếu chỉ một lần vi phạm ràng buộc cứng cũng có thể khiến một thiết kế vốn tiết kiệm không được tính điểm cho tiêu chí khách quan.