Google, 85개 과제로 구성된 엔지니어링 벤치마크와 에이전트 경연 대회 공개

Google AI & Infrastructure는 2026년 11월 3일, Mercor와 함께 개발한 85개 과제 규모의 엔지니어링 벤치마크 Physical-Engineering’s Last Exam (PLE)의 공개 과제 29개와 채점 도구, 평가용 컨테이너를 공개한다고 발표했다. 이와 함께 오픈 에이전트 경연 대회와 순위표도 선보인다.

PLE는 교과서식 질문에 답하거나 단일 도구를 호출하는 대신, 기계·전기·토목·구조 엔지니어링 분야의 전문 업무를 에이전트가 완수하도록 요구한다. 벤치마크는 기계 엔지니어링 과제 30개, 전기 엔지니어링 과제 27개, 토목 엔지니어링 과제 18개, 구조 엔지니어링 과제 10개로 구성된다. 성공 여부는 엔지니어링 규정과 물리적 제약 조건을 충족하고, 설계 과제의 경우 비용 또는 성능 목표까지 달성해야 하는 결과물로 평가한다.

논문 arXiv 기록에는 최초 제출일이 2026년 10월 21일, 수정본 제출일이 2026년 10월 30일로 나와 있다. 이번에 새롭게 공개된 것은 과제와 평가 도구이며, 경연 대회도 시작됐다. 논문이 처음 발표된 것은 이번이 아니다.

프로젝트 파일과 실제 업무용 결과물

각 과제는 Mercor의 Archipelago를 기반으로 구축된 컨테이너형 프로젝트 환경에서 실행된다. 과제당 평균 파일 수는 61개이며, 벤치마크 전체에는 PDF, 스프레드시트, 이메일, 2D CAD 도면, 3D BIM 모델, 폐기된 이전 버전 등을 포함해 총 5,170개 파일이 있다. 에이전트는 어떤 문서와 요구사항을 기준으로 삼을지 판단하고, 계산을 수행한 뒤 엔지니어링 메모, 계산 워크북, 장비 목록, 도면 등의 파일을 면허를 보유한 전문가의 검토에 적합한 형식으로 제출해야 한다.

현업 엔지니어들은 전문가가 직접 작성한 과제 44개를 프로젝트 폴더, 프롬프트, 가중치가 적용된 채점 기준표까지 포함해 처음부터 끝까지 만들었다. 공동 작성 과제 41개는 엔지니어들이 초기 과제 개요를 제공했고, 적대적 크리에이터-솔버 파이프라인이 실제로 사용 허가를 받을 수 있는 자료를 바탕으로 환경과 실행 가능한 채점기를 구축하고 테스트했다. 이후 전문가들이 과제를 검증하고 난도를 높였다. 기술 논문에 따르면 어떤 과제에도 독점 정보나 고객 기밀 정보는 포함되지 않는다. 전문가 작성 환경은 처음부터 새로 만들었으며, 공동 작성 과제의 파일에는 퍼블릭 도메인 자료, 허용 범위가 넓은 라이선스가 적용된 자료 또는 새로 생성한 자료가 사용됐다.

채점 방식도 완성된 결과물을 중시한다. 전문가가 작성한 과제는 제출 파일에서 확인할 수 있는 근거와 연계된 가중치 기준으로 평가한다. 공동 작성 설계 과제는 제약 조건 준수 여부와 경제성 또는 성능 목표를 함께 평가한다. 안전이나 실현 가능성에 관한 필수 관문을 통과하지 못하면 해당 설계는 목표 점수를 받을 수 없다. 목표 점수 요소는 기준표만으로 채점할 때의 한계를 보완한다. 두 개의 배선 일정표가 동일한 규정 검사를 통과하더라도 설치 비용은 다를 수 있기 때문이다.

기준선 결과에서 드러난 규정 준수 격차

Google은 공개적으로 이용할 수 있는 에이전트 하네스 7개를 사용해 모델 14개를 평가했으며, 각 설정에서 모든 과제를 세 차례씩 실행했다. 솔버 컨테이너는 인터넷에 연결되지 않았고, 실행당 에이전트에 허용된 시간은 6시간이었다. 기준표 판정과 실행 가능한 채점은 솔버 컨테이너 외부에서 이뤄져 채점기와 기준 결과물이 에이전트에 노출되지 않도록 했다.

비공개 테스트 세트 56개 과제에서 Google은 모든 모델이 자체 하네스 기준 50% 미만의 점수를 기록했다고 보고했다. Claude Code에서 Claude Opus 5.5가 48.3%로 가장 높은 점수를 받았다. 경연 대회 순위표는 이 비공개 과제 결과를 바탕으로 모델 순위를 매긴다.

논문에서 별도로 보고한 전체 85개 과제 평가에서는 Claude Code의 Claude Opus 5.5가 최고 점수인 50.6%를 기록했다. 과제당 평균 토큰 사용량은 2,700만 개, 평균 소요 시간은 63분이었으며, 정가 기준 과제당 비용은 17.18달러였다. 따라서 두 최고 기록은 서로 다른 평가를 나타낸다. 하나는 자체 하네스를 사용한 비공개 테스트 세트 평가이고, 다른 하나는 전체 벤치마크와 가장 성능이 좋은 모델·하네스 조합을 대상으로 한 평가다.

공동 작성 과제에서 더 주목할 만한 결과가 나타났다. Google에 따르면 가장 성능이 좋은 설정은 개별 제약 조건의 91%를 충족했지만, 목표 점수를 받는 데 필요한 모든 필수 안전 및 실현 가능성 검사를 통과한 결과물은 전체 항목의 41.3%에 불과했다. 실무적으로 보면 에이전트는 요구사항 대부분을 맞추고도 규정을 완전히 준수하는 설계를 내놓지 못하는 경우가 많았다. 바로 이런 격차를 드러내기 위해 PLE의 필수 제약 조건 관문이 마련됐다.

Google은 모델 간 점수 차이가 약 50포인트라고 보고했다. 같은 모델에서 하네스 간 점수 차이의 중앙값은 3포인트였지만, 하네스 선택에 따라 점수와 비용은 여전히 달라졌다. 개별 과제의 결과 편차도 상당했다. 과제-하네스 조합별로 세 차례 실행한 결과의 평균 범위는 15.4포인트였다. 이러한 변동성은 저자들이 단일 실행 결과 대신 여러 차례 실행한 평균을 사용한 근거가 된다.

경연 대회에서 에이전트 구성 전체를 평가

공식 저장소에 따르면 PLE는 공개 개발 과제 29개와 비공개 테스트 과제 56개로 나뉜다. 참가자는 각 과제에서 선택한 모델을 구동하는 소프트웨어인 에이전트 하네스와 함께 모델 선택 정보, 공개 과제에서 생성한 결과물을 제출한다. 주최 측은 결과물을 채점하고, 재현 여부를 확인하기 위해 공개 과제 중 일부를 선정해 하네스를 다시 실행한다. 그런 다음 비공개 과제에서 하네스를 세 차례 실행해 순위 점수를 산정한다.

참가자는 평가 서버에서 Google이 후원하는 모델 13종을 무료로 사용하거나, 상용 모델 API 키를 제공하거나, 자체 호스팅 모델 서버를 연결할 수 있다. Apache-2.0 라이선스 저장소에는 맞춤형 하네스용 시작 항목과 기존 에이전트용 어댑터가 포함되어 있어, 참가자들이 완전한 제출물을 구축할 때 활용할 수 있는 여러 출발점을 제공한다.

따라서 이 대회는 모델의 최종 답변만 평가하지 않는다. 제출 시스템은 실제와 유사한 프로젝트 파일을 탐색하고, 공개 태스크에서 나온 결과를 재현하며, 비공개 안전성·실현 가능성·품질 검사를 통과하는 완전한 결과물을 만들어야 한다. 기준선 결과를 보면 전체 패키지의 요구사항을 모두 충족하는 것이 핵심 과제다. 개별 요구사항 대부분을 충족하더라도, 엄격한 제약 조건 하나를 위반하면 그 밖에는 비용 효율적인 설계라도 객관적인 점수를 얻지 못할 수 있기 때문이다.