Google开放85项工程基准测试与智能体竞赛

Google AI & Infrastructure于2026年11月3日宣布，将开放29项公开任务、评分工具和评测容器，供Physical-Engineering’s Last Exam (PLE)使用。PLE是与Mercor共同开发、包含85项任务的工程基准测试；Google还将同步启动一项开放式智能体竞赛并公布排行榜。

PLE要求智能体完成机械、电气、土木和结构工程领域的专业任务，而不是回答教科书式问题或孤立地调用工具。该基准测试包含30项机械工程任务、27项电气工程任务、18项土木工程任务和10项结构工程任务。评估依据是智能体提交的成果：这些成果必须符合工程规范和物理约束；对于设计任务，还必须满足成本或性能目标。

论文的 arXiv 记录显示，论文于2026年10月21日首次提交，并于2026年10月30日修订。此次新进展是公开发布任务和评测工具并开放竞赛，而不是论文首次发表。

项目文件与实际交付成果

每项任务都在基于Mercor的Archipelago构建的容器化项目环境中运行。每项任务平均涉及61个文件，整个基准测试共包含5,170个文件，涵盖PDF、电子表格、电子邮件、二维CAD图纸、三维BIM模型和已被取代的修订版本。智能体必须判断哪些文件和要求适用，完成计算，并提交工程备忘录、计算工作簿、设备清单和图纸等文件；这些文件的格式适用于持证专业人员审核。

执业工程师从头到尾构建了44项专家编写的任务，包括项目文件夹、提示词和加权评分标准。对于41项合作编写的任务，工程师先提供初始任务说明；随后，对抗式Creator–Solver流程根据可获得许可的真实材料构建并测试环境和可执行评分程序，再由专家验证任务并提高其难度。技术论文指出，所有任务均不含专有信息或客户机密信息：专家编写的环境完全从零开始编写，合作编写任务所用文件则采用公有领域、宽松许可或新生成的材料。

评分同样侧重于是否完成工作。专家编写的任务采用加权标准，并根据提交文件中的证据评分。合作编写的设计任务同时考察约束符合情况和经济或性能目标；如果未通过严格的安全或可行性门槛，相关设计就无法获得目标指标方面的分数。设置目标指标这一部分，是为了弥补仅依赖评分标准的评估方式的不足：两份电线布线清单可能都符合相同的规范检查要求，但安装成本却不相同。

基准测试结果显示合规性存在差距

Google使用7种公开可用的智能体运行框架评测了14个模型，每种配置下的每项任务均运行三次。求解器容器无法访问互联网，每次运行允许智能体工作6小时；评分标准判定和可执行评分则在求解器容器之外进行，使评分程序和参考交付成果不会暴露给智能体。

在包含56项任务的私有测试集上，Google报告称，所有模型在各自的原生代理框架上的得分均低于50%；其中，Claude Code中的Claude Opus 5.5以48.3%的得分领先。竞赛排行榜根据这些隐藏任务的测试结果对模型进行排名。

论文还单独报告了覆盖全部85项任务的评测结果：Claude Opus 5.5在Claude Code中的最高得分为50.6%，平均每项任务使用2,700万个token、耗时63分钟；按标价计算，每项任务的成本为17.18美元。因此，这两个最高得分来自不同的评测：一个针对使用原生运行框架的隐藏测试集，另一个覆盖完整基准测试，并采用表现最强的模型与运行框架组合。

更能揭示问题的是合作编写的任务。Google报告称，表现最强的配置满足了91%的单项约束，但其交付成果中只有41.3%通过了全部严格的安全和可行性检查，因而符合获得目标指标分数的要求。实际而言，智能体往往能满足大部分要求，却无法产出完全合规的设计——这正是PLE的严格约束门槛旨在揭示的差距。

Google报告称，不同模型之间的得分差距约为50个百分点，而同一模型在不同运行框架下的得分差距中位数为3个百分点；不过，运行框架的选择仍会影响得分和成本。单项任务的结果也有显著波动：在每个任务与运行框架的组合中，三次运行的平均得分范围为15.4个百分点。这种波动说明，作者采用多次运行的平均值而非单次结果是有依据的。

竞赛检验完整的智能体配置

官方代码仓库将PLE分为29项公开开发任务和56项隐藏测试任务。参赛者需提交智能体运行框架——即驱动所选模型完成每项任务的软件——以及模型选择和在公开任务中生成的成果。组织方会对这些成果评分，在抽取的公开任务上重新运行该框架以检查结果能否复现，然后在隐藏任务上运行三次，以确定排行榜得分。

参赛者可以在评测服务器上免费使用 13 款由 Google 赞助的模型，也可以提供商用模型的 API 密钥，或连接自托管模型服务器。该仓库采用 Apache-2.0 许可证，内含用于自定义 harness 的入门示例，以及适配现有智能体的适配器，为参与者构建完整的提交方案提供了多个起点。

因此，这项竞赛评估的不只是模型的最终答案。提交的系统必须能够处理真实的项目文件、复现其公开测试结果，并生成完整的交付成果，通过隐藏的安全性、可行性和质量检查。基准测试结果表明，满足整套要求才是核心挑战：即使满足了大多数单项要求，只要有一项硬性约束未达标，原本经济高效的设计仍可能无法获得客观评分。