Google открывает инженерный бенчмарк из 85 заданий и конкурс для ИИ-агентов

Google AI & Infrastructure объявила 3 ноября 2026 года о публикации 29 открытых заданий, инструментов для оценивания и контейнера для оценки бенчмарка Physical-Engineering’s Last Exam (PLE) из 85 заданий, разработанного совместно с Mercor, а также об открытии конкурса для ИИ-агентов и таблицы результатов.

PLE предлагает агенту выполнять профессиональные задания в области механической, электротехнической, гражданской и строительной инженерии, а не отвечать на вопросы в стиле учебника или выполнять отдельный вызов инструмента. Бенчмарк включает 30 заданий по механической инженерии, 27 — по электротехнической, 18 — по гражданской и 10 — по строительной. Результаты оцениваются по подготовленным материалам, которые должны соответствовать инженерным нормам и физическим ограничениям, а в случае проектных заданий — также требованиям к стоимости или производительности.

Запись статьи в arXiv указывает, что первая версия была отправлена 21 октября 2026 года, а обновлённая — 30 октября 2026 года. Новое событие — публикация заданий и инструментов для оценки и открытие конкурса, а не первая публикация статьи.

Файлы проекта и рабочие результаты

Каждое задание выполняется в контейнерной проектной среде на базе Archipelago от Mercor. В среднем на задание приходится 61 файл, а во всём бенчмарке их 5 170; это PDF-файлы, электронные таблицы, электронные письма, двумерные чертежи САПР, трёхмерные модели информационного моделирования зданий (BIM) и устаревшие версии документов. Агент должен определить, какие документы и требования имеют силу, выполнить расчёты и подготовить такие файлы, как инженерные записки, расчётные таблицы, спецификации оборудования и чертежи, в форматах, предназначенных для проверки лицензированными специалистами.

Практикующие инженеры полностью подготовили 44 задания, написанных экспертами, включая папки проектов, формулировки заданий и взвешенные критерии оценивания. Для 41 задания, созданного совместно, инженеры предоставили первоначальные описания; затем состязательный конвейер «Создатель — Решатель» сформировал и протестировал среды и исполняемые средства оценивания на основе реальных материалов, доступных для лицензирования. После этого эксперты проверили задания и повысили их сложность. В технической статье говорится, что ни одно задание не содержит служебной информации или конфиденциальных данных клиентов: среды для заданий, написанных экспертами, созданы с нуля, а в совместно разработанных заданиях используются материалы из общественного достояния, с разрешительной лицензией или созданные заново.

Оценивание также сосредоточено на завершённой работе. Для заданий, написанных экспертами, применяются взвешенные критерии, основанные на доказательствах в отправленных файлах. В совместно разработанных проектных заданиях проверяется как соблюдение ограничений, так и достижение экономической цели или целевого показателя производительности; если проект не проходит обязательную проверку безопасности или реализуемости, он не получает баллы за целевой показатель. Эта составляющая оценки позволяет устранить ограничение, присущее оцениванию только по критериям рубрики: два плана прокладки проводов могут соответствовать одним и тем же нормативным требованиям, но различаться стоимостью монтажа.

Результаты базовых испытаний выявляют разрыв в соблюдении требований

Google проверила 14 моделей с помощью семи общедоступных агентных оболочек, запуская каждое задание по три раза для каждой конфигурации. Контейнеры для выполнения заданий не имели доступа к интернету; на каждый запуск отводилось шесть часов работы агента. Оценивание по рубрикам и автоматическая проверка выполнялись вне контейнера, в котором работал агент, поэтому проверяющие инструменты и эталонные результаты оставались ему недоступны.

По данным Google, на закрытом тестовом наборе из 56 заданий ни одна модель не набрала 50%, а лучший результат показала Claude Opus 5.5 в Claude Code — 48,3%. В таблице результатов конкурса модели ранжируются по результатам на этих скрытых заданиях.

В отдельной оценке статьи, охватывающей все 85 заданий, лучший результат составил 50,6%: его показала Claude Opus 5.5 в Claude Code. В среднем на одно задание уходило 27 миллионов токенов и 63 минуты, а при расчёте по розничным ценам стоимость составляла 17,18 доллара за задание. Таким образом, два лучших результата относятся к разным оценкам: один получен на закрытом тестовом наборе с использованием штатных агентных оболочек, другой — на всём бенчмарке с наиболее эффективной конфигурацией модели и агентной оболочки.

Более показательные результаты получены на заданиях, созданных совместно. По данным Google, конфигурация с лучшим результатом выполнила 91% отдельных ограничений, однако лишь 41,3% подготовленных ею материалов прошли все обязательные проверки безопасности и реализуемости, необходимые для получения баллов за целевой показатель. На практике агенты часто правильно учитывали большинство требований, но не создавали полностью соответствующий им проект — именно этот разрыв и призван выявить строгий контроль соблюдения ограничений в PLE.

По данным Google, разница между моделями составляет около 50 процентных пунктов, тогда как медианная разница между агентными оболочками для одной и той же модели — три процентных пункта, хотя выбор оболочки всё же влиял на результаты и затраты. Результаты отдельных заданий также значительно различались: средний диапазон результатов трёх запусков для одной комбинации задания и агентной оболочки составлял 15,4 процентного пункта. Такая вариативность объясняет, почему авторы используют средние значения по нескольким запускам, а не результаты отдельных попыток.

Конкурс проверяет всю конфигурацию агента

Официальный репозиторий делит PLE на 29 открытых заданий для разработки и 56 скрытых тестовых заданий. Участник отправляет агентную оболочку — программное обеспечение, которое направляет выбранную модель при выполнении каждого задания, — вместе с выбранной моделью и материалами, подготовленными для открытых заданий. Организаторы оценивают эти материалы, повторно запускают оболочку на выбранных открытых заданиях, чтобы проверить воспроизводимость результатов, а затем трижды запускают её на скрытых заданиях и определяют итоговый результат в таблице.

Участники могут бесплатно использовать на сервере оценки 13 моделей, спонсируемых Google, указать ключ API коммерческой модели или подключить собственный сервер моделей. В репозитории под лицензией Apache-2.0 есть стартовые примеры для пользовательских программных оболочек и адаптеры для существующих агентов, что дает участникам несколько вариантов для создания полной заявки.

Таким образом, конкурс оценивает не только итоговый ответ модели. Представленная система должна ориентироваться в реалистичных файлах проекта, воспроизводить результаты на открытых заданиях и формировать полные результаты работы, которые выдержат скрытые проверки безопасности, реализуемости и качества. Базовые результаты показывают, что главная сложность — соблюсти все требования в совокупности: выполнения большинства отдельных требований все равно недостаточно, если нарушение одного жесткого ограничения лишит в остальном экономичное решение баллов за объективные критерии.