Google відкриває інженерний бенчмарк із 85 завдань і змагання агентів

3 листопада 2026 року Google AI & Infrastructure оголосила про відкриття доступу до 29 публічних завдань, інструментів оцінювання та контейнера для оцінювання Physical-Engineering’s Last Exam (PLE) — інженерного бенчмарку з 85 завдань, розробленого спільно з Mercor, — а також про запуск відкритого змагання агентів і таблиці лідерів.

PLE пропонує агенту виконувати професійні завдання з механічної, електротехнічної, цивільної та будівельної інженерії, а не відповідати на запитання у стилі підручника чи виконувати окремий виклик інструмента. Бенчмарк охоплює 30 завдань із механічної інженерії, 27 — з електротехнічної, 18 — із цивільної та 10 — із будівельної. Успішність визначають за результатами роботи, які мають відповідати інженерним нормам і фізичним обмеженням, а в проєктних завданнях — також вимогам щодо вартості або ефективності.

В arXiv-записі статті зазначено, що її вперше подали 21 жовтня 2026 року, а переглянуту версію — 30 жовтня 2026 року. Новизна полягає у відкритті доступу до завдань та інструментів оцінювання і запуску змагання, а не в першій публікації статті.

Файли проєктів і готові робочі матеріали

Кожне завдання виконується в контейнеризованому середовищі проєкту на базі Archipelago від Mercor. У середньому завдання містять 61 файл, а загалом у бенчмарку їх 5 170: PDF-файли, електронні таблиці, листи, двовимірні креслення САПР, тривимірні моделі інформаційного моделювання будівель (BIM) і застарілі версії документів. Агент має визначити, які документи й вимоги є чинними, виконати розрахунки та підготувати файли, зокрема інженерні записки, розрахункові таблиці, специфікації обладнання й креслення у форматах, призначених для перевірки фахівцями з ліцензією.

Практикуючі інженери створили всі 44 завдання, написані експертами, — від початку до кінця, зокрема підготували папки проєктів, інструкції та зважені критерії оцінювання. Для 41 завдання, створеного спільно, інженери надали початкові технічні завдання; після цього змагальний конвеєр «Творець—Розв’язувач» створив і перевірив середовища та програмні засоби автоматизованого оцінювання на основі реальних матеріалів, які можна ліцензувати. Потім експерти перевірили завдання та підвищили їхню складність. У технічній статті зазначено, що жодне завдання не містить конфіденційної інформації компаній чи клієнтів: середовища для завдань, написаних експертами, створено з нуля, а у файлах для завдань, створених спільно, використано матеріали, що перебувають у суспільному надбанні, поширюються за ліцензіями з дозвільними умовами або створені заново.

Оцінювання так само зосереджене на завершеній роботі. Для завдань, написаних експертами, застосовують зважені критерії, пов’язані з доказами у поданих файлах. У спільно створених проєктних завданнях поєднано дотримання обмежень із економічною метою або метою щодо ефективності. Якщо проєкт не проходить обов’язкову перевірку безпеки чи здійсненності, він не отримує балів за цільовий показник. Такий компонент оцінювання усуває обмеження, властиве оцінюванню лише за рубриками: два плани прокладання проводів можуть відповідати тим самим нормативним вимогам, але відрізнятися вартістю монтажу.

Початкові результати виявляють розрив у дотриманні вимог

Google оцінила 14 моделей за допомогою семи загальнодоступних програмних оболонок агентів, запускаючи кожне завдання тричі для кожної конфігурації. Контейнери для виконання завдань не мали доступу до інтернету, а агентам надавали по шість годин на запуск; оцінювання за рубриками й автоматизована перевірка відбувалися за межами контейнера, у якому працював агент. Завдяки цьому оцінювачі та еталонні результати залишалися недоступними для агента.

За даними Google, на закритому тестовому наборі з 56 завдань кожна модель набрала менш як 50% у своїй стандартній програмній оболонці. Найкращий результат показала Claude Opus 5.5 у Claude Code — 48,3%. У таблиці лідерів змагання моделі ранжовано за результатами виконання цих прихованих завдань.

В окремому оцінюванні всіх 85 завдань, описаному у статті, найкращий результат — 50,6% — показала Claude Opus 5.5 у Claude Code. У середньому на одне завдання витрачалося 27 мільйонів токенів і 63 хвилини, а за прейскурантними цінами воно коштувало 17,18 долара. Отже, два найкращі результати стосуються різних оцінювань: одне охоплює прихований тестовий набір зі стандартними програмними оболонками, а друге — весь бенчмарк і найефективнішу конфігурацію моделі та оболонки.

Показовіший результат видно серед завдань, створених спільно. За даними Google, найкраща конфігурація відповідала 91% окремих обмежень, однак лише 41,3% елементів результату пройшли всі обов’язкові перевірки безпеки та здійсненності, необхідні для отримання балів за цільовий показник. На практиці агенти часто правильно виконували більшість вимог, але не створювали повністю відповідний вимогам проєкт — саме цей розрив і покликаний виявити механізм PLE з обов’язковими обмеженнями.

За даними Google, розрив між результатами моделей становив приблизно 50 пунктів, тоді як медіанний розрив між програмними оболонками для тієї самої моделі — три пункти, хоча вибір оболонки все одно впливав на результати й витрати. Результати окремих завдань також суттєво різнилися: середній діапазон коливань між трьома запусками для однієї пари «завдання—оболонка» становив 15,4 пункту. Така мінливість підтверджує доцільність використання середніх результатів кількох запусків замість результатів однієї спроби.

Змагання перевіряє всю конфігурацію агента

В офіційному репозиторії PLE поділено на 29 публічних завдань для розробки та 56 прихованих тестових завдань. Учасник подає програмну оболонку агента — програмне забезпечення, яке скеровує вибрану модель під час виконання кожного завдання, — разом із вибором моделі та матеріалами, створеними під час виконання публічних завдань. Організатори оцінюють ці матеріали, повторно запускають оболонку на вибірці публічних завдань, щоб перевірити відтворюваність результатів, а потім запускають її тричі на прихованих завданнях, щоб визначити бал у таблиці лідерів.

Учасники можуть безкоштовно користуватися 13 моделями, спонсорованими Google, на сервері оцінювання, надати ключ API комерційної моделі або під’єднати власний сервер моделі. Репозиторій із ліцензією Apache-2.0 містить стартові приклади для створення власних програмних обв’язок і адаптери для наявних агентів, тож учасники мають кілька варіантів, із чого почати підготовку повноцінної заявки.

Отже, у змаганні оцінюють не лише остаточну відповідь моделі. Подана система має орієнтуватися в реалістичних файлах проєкту, відтворювати результати, отримані на відкритих завданнях, і створювати повні результати роботи, що витримають приховані перевірки на безпеку, здійсненність і якість. Базові результати показують, що головний виклик — відповідність усім вимогам пакета: виконати більшість окремих вимог усе одно недостатньо, якщо через невиконання однієї жорсткої умови інакше економне рішення може не отримати балів за цільове завдання.