Google abre un benchmark de ingeniería de 85 tareas y una competición de agentes

Google AI & Infrastructure anunció el 3 de noviembre de 2026 que publicaría 29 tareas, herramientas de evaluación y un contenedor de evaluación para Physical-Engineering’s Last Exam (PLE), un benchmark de ingeniería de 85 tareas desarrollado junto con Mercor, además de una competición abierta de agentes y una clasificación.

PLE pide a un agente que complete encargos profesionales de ingeniería mecánica, eléctrica, civil y estructural, en lugar de responder preguntas al estilo de un libro de texto o realizar una llamada aislada a una herramienta. El benchmark incluye 30 tareas de ingeniería mecánica, 27 de ingeniería eléctrica, 18 de ingeniería civil y 10 de ingeniería estructural. El éxito se mide mediante entregables que deben cumplir los códigos de ingeniería y las restricciones físicas y, en el caso de los trabajos de diseño, los objetivos de costo o rendimiento.

El registro del artículo en arXiv indica que se presentó por primera vez el 21 de octubre de 2026 y se revisó el 30 de octubre de 2026. La novedad es la publicación de las tareas y las herramientas de evaluación, así como la apertura de la competición, no la primera publicación del artículo.

Archivos del proyecto y entregables de producción

Cada encargo se ejecuta en un entorno de proyecto en contenedores basado en Archipelago, de Mercor. Las tareas tienen un promedio de 61 archivos y suman 5.170 en todo el benchmark; entre ellos hay archivos PDF, hojas de cálculo, correos electrónicos, dibujos CAD en 2D, modelos BIM en 3D y versiones reemplazadas por otras posteriores. El agente debe determinar qué documentos y requisitos son aplicables, realizar cálculos y generar archivos como memorandos de ingeniería, libros de cálculo, planillas de equipos y dibujos en formatos destinados a la revisión por profesionales con licencia.

Ingenieros en ejercicio desarrollaron de principio a fin las 44 tareas redactadas por expertos, incluidas sus carpetas de proyecto, instrucciones y rúbricas de calificación ponderadas. Para las 41 tareas cocreadas, los ingenieros proporcionaron los encargos iniciales; luego, una canalización adversarial Creator–Solver construyó y probó los entornos y los calificadores ejecutables a partir de materiales reales susceptibles de obtenerse bajo licencia. Después, expertos validaron las tareas y aumentaron su dificultad. El artículo técnico señala que ninguna tarea incluye información confidencial de propiedad exclusiva ni de clientes: los entornos redactados por expertos se crearon desde cero, mientras que los archivos de las tareas cocreadas utilizan material de dominio público, con licencias permisivas o recién generado.

La calificación refleja el mismo énfasis en el trabajo terminado. Las tareas redactadas por expertos se evalúan con criterios ponderados vinculados a las pruebas presentes en los archivos entregados. Las tareas de diseño cocreadas combinan el cumplimiento de restricciones con un objetivo económico o de rendimiento, y el incumplimiento de un requisito obligatorio de seguridad o viabilidad impide que el diseño afectado obtenga puntos por el objetivo. Este componente basado en objetivos aborda una limitación de la calificación basada únicamente en rúbricas: dos planillas de cableado pueden cumplir las mismas comprobaciones normativas y, aun así, diferir en el costo de instalación.

Los resultados de referencia revelan una brecha de cumplimiento

Google evaluó 14 modelos con siete marcos de agentes disponibles públicamente y ejecutó cada tarea tres veces por configuración. Los contenedores de resolución no tenían acceso a Internet y permitían seis horas de tiempo de ejecución del agente por intento. La evaluación mediante rúbricas y la calificación ejecutable se realizaron fuera del contenedor de resolución, de modo que los calificadores y los entregables de referencia no estuvieran al alcance del agente.

En el conjunto de prueba privado de 56 tareas, Google informa que todos los modelos obtuvieron menos del 50 % en su configuración nativa; el mejor resultado fue el de Claude Opus 5.5 con Claude Code, con un 48,3 %. La tabla de clasificación de la competencia ordena los modelos según esos resultados en tareas ocultas.

La evaluación independiente del artículo, que abarcó las 85 tareas, informa de un máximo del 50,6 % para Claude Opus 5.5 en Claude Code, con un promedio de 27 millones de tokens y 63 minutos por tarea, y un costo de 17,18 dólares por tarea a precios de lista. Por tanto, las dos cifras más altas corresponden a evaluaciones distintas: una abarca el conjunto de prueba oculto con marcos de agentes nativos, mientras que la otra cubre el benchmark completo y la configuración de modelo y marco de agente con mejor rendimiento.

El resultado más revelador se encuentra entre las tareas cocreadas. Google informa que la configuración más sólida cumplió el 91 % de las restricciones individuales, pero solo el 41,3 % de los elementos entregados superó todas las comprobaciones obligatorias de seguridad y viabilidad necesarias para obtener puntos por el objetivo. En la práctica, los agentes solían cumplir la mayoría de los requisitos sin producir un diseño plenamente conforme: precisamente la brecha que el filtro de restricciones obligatorias de PLE está diseñado para poner de manifiesto.

Google informa de una diferencia de aproximadamente 50 puntos entre modelos, frente a una diferencia mediana de tres puntos entre marcos de agentes para un mismo modelo, aunque la elección del marco seguía afectando tanto las puntuaciones como los costos. Los resultados de cada tarea también variaron considerablemente: el rango promedio entre tres ejecuciones fue de 15,4 puntos por cada combinación de tarea y marco de agente. Esa variabilidad respalda la decisión de los autores de utilizar promedios de varias ejecuciones en lugar de resultados de un solo intento.

La competición pone a prueba la configuración completa del agente

El repositorio oficial divide PLE en 29 tareas públicas de desarrollo y 56 tareas de prueba ocultas. Cada participante presenta el marco de agente —el software que guía a un modelo seleccionado en cada tarea—, junto con la elección del modelo y los archivos generados en las tareas públicas. Los organizadores califican esos archivos, vuelven a ejecutar el marco en una selección de tareas públicas para comprobar que los resultados puedan reproducirse y, después, lo ejecutan tres veces en las tareas ocultas para determinar la puntuación en la clasificación.

Los participantes pueden usar gratuitamente 13 modelos patrocinados por Google en el servidor de evaluación, proporcionar una clave de API para un modelo comercial o conectar un servidor de modelos alojado por ellos mismos. El repositorio, publicado bajo la licencia Apache-2.0, incluye implementaciones iniciales para sistemas de ejecución personalizados y adaptadores para agentes existentes, lo que ofrece a los participantes varios puntos de partida para crear una entrega completa.

Por tanto, la competición evalúa algo más que la respuesta final de un modelo. El sistema presentado debe desenvolverse entre archivos de proyectos realistas, reproducir sus resultados públicos y generar entregas completas que superen verificaciones ocultas de seguridad, viabilidad y calidad. Los resultados de referencia muestran que el principal desafío es cumplir todos los requisitos del paquete: satisfacer la mayoría de los requisitos individuales sigue siendo insuficiente si el incumplimiento de una sola restricción estricta puede privar de puntos por criterios objetivos a un diseño que, por lo demás, es económico.