Google تفتح معيارًا مرجعيًا للهندسة من 85 مهمة ومسابقة للوكلاء

أعلنت Google AI & Infrastructure في 3 نوفمبر 2026 أنها ستتيح 29 مهمة للعامة، وأدوات للتقييم، وحاوية للتقييم خاصة باختبار Physical-Engineering’s Last Exam (PLE)، وهو معيار مرجعي هندسي يضم 85 مهمة وطُوّر بالتعاون مع Mercor، إلى جانب مسابقة مفتوحة للوكلاء ولوحة ترتيب.

يطلب PLE من الوكيل إنجاز مهام مهنية في الهندسة الميكانيكية والكهربائية والمدنية والإنشائية، بدلًا من الإجابة عن أسئلة على غرار الكتب الدراسية أو تنفيذ استدعاء منفرد لأداة. ويضم المعيار 30 مهمة ميكانيكية و27 كهربائية و18 مدنية و10 إنشائية، ويُقاس النجاح من خلال مخرجات يجب أن تستوفي الأكواد الهندسية والقيود المادية، وأن تحقق، في أعمال التصميم، أهداف التكلفة أو الأداء.

يسجّل سجل الورقة على arXiv تقديمًا أوليًا في 21 أكتوبر 2026 ومراجعة في 30 أكتوبر 2026. ويتمثل التطور الجديد في إتاحة المهام وأدوات التقييم للجمهور وبدء المسابقة، لا في نشر الورقة للمرة الأولى.

ملفات المشروع ومخرجات العمل الإنتاجية

تُنفَّذ كل مهمة في بيئة مشروع قائمة على الحاويات ومبنية على Archipelago من Mercor. ويبلغ متوسط عدد الملفات في المهام 61 ملفًا، ويصل مجموعها في المعيار إلى 5,170 ملفًا، تشمل ملفات PDF وجداول بيانات ورسائل بريد إلكتروني ورسومات CAD ثنائية الأبعاد ونماذج BIM ثلاثية الأبعاد وإصدارات سابقة جرى استبدالها. وعلى الوكيل أن يحدد المستندات والمتطلبات المعتمدة، وأن يجري الحسابات، وأن يصدر ملفات مثل المذكرات الهندسية ودفاتر الحسابات وجداول المعدات والرسومات، بتنسيقات مخصصة للمراجعة من مهندسين مرخّصين.

أعدّ مهندسون ممارسون المهام الـ44 التي كتبها خبراء من البداية إلى النهاية، بما في ذلك مجلدات المشاريع والتعليمات ومعايير التقييم الموزونة الخاصة بها. أما المهام الـ41 التي أُعدّت بالتعاون، فقد زوّد المهندسون الفريق بموجزاتها الأولية؛ ثم أنشأ مسار عمل خصومي باسم Creator–Solver البيئات والمقيّمات القابلة للتنفيذ واختبرها، بالاستناد إلى مواد حقيقية قابلة للترخيص، وبعد ذلك تحقّق الخبراء من المهام وزادوا صعوبتها. وتوضح الورقة التقنية أن أياً من المهام لا يتضمن معلومات مملوكة أو سرية تخص العملاء: فقد كُتبت البيئات التي أعدّها الخبراء من الصفر، فيما تستخدم الملفات المُعدّة بالتعاون مواد من الملكية العامة أو مرخّصة بترخيص متساهل أو أُنشئت حديثًا.

يعكس التقييم التركيز نفسه على إنجاز العمل. وتستخدم المهام التي أعدّها الخبراء معايير موزونة مرتبطة بالأدلة الواردة في الملفات المقدمة. أما مهام التصميم المُعدّة بالتعاون فتجمع بين الامتثال للقيود وتحقيق هدف اقتصادي أو هدف للأداء، ويحول الإخفاق في اجتياز شرط صارم للسلامة أو الجدوى دون احتساب نقاط الهدف للتصميم المتأثر. ويعالج عنصر الهدف قصورًا في التقييم القائم على المعايير وحدها: إذ قد يستوفي جدولان لتمديدات الأسلاك فحوص الأكواد نفسها، مع اختلاف تكلفة التركيب بينهما.

النتائج الأولية تكشف فجوة في الامتثال

قيّمت Google 14 نموذجًا باستخدام سبع بيئات تشغيل متاحة للجمهور للوكلاء، وشغّلت كل مهمة ثلاث مرات لكل إعداد. ولم يكن لحاويات حلّ المهام اتصال بالإنترنت، كما أُتيح للوكيل العمل ست ساعات في كل تشغيل؛ أما تقييم المعايير والتقييم القابل للتنفيذ فأُجريا خارج حاوية الحل، لإبقاء المقيّمين والمخرجات المرجعية بعيدًا عن الوكيل.

في مجموعة الاختبار الخاصة المكوّنة من 56 مهمة، أفادت Google بأن جميع النماذج حققت أقل من 50% باستخدام بيئة تشغيل الوكلاء الأصلية الخاصة بها، وتصدّرها Claude Opus 5.5 ضمن Claude Code بنسبة 48.3%. وترتّب لوحة ترتيب المسابقة النماذج استنادًا إلى نتائج تلك المهام المخفية.

وتعرض الورقة تقييمًا منفصلًا شمل المهام الـ85 كلها، سجّل فيه Claude Opus 5.5 في Claude Code أعلى نتيجة بلغت 50.6%، بمتوسط 27 مليون رمز و63 دقيقة لكل مهمة، وبتكلفة قدرها 17.18 دولارًا لكل مهمة وفق الأسعار المعلنة. لذا، تعكس النتيجتان الأعلى تقييمين مختلفين: أحدهما يشمل مجموعة الاختبار المخفية مع بيئات التشغيل الأصلية، والآخر يشمل المعيار كاملًا وأقوى إعداد للنموذج وبيئة التشغيل.

وتكمن النتيجة الأكثر دلالة في المهام المُعدّة بالتعاون. وتفيد Google بأن أقوى إعداد استوفى 91% من القيود الفردية، لكن 41.3% فقط من عناصر مخرجاته اجتازت جميع فحوص السلامة والجدوى الصارمة اللازمة للحصول على نقاط الهدف. وعمليًا، كثيرًا ما استوفت الوكلاء معظم المتطلبات من دون إنتاج تصميم ممتثل بالكامل؛ وهذه تحديدًا هي الفجوة التي صُمم شرط PLE الصارم للقيود لكشفها.

وتفيد Google بوجود فارق يقارب 50 نقطة بين النماذج، مقابل فارق وسيط قدره ثلاث نقاط بين بيئات التشغيل للنموذج نفسه، مع أن اختيار بيئة التشغيل ظل يؤثر في النتائج والتكاليف. كما تفاوتت نتائج المهام الفردية تفاوتًا كبيرًا، إذ بلغ متوسط نطاق النتائج عبر ثلاث مرات تشغيل 15.4 نقطة لكل حالة تجمع بين مهمة وبيئة تشغيل. ويؤيد هذا التفاوت اعتماد المؤلفين على متوسطات عمليات التشغيل المتكررة بدلًا من المحاولات المنفردة.

المسابقة تختبر إعداد الوكيل بأكمله

يقسّم المستودع الرسمي PLE إلى 29 مهمة تطوير متاحة للجمهور و56 مهمة اختبار مخفية. ويقدّم المتسابق بيئة تشغيل الوكيل، أي البرنامج الذي يوجّه نموذجًا مختارًا خلال كل مهمة، إلى جانب اختياره للنموذج والملفات الناتجة عن تنفيذ المهام العامة. ويقيّم المنظمون تلك الملفات، ثم يعيدون تشغيل بيئة الوكيل على عينة من المهام العامة للتحقق من إمكانية تكرار النتائج، وبعدها يشغّلونها ثلاث مرات على المهام المخفية لتحديد نتيجة لوحة الترتيب.

يمكن للمشاركين استخدام 13 نموذجًا ترعاها Google مجانًا على خادم التقييم، أو تقديم مفتاح واجهة برمجة تطبيقات لنموذج تجاري، أو ربط خادم نموذج مستضاف ذاتيًا. ويتضمن المستودع المرخّص بموجب Apache-2.0 نماذج أولية لأطر تشغيل مخصصة وموائمات لوكلاء موجودين، ما يتيح للمشاركين عدة نقاط انطلاق لبناء مشاركة متكاملة.

لذلك، تقيّم المسابقة أكثر من مجرد الإجابة النهائية للنموذج. إذ يجب على النظام المقدَّم التعامل مع ملفات مشاريع واقعية، وإعادة إنتاج نتائجه العلنية، وإعداد مخرجات متكاملة تجتاز فحوص السلامة والجدوى والجودة المخفية. وتُظهر النتائج الأساسية أن الامتثال للحزمة كاملة هو التحدي المحوري: فاستيفاء معظم المتطلبات الفردية لا يكفي إذا كان الإخفاق في قيد صارم واحد قادرًا على حرمان تصميم مقتصد من رصيد موضوعي.