الكود البشري من عام 2020 يهزم وكلاء التشفير في اختبارات الوكالة

تم اختبار أدوات التشفير مثل ChatGPT في ما يقرب من 40 ألف مباراة – وخسروا أمام كود كتبه طالب دراسات عليا قبل اختراع نماذج اللغة الكبيرة.

في دراسة جديدة من المملكة المتحدة، قام الباحثون بمواجهة وكلاء مدعومين بالكود البشري مع وكلاء تم تطويرهم باستخدام أحدث نماذج اللغة الكبيرة (LLMs)، مثل ChatGPT-5 و Claude، ووجدوا أن الوكلاء الذين تم إنشاؤهم بدون مساعدة الذكاء الاصطناعي هزمت بسهولة الإصدارات المدعومة بالذكاء الاصطناعي.

تم إنشاء كلا المجموعتين من الوكلاء من قبل أجيال مختلفة من الطلاب من مختبر الذكاء الاصطناعي في المعهد الفدرالي السويسري للتكنولوجيا في لوزان. تم تطوير وكلاء غير الذكاء الاصطناعي كجزء من الدورات الدراسية في عام 2020، قبل عامين من اختراع ChatGPT وبداية ثورة LLM، في حين تم إنشاء وكلاء جدد من قبل طلاب حاليين، بدعم من أحدث وأفضل LLMs المتاحة.

حتى مع لعب مقنعة، لم تتمكن حلول التشفير من الفوز، واحتلت المراكز الخمسة الأولى باستمرار من قبل وكلاء “نقيين”، مع هزيمة معظم وكلاء LLM (33 من أصل 40) بسهولة من قبل وكلاء أساسيين “بسيطين” جدًا، عبر 38,304 تحدي في بطولة، عبر عدد كبير من المتغيرات والظروف.

يذكر البحث ما يلي:

‘يعكس عملنا أن نماذج LLM المتقدمة يمكن أن تولد كودًا يعمل (أي خاليًا من أخطاء التركيبة النحوية)، ولكن الحل المولود ليس منافسًا لحلول التصميم البشري في أبعاد مثل التخطيط الاستراتيجي أو التحسين أو المنافسة متعددة الوكلاء.

‘لذلك، يهدف هذا العمل إلى إبراز هذا الحد الجديد في توليد الكود، ويسعى إلى تسهيل تطوير مقاييس، ومجموعات بيانات، وبرامج مفتوحة المصدر تؤكد على تركيبات الكود التي تقودها العقلانية.’

تم تصميم التحدي ليكون مشاركة إبداعية في المزادات، عبر مجموعة متنوعة من الاستراتيجيات، وتنظيم لوائح تسليم العناصر التي تم الفوز بها إلى الفائزين.

يلاحظ المؤلفون أن عددًا من المزايا تم منحها إلى LLMs، مثل التدخل في كودهم لتحسين أدائهم – وهو منحة لم يُسمح بها لكود عام 2020. على الرغم من ذلك، حتى عندما تم تزويد كود تصحيحي سيحسن بالتأكيد من نتائجهم، لم تتمكن LLMs من قبولها أو استخدامها:

‘[في] اختبارنا، حتى عندما نكشف عن حل جيد في السياق، لا تزال LLM غير قادرة على استخدامه.

‘هذا النتيجة يثير أيضًا أسئلة بحثية مستقبلية حول حدود التعلم في السياق والتحسين بمساعدة حل المشكلات في السيناريوهات المعقدة.’

تم استخدام LLMs التالية في الاختبار: GPT-5 Thinking، Gemini 2.5 Pro، Claude Opus 4.1، و DeepSeek R1*.

الورقة الجديدة هي الورقة بعنوان هل يمكن للتشفير أن يهزم طلاب الدراسات العليا؟ بطولة LLM مقابل كود بشري في التخطيط الاستراتيجي القائم على السوق، وهي تأتي من مؤلف واحد في جامعة ساوثهامبتون، ومؤلف آخر في جامعة أكسفورد ومعهد آلان تURING. سيتم إصدار مقياس الباحثين، كما يذكر المؤلفون، قريبًا.

الطريقة

يلاحظ المؤلفون أن الاختبارات التقليدية في هذا المجال تركز على تحديات ذات حلول ثنائية明حة (صحيح أو غير صحيح)، يتم التحقق منها من خلال اختبارات الوحدة. يزعمون أن هذا ليس الطريقة المثالية لاستكشاف حدود كود LLM، وبدلاً من ذلك قاموا بتصميم سيناريو تحدي أكثر تعقيدًا، مع معايير داخلية متعددة ومراحل، حيث يمكن الفوز ولكن ليس بسهولة:

مقارنة بين المناهج القائمة على اختبارات الوحدة (في الأعلى)، والسيناريو التحدي الأكثر مفتوحًا الذي صممه المؤلفون (في الأسفل باللون الأزرق). المصدر

تم استخدام مشكلة المزاد والشحن والتسليم (APDP) في دراسة المؤلفين، وهو جزئيًا بسبب توفر مجموعة من أعمال الطلاب في عام 2020 من الجامعة السويسرية؛ أعمال سعوا إلى إنشاء وكلاء أوتوماتيكيين لمهمة APDP، قبل أي khảية لدعم التطوير من خلال الذكاء الاصطناعي. لذلك كان من السهل نسبيًا أن يُطلب من الطلاب الحديثين القيام بنفس المهمة، ولكن مع توفير أدوات حالية.

سعى المؤلفون لتجنب إطارات اختبار شائعة مثل HumanEval، BigCodeBench، و WebDev Arena (من بين أخرى)، لأن هذا النوع من إجراءات الاختبار يعتبر معرضًا للتلوث البياناتي (أي الحالات التي قد يكون النظام قد تدرب على بيانات الاختبار بدلاً من احترام انقسام).

مشكلة APDP هي مشكلة لوجستية ثنائية المراحل تعتمد على المزادات العكسية و توجيه المركبات. في المرحلة الأولى، يتنافس الوكلاء للفوز بمهام التسليم من خلال تقديم عطاءات لمقدار يجب دفعها لاستكمال كل منها. العطاء المرتفع يعني خسارة المهمة؛ العطاء المنخفض قد يعني خسارة المال.

في المرحلة الثانية، يجب على كل وكيل إنشاء خطة كفؤة لاستكمال المهام التي فاز بها فقط، وتخصيصها لمركبات ذات سعات ورسوم مختلفة، تحت قيود زمنية وموارد:

في APDP، يتنافس الشركات في المزادات العكسية على مهام التسليم، ثم يضبطون مسارات المركبات لاستكمال المهام التي فازوا بها، معهدفهم تحقيق أقصى ربح.

الهدف ليس مجرد استكمال المهام، ولكن تحقيق أقصى ربح من خلال توقع الحزم من المهام التي ستعمل معًا بشكل أفضل، وتوقع استراتيجيات المنافسين الذين يحاولون القيام بنفس الشيء.

يرفع مقياس APDP صعوبة مهام توليد الكود من خلال إدخال التخطيط الاستراتيجي عبر تسلسل من المزادات التابعة، مع كل عطاء يعيد تشكيل مشهد الاختيارات المستقبلية؛ وبالتالي يتطلب من الوكلاء التفكير ليس فقط في التكاليف الفورية، ولكن في التموضع والتنسيق والنتائج طويلة الأمد.

المشكلة الأساسية للتسليم هي NP-hard، أي لا يوجد خوارزمية يمكنها العثور على الحل الأمثل في وقت معقول مع نمو عدد المهام. هذا يجعل القوة الغاشمة نهجًا غير قابل للتطبيق، ويشير إلى أن الوكلاء يجب أن يبادروا بالدقة من أجل السرعة.

السباق مستمر

قام المؤلفون بمقارنة 40 وكيلًا مدعومًا بالكود البشري مع 17 وكيلًا مدعومًا بالكود البشري في سلسلة من البطولات الفردية. كل من البطولات الـ 12 استخدمت مجموعة مختلفة من أربعة توپولوجيات شبكة، وتمت من خلال جميع اللعب ضد الجميع، مع وكلاء يواجهون كل خصم آخر مرتين: مرة واحدة يتحكمون في كل من الشركتين، مع مواصفات مركبات مختلفة.

هذا الإعداد أدى إلى 3,192 مباراة لكل بطولة، بمجموع 38,304 مباراة. في كل مباراة، تم بيع 50 مهمة تسليم، محددة بنقاط التقاط والإنزال ووزنها، وتم سحبها عشوائيًا عبر تخطيطات شبكة الطرق التي تم نمذجتها على سويسرا وفرنسا وبريطانيا العظمى وهولندا:

شبكات الطرق المبسطة المستخدمة في البطولة: بريطانيا العظمى (أعلى اليسار)، سويسرا (أعلى اليمين)، هولندا (أسفل اليسار)، وفرنسا (أسفل اليمين). تشير المربعات الزرقاء والحمراء إلى مهام التقاط والتسليم. تُظهر المثلثات الملونة المواقع الحالية لمركبات الوكلاء.

تم سحب وكلاء الطلاب من بطولة دورة دراسية في عام 2020. جاء ثمانية منهم من أفضل أداء في نهائي خروج المغلوب، وتم اختيار أربعة آخرون لاداءهم القوي ضد وكلاء الأساس في مباريات فردية.

اتبعت وكلاء الأساس استراتيجيات ثابتة. النائي حسب المسافة الإجمالية وعرض العطاء وفقًا لذلك، باستخدام مركبة واحدة فقط واهمال التجميع؛ ExpCostFixedBid قام بمحاكاة 10 مهام عشوائية، وعرض متوسط التكلفة الهامشية؛ الموضوع حسب التكلفة الهامشية الفعلية لإدراج المهمة في الجدول؛ ModelOpponent فعل الشيء نفسه ولكن أضاف تقديرًا لتكلفة المنافس، وعرض أقصى؛ و RiskSeeking خلط بين سابقة زمنية متضائلة مع تقدير التكلفة الحي، وعرض أعلى من الاثنين.

تمت إضافة 40 وكيلًا مدعومًا بالكود البشري باستخدام (الذكاء الاصطناعي المذكور أعلاه) GPT-5 Thinking، Claude Opus 4.1، Gemini 2.5 Pro، و DeepSeek R1. تم توجيه كل نموذج بخمسة استراتيجيات مختلفة، تم تطبيقها مرتين لكل نموذج.

استخدمت استراتيجيتان عطاءات ثابتة مكتوبة من قبل مؤلفين مختلفين، في حين سألت استراتيجية الثالثة النموذج عن إعادة النظر في وتعديل إخراجها الخاص؛ واستخدمت استراتيجية أخرى نقدًا وتعديلًا من قبل نموذج آخر. واستخدمت الاستراتيجية النهائية GPT-4 لتحليل جميع النهج السابقة الأربعة لصياغة عطاء جديد.

عكس العطاء الأساسي المهمة الأصلية للطالب، واصفًا بيئة التسليم وواصفًا النموذج لتقديم عطاءات وتخطيط لتحقيق أقصى ربح، دون الاعتماد على أساليب معقدة.

تم اختبار جميع وكلاء LLM في كل من اللعب الذاتي وبيئات البطولة حتى تم إصلاح جميع الأخطاء المرئية. تم التعامل مع إصلاح الأخطاء بشكل مستقل من قبل LLMs نفسها، مع توجيه المعلومات عن الأخطاء.

يشير البحث إلى أن حالات فشل LLM الشائعة تشمل انتهاكات حدود الوقت، وfailure في التقاط أو تسليم المهام المخصصة، وانتهاكات قيود سعة المركبات – أخطاء غالبًا ما تنشأ عن تجاهل التوجيهات الصريحة، أو من منطق إعادة التخطيط المعيب^†:

‘مشكلة أخرى شائعة وجدناها (معظمها مع Gemini و Claude و DeepSeek، وليس مع GPT) هي أن LLM غالبًا ما يفشل بشكل متكرر في حل عيب.

‘على سبيل المثال، كان وكيل يتعطل بشكل متكرر، على الرغم من العديد من (مثل 5-15) دورات توجيه LLM بالخطأ و تلقي الإصدار المعاد من الكود.

‘الsolution الوحيدة التي وجدناها لمثل هذه الحالات (حيث يفشل LLM بشكل متكرر في حل نفس العيب) هي إعادة البدء من البداية. بشكل عام، لاحظنا الحاجة إلى جهد يدوي كبير لتحقيق كود خالي من الأخطاء. كان علينا توليد وكلاء أكثر بكثير للحصول على 40 وكيلًا خاليًا من الأخطاء الذين قيمناهم.’

تُظهر النتائج التالية تلخيص النتائج من 12 بطولة دورة مزدوجة، عبر أربعة توپولوجيات شبكة، وثلاث بطولات لكل توپولوجيا، مما أدى إلى ما يقرب من 40,000 مباراة:

لمزيد من السياق، لعب كل وكيل 112 مباراة لكل بطولة، لذلك متوسط أقصى عدد للفوز أو الهزائم لكل وكيل هو 112. يُظهر الانحراف المعياري التباين عبر البطولات. الوكلاء المدعومون بالكود البشري يظهرون بالخط العريض. الوكلاء المدعومون بالكود البشري يتم تسميتهم بواسطة نموذج (O = GPT-5 Thinking، G = Gemini 2.5 Pro، A = Claude Opus 4.1، D = DeepSeek R1)، يليها رمز استراتيجية مكون من حرفين و رقم يشير إلى ما إذا كان الوكيل الأول أو الثاني تم إنشاؤه بهذا العطاء. المصدر

فيما يتعلق بالنتائج المذكورة أعلاه، يذكر المؤلفون^†:

‘لم تولد LLMs كودًا متوقعًا / منافسًا حتى في أشكال أبسط من مشكلة APDP (على الرغم من أن الكود كان في الغالب خاليًا من أخطاء التركيبة النحوية). هذا يؤكد أهمية مقاييس تقييم الكود التي تقودها العقلانية التي تتجاوز الإكمال التلقائي وتحدد نقاط الضعف الجديدة لل LLMs.’

‘تظهر نتائجنا تفوقًا واضحًا لوكلاء الكود البشري: (i) تحتل المراكز الخمس الأولى باستمرار من قبل وكلاء الطلاب، و (ii) يُهزم غالبية وكلاء LLM (33 من أصل 40) من قبل وكلاء أساسيين بسيطين جدًا (مثل العطاء الثابت لتكلفة المتوقع).

‘من المهم أن نلاحظ أننا لم نصلح كود الطلاب (في حين قمنا بتحقيق اختبار وتصحيح شامل لكود LLM، في كل من اللعب الذاتي وبيئات البطولة). كل مرة يتعطل فيها وكيل طالب، كنا نمنح الفوز تلقائيًا لـ LLM. كان يمكن لوكلاء الطلاب الاحتفاظ بمكانة أعلى.’

كما قام المؤلفون بتجربة إضافية، حيث تم توجيه GPT-5 Thinking لتحسين كود الوكيل الأفضل أداءً من بين وكلاء الطلاب، طالب 1؛ ولكن الوكيل المعدل حديثًا بواسطة LLM انخفض إلى المركز العاشر، وهو الأسوأ من بين جميع نتائج الطلاب. بدلاً من تحسين الحل، أدت تغييرات LLMs إلى تدهورها بمقدار 20٪ تقريبًا.

يخلص المؤلفون إلى ما يلي:

‘تسلط نتائجنا الضوء على قيود توليد كود LLM، ولا سيما قدراتها المحدودة في التخطيط والتفكير أثناء توليد الكود. يمكن لل LLMs الحديثة توفير كود خالي من أخطاء التركيبة النحوية التي تعمل، ولكن هذا ليس المقياس الذي يجب أن نستخدمه لقياس التقدم نحو الذكاء الاصطناعي العام المتقدم.’

الخلاصة

يلاحظ المؤلفون أنفسهم نحو نهاية الورقة أن التشفير أمنح الناس من جميع الخلفيات الفنية، ووصفوا الممارسة في ضوء إيجابي، كقوة مساواة. ومع ذلك، فإنهم يشيران أيضًا إلى أن التشفير قد وصل للتو، وحدوده غير معروفة، وربما يُفترض أنها أعلى مما يمكن توقعها بصدق.

يختمون عطائهم bằng نداء لتحويل الهدف من “الكود الذي يترجم إلى كود يتنافس“.

قد يسأل القارئ العادي لهذا البحث الجديد سؤالًا عن ما إذا كان المؤلفون يضربون أعلى أو أسفل، لأن المهمة الوكيلية المذكورة هي أكثر تعقيدًا وملحة من إخراج نص برمجي لسكريبتات باور شيل وغيرها من أنواع الوظائف الصغيرة والتصحيحات التي يُفضل التشفير لها.

* يرجى ملاحظة أن الورقة تشير باستمرار إلى ‘DeepThink R1’، الذي يبدو أنه غير موجود، ويظهر فقط عدد قليل من المراجع على الإنترنت (يبدو أنهم كتبوا خطأ ‘DeepSeek R1’). إذا كان هذا خطأ من جانبي، يرجى الاتصال بي عبر تفاصيل ملفي الشخصي، وسأقوم بتعديله.

^† تأكيد المؤلفين، وليس لي.

نُشر لأول مرة يوم الأربعاء، 26 نوفمبر 2025. تم تعديله في الساعة 17:35 بتوقيت شرق الولايات المتحدة لتحسين التنسيق.