زاوية Anderson
الانتقال إلى إصدار أدنى من Claude Fable لم يؤثر إلا بالكاد في إنتاجية المطورين أثناء الحظر

النقاط الرئيسيةرفع الوصول إلى Claude Fable 5 الأعلى تسجيلًا معدل الدمج بنسبة 1.4 نقطة مئوية فقط.
عرض المزيد
- رفع الوصول إلى Claude Fable 5 الأعلى تسجيلًا معدل الدمج بنسبة 1.4 نقطة مئوية فقط.
- لم تُنتج خمس ترقيات لـ Claude أي زيادة كبيرة في طلبات السحب المدمجة أو التغييرات المكتملة أسبوعيًا.
- درجات المعايير لا تعني الكثير عندما تقع المهام التي يكلّف بها المطورون بالفعل ضمن قدرات الطرازات الأقدم.
من الصعب جدًا تقييم ما إذا كانت نماذج الذكاء الاصطناعي الجديدة قد حسّنت أداءها مقارنة بسابقاتها، أو حتى تحديد ما يشكّل بالضرورة تحسنًا في الإنتاجية؛ إذ قد تُظهر الإصدارات الجديدة تحسنًا في مجال ما، بينما يتراجع أداؤها في مجال آخر، على غرار ما يحدث أحيانًا مع البرمجيات وأطر العمل التقليدية. وقد تكون هذه المفاضلات أحيانًا اختيارات طوعية يتخذها البشر، وأحيانًا أخرى «أضرارًا جانبية».
يفترض ذلك أن الأمور تسير «بنزاهة». فقد تلاعب مطورون بالبرمجيات لتحقيق أداء أفضل في الاختبارات المعيارية في حالات كثيرة، وجعلوها أحيانًا تتعرف إلى أنها تخضع للاختبار وتغيّر طريقة عملها مؤقتًا لتحصل على نتيجة أفضل. ويمكن لنماذج الذكاء الاصطناعي أيضًا أن تتعرف إلى أنها تخضع للتقييم وأن تتصرف على نحو مختلف، حتى من دون تصميمها عمدًا للقيام بذلك.
بحثًا عن مقاييس أكثر دلالة وموثوقية، يضع المطورون كثيرًا مقاييسهم التقريبية الخاصة، مثل تحدي تصوير بجع يركب دراجة النوعي الذي ابتكره سايمون ويلسون، حيث يُطلب من نماذج الرؤية واللغة (VLMs) إنشاء صورة لشيء غير موجود في بيانات التدريب*، وغالبًا ما يكون أداؤها ضعيفًا؛ وإن كان قد تحسن بعض الشيء خلال عام 2026:

يقيس سايمون ويلسون أداء النموذج بأن يطلب من نموذج للرؤية واللغة تخيّل بجع يركب دراجة. وقد تحسن أداء الذكاء الاصطناعي كثيرًا في هذه المهمة مؤخرًا مقارنة بالمحاولات المضحكة قبل نحو 18 شهرًا. لكن يرى بعضهم أن السبب قد يكون أن التحدي أصبح الآن راسخًا في بيانات التدريب. المصدر
لكن الاختبار المعياري لا يقيس إلا المهارات المحددة التي صُمم لاختبارها. وحتى عندما تكون نتائجه موثوقة، يظل من غير الواضح مدى أهمية تلك المهارات في الاستخدام اليومي، أو ما إذا كانت النتيجة الأعلى ستؤدي إلى إنجاز مزيد من العمل.
في حالة نماذج البرمجة، يمكن التحقق من ذلك بالنظر إلى ما يحدث لإنتاجية المطورين عندما ينتقلون من نموذج إلى آخر.
الإنجاز [the Same] بموارد أقل
في يونيو من هذا العام، أتاح الحظر الذي فرضه البيت الأبيض لمدة 19 يومًا على استخدام Claude Fable للباحثين بيئة اختبار واضحة على نحو استثنائي؛ إذ انتقل المطورون الذين يقدمون طلبات دمج (PRs) إلى GitHub إلى إصدارات أقل قدرة من Claude. ولأن جميع إصدارات Claude توقّع طلبات الدمج تأييدًا لها، ولأن هذه المعلومات قابلة للبحث عبر واجهة برمجة تطبيقات GitHub، فالبيانات متاحة للجميع مجانًا.
استفادت دراسة جديدة من جامعة هارفارد من هذه الفرصة، إذ تتبعت أعمال 297 مستخدمًا لـFable 5 قبل الحظر وأثناءه وبعده، وقارنتها بأعمال 8,908 مطورين واصلوا استخدام نموذج Opus 4.8 الأقدم.
سبق أن حصل Fable 5 على نتيجة أعلى بنحو 11 نقطة من Opus 4.8 في اختبار SWE-Bench Pro المعياري للبرمجة. لكن في دراسة هارفارد، ارتبطت إمكانية الوصول إلى Fable 5 بزيادة قدرها 1.4 نقطة مئوية فقط في نسبة تغييرات الشيفرة المقدمة التي قُبلت في مشاريع GitHub خلال سبعة أيام؛ ووصفت الورقة هذا الفرق بأنه لا يتجاوز عمليًا خطأ التقريب. كما لم يجد تحليل أوسع أي مكاسب ملحوظة في الإنتاجية نتيجة الانتقال إلى نماذج ذكاء اصطناعي أحدث أخرى:
«تُظهر النتائج أن إتاحة Fable 5 لم تغيّر معدل الدمج إلا بمقدار 1.4 نقطة مئوية، ولم يكن التغيير دالًا إحصائيًا [significant]. وحللنا أيضًا خمسة من ترقيات النماذج الثماني في عام 2026، ووجدنا أن معدل الدمج لم يرتفع بعد هذه الترقيات [either].
«وبالمثل، لم ينجح المطورون في دمج مزيد من طلبات الدمج أسبوعيًا. وتُظهر هذه النتائج أن المكاسب في الاختبارات المعيارية الحالية للبرمجة لم تُترجم فعليًا إلى إنجاز مزيد من العمل.»
لم يُعثر على تحسن ذي دلالة إحصائية في معدل دمج الشيفرة المقدمة أو في عدد التغييرات التي أُنجزت بنجاح كل أسبوع، وذلك عبر خمس ترقيات في عام 2026 شملت 1,208 مطورين وأكثر من 15,000 تغيير مقترح في الشيفرة.
مع أن الورقة تقر بأن عمليات الدمج في GitHub مقياس غير مثالي للإنتاجية، فقد أتاح الحظر فرصة نادرة جدًا لتقييم آثار الانتقال بين النماذج في ظروف العمل الفعلية، ضمن قطاع يحظى باهتمام عالمي هائل، لكنه يعمل في ظل أقصى درجات انعدام الشفافية المؤسسية الممكنة.
وإقرارًا بصعوبة وضع معايير تجريبية في مثل هذه الحالات، تشير الدراسة الجديدة† إلى ما يلي:
«قد يكون مستخدمو النماذج الجديدة الأوائل أكثر خبرة؛ لذلك، عندما نقارن الإنتاجية بين المطورين، لا يمكننا معرفة ما إذا كان الاختلاف نابعًا من النموذج أم من الأشخاص الذين يستخدمونه. وحتى إذا راقبنا الأشخاص أنفسهم، فلا نعرف ما إذا كانوا يسندون المهام نفسها إلى النماذج المختلفة.
«فعلى سبيل المثال، قد يستخدم بعض الأشخاص Fable 5 للمهام الأصعب، ثم ينتقلون إلى نماذج أقل مستوى للمهام الأسهل. وإذا أسندوا المهام الأصعب إلى أقوى نموذج، فقد يبدو هذا النموذج أقل إنتاجية، وفق أي مقياس نختاره تقريبًا، لأن المهام الأصعب تستغرق وقتًا أطول ويقل احتمال دمجها.»
وتذهب الورقة البحثية أيضًا إلى أن الدراسات السابقة شابها تحيز ناجم عن أن معظم تغييرات الشيفرة جاءت من عدد قليل من المشاريع، لكل منها قواعده الخاصة لقبول المساهمات؛ وأن هذه الاختلافات صعّبت التحقق مما إذا كانت مكاسب الإنتاجية قد نتجت فعلًا عن الترقية إلى نماذج أحدث.
المنهجية
في التجربة الرئيسية††، قُسّمت طلبات السحب على GitHub التي قدّمها 297 مطورًا حددتهم الدراسة على أنهم مستخدمون لـFable 5 إلى أربع فترات: ما قبل إصدار النموذج في 9 يونيو؛ وأيام إتاحته الثلاثة؛ وفترة تعليقه التي استمرت 19 يومًا؛ وما بعد استعادة الوصول إليه في 1 يوليو.
وقورنت معدلات دمج طلبات السحب لديهم بمعدلات 8,908 مطورين حُددوا على أنهم يستخدمون نموذج Opus 4.8 الأقدم، ما أتاح تمييز التغييرات المرتبطة بالتعليق عن التقلبات الأوسع في نشاط GitHub.
وافترضت المقارنة أنه لولا الحظر، لطرأت على معدلات دمج طلبات السحب لدى المجموعتين تغييرات متشابهة. وقورنت التغييرات في معدلات الدمج بين المجموعتين، مع أخذ الفروق بين المطورين الأفراد والتقلبات اليومية في الحسبان ضمن التحليل الإحصائي:

جدول زمني لترقيات نماذج Claude وتعليق Fable 5. تعرض اللوحة العلوية ثماني ترقيات لنماذج Opus وSonnet، وتشير الدوائر المملوءة إلى النماذج الخمسة التي تناولتها الدراسة الأوسع. وتعرض اللوحة السفلية الفترات الأربع المستخدمة لتقييم أثر فترة التعليق على معدلات دمج طلبات السحب، مع اعتماد فترة الحظر مرجعًا للمقارنة. وتوضح الخطوط البنفسجية أوقات إتاحة Fable 5 أو تعليقه؛ ويشير التظليل الرمادي إلى الحظر؛ أما المقاطع ذات التهشير فتبيّن الأيام المستبعدة مباشرة بعد تعليق الوصول أو استعادته. المصدر
في ما يتعلق بالبيانات، جرى تحديد طلبات السحب العامة على GitHub التي أُنشئت باستخدام Claude Code عبر واجهة برمجة تطبيقات البحث في GitHub، بالاستناد إلى إشعار «أُنشئت باستخدام Claude Code» الذي يُدرج تلقائيًا في أوصافها. وعندما كان اسم النموذج المحدد منسوخًا أيضًا من سجل إيداعات الشيفرة إلى وصف طلب السحب، أمكن تحديد إصدار Claude المستخدم.
وجُمعت طلبات السحب المقدمة في فترة تعليق Fable 5 والترقيات اللاحقة لنماذج Claude بين نوفمبر 2025 وأكتوبر 2026، مع إتاحة أربعة أسابيع على الأقل لدمج أحدث الطلبات المقدمة.
اختير المطورون الـ297 الذين استخدموا Fable 5 خلال فترة إتاحته القصيرة للمجموعة الرئيسية في الدراسة، فيما شكّل 8,908 مطورين استخدموا Opus 4.8، ولم يُسجل لهم استخدام Fable 5، المجموعة الضابطة.
كان المقياس الرئيسي للإنتاجية هو نسبة تغييرات الشيفرة المقدمة التي قُبلت في مشاريع GitHub خلال سبعة أيام، ما أتاح مقارنة معدل قبول الطلبات بين الفترات السابقة للتعليق وأثناءه وبعده. وشملت الفحوص الإضافية طلبات السحب التي دُمجت خلال ساعة؛ والطلبات التي أُغلقت من دون دمج؛ وعدد التعليقات التي تلقتها؛ والتغييرات التي عُكست لاحقًا؛ والإخفاقات في عمليات التحقق الآلية على GitHub.
الاختبارات
لم يكن لفقدان إمكانية الوصول إلى Fable 5 ثم استعادتها أثر يُذكر في إنتاجية المطورين وفق القياسات، إذ ارتبط الوصول إلى النموذج الأحدث بزيادة قدرها 1.4 نقطة مئوية فقط في نسبة طلبات السحب التي دُمجت خلال سبعة أيام؛ وهو فارق عُدّ «غير دال إحصائيًا»:

مقارنة استخدام Fable 5 بمعدلات دمج طلبات السحب قبل الحظر وأثناءه وبعده. يسارًا: نسبة طلبات السحب المُنشأة باستخدام Fable 5. يمينًا: التغيرات في معدل الدمج خلال سبعة أيام مقارنة بالفترة من 22 إلى 28 يونيو، حيث تشير النقاط إلى التقديرات والخطوط الأفقية إلى فواصل الثقة البالغة 95%. وتحدد الصفوف المظللة الفترات التي كان Fable 5 متاحًا فيها. وعلى الرغم من التغيرات الكبيرة في استخدام النموذج، لم يُلاحظ تغير يُذكر في معدلات الدمج.
كذلك، لم يُعثر على أي تحسن في نسبة الشيفرة المقبولة في مشاريع GitHub عبر خمس ترقيات لنماذج Claude، شملت 1,208 مطورين وأكثر من 15,000 عملية إرسال للشيفرة. بل انخفض المعدل قليلًا، بما يُقدّر بنحو 0.9 نقطة مئوية.
وُجد أيضًا أن المطورين الذين يستخدمون النماذج الأحدث ينجزون أسبوعيًا عددًا أكبر بنسبة 2.4% فقط من عمليات الإرسال المقبولة، وهو فارق ضئيل للغاية لا يكفي لإثبات تحسن موثوق. وحتى عندما ارتفعت درجات الاختبارات المعيارية بمقدار يتراوح بين 5 و18 نقطة، لم يُلاحظ أي تحسن ملموس في الإنتاجية.
كما تبيّن أن أداء النماذج الأحدث لم يكن أفضل في اختبارات GitHub الآلية للشيفرات البرمجية، إذ ظلت معدلات الإخفاق على حالها تقريبًا.
وخلصت الورقة البحثية إلى ما يلي:
«نفترض أن السبب الرئيسي لعدم انعكاس المكاسب التي حققها Fable 5 في الاختبارات المعيارية على إنتاجية العمل الفعلية هو أن المهام التي يكلّف بها المطورون الوكلاء تقع أصلًا ضمن قدرات النموذج الأقدم».
وتضيف الورقة:
«تضيف نتائجنا المستمدة من العمل الفعلي أدلةً إلى ما حذّرت منه أبحاث سابقة: فقليلٌ ما تعنيه درجة الاختبار المعياري لمن يختارون نموذجًا ما، ما لم يتوفر دليل على أن الاختبار يقيس العمل الذي يُستخدم النموذج لإنجازه[describe].»
«إذا قيّم المنظمون والمشترون مدى تفوق نموذج ما بالاستناد إلى نتيجته في الاختبارات المعيارية[score]، فمن المرجح ألا يظهر الفرق الذي يعتمدون عليه في إنتاجية المستخدمين».
الخلاصة
لطالما كانت المقاييس المتسقة التي تُقاس على أساس سنوي شرطًا أساسيًا للجانب التجاري من الأنظمة الصناعية، لكن يصعب على نحو خاص تكرارها بدقة وواقعية في مجال الذكاء الاصطناعي. ويعود ذلك جزئيًا إلى السرعة التي تدخل بها «بيانات الاختبار» التي تحدد الاختبار المعياري ضمن بيانات تدريب النموذج التالي، فتغدو عديمة الفائدة لأغراض الاختبار. وهذا وحده يكاد يقوّض نهج المقارنة المعيارية للشركات والاختبارات العلمية المتسقة، التي يعتمد فيها الباحثون على تجاوز المقاييس المعتمدة سابقًا، والتي قد تكون فقدت معناها الآن.
ومن اللافت حقًا، على مدى السنوات العشر الماضية، مشاهدة عدد أبحاث الرؤية الحاسوبية التي لا تزال تلتزم بمعايير عفا عليها الزمن منذ زمن بعيد، مثل ImageNet، لمجرد أن جذورها تعود إلى فترة بعيدة.
تعرض نتائج هذه الورقة البحثية المطورين بصورة إيجابية إلى حد كبير، بوصفهم قادرين على التكيف والمرونة في استخدام أي نظام متاح وقيد التشغيل. ويشير أداؤهم بالسرعة ذاتها تقريبًا، سواء استخدموا أحدث نماذج الذكاء الاصطناعي أم السابقة، إلى أنهم يضبطون عملهم وفق المدد الزمنية والمواعيد النهائية، بصرف النظر عن الأدوات المتاحة لهم.
* وكما أشار أحد المعلقين مؤخرًا على Hacker News، فربما لم يعد ذلك صحيحًا، لأن بيانات «البجع على دراجة» أصبحت الآن ضمن بيانات التدريب، وبالتالي لم يعد الاختبار موثوقًا.
† بعنوان «لم تُنجز نماذج البرمجة الأعلى تقييمًا مزيدًا من العمل».
††يطرح البحث سؤالين آخرين، لكنني لا أرى أنهما وثيقا الصلة بالموضوع، أو يماثلان السؤال الرئيسي أهميةً، لذلك لم أتناولهما هنا. يُرجى الرجوع إلى ملف PDF للمصدر لمزيد من التفاصيل.
نُشر لأول مرة يوم الأربعاء، 18 نوفمبر 2026












