الاستطرادات التي لا ينبغي أن تدفعوا ثمنها في مجال الذكاء الاصطناعي

ليس معنى ذلك أن شركات الذكاء الاصطناعي الرائدة لن تحاول بالضرورة ترجيح الكفة لصالحها عند بيع الرموز لنا، إن أُتيحت لها الفرصة؛ فـAnthropic رفعت في يونيو الأسعار بما يعادل زيادة فعلية قدرها 30% في السعر، ورفعت DeepSeek أسعار واجهة برمجة التطبيقات (API) في أغسطس، بينما تراجعت OpenAI على مضض عن خفض حصة الرموز في فئتها المتوسطة في نهاية سبتمبر. لذا بات اتجاه التقشف واضحًا إلى حد بعيد.

في الواقع، تتكرر هذه الفكرة عندما يستنفد وكيل الذكاء الاصطناعي لديك مخصصك اليومي من الرموز في 45 دقيقة من كتابة الشيفرات التي لا يُشترط أن تكون مبهرة، ثم يطلب منك العودة بعد 3-4 ساعات. وفي مثل هذه اللحظة المحبطة، لا يسع المرء إلا أن يتساءل إن كانت بعض العمليات التي تجري خلال ذلك النشاط مُصممة بما يصب في مصلحة مزودي الخدمة. ففي نهاية المطاف، إنها طريقة جيدة لحملنا على دفع ثمن إضافة خاصة من الرموز، أو حتى تشغيل خيار «إعادة الشحن التلقائي».

حسنًا، إن صحّ ذلك فعلًا في هذه المرحلة، فبوسع الشركات الرائدة أن تتذرع على نحو مقنع بأننا لا نفهم تمامًا كيفية استخدام الرموز في مهام الوكلاء، عبر النماذج وأطر التشغيل المختلفة. وهم أيضًا لا يفهمون ذلك. فباستثناء مسارات إعداد الدفع لديهم (وهي سلسة للغاية بالفعل)، لا يزال كل شيء في مرحلة ما قبل ألفا، وما زال مادةً للأبحاث المتطورة، رغم الانتشار الواسع للمنتج وتحوله إلى سلعة شائعة.

إدارة الهدر

من الثابت أن وكلاء الذكاء الاصطناعي يهدرون الرموز (وبالتالي أموالك) عند الاستدلال ضمن سير العمل القائم على الوكلاء؛ وقد تأكد ذلك منذ وقت طويل: فقبل عام بالضبط، كتبت عن أبحاث جديدة أظهرت مدى ميل نماذج الذكاء الاصطناعي الاستدلالية إلى استهلاك الرموز عبر «الإسهاب»؛ وفي وقت سابق من هذا العام، كتبت عن أبحاث أخرى وصفت الاستدلال بسلسلة الأفكار بأنه «زخرفي»؛ وفي الأسبوع الماضي، أعلن نيلس بونغه، رئيس قسم المنتجات في Tsuga، في مقالة تتناول قيادة الفكر نشرها هنا، ما يلي:

«الفريق الذي يستهلك ضعف عدد الرموز لا يخلق بالضرورة ضعف القيمة. فقد يتعامل مع عمل أصعب، أو يستخدم نموذجًا أقوى مما يلزم، أو يعتمد على وكيل يعيد المحاولة مرارًا لتنفيذ مهام فاشلة».

ما لا يُعرف كثيرًا هو كيفية إهدار الرموز في مهام أو عمليات غير ضرورية؛ وهذا هو محور ورقة بحثية جديدة أعادت انتباهي إلى هذا الموضوع اليوم.

تحمل هذه الورقة البحثية الجديدة، التي أعدّها تعاون أكاديمي أمريكي*، عنوان كيف تهدر وكلاء الذكاء الاصطناعي أموالك؟، وتقدم إطارًا موحدًا قادرًا على قياس مقدار ما تهدره عمليات الوكلاء فعليًا من الرموز. وعندما تكون النماذج مغلقة المصدر، تجمع منهجية «الظل» بين الإحصاءات والمقاييس الرسمية لمزودي الخدمة، لتقديم وصف تفصيلي مكافئ لما جرى للرموز أثناء استدلال الذكاء الاصطناعي وتصرفه:

الطريقة الجديدة لقياس الرموز المهدرة في الذكاء الاصطناعي. يُسجّل استدلال كل وكيل وإجراءاته وتكاليفه، ثم تُفحص بحثًا عن التكرار والطلبات غير الضرورية والاستطرادات التي يمكن تجنبها. ويُزال الهدر الذي يجري تحديده، ثم تُختبر مجددًا قدرة الوكيل على إنجاز المهمة الأصلية. المصدر

كما هو موضح أعلاه، يُسمح للوكيل بالعمل على نحو طبيعي، مع اعتراض الاتصالات مع مزود الذكاء الاصطناعي وتسجيلها، بما يشمل حالات الاستدلال واستخدام الأدوات واستهلاك الرموز والتكاليف. ثم يفحص محكّمون من نماذج Large Language Model (LLM) السجلات لتمييز العمل المفيد من التكرار وعمليات البحث غير الضرورية والاستطرادات. بعد ذلك، يُزال الهدر المشتبه فيه، وتُحسب وفورات الرموز، ثم يُستأنف عمل الوكيل لمعرفة ما إذا كان لا يزال قادرًا على إنجاز المهمة بنجاح.

وجد الباحثون في الاختبارات أن نحو 18% من رموز المخرجات التي أنتجها الوكلاء كانت مهدرة. وفي أكثر من 45% من المهام، أهدر أحد الوكلاء رموزًا أكثر مما احتاج إليه وكيل آخر لإنجاز المهمة نفسها بنجاح. ووجدوا أيضًا أن إزالة 41–46% من الاستدلال غير الضروري لم تؤثر إلا قليلًا في الأداء، ما يشير إلى أن من الممكن تحقيق وفورات كبيرة من دون الإضرار بالنتائج بدرجة ملموسة.

وجاء في الورقة البحثية:

«من بين المسارات التي جُمعت، صُنّف نحو 18% من رموز المخرجات على أنها هدر.

«ومن اللافت أن المخرجات المهدرة من وكيل واحد وحده تجاوزت، في أكثر من 45% من المهام، إجمالي مخرجات وكيل آخر أنجز المهمة نفسها بنجاح».

بالإضافة إلى ذلك، وجدت الدراسة أن الوكلاء يهدرون أكبر قدر من الموارد عند التعامل مع أدوات غير مألوفة واتباع أساليب لا تفضي في نهاية المطاف إلى نتيجة؛ كما وجدت أن زيادة جهد الاستدلال لا تؤدي إلى تحسينات متسقة: فعند بذل أقصى جهد، تبيّن أن Kimi-K3 يولّد 6.6 أضعاف عدد رموز الاستدلال التي يولدها عند بذل جهد منخفض، من دون ضمان الحصول على نتائج أفضل.

نتائج الاختبارات التي تُظهر أداء Kimi-K3 عند أربعة مستويات من جهد الاستدلال عبر خمسة معايير تقييم. لم يؤدِ بذل جهد أكبر في الاستدلال باستمرار إلى تحسين معدلات النجاح، وقد حقق بذل أقصى جهد أحيانًا نتائج أسوأ من الإعدادات الأقل.

وبالمقارنة، فبدلًا من قيادة سيارة قوية لا يستغل المرء قدراتها الحقيقية، تشبه هذه الجلسات التي تنفذها الوكلاء قيادة سيارة تتسارع إلى أقصى سرعة تستطيع بلوغها في كل رحلة، حتى عندما لا يكون في ذلك أي فائدة، وعلى الرغم مما قد يترتب عليه من آثار سلبية.

وتبحث الورقة أيضًا في دور بيئات تشغيل الوكلاء المختلفة في إهدار الرموز، وتخلص إلى أن نموذج الذكاء الاصطناعي نفسه، Kimi-K3، قد ينتج قدرًا من الاستدلال يزيد على أربعة أضعافه في المهام نفسها، بحسب بيئة التشغيل المستخدمة، من دون أن يحقق بالضرورة نتائج أفضل.

عُزي بعض الهدر إلى أخطاء برمجية أساسية؛ إذ تبيّن أن OpenCode وKimi Code CLI وOpenClaw تطلق المهام مرارًا في بيئة Python غير الصحيحة، ما يتسبب في أخطاء ومحاولات إعادة تستهلك الرموز. كما سمح Kimi Code CLI للذكاء الاصطناعي بطلب مهلات زمنية يرفضها برنامجه نفسه، ما اضطره إلى إجراء محاولات أخرى أكثر كلفة.

وعلى خلاف المتوقع، لم تكن بيئات التشغيل التي توفر أدوات أكثر بالضرورة أكثر إهدارًا، ويبدو أن بعض أوجه القصور المتكررة تنشأ من النماذج نفسها، بصرف النظر عن بيئة التشغيل التي تتحكم بها.

‘[Several] لا تفسر الخصائص التي تبدو بديهية في بيئات تشغيل الوكلاء، باستمرار، الاختلافات الملحوظة في الهدر. فعلى سبيل المثال، كما يوضح [below]، لا تكون بيئات التشغيل التي تتيح أدوات أكثر بالضرورة أكثر إهدارًا. ويتيح OpenClaw أدوات أكثر بكثير من بيئات التشغيل الأخرى، ومع ذلك لا يُظهر سوى قدر معتدل من الهدر. علاوة على ذلك، لا تتغير جميع أوجه الهدر باختلاف بيئة التشغيل.

‘[Below right] يوضح أن Kimi-K3 يسلك في SWE-bench Verified مسارًا التفافيًا متكررًا، يكتب فيه ما يعتقد أنه الإصلاح الأصلي للمشروع، ثم يتخلى عنه لاحقًا. ‘

نتائج اختبارات تقارن الرموز المهدرة بين بيئات تشغيل وكلاء الذكاء الاصطناعي. اليسار: لا يؤدي توفير أدوات أكثر بالضرورة إلى زيادة الهدر. اليمين: يحاول Kimi-K3 مرارًا تنفيذ إصلاح برمجي مفترض أنه الأصلي ثم يتخلى عنه، بصرف النظر عن بيئة التشغيل، لكنه نادرًا ما يفعل ذلك في نوع مختلف من المهام.

ولمعالجة هذه المشكلة، يقترح الباحثون أن تتعرف بيئات تشغيل الوكلاء على الحالات التي تجعل فيها القيود المفروضة على البيئة إحراز مزيد من التقدم مستحيلًا، وأن توضح هذه القيود لنموذج الذكاء الاصطناعي، وأن توقف التنفيذ بدلًا من السماح للمحاولات الفاشلة المتكررة باستهلاك مزيد من الرموز. ويقترحون أيضًا الاستفادة من قياساتهم للرموز المهدرة في تحسين تدريب النماذج واستراتيجيات الاستدلال وتصميم بيئات التشغيل.

المنهجية

لإعادة بناء نشاط وكيل الذكاء الاصطناعي، تتبع الباحثون كل تبادل بين النموذج والبرنامج الذي يتحكم فيه، وسجلوا استدلاله وردوده وطلباته للأدوات وتكاليف الرموز، مع تفاوت مستوى التفاصيل بحسب الجهة المزودة: يكشف Kimi-K3 عن عملية الاستدلال كاملة؛ أما Gemini 3.1 Pro فلا يكشف سوى ملخصات؛ ولا يكشف Claude أي شيء منها.

أُعيدت نتائج كل أداة إلى الوكيل، ما أتاح للباحثين تتبع العملية حتى اكتمالها أو بلوغها حد التشغيل.

أربعة أمثلة على كيفية إنفاق وكلاء الذكاء الاصطناعي للرموز. يُعد تكرار المعلومات المعروفة وإجراء عمليات البحث نفسها وإضافة اعتذارات لا داعي لها هدرًا، بينما لا يُعد البحث غير الناجح بالضرورة هدرًا، إذ قد يكون لدى الوكيل سبب وجيه لإجرائه.

وُجّهت طلبات الوكلاء عبر وسيط لتتبع نشاطهم، ولم يتطلب ذلك سوى تعديلات طفيفة على الشيفرة، ووُسِم كل طلب بمعيار التقييم والتشغيل والمهمة والمحاولة (باستثناء OpenClaw، الذي لا يدعم هذه الوسوم؛ وفي هذه الحالة، استُخدم وسيط منفصل لكل اختبار، بُني باستخدام LiteLLM).

أربعة أنماط

تعرّف الدراسة هدر الرموز من خلال أربعة أنماط متكررة: إعادة الصياغة (تكرار معلومات معروفة)؛ والجلب المكرر (تكرار طلبات الأدوات غير الضرورية)؛ والحشو (إضافة نص غير ذي صلة)؛ والمسار الالتفافي (اتباع أساليب تبدو معقولة لكنها لا تؤدي في نهاية المطاف إلى نتيجة مفيدة).

فُحصت كل جلسة مسجّلة بواسطة نموذج لغوي كبير يعمل حَكَمًا (LLMaJ**)، وزُوّد بالمهمة الأصلية والسجل الكامل ومعايير تحديد أنماط الهدر الأربعة. ورُصد الهدر المشتبه به وحُذف، ثم أُعيد إحصاء الرموز المتبقية لحساب نسبة الهدر وتكلفته. بعد ذلك، قورنت الأعداد بأدوات تقسيم الرموز أو العدّ الخاصة بكل مزوّد، وبمقدار الاستخدام المُبلّغ عنه للمخرجات (مع الإشارة إلى وجود اختلافات طفيفة في التنسيق فقط).

الاختبارات

شملت النماذج التي اختُبرت في الدراسة Kimi-K3؛ وGemini 3.1 Pro؛ وGPT-5.6 Terra؛ وGPT-6 Astra؛ وClaude Sonnet 5؛ وClaude Fable 5.1. واختُبرت النماذج باستخدام المعايير التالية: τ²-bench (خدمة العملاء في قطاعَي الطيران والتجزئة)؛ وSWE-bench Verified (هندسة البرمجيات)؛ وClaw-Eval؛ وMCP-Atlas (استخدام الأدوات للأغراض العامة).

واختُبر Kimi-K3 أيضًا بمستويات مختلفة من الاستدلال، كما قورنت خمسة أطر لتشغيل الوكلاء: OpenCode؛ وOpenClaw؛ وOpenHands؛ وHermes؛ وKimi Code CLI. واستُخدمت هذه المقارنات الأخيرة لتقييم أثر النماذج والمهام وجهد الاستدلال وتصميم أطر التشغيل في هدر الرموز (كما أُزيل الهدر المشتبه به في اختبارات إضافية للتحقق من أثر ذلك في الأداء).

لتحديد مقدار الأموال التي أهدرها كل نموذج، قورنت تكلفة النصوص غير الضرورية واستدعاءات الأدوات بإجمالي تكاليف المخرجات، وحُسب متوسط النتائج عبر المعايير الأربعة. وقُيّم الاستدلال الداخلي على نحو منفصل في حالة Kimi-K3، وهو النموذج الوحيد الذي كشف عن عملية الاستدلال كاملة:

نتائج اختبارات تقارن تكاليف المخرجات المهدرة لدى ستة نماذج للذكاء الاصطناعي، محسوبةً بمتوسط أربعة معايير. إلى اليسار: معدلات الهدر الإجمالية، مع عرض الاستدلال الداخلي لـKimi-K3 على نحو منفصل. إلى اليمين: معدلات الهدر في المهام الناجحة والفاشلة، إذ تخلّف الإخفاقات عمومًا هدرًا أكبر.

كما هو موضح أعلاه، تبيّن أن ما بين 11% و24.9% من الأموال المنفقة على توليد الإجابات واستخدام الأدوات قد أُهدر، وكان أداء GPT-6 Astra الأفضل، وClaude Sonnet 5 الأسوأ. أما في حالة Kimi-K3، فقد هُدر نحو رمز واحد من كل ستة في الإجابات واستخدام الأدوات، وارتفعت النسبة إلى أكثر من رمز واحد من كل أربعة أثناء الاستدلال الداخلي.

عُثر عمومًا على هدر أكبر عند إخفاق المهام، وإن كان العكس صحيحًا في استدلال Kimi-K3؛ ولم يظهر دليل واضح على أن إنفاق مزيد من الرموز على أعمال غير ضرورية يحسّن فرص النجاح.

وفي اختبار آخر، جرت محاولة لتقليل الرموز المهدرة بينما كان الذكاء الاصطناعي لا يزال يعمل: ففي كل خطوة، استُخدم حَكَم يعمل بالذكاء الاصطناعي** لإزالة المعلومات المكررة والنصوص عديمة الجدوى من استدلال النموذج، قبل السماح له بمتابعة المهمة:

نتائج اختبارات توضّح أثر إزالة الاستدلال غير الضروري للذكاء الاصطناعي في معدلات النجاح على معيارين. لم تؤثر إزالة 41–46% من الاستدلال إلا قليلًا في الأداء، بينما أدت إزالة الاستدلال كله إلى إخفاقات أكثر بكثير.

في SWE-bench Verified، حُذف 41% من الاستدلال من دون أي تراجع في الأداء، بل ارتفع معدل النجاح قليلًا، من 89% إلى 89.5%. أما في MCP-Atlas، فأُزيل 46%، ولم ينخفض النجاح إلا بدرجة محدودة، من 65% إلى 62.3%.

بعبارة أخرى، أمكن الاستغناء عن ما يقرب من نصف الاستدلال أثناء عمل الذكاء الاصطناعي من دون الإضرار بقدرته على إنجاز المهمة إضرارًا جسيمًا.

وأخيرًا^†، اختُبر Kimi-K3 على مهام متطابقة باستخدام أطر مختلفة لتشغيل الوكلاء. وتفاوتت مخرجات الاستدلال هنا بأكثر من أربعة أضعاف، من دون أي تحسن مطّرد في الأداء، كما هو موضح أدناه:

نتائج اختبارات تقارن استهلاك Kimi-K3 للرموز عبر أطر تشغيل الوكلاء، باستخدام معيارين. يظهر الاستدلال الداخلي باللون الأزرق، بينما تظهر الإجابات واستدعاءات الأدوات باللون البرتقالي. وفي مهام البرمجة، وُلّد استدلال يزيد على أربعة أضعاف ما وُلّد باستخدام Mini-SWE مقارنةً بـHermes.

عُزي بعض الهدر إلى أعطال برمجية أساسية. فقد شغّلت OpenCode وKimi Code CLI وOpenClaw اختبارات البرمجة في بيئة Python غير صحيحة، ما تسبب في أخطاء ومحاولات إعادة.

الخلاصة

ليس هذا سوى لمحة عن ورقة بحثية قد يستحق طولها ومنهجها الدؤوب قراءةً أعمق.

وقد ذكّرني موضوع البحث بأمر كثيرًا ما أعيه: الهوة الشاسعة بين ما نفهمه نحن وما يفهمه فعليًا مزوّدو النماذج الرائدة عن هذه العمليات، وبين استعداد الشركات لتسويق المنتج كما لو أنه أمضى الأشهر الثلاثة الماضية في أداة لفحص الشيفرة واجتاز الاختبار بتفوّق.

في الوضع الراهن، إذا ساءت النتائج، فلا يسعنا أن نلوم أحدًا سوى أنفسنا، لأننا نشتري منتجًا يعرف معظمنا أنه تجريبي إلى حد بعيد ولا يمكن التنبؤ به.

* بإسهامات متساوية، وفقًا لما أُعلن، من University of Illinois Urbana-Champaign وNortheastern University وUniversity of California (Los Angeles)، ومن باحث مستقل.

* لا تحدد الورقة النموذج المستخدم، على حدّ ما استطعت استنتاجه.

^†وذلك في هذا المقال، لا في الورقة، التي تفوق طولًا ما أسمح لنفسي عادةً بتغطيته، وتتضمن اختبارات أكثر وتفاصيل أعمق مما يمكننا استيعابه هنا. يُرجى الرجوع إلى ملف PDF للمصدر، المرتبط أعلاه، لمزيد من التفاصيل.

نُشر لأول مرة يوم الجمعة، 6 نوفمبر 2026