يفيد تقرير IBM Research بأن الذاكرة المكتسبة تتصدر معيار خدمة τ²-Bench

في منشور على Hugging Face بتاريخ 20 أكتوبر 2026، أفادت IBM Research بأن الإرشادات التي تعلّمها النظام تلقائيًا من تشغيلات تدريب الوكيل نفسه، ثم تُضاف إلى موجّه النظام، رفعت أداء وكيل جاهز لخدمة العملاء يعمل بنموذج GPT-4.1 إلى 67.5% وفق مقياس Pass^4 في مجال البيع بالتجزئة ضمن τ²-bench، متجاوزًا كل الإدخالات في هذا المجال ضمن لقطة لوحة الصدارة التي أخذها الفريق في 12 أكتوبر 2026.

تستند هذه النتيجة إلى ALTK-Evolve، وهي طريقة المختبر لبناء ما يصفه المؤلفون بأنه دليل عمل مكتسب. تحلّل الطريقة محاولات الوكيل في مهام التدريب، وتستخدم النموذج نفسه لاستخلاص قواعد سلوكية موجزة من النجاحات والإخفاقات، وتغطي مواقف مثل التحقق من هوية العميل، وتأكيد معاملة، أو معالجة إرجاع. ووفقًا للمنشور، يُستخدم النموذج نفسه لاستخراج الإرشادات وتشغيل الوكيل، ولا تتطلب العملية تحديثًا للأوزان أو تعليقًا بشريًا. وكان الفريق قد عرض هذه الطريقة سابقًا على وكلاء البرمجة؛ أما الدراسة الجديدة فتطبقها على خدمة العملاء. ويورد المنشور أسماء أحد عشر مؤلفًا من IBM Research، منهم Ashwath Vaithinathan Aravindan وVatche Isahagian وVinod Muthusamy.

كيفية إجراء الدراسة

يمثل τ²-bench، الذي تتولى Sierra Research صيانته، إطار محاكاة لتقييم وكلاء خدمة العملاء في مجالات متعددة. ووفقًا لـمستودع τ²-bench، يحدد كل مجال سياسةً يتعين على الوكيل اتباعها، ومجموعة من الأدوات، ومجموعة من مهام التقييم؛ كما تصف الورقة الأساسية للمعيار بيئة تحكم مزدوجة. وتستخدم دراسة IBM مجالي البيع بالتجزئة والطيران. وفي كل مهمة، يتفاعل الوكيل مع عميل تحاكيه نماذج اللغة الكبيرة، ويستخدم أدوات المجال، ويسترشد بوثيقة سياسة مكتوبة؛ ولا تُعد المهمة محلولة إلا إذا طابقت الحالة النهائية لقاعدة البيانات النتيجة المتوقعة، وهو ما يصفه المنشور بأنه مكافأة ثنائية صارمة.

أُجري التقييم باستخدام التطبيق الأصلي في τ²-bench لوكيل ReAct أساسي يعمل وفق حلقة من مرحلتين THINK→ACT، مع استخدام gpt-4.1 نموذجًا للوكيل وgpt-5.5 نموذجًا لمحاكاة العميل، وإجراء أربع تجارب لكل مهمة. وكان التعديل الوحيد إضافة قائمة إرشادات مكتسبة بتنسيق Markdown عادي إلى موجّه النظام بعد سياسة المجال. وتشمل الأمثلة المنشورة التحقق من هوية المستخدم قبل أي إجراء يتعلق بطلب، واشتراط موافقة صريحة من المستخدم قبل الإجراءات التي تحدّث قاعدة البيانات، وتقديم تفاصيل مفصلة لاسترداد المبالغ، وتنفيذ إجراء واحد في كل خطوة، وتحليل معرّفات الأسماء المركبة قبل البحث عن المستخدمين.

استُخلصت الإرشادات من مسارات الوكيل في مهام التدريب ضمن τ²-bench باستخدام gpt-4.1، وطُبقت دون تغيير على مجموعة الاختبار المحجوبة. ويتضمن كل إرشاد عدد مرات دعمه، أي عدد مهام التدريب المختلفة التي استُخلص منها. وتقارن الدراسة بين ثلاثة إعدادات: خط أساس بلا إرشادات؛ وsup3، الذي يحتفظ بالإرشادات التي يبلغ عدد مرات دعمها ثلاثة على الأقل (31 في البيع بالتجزئة و14 في الطيران)؛ وlossless، الذي يحتفظ بكل الإرشادات المستخلصة (292 في البيع بالتجزئة و101 في الطيران).

النتائج على مجموعتي الاختبار المحجوبتين في البيع بالتجزئة والطيران

تتابع الدراسة مقياسين عبر التجارب الأربع لكل مهمة: متوسط الدقة، أي معدل النجاح المتوسط الذي يقدمه المؤلفون بوصفه محور القدرة؛ وPass^4، أي نسبة المهام التي حُلّت في التجارب الأربع كلها، ويُقدَّم بوصفه محور الموثوقية، كما أنه المقياس الذي تذكره لوحة صدارة τ²-bench.

في 40 مهمة اختبار محجوبة في مجال البيع بالتجزئة، أفادت IBM بأن وكيل خط الأساس حقق متوسط دقة قدره 78.1% وPass^4 بنسبة 57.5%. وحقق إعداد sup3 الأساسي 78.8% و60.0%، فيما حقق إعداد lossless نسبة 82.5% و67.5%، بزيادة معلنة قدرها 4.4 و10.0 نقاط مئوية على التوالي مقارنة بخط الأساس.

في 20 مهمة اختبار محجوبة في مجال الطيران، حقق خط الأساس دقة قدرها 57.5% وPass^4 بنسبة 35.0%. وبلغت دقة إعداد sup3 الأساسي 60.0% وPass^4 لديه 45.0%، بينما بلغت دقة إعداد lossless نسبة 65.0% وPass^4 لديه 40.0%. واختلف المجالان بشأن مقدار الإرشادات المناسب: فقد تحقق أفضل تحسن في البيع بالتجزئة باستخدام المجموعة الكاملة lossless، بينما حقق إعداد sup3 الموجز أفضل نتيجة Pass^4 في مجال الطيران. وتذكر IBM أن عدد مرات الدعم عامل يستحق ضبطه بحسب كل مجال، لا قيمة ينبغي تثبيتها مسبقًا.

التكلفة، وإعادة الاختبار بنموذج متقدم، وحالة لوحة الصدارة

ارتفعت التكلفة الإجمالية لنماذج اللغة الكبيرة لكل محادثة في مجموعة التقسيم الأساسية كاملةً مع زيادة حجم الموجّه: ففي مجال البيع بالتجزئة، ارتفعت من 0.084 دولار عند خط الأساس إلى 0.139 دولار مع إعداد lossless، بزيادة معلنة قدرها 65%؛ وفي مجال الطيران، ارتفعت من 0.081 دولار إلى 0.107 دولار، بزيادة معلنة قدرها 32%. وبلغت تكلفة إصداري sup3 مقدار 0.095 دولار و0.097 دولار على التوالي. وفي التشغيلات المتطابقة التي حُلّت في ظل كل من إعدادَي خط الأساس والإرشادات، كانت المحادثات أقصر قليلًا عند استخدام الإرشادات: ففي البيع بالتجزئة، انخفض عدد أدوار المساعد من 10.59 إلى 10.16 مع إعداد lossless، وفي الطيران من 9.15 إلى 8.82، ولم يزد أي إعداد من طولها. وتذكر IBM أن انخفاض عدد الأدوار يعني تقليل زمن الاستجابة من البداية إلى النهاية للعميل، وأنه يمكن استرداد جانب كبير من تكلفة الإدخال الإضافية في بيئة الإنتاج عبر التخزين المؤقت للموجّهات، لأن كتلة الإرشادات متطابقة في كل استدعاء.

أعاد الفريق أيضًا اختبار مجال الطيران باستخدام gpt-5.5 نموذجًا للوكيل ولاستخراج الإرشادات، وأعاد التنقيب عن الإرشادات من تشغيلات ذلك الوكيل نفسه. ولم يبلغ أي إرشاد مستخلص حد الدعم البالغ ثلاثة على الأقل، لذا كان الإعداد الأساسي عالي الدعم هو sup2، وضم 103 إرشادات، إلى جانب مجموعة lossless المؤلفة من 146 إرشادًا. وفي مهام الاختبار المحجوبة نفسها في مجال الطيران، حقق خط أساس gpt-5.5 دقة قدرها 72.5% وPass^4 بنسبة 55.0%؛ وبلغت نتائج sup2 نسبة 80.0% و70.0%؛ أما lossless فحقق 82.5% و70.0%، بزيادة معلنة قدرها 10.0 نقاط في الدقة و15.0 نقطة في Pass^4. وأفادت IBM بأن نتيجة lossless تكررت مطابقةً تمامًا في عمليات إعادة الاختبار.

تُقيَّم المشاركات في لوحة المتصدرين على مجموعة الأساس كاملةً، بما يشمل مهام التدريب والاختبار، وتُعرض النتائج وفق Pass^4؛ لذا تختلف هذه الأرقام عن نتائج المهام المحجوبة أعلاه. وبالاستناد إلى لقطة 12 أكتوبر 2026، تفيد IBM بأن وكيلها للبيع بالتجزئة يحتل المركز الأول بنسبة 67.5%، متقدمًا على RAFT-30B-A3B، الذي سجل 61.4%، وهو نموذج تصفه بأنه ضُبط بدقة على بيانات اصطناعية لمتاجر التجزئة في τ²-bench، بفارق معلن قدره 6.1 نقطة. وفي مجال الطيران، تفيد بأن وكيل gpt-5.5 يحتل المركز الأول بنسبة 82.0%، متجاوزًا النماذج المتقدمة التي تورد نتائجها بين 66 و72%، بينما حلّ إصدار gpt-4.1 sup3 في المركز الثامن بنسبة 44%، متقدمًا على GPT-5.2 عند تشغيله من دون استدلال، ومحققًا نتيجة تكاد تضاهي Claude Sonnet 4.5. وتذكر IBM أن هذا النهج يحسّن أداء الوكلاء الجاهزين من دون تحديث الأوزان أو الاستعانة بتعليقات بشرية أو تسريب بيانات مجموعة الاختبار.

قُدِّمت مشاركة البيع بالتجزئة في لوحة المتصدرين بوصفها طلب سحب إلى τ²-bench في 14 سبتمبر 2026، وأُبلغ فيها عن Pass^1 بنسبة 81.14% وصولًا إلى Pass^4 بنسبة 67.54%، عبر 114 مهمة من مجموعة الأساس وفي أربع تجارب، بمتوسط تكلفة قدره $0.1084 لكل محادثة على tau2-bench v1.0.1. وأشارت المشاركة إلى أن الإرشادات تعلّمها النموذج من مجموعة تدريب للبيع بالتجزئة تتضمنها مجموعة التقييم الأساسية. وتلتها مشاركة الطيران في لوحة المتصدرين في 21 سبتمبر 2026، وأُبلغ فيها عن Pass^1 بنسبة 88.50% وصولًا إلى Pass^4 بنسبة 82.00%، عبر 50 مهمة، بمتوسط تكلفة قدره $0.1690 لكل محادثة. وتُفصح المشاركتان عن تعديل المطالبات، وتذكران أنهما تتوقعان إدراجهما بحالة «غير متحقق منها»، وما زالتا مفتوحتين.