زاوية Anderson

يمكن لوكلاء الذكاء الاصطناعي تذكّر القواعد، ومع ذلك يخرقونها بعد ضغط السياق

mm
أضف Unite.AI إلى مصادرك المفضلة على Google
Fredric March as Dr. Henry Jekyll (left) and his transformed alter ego, Mr. Hyde (right), in the 1931 film Dr. Jekyll and Mr. Hyde. © Paramount Pictures. All rights reserved.

ضغط السياق هو اختزال سلسلة من المحادثات المعقدة مع روبوت دردشة يعمل بالذكاء الاصطناعي إلى ملخص، ثم مواصلة التفاعل اعتمادًا على ذلك الملخص لا على السجل الكامل. ويشبه هذا «بداية جديدة» من حيث استخدام الذاكرة، وقد طُبّق حلًا لمواجهة محدودية نوافذ السياق في المحادثات مع الذكاء الاصطناعي.

اعتمدت هذه الطريقة في البداية ضمن الذكاء الاصطناعي الوكيلي، ثم امتد استخدامها إلى Claude، فيما لم تظهر بعد طريقة ضغط السياق في Gemini خارج نطاق محادثات المطورين، أما ChatGPT فيتجنب ضغط السياق ويفضل ببساطة إيقاف المحادثة.

إذا كنت قد استخدمت Codex (وهو، في جوهره، إصدار من ChatGPT يستطيع بالفعل إجراء تغييرات على حاسوبك، إذا منحته الأذونات) لأكثر من 30 دقيقة متواصلة، فلا بد أنك رأيت رسائل تظهر بين الحين والآخر عن ضغط السياق، وخلاله يتعذر إجراء مزيد من التفاعلات:

يأخذ Codex استراحة قصيرة ليضغط ذكرياته عن جلسة مستمرة منذ ثلاثة أسابيع حتى الآن.

يأخذ Codex استراحة قصيرة ليضغط ذكرياته عن جلسة مستمرة منذ ثلاثة أسابيع حتى الآن.

لكن بعد انتهاء ضغط السياق، يعمل الكيان الذي يتحدث إليك استنادًا إلى ملاحظات انتقائية غير مرئية، لا إلى ذاكرة كاملة لتطور المحادثة.

الذكاء الاصطناعي الخارج على القواعد

في يونيو من هذا العام، أثبتت الورقة البحثية الصينية تدهور الحوكمة أن ضغط السياق قد يزيل القواعد الدائمة بصمت من سياق الوكيل، ما يؤدي إلى تنفيذ أفعال كانت محظورة من قبل:

من ورقة يونيو 2026 البحثية حول تدهور الحوكمة: كيف يمكن لضغط السياق أن يدفع وكيلًا يعمل بالذكاء الاصطناعي إلى خرق قاعدة كان يلتزم بها سابقًا. إذا حُذفت القاعدة من الملخص المضغوط، فقد يمضي الوكيل في تنفيذ الفعل المحظور. ويوضح الرسم أيضًا كيف يمكن لمهاجم استغلال هذه العملية، وكيف يمكن إعادة القاعدة لمنع الانتهاك. المصدر - https://arxiv.org/pdf/2606.22528

من ورقة يونيو 2026 البحثية حول تدهور الحوكمة: كيف يمكن لضغط السياق أن يدفع وكيلًا يعمل بالذكاء الاصطناعي إلى خرق قاعدة كان يلتزم بها سابقًا. إذا حُذفت القاعدة من الملخص المضغوط، فقد يمضي الوكيل في تنفيذ الفعل المحظور. ويمكن لمهاجم استغلال هذه العملية، كما يمكن إعادة القاعدة لمنع الانتهاك. المصدر

في سبعة نماذج، ارتفعت الانتهاكات من 0% قبل ضغط السياق إلى 30% بعده، ووصلت إلى 59% في بعض الحالات. وعمليًا، يعني هذا أن الوكلاء قد يتجاهلون توجيهات أساسية مثل لا تتواصل مع أي شخص لا يملك عنوان بريد إلكتروني [our-company]‏، وهو ما قد تترتب عليه عواقب واضحة.

في يوليو، تابعت جامعة ولاية بنسلفانيا وIBM هذا البحث بدراسة ضائع في السياق، ووجدتا أن ضغط السياق قد يحذف التعليمات التي تحكم كيفية تنفيذ الذكاء الاصطناعي للمهمة، مع الإبقاء على المهمة نفسها. وفي اختبارات شملت ثلاثة إعدادات، لم تحتفظ أنظمة ضغط السياق، في المتوسط، إلا بـ17% من هذه التعليمات.

وفي أغسطس، طرح تعاون أكاديمي أمريكي TRACE، موضحًا أن ضغط السياق قد يربك الوكيل حتى عندما تظل المعلومات التي يحتاج إليها قابلة للاسترجاع. وفي الاختبارات، فقدت الوكلاء مسار تقدمها في المهمة، وكررت أعمالًا أنجزتها، وأصبحت أقل موثوقية عبر عمليات التشغيل المتكررة.

ARCBench

هذا الشهر، أضافت دراسة من هولندا رؤى جديدة من خلال ARCBench، وخلصت إلى أن الوكلاء قد يخرجون من عملية ضغط السياق والقاعدة ما تزال محفوظة، ومع ذلك يصبح احتمال خرقهم لها أكبر بكثير. وفي الاختبارات التي بقيت فيها القاعدة محفوظة، كانت الانتهاكات أكثر شيوعًا بمقدار 2.6 مرة بعد ضغط السياق مقارنةً بسجل المحادثة الكامل:

من الورقة البحثية الجديدة، مخطط تصوري يوضح كيف يمكن لضغط السياق أن يؤثر في امتثال الوكيل لقواعد التشغيل. يمكن رفض الطلب اللاحق نفسه إذا بقيت القاعدة بعد ضغط السياق، أو تنفيذه إذا حُذفت القاعدة، فيما تستطيع وثيقة خارجية التأثير في المعلومات التي يجري الاحتفاظ بها. المصدر - https://arxiv.org/pdf/2611.03223

من الورقة البحثية الجديدة، مخطط تصوري يوضح كيف يمكن لضغط السياق أن يؤثر في امتثال الوكيل لقواعد التشغيل. يمكن رفض الطلب اللاحق نفسه إذا بقيت القاعدة بعد ضغط السياق، أو تنفيذه إذا حُذفت القاعدة، فيما تستطيع وثيقة خارجية التأثير في المعلومات التي يجري الاحتفاظ بها. وقد أُعيد تشكيل هذا الرسم المأخوذ من الشكل الأصلي ذي الاتجاه العمودي في الورقة البحثية المصدر، لأسباب تتعلق بالتنسيق. المصدر

تميّز الدراسة بين القواعد التي فُقدت أثناء ضغط السياق، والقواعد التي بقيت ثم جرى انتهاكها لاحقًا، ما أتاح للمرة الأولى قياس آثار النسيان والعصيان كلًّا على حدة.

في الاختبارات التي شملت DeepSeek-V4-Flash وGLM-5.3-Flash وQwen3.7-Flash وGPT-Luna، احتفظت 70.1% من عمليات التشغيل بعد ضغط السياق بالقاعدة كاملة. وفي عمليات التشغيل التي بقيت فيها القاعدة محفوظة، وقعت الانتهاكات بمعدل يزيد 2.6 مرة على ما سُجّل مع سجل المحادثة الكامل.

تبيّن أن السياق، بمعناه التقليدي، عامل مؤثر؛ إذ لم تؤدِّ القواعد المقدَّمة بوصفها سياسات تنظيمية إلى أي انتهاكات عند توافر السياق كاملًا، لكن معدلات الانتهاك ارتفعت إلى 30.6% و22.2% بعد ضغط السياق.

حافظ أقوى تدبير دفاعي متاح على القواعد في 99% من الملخصات، لكنه مع ذلك لم يُعِد معدلات الانتهاك إلى مستوياتها السابقة للهجوم، ما يشير إلى أن نجاح الحفاظ على القواعد أثناء ضغط السياق لا يضمن بالضرورة الحفاظ على قدرة الوكيل على اتباعها أو استعداده لذلك.

تقول الورقة البحثية:

‘[We] نجد أن ضغط السياق يزيد المخالفات في الغالب من دون حذف القاعدة: فالتشغيلات المضغوطة التي احتفظت بالقاعدة تسجل مخالفات بمعدل يعادل 2.6 ضعف معدل التشغيلات ذات السجل الكامل.

‘علاوة على ذلك، يغيّر ضغط السياق طريقة استدلال الوكيل عند انتهاك القواعد. وتؤثر استراتيجيات ضغط السياق المختلفة، والقيود الصارمة المفروضة على ميزانية الضغط، وقناة تقديم القاعدة، جميعها في مدى الامتثال.’

كعلاج للمشكلة، تقترح الورقة البحثية تعزيز الحفاظ على القواعد التي تُفقد أثناء ضغط السياق، لكنها تترك مشكلة عصيان الوكلاء للقواعد التي احتُفظ بها من دون حل”

‘تعيد التدابير الدفاعية القواعد، لكن الامتثال يظل أضعف تحت الهجوم. لذلك، لا يكفي الاحتفاظ بالقاعدة مؤشرًا على الامتثال. وقد تستخدم دراسات مستقبلية ARCBench لتفسير سبب استمرار الوكلاء في انتهاك القواعد التي احتُفظ بها، واختبار الهجمات والتدابير الدفاعية التكيفية، وتغطية مزيد من النماذج والمجالات والجلسات الأطول التي يتكرر فيها ضغط السياق.’

المنهجية

يوسّع ARCBench وظائف إطار العمل مفتوح المصدر pi، الذي يتضمن إجراءات أصلية لضغط السياق، إلى جانب حلقة للوكيل واستدعاء الأدوات وضغط السياق الأصلي. ويعيد المعيار إنشاء مواقف يعمل فيها وكيل على مهمة طويلة في ظل قاعدة دائمة، ثم يضغط السجل المتراكم، قبل أن يواجه الوكيل طلبًا من شأنه انتهاك تلك القاعدة؛ وبعد ذلك، تُفحَص أفعال الوكيل من خلال استدعاءاته للأدوات:

سير عمل ARCBench، بدءًا من إسناد مهمة وقاعدة تشغيلية إلى الوكيل، مرورًا ببناء سجل عمله وتطبيق أساليب مختلفة لضغط السياق وهجمات وتدابير دفاعية، وانتهاءً بفحص أفعاله اللاحقة للتحقق من انتهاك القواعد.

مسار التقييم في ARCBench. تُسنَد إلى الوكلاء مهمة وقاعدة تشغيلية قبل ضغط سجلاتهم وفق إعدادات وهجمات وتدابير دفاعية مختلفة. ثم تُفحَص أفعالهم اللاحقة باستخدام الأدوات لتحديد ما إذا كانوا قد احتفظوا بالقاعدة وما إذا كانوا قد امتثلوا لها.

يضم ARCBench 17 حالة تغطي الكشف عن البيانات المحمية، والوصول إلى الموارد المقيدة، والإجراءات غير المصرح بها، وتجاوز الضوابط المطلوبة أو إغفالها، وهي حالات تقابل فئات المخاطر لدى OWASP.

عُدّلت الحالات استنادًا إلى Governance Decay وCOMPINT، وأُضيفت أربع حالات أخرى لضمان تمثيل أنواع الانتهاك الأربعة كلها في القواعد الشخصية والتنظيمية على حد سواء.

يمكن ضبط المعيار وفق خمسة عوامل: كيفية تقديم القاعدة؛ والطريقة المستخدمة لضغط السياق؛ وميزانية الرموز المتاحة للضغط؛ ونوع الهجوم؛ والتدبير الدفاعي المطبق:

يتيح ARCBench اختبار خمسة متغيرات لمعرفة كيف يتغير الامتثال للقواعد باختلاف أساليب ضغط السياق وتقديم القواعد والهجمات والتدابير الدفاعية.

يضم ARCBench خمسة متغيرات لاختبار كيفية تغير الامتثال للقواعد باختلاف أساليب ضغط السياق وتقديم القواعد والهجمات والتدابير الدفاعية.

يمكن تقديم القواعد في صورة تعليمات مباشرة أو مستمرة، أو تضمينها في المستندات، أو استرجاعها عبر أداة للسياسات.

البيانات والاختبارات

خضعت عشرة أساليب لضغط السياق للتقييم، منها سبع استراتيجيات توليدية وثلاثة أساليب انتقائية. وأُعيد تشغيل كل حالة عدة مرات، وسُجّل إخفاق إذا انتهك الوكيل قاعدته مرة واحدة على الأقل؛ وهو نهج يُعد أنسب لاختبارات السلامة من حساب متوسط الأداء عبر عمليات التشغيل، لأن الوكيل الذي ينفذ أحيانًا إجراءً محظورًا يظل غير آمن.

ثم فحصت GPT-6-Luna-Pro وQwen-3.8-flash وClaude-Sonnet-4.6 السجلات المضغوطة، وصُنّفت كل قاعدة على أنها سليمة أو مُضعفة أو غائبة. واعتمد القرار الذي اتفقت عليه الأغلبية، بينما راجع مُعلّقون بشريون حالات الاختلاف. كما وُسِمت يدويًا عينة منفصلة من 50 ملخصًا للتحقق من اتساق أحكام المقيّمين.

عندما انتُهكت قاعدة سليمة، فحصت GPT-6-Luna-Pro وGPT-6.1-Sol وClaude Sonnet 5.5 استدلال الوكيل. وصُنّفت الانتهاكات بحسب ما إذا كان الوكيل قد اعتبر الطلب اللاحق إذنًا بتجاوز القاعدة، أو حكم بأن الإجراء خارج نطاقها؛ أو لم يذكر القاعدة؛ أو أدركها ثم تجاهلها.

كانت النماذج الأربعة المستخدمة في الاختبارات، والتي جرى الوصول إليها عبر OpenRouter، هي DeepSeek-V4-Flash; وGLM-5.3-Flash وQwen3.7-Flash وGPT-Luna. وفي كل عملية تشغيل، استُخدم النموذج نفسه لضغط سجل المحادثة وللعمل على السياق الناتج، بما يطابق السلوك الافتراضي لـpi. وقد جرى الوصول إلى النماذج عبر OpenRouter.

أُجريت سبع دراسات، واستُخدم Hermes في معظم اختبارات اختزال السياق. في الدراسة الأولى، اختُبرت كل مهمة من المهام الـ17 باستخدام أربعة نماذج وطريقتين لتقديم القاعدة، ما أسفر عن 136 حالة. وشُغّلت كل حالة ثلاث مرات مع إبقاء المحادثة الأصلية كاملة، وثلاث مرات أخرى بعد اختزالها.

إعدادات دراسات ARCBench السبع، مجمّعة بحسب السؤال البحثي. تُظهر الخلايا المظللة بالأخضر العامل الذي تغيّر في كل دراسة، بينما تبيّن الخلايا الرمادية الإعدادات التي ظلت ثابتة؛ وشُغّلت كل حالة ثلاث مرات، وارتفع العدد إلى ست مرات في دراستي الهجوم والدفاع S6 وS7.

إعدادات دراسات ARCBench السبع، مجمّعة بحسب السؤال البحثي. تُظهر الخلايا المظللة بالأخضر العامل الذي تغيّر في كل دراسة، بينما تبيّن الخلايا الرمادية الإعدادات التي ظلت ثابتة؛ وشُغّلت كل حالة ثلاث مرات، وارتفع العدد إلى ست مرات في دراستي الهجوم والدفاع S6 وS7.

تناولت الاختبارات ثلاثة أسئلة: ما أسباب الانتهاكات بعد اختزال السياق؟؛ وكيف تؤثر إعدادات اختزال السياق المختلفة في أسباب الانتهاكات؟؛ وكيف تؤثر الهجمات والدفاعات الموجّهة إلى أداة اختزال السياق في أسباب الانتهاكات؟.

ما أسباب الانتهاكات بعد اختزال السياق؟

أظهرت النتائج الأولى ارتفاع نسبة مخالفة القواعد بعد اختزال السياق، من 9.6% من الحالات عند الاحتفاظ بالسجل الكامل إلى 37.8%. ومع ذلك، لم تُفقد القاعدة بالكامل إلا في 3% من مرات التشغيل بعد الاختزال؛ وظلت سليمة في 70.1% من الحالات، وبقي جزء منها في 26.9%:

تُظهر النتائج مدى تكرار مخالفة كل نموذج للقواعد قبل اختزال السياق وبعده. صمدت معظم القواعد أمام الاختزال كليًا أو جزئيًا، رغم الارتفاع الكبير في الانتهاكات؛ وسجّل Qwen أكبر زيادة، إذ بلغت النسبة 61.8%.

تُظهر النتائج مدى تكرار مخالفة كل نموذج للقواعد قبل اختزال السياق وبعده. صمدت معظم القواعد أمام الاختزال كليًا أو جزئيًا، رغم الارتفاع الكبير في الانتهاكات؛ وسجّل Qwen أكبر زيادة، إذ بلغت النسبة 61.8%.

اتضح أن لهذا التمييز أهمية. فمن بين مرات التشغيل التي بقيت فيها القاعدة كاملة بعد اختزال السياق، انتهت 21.1% منها مع ذلك إلى مخالفة، مقابل 8.1% عند الاحتفاظ بالسجل الأصلي. وعندما لم يبقَ من القاعدة سوى جزء منها، ارتفعت النسبة إلى 29.4%، ووصلت إلى 83.3% عند عدم بقاء أي جزء منها.

دُرست أيضًا كيفية وقوع الانتهاكات عندما ظلت القاعدة سليمة. ففي الحالات التي نجمت فيها الانتهاكات عن اختزال السياق، فُسّر طلب لاحق على أنه إذن بالمضي قدمًا في 45.9% من الحالات؛ ويبدو أن القاعدة أُهملت في 27% منها؛ وفي 21.6%، أُقرّ بانطباقها، ثم خولفت رغم ذلك:

تُظهر النتائج أسباب مخالفة القواعد قبل اختزال السياق وبعده. عندما لم تظهر الانتهاكات إلا بعد الاختزال، عوملت الطلبات اللاحقة في أغلب الأحيان على أنها إذن بالمضي قدمًا (45.9%)، بينما جرى تجاهل القاعدة التي بقيت محفوظة في 27% من الحالات، وأُقرّ بانطباقها في 21.6% قبل المضي قدمًا رغم ذلك.

تُظهر النتائج أسباب مخالفة القواعد قبل اختزال السياق وبعده. عندما لم تظهر الانتهاكات إلا بعد الاختزال، عوملت الطلبات اللاحقة في أغلب الأحيان على أنها إذن بالمضي قدمًا (45.9%)، بينما جرى تجاهل القاعدة التي بقيت محفوظة في 27% من الحالات، وأُقرّ بانطباقها في 21.6% قبل المضي قدمًا رغم ذلك.

كيف تؤثر إعدادات اختزال السياق المختلفة في أسباب الانتهاكات؟

كان لـالطريقة التي قُدّمت بها القاعدة أثر ملحوظ في الامتثال. ومع بقاء المحادثة كاملة، وقعت مخالفات في 25% و16.1% من الحالات التي قدّم فيها المستخدم القواعد بنفسه؛ غير أنه لم تُسجّل أي مخالفات عندما قُدّمت القواعد بدلًا من ذلك عبر وثيقة مؤسسية أو أداة للسياسات:

كيف أثّرت طريقة تقديم القواعد واستراتيجية اختزال السياق وميزانية الرموز في الانتهاكات والاحتفاظ بالقواعد. حافظ الاختزال التوليدي على القواعد بموثوقية أكبر بكثير من الأساليب الانتقائية، في حين أدّت الميزانيات البالغة 300 رمز أو أقل إلى فقدان القواعد بالكامل تقريبًا.

كيف أثّرت طريقة تقديم القواعد واستراتيجية اختزال السياق وميزانية الرموز في الانتهاكات والاحتفاظ بالقواعد. حافظ الاختزال التوليدي على القواعد بموثوقية أكبر بكثير من الأساليب الانتقائية، في حين أدّت الميزانيات البالغة 300 رمز أو أقل إلى فقدان القواعد بالكامل تقريبًا.

بعد اختزال السياق، ارتفعت الانتهاكات في قنوات التقديم الأربع كلها، لتصل إلى 56.3% في حالة تعليمات المستخدم المباشرة، و22.2% في حالة القواعد المقدّمة عبر أداة للسياسات. ولم تتفاوت نسبة الاحتفاظ بالقواعد كثيرًا، إذ تراوحت بين 65.7% و74%. ويرى المؤلفون أن طلبًا لاحقًا من المستخدم قد يُفسّر على أنه يتجاوز قاعدة شخصية، في حين لا يمكن للمستخدم تجاوز قاعدة مؤسسية.

كيف تؤثر الهجمات والدفاعات الموجّهة إلى أداة اختزال السياق في أسباب الانتهاكات؟

لم يكن لإغراق السياق بمواد إضافية أثر يُذكر؛ بل انخفضت الانتهاكات من 37.8% إلى 34.3%. أما حقن التعليمات الموجّه إلى أداة اختزال السياق فكان أكثر فاعلية بكثير، إذ رفع نسبة الانتهاكات إلى 46.3% وخفّض الاحتفاظ الكامل بالقواعد من 70.1% إلى 42.5%.

زاد أقوى هجوم، المسمّى escape، نسبة الانتهاكات من 23.5% إلى 58.8%، وخفّض الاحتفاظ بالقواعد من 96.1% إلى 66.7%. وحتى عندما بقيت القاعدة محفوظة، تضاعفت نسبة الانتهاكات من 13.3% إلى 26.5%.

نتائج الاختبارات التي توضح آثار الهجمات ووسائل الدفاع على الالتزام بالقواعد بعد ضغط السياق. زاد الحقن الموجّه من الانتهاكات وقلّل الاحتفاظ بالقواعد، بينما أعاد أقوى دفاع معدل الاحتفاظ بها إلى 99% من دون أن يعيد الالتزام بها بالكامل.

نتائج الاختبارات التي توضح آثار الهجمات ووسائل الدفاع على الالتزام بالقواعد بعد ضغط السياق. زاد الحقن الموجّه من الانتهاكات وقلّل الاحتفاظ بالقواعد، بينما أعاد أقوى دفاع معدل الاحتفاظ بها إلى 99% من دون أن يعيد الالتزام بها بالكامل.

حافظ أقوى دفاع على القاعدة في 99% من عمليات التشغيل، ومع ذلك خالفها الوكلاء في 29.4% من الحالات، مقارنةً بـ23.5% عند عدم استخدام أي هجوم. بعبارة أخرى، فإن ضمان احتفاظ الوكيل بالقاعدة لا يضمن اتباعه لها.

الخلاصة

يشير المنطق إلى وجود نوع من «تأثير آلة التصوير» عندما يُضغط السياق عشرات أو مئات المرات في سلسلة محادثات طويلة جدًا (مثل سلسلة أعمل عليها في Codex* منذ منتصف أكتوبر، وكنت أعمل عليها حتى هذا الصباح — ملحمة من تطوير البرمجيات التجريبي بمساعدة الذكاء الاصطناعي).

مثل مطالبات النظام الأساسية، لا نطّلع على هذه الملخصات المضغوطة لما جرى حتى الآن. وتشير شواهدي الشخصية إلى أن المهمة الأساسية تصمد أمام الضغط، إلى جانب معظم التفاصيل الجوهرية. لكنني لست في ذلك السيناريو الكابوسي الذي ينتهي فيه الأمر بإرسال أمر «أرسل هذا البريد الإلكتروني إلى الجميع»، والمقصود به الجميع في الشركة فقط، إلى كل شخص في دفتر جهات الاتصال الموحّد للشركة. يا للهول.

 

* ربما بدأت أكبر في السن، لكن لا بد أن هذا أكثر اسم باهت وممل و«بلون البيج المؤسسي» كان من الممكن اختياره لهذا الوكيل. أنساه باستمرار.

نُشر للمرة الأولى يوم الخميس، 12 نوفمبر 2026

كاتب في مجال تعلم الآلة، متخصص في توليد صور البشر. كان رئيسًا سابقًا لمحتوى البحث في Metaphysic.ai، حتى دمجه في Brahma.ai التابعة لـ DNEG.
الموقع الإلكتروني: martinanderson.ai
للتواصل: martin@martinanderson.ai