تعليم الذاكرة الاصطناعية النسيان لتذكر الأفكار لفترة أطول

غالبًا ما لا تستطيع نماذج اللغة تذكر بداية المحادثة. يمكن أن يغير ذلك أسلوب جديد في ضغط النص، ويمكن أن يجعل جلسات المحادثة الاصطناعية أقل إحباطًا.

نظم المحادثة الاصطناعية مثل ChatGPT غالبًا تفقد أجزاء المحادثة السابقة، وتكرر نفسها، أو تعطي إجابات تتجاهل القواعد المتفق عليها في السابق.

هذا يعود إلى أن نماذج اللغة الكبيرة (LLMs) لها القدرة المحدودة على التركيز، والمحددة بـ ‘نافذة السياق’ من الانتباه – مثل مصباح يمكن أن يضيء فقط ما هو موجه إليه مباشرة، ومجاوراته.

إصلاح هذه الاتجاهات “النسيان”، التي ت归 إلى هذه القيود على الانتباه، من بين أهم إتجاهات البحث في نماذج اللغة القائمة على الذكاء الاصطناعي – لا سيما لأن هذا المرض يحد بشكل كبير من إمكانية المحادثات المتعددة والمنسقة، ويحد من فائدة نماذج LLM في مجموعة متنوعة من السياقات الحساسة للدقة، مثل الطب والقانون.

النجاح

أبحاث جديدة من الصين^† تقترح أسلوبًا جديدًا لجعل كمية كبيرة من النص تتناسب مع الموارد المحدودة لمعالج الرسومات الذي يعمل بنموذج الذكاء الاصطناعي – مع تحقيق تحسن في الضغط بنسبة 20 مرة مع الحفاظ على دقة 98٪:

يتم إعادة بناء الضغط المتسلسل للسياق وثائق أطول بدقة أكبر من أساليب الضغط البصري مثل DeepSeek-OCR، حتى عند تقليل الإدخال بمقدار أربعين مرة. عبر مجموعة من أطوال المستندات وإعدادات الضغط، يحافظ الأسلوب الجديد على دقة قريبة من الكامل، بينما يتحول الأسلوب البصري بشكل حاد تحت الضغط الأعلى. المصدر

باستخدام دقة 93٪ – التي تتوافق مع المعايير القابلة للعمل – يمكن أن يصل الضغط النصي إلى نسبة ضغط 40 مرة:

ثلاثة أساليب لضغط النص الطويل لمدخلات نموذج اللغة: الأسلوب القياسي (اليسار) يضغط النص مباشرة، مما يؤدي إلى عدد كبير من الرموز؛ الأسلوب البصري (الوسط) يتحول النص إلى صورة ويستخرج التضمينات البصرية باستخدام معالج الرؤية، ويحقق ضغطًا بنسبة 10 مرات؛ وأسلوب الضغط المتسلسل للسياق (اليمين) يستخدم نموذجًا صغيرًا للغة لضغط النص إلى 32 رمزًا كامنًا فقط، ويحقق ضغطًا بنسبة 40 مرة دون الاعتماد على التضمينات البصرية.

هذا يعني أن كل محادثة طويلة يمكن ضغطها وإعادة حقنها (تحديثها) في الفترات الزمنية فيما بعد في التبادل كسياق خلفي للمعلومات، فيما بعد في المحادثة – عندما يكون نموذج LLM ينسى عادة الحقائق السابقة ويتحرك نحو سلوك “نسيان”.

على الرغم من أن هذا هو أسلوب ضغط خسارة، حتى الطريقة التي تحدث بها الخسارة مفيدة: تحت الأسلوب الجديد، يتدهور الذاكرة في نهاية الجملة، وليس بشكل متساوٍ في جميع أنحاء الجملة، كما هو الحال في هيكل DeepSeek-OCR الذي ألهم هذا الأسلوب؛ في الواقع، يقترح الباحثون وراء الورقة الجديدة أن أسلوبهم يتدهور بنفس الطريقة التي تتدهور بها الذاكرة البشرية، وليس بشكل عشوائي:

الأعلى، تتدهور الذاكرة البشرية في نهاية تدفق البيانات؛ الوسط: يتدهور DeepSeek-OCR بشكل عشوائي، لا يترك أي مراسي يمكن أن تساعد في إصلاح المشكلة؛ الأسفل: يتدهور الأسلوب الجديد بنفس الطريقة التي تتدهور بها الذاكرة البشرية، نحو انتهاء تدفق البيانات، ويوفر مراسي يمكن أن تساعد في تحسين الدقة من خلال المعالجة اللاحقة.

هذا يعني أن يمكن توقع أين قد تكون البيانات المحفوظة أقل موثوقية، ويمكن استخدام هذه المعرفة لمعالجة المشكلة – مما قد يوفر تحسنًا كبيرًا في استدعاء المحادثة والترابط، مع دقة 100٪ بعد العلاج.

الأسلوب الجديد يسمى ضغط تسلسلي للسياق (C3)، ويستوحى من الطريقة التي يضغط بها DeepSeek-OCR النص كصور، ويحقق مستويات ضغط كبيرة. ومع ذلك، من خلال استخدام نموذجين للغة (متوسط و كبير) لضغط النص الطويل مباشرة إلى التضمينات الكامنة، يقطع الأسلوب الجديد العبء الناجم عن استخدام الصور النقطية، وبالتالي يحقق أداءً محسّنًا.

تنص الورقة على:

‘يمكن أن يُعزى الأداء الأفضل لـ C3 إلى تصميمه الهيكلي الأساسي. يفترض تحليل DeepSeek-OCR أن انخفاض أدائه يعود إلى عوامل مثل “التنسيق المعقد” و “تضبيب الصورة عند résolutions أقل” – قيود متأصلة في المسار البصري.

‘من خلال العمل مباشرة في المجال النصي، يكون أسلوب C3 معفيًا من هذه العيوب في المجال البصري. يتجنب فقدان المعلومات المرتبط بتحويل النص إلى بيكسل ثم ترميز تلك البيكسل. بدلاً من ذلك، يستخدم فهمًا семантиًا قويًا لمعالج اللغة المسبق لتحويل المعلومات النصية مباشرة إلى تمثيل كفء.’

الورقة الجديدة هي ضغط تسلسلي للسياق: استكشاف الحدود العليا لضغط النص، ويأتي من مؤلفين^†، ويبدو أنهم يقدمان أيضًا C3 كمحفظة مفتوحة المصدر على GitHub.

الطريقة

لفهم الأسلوب الجديد، من المفيد معرفة ما هو التعرف البصري على الحروف (OCR)، لأن هذا هو المكان الذي تنبع منه الفكرة.

OCR هو أسلوب خوارزمي يعود إلى العشرينات، على الرغم من أنه تم شحنه في التسعينيات، حيث يسمح اكتشاف الأنماط لمعالج الحاسوب بتحويل النص النقطي (أي النص داخل الصور، والذي لا يمكن تحديده ويتوفر فقط كمحتوى fotografic) إلى نص قابل للتحرير.

مخترعو DeepSeek-OCR اكتشفوا أن النص يمكن ضغطه أكثر من الأنابيب القياسية باستخدام OCR كمرحلة وسيطة. بعبارة أخرى، بدلاً من ضغط النص نفسه، يمكن تحقيق كثافة أكبر للتضمينات الكامنة (أي حفظ المزيد من المعلومات) بضغط نسخة من النص:

من ورقة إصدار DeepSeek-OCR، مخطط لخط أنابيب الضغط، بما في ذلك قطع 16×16 من النص الممسوح ضوئيًا كمركبة OCR. المصدر

يقترح الأسلوب الجديد أن الأساليب البصرية مثل DeepSeek-OCR قد تخطئ في تحديد مصدر مكاسب الضغط. بدلاً من أن يكون التحول من النص إلى صورة هو العامل الرئيسي، يفترض المؤلفون أن الفائدة الرئيسية تأتي من تحويل الرموز النصية冗 إلى تمثيلات كامنة أكثر كفاءة.

لاختبار ذلك، أنشأوا خط أنابيب يستخدم نموذجين للغة: Qwen2.5 1.5B الأصغر، الذي يعمل كالمُشفر، ويضغط مقاطع طويلة إلى مجموعة صغيرة من الرموز الكامنة؛ و Qwen2.5 3B الأكبر، الذي يعمل كمُفسر، ويستعاد النص الأصلي من تلك الرموز:

في نظام C3 الجديد، يضغط نموذج Qwen2.5 1.5B الأصغر مدخلات طويلة إلى مجموعة ثابتة من الرموز الكامنة، باستخدام تضمينات استعلام قابلة للتدريب. تُمرر هذه الرموز، مع سؤال، إلى نموذج Qwen2.5 3B الأكبر، الذي يستعاد النص الأصلي. يتيح هذا الهيكل استدعاء تسلسلات طويلة بدقة عالية باستخدام جزء صغير فقط من عدد الرموز الأصلي.

للمعالجة مرحلة الضغط، قام الباحثون بتعديل نموذج Qwen2.5 1.5B المسبق بتمكين تضمينات استعلام قابلة للتدريب： سؤالات مجردة توجيه النموذج في استخلاص السياق الطويل إلى تمثيل كامن أصغر:

بدلاً من تعديل الهيكل، يُغذي الأسلوب المدخلات الطويلة وتضمينات الاستعلام معًا كمدخل واحد. يعالج آليان الانتباه الذاتي للنموذج هذه العناصر بشكل متطابق، مما يسمح له بإخراج سياق كامن ثابت بدون الحاجة إلى طبقات جديدة أو تغييرات في التصميم؛ ويُمرر هذا الإخراج إلى النموذج الأكبر لإعادة البناء.

لتحديد مقدار المعلومات التي نجت من الضغط، أرشد الباحثون نموذج Qwen2.5 3B إلى إعادة بناء المدخل الأصلي باستخدام فقط الرموز الكامنة، وسؤال أعد النص. منذ أن كان المهمة تتضمن إعادة إنتاج دقيقة، بدلاً من تلخيص أو إعادة صياغة، يمكن أن تُعزى أي انحراف عن النص الأصلي مباشرة إلى المعلومات المفقودة في الضغط، مما يوفر اختبارًا نظيفًا وموضوعيًا للاختبار عبر خط أنابيب التشفير والفك.

البيانات والاختبارات

تنص الورقة على أن المؤلفين قاموا بتجميع مجموعة بيانات أصلية من مواد OCR، تصل إلى مليون صفحة تم الحصول عليها من الإنترنت. لا يظهر أي تفصيل إضافي حول هذا المصدر، ويبدو أن المؤلفين يaimون إلى الغموض في هذه النقطة.

على الرغم من ذلك، يلاحظون أن هندسة البيانات وتنقيبها لم تكن ضرورية لغرضهم، ويمكنهم تدريب نموذجهم بشكل فعال على عينات “طويلة ومتعددة”؛ ويعلنون أن هذا يشير إلى أن هيكلهم معزز (ومن المفترض أن يكون معممًا، اعتمادًا على إعدادات التدريب).

تم تدريب النموذج على مجموعة أداء عالية من معالجات الرسومات NVIDIA H800، كل منها مجهز ب 80GB من VRAM، لتحقيق موارد VRAM إجمالية تبلغ 640GB. يمكن لكل معالج الرسومات التعامل مع حجم دفعة يبلغ 2، مما يؤدي إلى حجم دفعة عالمي يبلغ 256، عند مراعاة 16 خطوة تراكم مجدولة. كان المحسن AdamW، على مدار 40,000 خطوة.

لتحديد فعالية هيكل C3، اتبع الباحثون نفس إعداد التقييم المستخدم في الورقة الأصلية DeepSeek-OCR، باستخدام معيار Fox لقياس الضغط ودقة إعادة البناء عبر مجموعة من أطوال المستندات.

تم اختيار نصوص اللغة الإنجليزية، مع مقاطع تتراوح من 600 إلى 1300 رمز، مع تنفيذ التokenization باستخدام tokenizer Qwen.

为了 ضمان مقارنة عادلة، تم استخدام مستويات ضغط متساوية من (DeepSeek-OCR) البصرية، مع 64 و 100 رمزًا كامنًا.为了 استكشاف حدود الأسلوب، تم تشغيل اختبارات إضافية باستخدام 32 رمزًا كامنًا فقط. في كل حالة، تمت إعادة البناء باستخدام تعليمات أعد النص：

النتائج من الاختبار الأولي. تم قياس دقة إعادة البناء ونسب الضغط عبر سبعة نطاقات رمز باستخدام 64 و 100 رمزًا كامنًا، مما يظهر أداءً موحدًا لأسلوب C3 على DeepSeek-OCR، خاصة عند مستويات ضغط أعلى.

يناقش الورقة النتائج الأولية الموضحة أعلاه:

‘تظهر البيانات بشكل قاطع أن أسلوب C3 يتفوق بشكل كبير على الأسلوب البصري عبر جميع الظروف التي تم اختبارها، مما يؤسس سجلًا جديدًا في ضغط السياق عالي الدقة.’

عندما تم اختبار كلا النظامين على مستندات أطول، بدأ DeepSeek-OCR يفقد الدقة مع زيادة الضغط، وينخفض إلى أقل من 60٪ في الحالة الأكثر تطرفًا. تمكن C3 من التعامل مع نفس مستوى الضغط مع خسارة أقل بكثير، حيث ظل قريبًا من 98٪، حتى عند تقليل الإدخال إلى خمس его الحجم الأصلي:

في الاختبار الأكثر صرامة، تم تقليل النصوص الكاملة إلى 32 رمزًا فقط. حتى عند ذلك الحد، تمكن النموذج من استعادة معظم المحتوى الأصلي، مع الحفاظ على دقة قريبة من 99٪ في العديد من الحالات:

دقة إعادة البناء ونسب الضغط عند 32 رمزًا كامنًا، مما يظهر أن دقة إعادة البناء تظل أعلى من 93٪ حتى عند تقليل الإدخال بمقدار 40 مرة.

في الإعداد الأكثر تطرفًا، حيث تم تقليل الإدخال إلى أقل من خمس его الحجم الأصلي، تمكن من استدعاء أكثر من 93٪. بالمقارنة، انخفضت الأساليب البصرية السابقة إلى حوالي 60٪ دقة عند نصف هذا المستوى من الضغط.

يعلن المؤلفون^††:

‘تؤكد هذه النتائج بشكل قاطع على ميزة هيكل C3. من خلال تجنب حواجز المعلومات والعيوب المحتملة في الوضع البصري (مثل حدود الدقة، تعقيد التخطيط)، يمكن أن يتعامل أسلوبنا بسهولة مع الضغط الشديد مع فقدان معلومات قليل.

‘تؤكد نتائج هذا الاختبار الشديد على ادعائنا بأن الضغط المباشر من النص إلى الكامن هو أسلوب أساسي أكثر كفاءة وقوة من نظيره البصري.’

يخلصون أيضًا إلى أن C3 يمكن أن يفتح قدرات جديدة في معالجة الكتب بأكملها، أو الوثائق القانونية الشاملة، أو قواعد البيانات الكبيرة لمهام مثل الإجابة على الأسئلة، والتلخيص، والتحليل.

الاستنتاج

هذه واحدة من الورقات الأكثر وضوحًا وأكثر سهولة التي واجهتها مؤخرًا، مع فكرة أساسية قابلة للفهم قد تثبت أنها على الأقل خط هجوم إضافي ضد “مشكلة نافذة السياق”.

كثير من مستخدمي نماذج LLM قد تعلموا الآن “تحديث” المعلومات الحيوية أو الإرشادات بشكل دوري في جميع أنحاء التبادل الطويل، بعد اكتشافهم بطرق قاسية أن ChatGPT لا يمكنها الاحتفاظ بتلك المعلومات لفترة طويلة. يأتي الفكرة المطروحة في الورقة الجديدة بعد هذه الحيلة اللازمة، وهي أن نسخة شديدة الضغط من محادثة طويلة يمكن إعادة حقنها تلقائيًا في فترات زمنية فيما بعد في نافذة السياق الحالية لinstance LLM، بشكل أساسي “تذكر بالوكالة”.

في مناخ حيث يؤدي ندرة معالجات الرسومات إلى ارتفاع الأسعار حتى على الذاكرة التقليدية (مثل DRAM، حيث يتم الآن تحميل العديد من حمولة العمل السابقة للمعالجات الرسومية لدعم نماذج أكبر)، يبدو من غير المحتمل أن يصبح الأجهزة المضيفة للذكاء الاصطناعي أكثر سعة بشكل كبير في المستقبل القريب؛ لذلك قد تثبت الأساليب المبتكرة مثل هذه ضرورية لتحسين الأداء.

ما هو أكثر أهمية، سيكون من الرائع إذا كان نماذج LLM يمكنها الحفاظ على محادثة متسقة لمدة ساعة أو أكثر، وبالفعل تذكر ما كانت المحادثة عنه في المقام الأول.

يُذكر أن ^† المؤلفان هما Fanfan Liu و Haibo Qiu. كما يُذكر أن ^†† المؤلفون يقدمان اختبارات نوعية إضافية، ولكنها غير مضيئة مقارنة بالجولة الأولى من اختبارات الضغط، ولم أتطرق إليها هنا.

نُشر لأول مرة يوم الجمعة، 21 نوفمبر 2025