زاوية Anderson

تعليم الذاكرة الاصطناعية النسيان لتذكر الأفكار لفترة أطول

Martin Anderson
أضف Unite.AI إلى مصادرك المفضلة على Google
AI-generated image: A robot with ChatGPT logo at laptop, with vice on open head and glowing text emerging from head. GPT-image-1.
النقاط الرئيسيةطريقة ضغط جديدة تُسمى C3 تُقلص النصوص الطويلة بمقدار 40 ضعفًا مع الحفاظ على دقة بنسبة…
عرض المزيد
  • طريقة ضغط جديدة تُسمى C3 تُقلص النصوص الطويلة بمقدار 40 ضعفًا مع الحفاظ على دقة بنسبة 93٪ لذاكرة الذكاء الاصطناعي.
  • تُحاكي C3 الذاكرة البشرية من خلال التدهور المتوقع في نهايات الجمل، مما يتيح إصلاحات دقيقة مستهدفة.
  • هذا النهج المباشر من النص إلى الكامن يتفوق على الطرق البصرية، مما قد يسمح لنماذج اللغة الكبيرة باسترجاع محادثات كاملة.

تذكر بداية المحادثة. يمكن أن يغير ذلك أسلوب جديد في ضغط النص، ويمكن أن يجعل جلسات المحادثة الاصطناعية أقل إحباطًا. نظم المحادثة الاصطناعية مثل

 

غالبًا ما لا تستطيع نماذج اللغة ChatGPT غالبًا تفقد أجزاء المحادثة السابقة، وتكرر نفسها، أو تعطي إجابات تتجاهل القواعد المتفق عليها في السابق. هذا يعود إلى أننماذجاللغة الكبيرة ( LLMs ) لها القدرة المحدودة على التركيز، ويُعرَّف هذا المفهوم بـ”نافذة السياق” للانتباه، تمامًا كالمصباح الذي لا يُضيء إلا ما يُوجَّه إليه مباشرةً، وما يحيط به. ويُعدّ تصحيح هذه النزعات “النسيانية”، الناجمة عن هذه القيود الانتباهية، من أهمّ اتجاهات البحث في نماذج اللغة القائمة على الذكاء الاصطناعي، لا سيما لأن هذا المرض يحد بشكل كبير من إمكانية المحادثات المتعددة والمنسقة، ويحد من فائدة نماذج LLM في مجموعة متنوعة من السياقات الحساسة للدقة، مثل الطب والقانون.

النجاح

أبحاث جديدة من الصين † تقترح أسلوبًا جديدًا لجعل كمية كبيرة من النص تتناسب مع الموارد المحدودة لمعالج الرسومات الذي يعمل بنموذج الذكاء الاصطناعي – مع تحقيق تحسن في الضغط بنسبة 20 مرة مع الحفاظ على

يتم إعادة بناء الضغط المتسلسل للسياق وثائق أطول بدقة أكبر من أساليب الضغط البصري مثل DeepSeek-OCR، حتى عند تقليل الإدخال بمقدار أربعين مرة. عبر مجموعة من أطوال المستندات وإعدادات الضغط، يحافظ الأسلوب الجديد على دقة قريبة من الكمال، بينما يتحول الأسلوب البصري بشكل حاد تحت الضغط الأعلى. دقة 98٪: يتم إعادة بناء الضغط المتسلسل للسياق وثائق أطول بدقة أكبر من أساليب الضغط البصري مثل DeepSeek-OCR، حتى عند تقليل الإدخال بمقدار أربعين مرة. عبر مجموعة من أطوال المستندات وإعدادات الضغط، يحافظ الأسلوب الجديد على دقة قريبة من الكامل، بينما يتحول الأسلوب البصري بشكل حاد تحتالضغط الأعلى. المصدر باستخدام دقة 93٪ – التي تتوافق مع المعايير القابلة للعمل – يصل يمكن أن

ثلاثة أساليب لضغط النص الطويل لمدخلات نموذج اللغة: الأسلوب القياسي (اليسار) يضغط النص مباشرة، مما يؤدي إلى عدد كبير من الرموز؛ الأسلوب البصري (الوسط) يتحول النص إلى صورة ويستخرج التضمينات البصرية باستخدام معالج الرؤية، ويحقق ضغطًا بنسبة 10 مرات؛ وأسلوب الضغط المتسلسل للسياق (اليمين) يستخدم نموذجًا صغيرًا للغة لضغط النص إلى 32 رمزًا كامنًا فقط، ويحقق ضغطًا بنسبة 40 مرة دون الاعتماد على التضمينات البصرية. الضغط النصي إلى : نسبة ضغط 40 مرة ثلاثة أساليب لضغط النص الطويل لمدخلات نموذج اللغة: الأسلوب القياسي (اليسار) يضغط النص مباشرة، مما يؤدي إلى عدد كبير من الرموز؛ الأسلوب البصري (الوسط) يتحول النص إلى صورة ويستخرج التضمينات البصرية باستخدام معالج الرؤية، ويحقق ضغطًا بنسبة 10 مرات؛ وأسلوب الضغط المتسلسل للسياق (اليمين) يستخدم نموذجًا صغيرًا للغة لضغط النص إلى 32 رمزًا كامنًا فقط،

ويحقق ضغطًا بنسبة 40 مرة دون الاعتماد على التضمينات البصرية. هذا يعني أن كل محادثة طويلة يمكن ضغطها وإعادة حقنها (تحديثها) في الفترات الزمنية فيما بعد في التبادل كسياق خلفي للمعلومات، فيما بعد في المحادثة – عندما يكون نموذج LLM ينسى عادة الحقائق السابقة ويتحرك نحو سلوك “نسيان”. على الرغم من أن هذا هو أسلوب ضغط خسارة، حتى الطريقة التي تحدث بها الخسارة مفيدة: تحت الأسلوب الجديد، يتدهور الذاكرة في نهاية الجملة، وليس بشكل متساوٍ في جميع أنحاء الجملة، كما هو الحال في هيكل DeepSeek-OCR الذي ألهم هذا الأسلوب؛ في الواقع، يقترح الباحثون وراء الورقة الجديدة أن أسلوبهم يتدهور

الأعلى، تتدهور الذاكرة البشرية في نهاية تدفق البيانات؛ الوسط: يتدهور DeepSeek-OCR بشكل عشوائي، لا يترك أي مراسي يمكن أن تساعد في إصلاح المشكلة؛ الأسفل: يتدهور الأسلوب الجديد بنفس الطريقة التي تتدهور بها الذاكرة البشرية، نحو انتهاء تدفق البيانات، ويوفر مراسي يمكن أن تساعد في تحسين الدقة من خلال المعالجة اللاحقة. بنفس الطريقة التي تتدهور بها الذاكرة البشرية، وليس بشكل عشوائي: الأعلى، تتدهور الذاكرة البشرية في نهاية تدفق البيانات؛ الوسط: يتدهور DeepSeek-OCR بشكل عشوائي، لا يترك أي مراسي يمكن أن تساعد في إصلاح المشكلة؛ الأسفل: يتدهور الأسلوب الجديد بنفس الطريقة التي تتدهور بها الذاكرة البشرية، نحو انتهاء تدفق البيانات، ويوفر مراسي

يمكن أن تساعد في تحسين الدقة والترابط، من خلال المعالجة اللاحقة. هذا يعني أن يمكن توقع قد تكون البيانات المحفوظة أقل موثوقية، ويمكن استخدام هذه المعرفة لمعالجة المشكلة – مما قد يوفر تحسنًا كبيرًا في استدعاء المحادثة (متوسط و كبير) مع دقة 100٪ بعد العلاج. أين الأسلوب الجديد يسمى (C3)، ويستوحى من الطريقة التي يضغط بها DeepSeek-OCR النص كصور، ويحقق مستويات ضغط كبيرة. ومع ذلك، من خلال استخدام نموذجين للغة لضغط النصالطويل مباشرة إلى ضغط تسلسلي للسياق التضمينات الكامنة ، يقطع الأسلوب الجديد العبء الناجم عن استخدام الصور

النقطية، وبالتالي يحقق أداءً محسّنًا. تنص الورقة على: ‘يمكن أن يُعزى الأداء الأفضل لـ C3 إلى تصميمه الهيكلي الأساسي. يفترض تحليل DeepSeek-OCR أن انخفاض أدائه يعود إلى عوامل مثل “التنسيق المعقد” و “تضبيب الصورة عند résolutions

– القيود المتأصلة في المسار البصري. وبفضل عمله مباشرةً في مجال النص، يُستثنى نهج C3 من هذه القيود البصرية. فهو يتجنّب فقدان المعلومات المرتبط بتحويل النص إلى وحدات بكسل ثم ترميزها.وبدلًا من ذلك، يستخدم فهمًا دلاليًا قويًا للمعالج المسبق لتحويل المعلومات النصية مباشرةً.

أقل” إلى تمثيل كفء.’ الورقة للسياق: استكشاف الحدود العليا لضغط النص ، ويأتي منالجديدة هي ضغط تسلسليمؤلفين† ، ويبدو أنهم يقدمان أيضًا C3 كمحفظة مفتوحة المصدر على GitHub.

الطريقة

لفهم الأسلوب الجديد، من المفيد معرفة ما هو التعرف البصري على الحروف (OCR)، لأن هذا هو المكان الذي تنبع منه الفكرة. OCR هو أسلوب خوارزمي يعود إلى العشرينات، على الرغم من أنه تم شحنه في التسعينيات، حيث يسمح اكتشاف الأنماط لمعالج الحاسوب بتحويل النص النقطي (أي النص داخل الصور، والذي لا يمكن تحديده ويتوفر فقط كمحتوى fotografic) إلى نص قابل للتحرير. مخترعو DeepSeek-OCR اكتشفوا أن النص يمكن ضغطه أكثر من الأنابيب القياسية باستخدام OCR كمرحلة وسيطة. بعبارة أخرى، بدلاً من ضغط النص نفسه، يمكن تحقيق كثافة أكبر للتضمينات الكامنة (أي حفظ المزيد من المعلومات) بضغط نسخة من النص :من

من ورقة إصدار DeepSeek-OCR، مخطط لخط أنابيب الضغط، بما في ذلك قطع 16x16 من النص الممسوح ضوئيًا كمركبة OCR. ورقة إصدار DeepSeek-OCR، مخطط لخط أنابيب الضغط، بما في ذلك قطع 16×16 من النص الممسوح ضوئيًا كمركبةالتعرّف الضوئي على الأحرف (OCR). يشير المصدر إلى أن الطريقة الجديدة تُبيّن أن الطرق البصرية مثل DeepSeek-OCR قد تُخطئ في تحديد مصدر مكاسب الضغط.بدلاً من أن يكون تحويل النص إلى صورة هو العامل الأساسي، يفترض الباحثون أن الفائدة الرئيسية تكمن في تحويل رموز النص. إلى تمثيلاتكامنة أكثر كفاءة. لاختبار ذلك، أنشأوا خط أنابيب يستخدم نموذجين للغة: Qwen2.5 1.5B الأصغر،الذي يعمل كالمُشفر، ويضغط مقاطع طويلة إلى مجموعة صغيرة من الرموز الكامنة؛ و Qwen2.5 3B الأكبر، الذييعمل كمُفسر، ويستعاد النص الأصلي من تلك الرموز: في

في نظام C3 الجديد، يضغط نموذج Qwen2.5 1.5B الأصغر مدخلات طويلة إلى مجموعة ثابتة من الرموز الكامنة، باستخدام تضمينات استعلام قابلة للتدريب. تُمرر هذه الرموز، مع سؤال، إلى نموذج Qwen2.5 3B الأكبر، الذي يستعاد النص الأصلي. يتيح هذا الهيكل استدعاء تسلسلات طويلة بدقة عالية باستخدام جزء صغير فقط من عدد الرموز الأصلي. نظام C3 الجديد، يضغط نموذج Qwen2.5 1.5B الأصغر مدخلات طويلة إلى مجموعة ثابتة من الرموز الكامنة، باستخدام تضمينات استعلام قابلة للتدريب. تُمرر هذه الرموز، مع سؤال، إلى نموذج Qwen2.5 3B الأكبر، الذي يستعاد النص الأصلي. يتيح هذا الهيكل استدعاء تسلسلات طويلة بدقة عالية باستخدام جزء صغير فقط من عدد الرموز الأصلي. للمعالجة مرحلة الضغط،

قام الباحثون بتعديل نموذج Qwen2.5 1.5B المسبق بتمكين : سؤالات مجردة توجيه النموذج في يسمح لهاستخلاص السياق الطويل إلى تمثيل كامن أصغر: تضمينات استعلام قابلة للتدريب بدلاً من تعديل الهيكل، يُغذي الأسلوب المدخلات الطويلة وتضمينات الاستعلام معًا كمدخل واحد. يعالج آليان الانتباه الذاتي للنموذج هذه العناصر بشكل متطابق، مما بإخراج سياق كامن ثابت بدون الحاجة إلى طبقات جديدة أو تغييرات في التصميم؛ ويُمرر هذا الإخراج إلى النموذج الأكبر لإعادة البناء. لتحديد مقدار المعلومات التي نجت من الضغط، أرشد الباحثون نموذج Qwen2.5 3B إلى إعادة بناء المدخل الأصلي باستخدام فقط الرموز الكامنة، وسؤال . منذ أن كان المهمة تتضمن إعادة إنتاج دقيقة، أعد النصبدلاً من تلخيص أو إعادة صياغة، يمكن أن تُعزى أي انحراف عن النص الأصلي مباشرة إلى المعلومات المفقودة في الضغط، مما يوفر اختبارًا نظيفًا وموضوعيًا للاختبار عبر خط أنابيب التشفير والفك.

البيانات والاختبارات

تنص الورقة على أن المؤلفين قاموا بتجميع مجموعة بيانات أصلية من مواد OCR، تصل إلى مليون صفحة تم الحصول عليها من الإنترنت. لا يظهر أي تفصيل إضافي حول هذا المصدر، ويبدو أن المؤلفين يaimون إلى الغموض في هذه النقطة. على الرغم من ذلك، يلاحظون أن هندسة البيانات وتنقيبها لم تكن ضرورية لغرضهم، ويمكنهم تدريب نموذجهم بشكل فعال على عينات “طويلة ومتعددة”؛ ويعلنون أن هذا يشير إلى أن هيكلهم معزز (ومن المفترض أن يكون معممًا ، اعتمادًاعلىإعدادات التدريب). تم تدريب النموذج على مجموعة أداء عالية من معالجات الرسومات NVIDIA H800، كل منها مجهز ب 80GB من VRAM، لتحقيق موارد VRAM إجمالية تبلغ 640GB. يمكن لكل معالج الرسومات التعامل مع حجم دفعة يبلغ 2، مما يؤدي إلى حجم دفعة عالمي يبلغ 256، عند مراعاة 16 خطوة تراكم مجدولة. كان المحسن AdamW ،على مدار 40,000 خطوة. لتحديد فعالية هيكل C3، اتبع الباحثون نفس إعداد التقييم المستخدم في الورقة الأصلية DeepSeek-OCR، باستخدام معيار Fox لقياس الضغط ودقة إعادة البناء عبر مجموعة من تم اختيار أطوال المستندات. تم اختيار نص إنجليزي، بمقاطع تتراوح بين 600 و1300 رمز، وتمت عملية التجزئة باستخدام مُجزئ Qwen. ولضمان مقارنة عادلة، تم استخدام مستويات ضغط متساوية من DeepSeek-OCR، مع 64 و100 رمز كامن.لاستكشاف حدود الطريقة، أُجريت اختبارات إضافية باستخدام 32 رمزًا كامنًا فقط. في كل حالة، تم إعادة البناء باستخدام التعليمات التالية: أعاد النص نتائج الاختبار الأولي. تم قياس دقة إعادة البناء. الضغط عبرونسب

النتائج من الاختبار الأولي. تم قياس دقة إعادة البناء ونسب الضغط عبر سبعة نطاقات رمز باستخدام 64 و 100 رمزًا كامنًا، مما يظهر أداءً موحدًا لأسلوب C3 على DeepSeek-OCR، خاصة عند مستويات ضغط أعلى. سبعة نطاقات رمز باستخدام 64 و 100 رمزًا كامنًا، مما يظهر أداءً موحدًا لأسلوب C3 على DeepSeek-OCR، خاصة عند مستويات ضغط أعلى. يناقش الورقة النتائج الأولية الموضحة أعلاه: ‘تظهر البيانات بشكل قاطع

أن أسلوب C3 يتفوق بشكل كبير على الأسلوب

مع نفس مستوى الضغط ولكن بفقد أقل بكثير، ظلت الدقة قريبة من 98%، حتى عند تقليل حجم المدخلات إلى خُمس حجمها الأصلي.في الاختبار الأكثر دقة، تم تقليص النص الكامل إلى 32

البصري عبر جميع الظروف التي تم اختبارها، مما يؤسس سجلًا جديدًا في ضغط السياق عالي الدقة.’ عندما تم اختبار كلا النظامين على مستندات أطول، بدأ DeepSeek-OCR يفقد الدقة مع زيادة الضغط، وينخفض إلى أقل من 60٪ في الحالة الأكثر تطرفًا.تمكن C3 من التعامل رمزًا فقط. حتى عند ذلك الحد، تمكن النموذج من استعادة معظم المحتوى الأصلي، مع الحفاظ على دقة قريبة من 99٪ في العديد من الحالات: دقة إعادة البناء ونسب الضغط عند 32 رمزًا كامنًا، مما

دقة إعادة البناء ونسب الضغط عند 32 رمزًا كامنًا، مما يظهر أن دقة إعادة البناء تظل أعلى من 93٪ حتى عند تقليل الإدخال بمقدار 40 مرة. يظهر أن دقة إعادة البناء تظل أعلى من 93٪ حتى عند تقليل الإدخال بمقدار 40 مرة. في الإعداد الأكثر تطرفًا، حيث

عندما تم تقليص حجم المدخلات إلى أقل من خُمس حجمها الأصلي، تمكن النظام من استرجاع أكثر من 93% من النص. بالمقارنة، انخفضت دقة الطرق البصرية السابقة إلى حوالي 60% عند نصف مستوى الضغط هذا. يُصرّح المؤلفون: “هذا يؤكدهذه

النتائج بشكل قاطع على ميزة هيكل C3. من خلال تجنب حواجز المعلومات والعيوب المحتملة في الوضع البصري (مثل حدود الدقة، تعقيد التخطيط)، يمكن أن يتعامل أسلوبنا بسهولة مع الضغط الشديد مع فقدان معلومات قليل. ‘تؤكد نتائج هذا

الضغط المباشر من النص إلى الكامن هو أسلوب أساسي أكثر كفاءة وقوة من نظيره البصري.’ يخلصون أيضًا إلى أن C3 يمكن أن يفتح قدرات جديدة

الاختبار الشديد على ادعائنا بأن في معالجة الكتب بأكملها، أو الوثائق القانونية الشاملة، أو قواعد البيانات الكبيرة لمهام مثل الإجابة على الأسئلة، والتلخيص، والتحليل.

الاستنتاج

هذه واحدة من الورقات الأكثر وضوحًا وأكثر سهولة التي واجهتها مؤخرًا، مع فكرة أساسية قابلة للفهم قد تثبت أنها على الأقل خط هجوم إضافي ضد “مشكلة نافذة السياق”. كثير من مستخدمي نماذج LLM قد تعلموا الآن “تحديث” المعلومات الحيوية أو الإرشادات بشكل دوري في جميع أنحاء التبادل الطويل، بعد اكتشافهم بطرق قاسية أن ChatGPT لا يمكنها الاحتفاظ بتلك المعلومات لفترة طويلة. يأتي الفكرة المطروحة في الورقة الجديدة بعد هذه الحيلة اللازمة، وهي أن نسخة شديدة الضغط من محادثة طويلة يمكن إعادة حقنها تلقائيًا في فترات زمنية فيما بعد في نافذة السياق الحالية لinstance LLM، بشكل أساسي “تذكر بالوكالة”. في مناخ حيث يؤدي ندرة معالجات الرسومات إلى ارتفاع الأسعار حتى على الذاكرة التقليدية (مثل DRAM، حيث يتم الآن تحميل العديد منحمولة العمل السابقة للمعالجات الرسومية لدعم نماذج أكبر)، يبدو من غير المحتمل أن يصبح الأجهزة المضيفة للذكاء الاصطناعي أكثر سعة بشكل كبير في المستقبل القريب؛ لذلك قد تثبت الأساليب المبتكرة مثل هذه ضرورية لتحسين الأداء. ما هو أكثر أهمية، سيكون من

الرائع إذا كان نماذج LLM يمكنها الحفاظ على محادثة متسقة لمدة ساعة أو أكثر، وبالفعل تذكر ما كانت المحادثة عنه في المقام الأول. يُذكر أن † المؤلفان هما Fanfan Liu و Haibo Qiu. كما يُذكر أن †† المؤلفون يقدمان اختبارات

  نوعية إضافية، ولكنها غير مضيئة مقارنة بالجولة الأولى من اختبارات الضغط، ولم أتطرق إليها هنا. نُشر لأول مرة يوم

الجمعة، 21 نوفمبر 2025

كاتب في مجال تعلم الآلة، متخصص في توليد صور البشر. كان رئيسًا سابقًا لمحتوى البحث في Metaphysic.ai، حتى دمجه في Brahma.ai التابعة لـ DNEG.
الموقع الإلكتروني: martinanderson.ai
للتواصل: martin@martinanderson.ai