أقل يعني أكثر: لماذا يمكن أن تحسن استرجاع وثائق أقل جودة الإجابات التي تولدها الذكاء الاصطناعي

التوليد المعزز بالاسترجاع (RAG) هو نهج لبناء أنظمة الذكاء الاصطناعي التي تجمع بين نموذج اللغة و مصدر خارجي للمعرفة. في مصطلحات بسيطة، يقوم الذكاء الاصطناعي أولاً بالبحث عن وثائق ذات صلة (مثل المقالات أو صفحات الويب) المتعلقة bằng استفسار المستخدم، ثم يستخدم تلك الوثائق لتوليد إجابة أكثر دقة. تم الاحتفال بهذا الأسلوب لمساعدته في الحفاظ على دقة النماذج اللغة الكبيرة (LLMs) و تقليل الخيال من خلال ربط استجاباتها ببيانات حقيقية.

من الطبيعي أن يفكر المرء أن كلما زادت الوثائق التي يسترجعها الذكاء الاصطناعي، زادت جودة إجابته. ومع ذلك، تشير الأبحاث الحديثة إلى مفاجأة مثيرة: عندما يتعلق الأمر بتزويد الذكاء الاصطناعي بمعلومات، فإن القليل قد يكون أكثر في بعض الأحيان.

وثائق أقل، إجابات أفضل

دراسة جديدة من قبل باحثين في جامعة القدس العبرية استكشفت كيف يؤثر عدد الوثائق الممنوحة لنظام RAG على أدائه. من المهم أنهم حافظوا على كمية النص الكلية – مما يعني أنه إذا تم تقليل عدد الوثائق، تم توسيع تلك الوثائق قليلاً لتعبئة نفس الطول مثل العديد من الوثائق. بهذه الطريقة، يمكن أن يُعزى أي اختلاف في الأداء إلى عدد الوثائق بدلاً من مجرد طول المدخلات.

استخدم الباحثون مجموعة بيانات للاستفسار والإجابة (MuSiQue) مع أسئلة ترفيهية، كل منها مقترن في الأصل ب 20 فقرة من ويكيبيديا (ومنها فقط بضع فقرات تحتوي على الإجابة، والباقي عبارة عن مضللات). من خلال تقليص عدد الوثائق من 20 إلى 2-4 وثائق فقط ذات صلة – وتوسيعها بقليل من السياق للحفاظ على طول متسق – خلقوا سيناريوهات حيث كان للذكاء الاصطناعي عدد أقل من المواد للنظر فيها، ولكن مع ذلك نفس الكمية الإجمالية من الكلمات للقراءة.

كانت النتائج ملفتة للنظر. في معظم الحالات، أجاب نماذج الذكاء الاصطناعي بدقة أكبر عندما تم تزويد них بقليل من الوثائق بدلاً من المجموعة الكاملة. تحسنت الأداء بشكل كبير – في بعض الحالات بنسبة تصل إلى 10٪ في الدقة (درجة F1) عندما استخدم النظام فقط القليل من الوثائق الداعمة بدلاً من مجموعة كبيرة. تم ملاحظة هذا التحسن المثير للدهشة عبر عدة نماذج لغة مفتوحة المصدر مختلفة، بما في ذلك متغيرات من Llama من Meta وغيرها، مما يشير إلى أن الظاهرة ليست مرتبطة بنموذج الذكاء الاصطناعي الفردي.

كان أحد النماذج (Qwen-2) استثناءً ملحوظًا تمكنت من التعامل مع عدة وثائق دون انخفاض في الدرجة. ومع ذلك، أدت معظم النماذج التي تم اختبارها بشكل أفضل مع عدد أقل من الوثائق بشكل عام. بعبارة أخرى، إضافة المزيد من المواد المرجعية إلى ما وراء القطع الرئيسية الفعلية أضر أدائها أكثر مما ساعد.

مصدر: Levy et al.

لماذا هذه المفاجأة؟ عادة ما يتم تصميم أنظمة RAG تحت افتراض أن استرجاع مجموعة أوسع من المعلومات يمكن أن يساعد فقط الذكاء الاصطناعي – إذا لم تكن الإجابة في الوثائق الأولى، فقد تكون في الوثيقة العاشرة أو العشرين.

تقلب هذه الدراسة هذا السيناريو، مما يدل على أن وضع وثائق إضافية بشكل عشوائي يمكن أن يؤدي إلى نتائج عكسية. حتى عندما تم الحفاظ على طول النص الكلي، فإن وجود العديد من الوثائق المختلفة (كل منها سياقه الخاص و特ائقه) جعل مهمة الإجابة على الأسئلة أكثر تحديًا للذكاء الاصطناعي. يبدو أن كل وثيقة إضافية بعد نقطة معينة أدخلت أكثر ضوضاء من الإشارات، مما أربك النموذج وأضعف قدرته على استخراج الإجابة الصحيحة.

لماذا يمكن أن يكون أقل أكثر في RAG

ينطوي هذا النتيجة “أقل هو أكثر” على معنى بمجرد考虑 كيفية معالجة نماذج اللغة الذكاء الاصطناعي للمعلومات. عندما يتم تزويد الذكاء الاصطناعي بقطع قليلة فقط من الوثائق، فإن السياق الذي يراه مُركّز وخالي من المشتتات، مثل طالب تم تزويد بصفحات مناسبة فقط للدراسة.

في الدراسة، أدت النماذج بشكل أفضل بكثير عندما تم تزويد них بقطع داعمة فقط من الوثائق، مع إزالة المواد غير ذات الصلة. السياق المتبقي لم يكن أقصر فقط، بل كان أيضًا أنظف – تحتوي على حقائق تشير مباشرة إلى الإجابة ولا شيء آخر. مع وجود عدد أقل من الوثائق للتعامل معها، يمكن للنموذج تخصيص انتباهه الكامل للمعلومات ذات الصلة، مما يجعله أقل عرضة للانحراف أو الارتباك.

من ناحية أخرى، عندما تم استرجاع العديد من الوثائق، كان على الذكاء الاصطناعي أن يغربل خلال مزيج من المحتوى ذي الصلة وغير ذي الصلة. غالبًا ما كانت هذه الوثائق الإضافية “متماثلة ولكن غير متعلقة” – قد تشترك في موضوع أو كلمات مفتاحية مع الاستفسار ولكنها لا تحتوي على الإجابة. يمكن أن تضلل مثل هذا المحتوى النموذج. قد يبذل الذكاء الاصطناعي جهدًا في محاولة ربط النقاط عبر وثائق لا تؤدي إلى إجابة صحيحة، أو أسوأ، قد يدمج المعلومات من مصادر متعددة بشكل غير صحيح. هذا يزيد من خطر الخيال – الحالات التي يولد فيها الذكاء الاصطناعي إجابة تبدو معقولة ولكنها ليست مدعومة ب أي مصدر فردي.

في جوهره، تزويد الذكاء الاصطناعي بكمية كبيرة من الوثائق يمكن أن يخفف من المعلومات المفيدة وي Introduced تفاصيل متعارضة، مما يجعل من الصعب على الذكاء الاصطناعي تحديد ما هو صحيح.

من المثير للاهتمام أن الباحثين وجدوا أنه إذا كانت الوثائق الإضافية واضحة غير ذات صلة (على سبيل المثال، نص غير متعلق عشوائي)، كان النماذج أفضل في تجاهلها. المشكلة الحقيقية تأتي من البيانات المشتتة التي تبدو ذات صلة: عندما تكون جميع النصوص المسترجعة على مواضيع مشابهة، يفترض الذكاء الاصطناعي أنه يجب استخدامه جميعًا، وقد يجد صعوبة في تحديد التفاصيل التي تهم حقًا. هذا يتوافق مع ملاحظة الدراسة بأن المشتتات العشوائية تسبب ارتباكًا أقل من المشتتات الواقعية في المدخلات. يمكن للذكاء الاصطناعي تصفية الهراء الواضح، ولكن المعلومات الخادعة التي تظهر وكأنها ذات صلة هي فخ خبيث – تدخل تحت ستار الارتباط وتعطل الإجابة. من خلال تقليل عدد الوثائق إلى القطع الضرورية فقط، نتجنب وضع هذه الفخاخ في المقام الأول.

هناك أيضًا فائدة praktische: استرجاع ومعالجة عدد أقل من الوثائق يقلل من العبء الحاسوبي لنظام RAG. يجب تحليل كل وثيقة تم سحبها (تضمينها، قراءتها، والانتباه إليها من قبل النموذج)، مما يستخدم وقتًا وموارد حاسوبية. إزالة الوثائق الزائدة تجعل النظام أكثر كفاءة – يمكنه العثور على إجابات بشكل أسرع وأقل تكلفة. في السيناريوهات التي تحسنت فيها الدقة من خلال التركيز على مصادر أقل، نحصل على فوز-فوز: إجابات أفضل وعملية أكثر رشاقة و كفاءة.

مصدر: Levy et al.

إعادة التفكير في RAG: اتجاهات مستقبلية

تؤكد هذه الأدلة الجديدة على أن الجودة غالبًا ما تهزم الكمية في الاسترجاع على أهمية تصميم أنظمة الذكاء الاصطناعي التي تعتمد على المعرفة الخارجية. تشير إلى أن مصممي أنظمة RAG يجب أن يprioritize التصفية الذكية وترتيب الوثائق على الكمية الصرفة. بدلاً من استرجاع 100 مقطع محتمل وآمل أن تكون الإجابة مدفونة في مكان ما هناك، قد يكون من الحكمة استرجاع القليل فقط من الوثائق ذات الصلة العالية.

يشدد مؤلفو الدراسة على الحاجة إلى طرق استرجاع “تstrike توازنًا بين الصلة والتنوع” في المعلومات التي توفرها للنموذج. بعبارة أخرى، نريد توفير تغطية كافية للموضوع للإجابة على السؤال، ولكن ليس إلى حد أن يتم غمر الحقائق الأساسية في بحر من النص غير ذي الصلة.

في المستقبل، من المحتمل أن يبحث الباحثون في تقنيات تساعد نماذج الذكاء الاصطناعي على التعامل مع عدة وثائق بسهولة أكبر. أحد النهج هو تطوير أنظمة استرجاع أو إعادة ترتيب أفضل يمكنها تحديد الوثائق التي تضيف قيمة حقيقية وتلك التي ت Introduced فقط الصراع. زاوية أخرى هي تحسين نماذج اللغة نفسها: إذا تمكنت نموذج واحد (مثل Qwen-2) من التعامل مع العديد من الوثائق دون فقدان الدقة، فقد يقدم فحص كيفية تدريبه أو هيكله أدلة لجعل نماذج أخرى أكثر متانة. ربما ستتضمن نماذج اللغة الكبيرة في المستقبل آليات للتعرف على ما إذا كانت مصدرين يقولان نفس الشيء (أو يتناقضان) والتركيز بشكل مناسب. الهدف سيكون تمكين النماذج من استخدام مجموعة غنية من المصادر دون السقوط في ارتباك – الحصول على أفضل العالمين (عرض المعلومات ووضوح التركيز).

من الجدير بالذكر أيضًا أن كلما زادت أنظمة الذكاء الاصطناعي نوافذ السياق (القدرة على قراءة المزيد من النص في وقت واحد)، لم يكن إلقاء المزيد من البيانات في التعبير هو سلاح سحرية. لا يعني السياق الأكبر تلقائيًا فهمًا أفضل. تظهر هذه الدراسة أن حتى إذا كان الذكاء الاصطناعي يمكنه قراءة 50 صفحة في وقت واحد، قد لا تؤدي إعطاؤه 50 صفحة من المعلومات المختلطة إلى نتيجة جيدة. النموذج لا يزال يستفيد من وجود محتوى منقول وذات صلة للعمل معه، بدلاً من إلقاء غير منظم. في الواقع، قد يصبح الاسترجاع الذكي أكثر أهمية في عصر النوافذ السياقية العملاقة – لضمان استخدام السعة الإضافية لمعرفة قيمة بدلاً من الضوضاء.

الاكتشافات من “مزيد من الوثائق، نفس الطول” (الورقة بعنوان مناسب) تشجع على إعادة النظر في افتراضاتنا في أبحاث الذكاء الاصطناعي. في بعض الأحيان، تزويد الذكاء الاصطناعي بجميع البيانات التي لدينا قد لا يكون فعالًا كما نعتقد. من خلال التركيز على القطع الأكثر صلة من المعلومات، لا نتحسن فقط من دقة إجابات الذكاء الاصطناعي المولدة، بل نجعل الأنظمة أكثر كفاءة وأسهل في الثقة. هذه是一 درس غير متوقع، ولكن له عواقب مثيرة: قد تكون أنظمة RAG المستقبلية أكثر ذكاءً وتنحيفًا من خلال اختيار عدد أقل من الوثائق الأفضل لاسترجاعها.