أفضل نماذج الذكاء الاصطناعي تفقد طريقها في المستندات الطويلة

دراسة جديدةمن الباحثين في LMU Munich و Munich Center for Machine Learning و Adobe Research (ADBE ) كشفت عن نقطة ضعف فينماذج اللغة الذكاء الاصطناعي: أنها تعاني من فهم المستندات الطويلة بطرق قد تفاجئك. وتظهر نتائج فريق البحث أن حتى أكثر النماذج المتقدمة تعاني من مشكلة في ربط المعلومات عندما لا يمكنها الاعتماد على مطابقة الكلمات البسيطة.

المشكلة الخفية في مهارات القراءة للذكاء الاصطناعي

تخيل محاولة العثور على تفاصيل محددة في ورقة بحثية طويلة. قد تقوم بمراجعة الوثيقة، مما يخلق روابط عقلية بين أقسام مختلفة لتحقيق المعلومات التي تحتاجها.然而، العديد من نماذج الذكاء الاصطناعي لا تعمل بهذا الشكل على الإطلاق. بدلاً من ذلك، تعتمد في كثير من الأحيان بشكل كبير على العثور على مطابقات كلمات دقيقة، مشابهة لاستخدام Ctrl+F على جهاز الكمبيوتر.

قام فريق البحث بتطوير معيار جديد يسمى NOLIMA (لا مطابقة حرفية) لاختبار نماذج الذكاء الاصطناعي المختلفة. وأظهرت النتائج أن أداء نماذج الذكاء الاصطناعي يتناقص بشكل كبير عند التعامل مع نصوص أطول من 2000 كلمة. وبحلول الوقت الذي يصلون فيه إلى 32000 كلمة – حوالي طول كتاب قصير – يؤدي معظم النماذج بأداء نصف القدرة المعتادة. وشمل ذلك اختبار نماذج رئيسية مثل GPT-4o و Gemini 1.5 Pro و Llama 3.3 70B.

فكر في باحث طبي يستخدم الذكاء الاصطناعي لتحليل سجلات المرضى، أو فريق قانوني يستخدم الذكاء الاصطناعي لمراجعة وثائق القضية. إذا فاتت الذكاء الاصطناعي الاتصالات الحيوية بسبب استخدام المعلومات ذات الصلة لمصطلحات مختلفة عن استعلام البحث، فإن العواقب يمكن أن تكون كبيرة.

لماذا لا تكفي مطابقة الكلمات

تعالج نماذج الذكاء الاصطناعي الحالية النص باستخدام شيء يسمى آلية الانتباه. يساعد هذا النظام الذكاء الاصطناعي على التركيز على أجزاء مختلفة من النص لفهم العلاقات بين الكلمات والأفكار. عندما تعمل مع نصوص أقصر، يعمل هذا جيدًا. ومع ذلك، تظهر الدراسة أن هذه الآلية تصبح محمولة عندما تزيد النصوص في الطول، خاصة عندما لا يمكنها الاعتماد على مطابقات كلمات دقيقة.

كشف اختبار NOLIMA عن هذه التحديات من خلال سؤال نماذج الذكاء الاصطناعي أسئلة تتطلب فهم السياق بدلاً من العثور على مطابقات كلمات. كانت النتائج واضحة. في حين أدت النماذج بشكل جيد مع النصوص القصيرة، انخفضت قدرتهم على إجراء هذه الروابط بشكل كبير مع زيادة طول النص. حتى النماذج المتخصصة المصممة لمهام التفكير سجلت أقل من 50% دقة عند التعامل مع مستندات أطول.

بدون عكازة مطابقة الكلمات، عانت نماذج الذكاء الاصطناعي من:

• ربط المفاهيم المرتبطة التي تستخدم مصطلحات مختلفة
• متابعة مسارات التفكير المتعددة
• العثور على المعلومات ذات الصلة عندما تظهر بعد السياق الرئيسي
• تجاهل مطابقات الكلمات الخادعة في الأقسام غير ذات الصلة

الأرقام تحكي القصة

تظهر نتائج البحث صورة قاتمة لطريقة تعامل نماذج الذكاء الاصطناعي مع النصوص الأطول. أظهرت GPT-4o أداءً أقوى، وحافظت على الفعالية حتى حوالي 8000 رمز (حوالي 6000 كلمة). ومع ذلك، حتى هذا الأداء القوي أظهر انخفاضًا كبيرًا مع النصوص الأطول. انخفض أداء معظم النماذج الأخرى، بما في ذلك Gemini 1.5 Pro و Llama 3.3 70B، بشكل حاد بين 2000 و 8000 رمز.

أصبح انخفاض الأداء أكثر وضوحًا عندما تتطلب المهام خطوات متعددة من التفكير. على سبيل المثال، إذا كان النموذج يحتاج إلى إجراء两个 اتصال منطقي – مثل فهم أن الشخص يعيش بالقرب من معلم، وأن هذا المعلم يقع في مدينة معينة – انخفضت نسبة النجاح بشكل كبير. وأظهرت الدراسة أن هذا النوع من التفكير المتعدد يصبح أكثر تحديًا في النصوص التي تتجاوز 16000 رمز، حتى عند استخدام تقنيات مصممة لتحسين التفكير، مثل التحفيز السلسلة الفكرية.

ما يجعل هذه النتائج ملحوظة بشكل خاص هو أنها ت挑ل المطالبات ب khả năng نماذج الذكاء الاصطناعي في التعامل مع السياقات الطويلة. في حين يعلن العديد من النماذج عن دعمها للنوافذ السياقية الواسعة، يظهر اختبار NOLIMA أن الفهم الفعلي ينخفض بشكل كبير قبل الوصول إلى هذه الحدود النظرية.

[صورة: نتيجة اختبار NOLIMA]

عندما يفقد الذكاء الاصطناعي الغابة من أجل الأشجار

تملك هذه التحديات عواقب خطيرة لاستخدامنا للذكاء الاصطناعي في التطبيقات العملية. فكر في نظام قانوني يستخدم الذكاء الاصطناعي للبحث في قانون القضية. قد يفقد السبب السابق بسبب استخدام مصطلحات مختلفة عن استعلام البحث. بدلاً من ذلك، قد يركز النظام على قضايا أقل صلة التي تحمل كلمات متشابهة مع مصطلحات البحث.

تكون الأثر على البحث وتحليل المستندات preocupante بشكل خاص. تعتمد أنظمة البحث الحالية التي تعمل بالذكاء الاصطناعي على تقنية تسمى التوليد المعزز بالاسترجاع. حتى عندما تنجح هذه الأنظمة في استرجاع وثيقة تحتوي على المعلومات الصحيحة، قد تفشل الذكاء الاصطناعي في التعرف على أهميتها إذا كانت المصطلحات تختلف عن استعلام البحث. بدلاً من ذلك، قد تنجرف الذكاء الاصطناعي نحو وثائق أقل صلة التي تشترك في تشابهات سطحية مع مصطلحات البحث.

للمستخدمين، تشير هذه النتائج إلى عدة اعتبارات مهمة:

أولا، من المرجح أن تؤدي الاستفسارات والوثائق القصيرة إلى نتائج أكثر موثوقية. عند العمل مع نصوص أطول، قد يكون من المفيد تقسيمها إلى مقاطع محددة لتحافظ على أداء الذكاء الاصطناعي.

ثانيا، يجب على المستخدمين أن يكونوا حذرين بشكل خاص عند طلب من الذكاء الاصطناعي إجراء اتصالات عبر أقسام مختلفة من وثيقة طويلة. تظهر الدراسة أن نماذج الذكاء الاصطناعي تعاني أكثر عندما تحتاج إلى تجميع المعلومات من أقسام مختلفة، خاصة عندما لا يكون الاتصال واضحًا من خلال مصطلحات مشتركة.

أخيرا، تسلط هذه التحديات الضوء على أهمية الإشراف البشري المستمر. في حين يمكن للذكاء الاصطناعي أن يكون أداة قوية لتحليل النص، لا ينبغي اعتباره بديلاً كاملاً لتحليل الإنسان لوثائق معقدة. لا يزال تفكير الإنسان وقدرته على الحفاظ على السياق وإجراء الاتصالات المفاهيمية عبر النصوص الطويلة متفوقًا على قدرات الذكاء الاصطناعي الحالية.

تذكر هذه النتائج أن تقدم التكنولوجيا سريع، ولكن هذه الأنظمة لا تزال تعالج المعلومات بطرق مختلفة عن البشر. فهم هذه التحديات هو أمر بالغ الأهمية لاستخدام أدوات الذكاء الاصطناعي بشكل فعال ومعرفة متى يبقى الحكم البشري ضروريًا.

ماذا يأتي بعد ذلك

فهم تحديات قدرة نماذج الذكاء الاصطناعي الحالية على معالجة النصوص الطويلة يفتح أسئلة مهمة حول مستقبل تطوير الذكاء الاصطناعي. كشفت الدراسة وراء معيار NOLIMA أن نهجنا الحالي لمعالجة النص بالذكاء الاصطناعي قد يحتاج إلى تحسين كبير، خاصة في كيفية تعامل النماذج مع المعلومات عبر مقاطع أطول.

أظهرت الحلول الحالية نجاحًا جزئيًا فقط. يساعد التحفيز السلسلة الفكرية، الذي يشجع نماذج الذكاء الاصطناعي على كسر تفكيرها إلى خطوات، في تحسين الأداء إلى حد ما. على سبيل المثال، عندما يستخدم هذا الأسلوب، أظهر Llama 3.3 70B قدرة أفضل على التعامل مع سياقات أطول. ومع ذلك، يظل هذا النهج قصيرًا عندما يتعامل مع نصوص تتجاوز 16000 رمز، مما يشير إلى أننا بحاجة إلى حلول أكثر جوهرية.

تتطلب آلية الانتباه، التي تشكل العمود الفقري لمعالجة النص بالذكاء الاصطناعي، إعادة التفكير. تذكرها بمحاولة إجراء محادثة في غرفة مزدحمة – كلما طالت المحادثة، أصبح من الصعب أكثر الحفاظ على جميع النقاط المهمة التي تم ذكرها في وقت سابق. تواجه نماذج الذكاء الاصطناعي الحالية تحديًا مشابهًا، ولكن على نطاق أكبر بكثير.

نظرًا إلى المستقبل، يبحث الباحثون في عدة اتجاهات واعدة. يتضمن أحد هذه النهج تطوير طرق جديدة للذكاء الاصطناعي لتنظيم المعلومات وتحديد الأولويات في النصوص الطويلة، متجاوزًا مطابقة الكلمات البسيطة لفهم الاتصالات المفاهيمية الأعمق. قد يعمل هذا أكثر مثل كيفية创造 البشر لخرائط عقلية للمعلومات، وربط الأفكار على أساس المعنى بدلاً من مجرد مصطلحات مشتركة.

يتضمن مجال آخر من التطوير تحسين كيفية تعامل نماذج الذكاء الاصطناعي مع ما يسمى “القفزات الكامنة” – الخطوات المنطقية اللازمة لربط قطع المعلومات المختلفة. تعاني النماذج الحالية من هذه الاتصالات، خاصة في النصوص الأطول، ولكن قد تساعدها архيتكتونات جديدة على سد هذه الفجوة.

لأولئك الذين يعملون مع أدوات الذكاء الاصطناعي اليوم، تشير هذه النتائج إلى عدة نهج عملي:

فكر في تقسيم الوثائق الأطول إلى مقاطع ذات معنى عند العمل مع الذكاء الاصطناعي. هذا يساعد في إنشاء أقسام منطقية تحافظ على السياق المهم. على سبيل المثال، إذا كنت تحلل ورقة بحثية، قد تحتفظ بقطاعي الطريقة والنتائج معًا لأنها غالبًا ما تحتوي على معلومات متعلقة.

عندما تطلب من الذكاء الاصطناعي تحليل نصوص أطول، كن محددًا حول الاتصالات التي تريد إجراءها. بدلاً من طرح أسئلة عامة، اشر إلى الذكاء الاصطناعي نحو العلاقات المحددة التي تريد استكشافها. هذا يساعد على تعويض قصور النموذج الحالي في إجراء هذه الاتصالات بشكل مستقل.

أخيرًا، احتفظ بتوقعات واقعية حول قدرات الذكاء الاصطناعي مع النصوص الطويلة. في حين يمكن أن تكون هذه الأدوات مفيدة بشكل لا يصدق ل许多 مهام، لا ينبغي اعتبارها بديلاً كاملاً لتحليل الإنسان لوثائق معقدة. لا يزال تفكير الإنسان وقدرته على الحفاظ على السياق وإجراء الاتصالات المفاهيمية عبر النصوص الطويلة متفوقًا على قدرات الذكاء الاصطناعي الحالية.

الطريق أمام تطوير الذكاء الاصطناعي في هذا المجال هو تحدي ومثير. كلما فهمنا هذه التحديات بشكل أفضل، يمكننا العمل نحو أنظمة ذكاء اصطناعي تفهم حقًا النصوص الطويلة بدلاً من مجرد معالجتها. حتى ذلك الحين، استخدام الذكاء الاصطناعي بشكل فعال يعني العمل مع قيوده الحالية مع تقدير نقاط قوته.