والأهم أن الوكلاء المؤسسيين لا يفهمون التمييز بالألوان

لا يزال في العالم، ولا سيما في قطاع الأعمال، كمّ كبير من الوثائق الورقية المهمة التي لم تُمسح ضوئيًا. ويُقدَّر أن 1% فقط من الوثائق الورقية البالغ عددها أربعة مليارات، والمتداولة في التجارة العالمية كل عام، تُحوَّل إلى صيغة رقمية، ما يُبقي سائرها خارج نطاق القدرات التحليلية للتعلّم الآلي، وفق تقديرات.

وهذا ليس سوى تقدير تقريبي للمشكلة في قطاع الأعمال؛ فالحكومات أيضًا تُنتج كمًّا هائلًا من المواد المطبوعة أو المجلّدة ورقيًا. وأفاد الأرشيف الوطني الأمريكي هذا العام بأن 4.04% فقط من الوثائق التناظرية التي يحتفظ بها قد حُوّلت إلى صيغة رقمية، فيما لا يزال 11.97 مليارًا منها ينتظر ذلك.

لذلك، فهذه مشكلة مستمرة وليست إرثًا من الماضي، وأعترف بأنني جزء منها أيضًا:

ما أجلس أمامه في معظم الأيام.

عندما أراجع الأوراق البحثية، أطبعها لأنها تحتاج إلى قدر كبير من التحليل البشري، إلى جانب تلخيص الآلات لها. ولأن الوقت ضيق، أخطّ بخط عريض إشاراتٍ على الأقسام المهمة والاقتباسات المحتملة، كي تتضح لي معالم البيانات عندما يحين وقت الكتابة. ولست مهووسًا بما يكفي لأستخدم أقلام التحديد، لذا أُبرز النقاط المهمة برموز شتى، وبخط أكبر، وبإشارات شخصية أخرى.

لكن كثيرًا من الناس، ومنهم أشخاص مهمون يكتبون أمورًا مهمة، يستخدمون أقلام التحديد الملونة وألوانًا مختلفة للنص بغرض إبراز مواضع معينة.

استخدم ونستون تشرشل أقلامًا مختلفة الألوان لأنواع مختلفة من التوكيد. ويبدو هنا، أثناء التحضير لخطابه الشهير «أحسن ساعاتنا»، أنه يستخدم اللون الأحمر رمزًا للتصحيح. المصدر

وفقًا للورقة نفسها الظاهرة في الصورة السابقة (الموضوعة على المنضدة السوداء)، قد يصل عدد الوثائق التي تتضمن طبقة من هذا النوع من التوكيد إلى مئات الملايين، ولا تستطيع أنظمة إدخال الوثائق، مثل Docling، رصدها حاليًا.

تكتسب هذه الإشارات اليدوية أهميتها من أنها تمنح النص وزنًا لا تعكسه بالضرورة صياغته اللغوية. لذلك، فإن اختزال محتوى صفحة مميزة بالألوان إلى نص مجرد باستخدام التعرّف الضوئي على الحروف (أو أساليب أكثر تقدمًا، مثل نماذج الرؤية واللغة) لا ينقل مقصد المؤلف كاملًا، وقد يؤدي حتى إلى تحريف أغراض الوثيقة ومقاصدها.

مجرد إبرازات

تخلص ورقة بحثية جديدة* إلى أن محولات الوثائق الشائعة الاستخدام تحذف بانتظام التمييز بالألوان وألوان النص، ما يجعل وكلاء الذكاء الاصطناعي عاجزين عن تمييز التعليمات المهمة. ومن بين 6,462 وثيقة سياسات تناولتها اختبارات الدراسة، احتوى نحو الثلث على نص أحمر أو تمييز أحمر، واستخدمت قرابة وثيقة واحدة من كل عشر هذه العلامات للفت الانتباه إلى متطلبات مهمة.

وفيما يتعلق بوكلاء إدخال وثائق المؤسسات، يقول المؤلفون^†††:

«تستعيد المحولات المتطورة النصوص والجداول والبنية بأمانة، لذا يبدو مسار المعالجة سليمًا.

«نبيّن أن طبقةً واحدةً تضيع لدى جميعها، وهي المعنى الذي يشفّره المؤلف في الطريقة التي يبدو بها النص—وأن هذا الفقد يجعل الوكلاء مخطئين بثقة بدلًا من أن يبدوا غير مكتملين بوضوح، وهو الإخفاق الأصعب اكتشافًا عند النشر.»

في اختبار المؤلفين، كان أداء نماذج الذكاء الاصطناعي أفضل بكثير عندما طُلب منها تحديد المتطلبات المهمة في وثائق سياسات حقيقية، وحُوفظ على الألوان الأصلية للنص وأشكال التمييز فيه. وأكدت هذه النتيجة ستة نماذج، منها GPT-5.6 Terra وClaude Opus 5 وClaude Sonnet 5.

يمكن فعليًا استخلاص إشارتين من التمييز: أ) أن شيئًا ما قد جرى تمييزه، و ب) اللون الذي استُخدم في التمييز. وعند استخدام ألوان متعددة للتمييز اليدوي، يمكن وفق معيار منطقي ترميز اللون الأحمر على أنه يحمل دلالة سلبية بطريقة ما (كما رأينا سابقًا في تصحيحات ونستون تشرشل لخطبه):

في أسفل مخرجات JSON هذه للمحلّل الأولي لدى المؤلفين، نرى أن مسار المعالجة قد رصد التمييز باللون الأحمر ورمّزه، ومن المنطقي أن نرى أن الكلمات تتوافق مع مستوى الشدة الذي جرى ترميزه. لكن هذه الطريقة تكون أكثر فائدة عندما يُضاف التوكيد إلى كلمات لا ترفع النبرة كثيرًا في حد ذاتها، وحين يضيف التمييز بذلك توكيدًا كان غائبًا. المصدر

يقترح المؤلفون أن بوسع الأنظمة القائمة حل المشكلة ببساطة تامة، من خلال الحفاظ على ألوان التظليل والنص الأصلية أثناء تحويل المستندات، وإضافة تسميات توضّح دلالتها لنموذج الذكاء الاصطناعي. ورغم أن ذلك لا يتطلب أي معالجة إضافية بالذكاء الاصطناعي، فإنه يضاعف تقريبًا عدد الرموز اللازمة لتمثيل كل مستند:

«استعادة هذه الإشارات عملية حتمية لا تتطلب سوى الشيفرة، ولا تستلزم أي استدعاءات للنماذج اللغوية الكبيرة؛ فالأثر المذكور هنا ناتج بالكامل عن التحليل وحده. لكنها تستهلك رموزًا — نحو ضعف ما يستهلكه النص العادي — لذا فهي مقايضة مقصودة بين ميزانية السياق ودقة الوقائع، وليست مكسبًا بلا تكلفة».

الخط العريض بلا أثر

من الجوانب اللافتة في الدراسة مدى عدم فاعلية وسائل التأكيد الموجودة في المستندات الرقمية المكتوبة، على ما يبدو، بسبب الإفراط في استخدامها^††:

«يعود الأثر كله [i.e., of the new pipeline] إلى التظليل [and] [colour]. ولا يسهم الخط العريض أو المائل أو أحادي المسافة أو المشطوب في شيء [measurable]، إذ تشمل فترات الثقة الصفر.

«ليس السبب غياب هذه الإشارات؛ إذ يحتوي المستند الواحد على أكثر من ألف علامة للخط العريض. بل إن هذه الإشارات شائعة أكثر مما ينبغي، فلا تحمل معلومات مفيدة.

«فالمؤلف الذي يجعل كل عنوان وكل مصطلح معرّف بخط عريض لا يكون بذلك قد ميّز شيئًا بعينه، في حين أن تلوين أحد المتطلبات أو تظليله فعل مقصود ومحدود. ولا يفيد تصنيف الإشارات إلا حين تكون نادرة بما يكفي للدلالة على القصد».

المهام والاختبارات

لإعداد النظام، فحص المؤلفون 6,462 مستندًا فعليًا للسياسات بصيغة .docx، من مجموعة بيانات عامة لم يُحدَّد مصدرها، بحثًا عن النص الأحمر والتظليل، من دون تخمين أي شيء استنادًا إلى الصياغة. ثم طُلب من النماذج تحديد المتطلبات التي وُسِمت بأنها مهمة على نحو خاص، وترك المتطلبات غير الموسومة، باستخدام الموجّه الأساسي الآتي:

«أدرج كل متطلب في هذا المستند خصّه المؤلف باهتمام خاص أو بأولوية أعلى».

اختير للاختبار الرئيسي 84 مستندًا، تضمنت 332 متطلبًا موسومًا و4,192 متطلبًا غير موسوم (أي متطلبات لا يظهر نصها باللون الأحمر ولا تتضمن تظليلًا ملونًا). واشترط أن يتضمن كل مستند متطلبًا موسومًا واحدًا على الأقل وثلاثة متطلبات غير موسومة، حتى لا يتمكن الذكاء الاصطناعي من الاكتفاء بإدراج كل شيء.

حُدِّدت القيم المرجعية الصحيحة مباشرةً من تنسيق المستندات، لا بالاستناد إلى حكم بشري أو إلى نموذج آخر للذكاء الاصطناعي. وقيس الأداء باستخدام درجات الدقة والاستدعاء وF1، مع أخذ المتطلبات المحددة على نحو صحيح والإيجابيات الكاذبة في الحسبان، أي الحالات التي أُدرجت فيها خطأً متطلبات غير موسومة.

أُجري التقييم آليًا، من دون الاستعانة بنموذج لغوي كبير لإصدار الأحكام. ولا تُحتسب الإجابة مطابقة إلا إذا تضمنت أربعة ألفاظ متتالية على الأقل من ألفاظ المحتوى الواردة في المتطلب الأصلي، مما يساعد على منع احتساب المتطلبات المتشابهة، لكنها مختلفة، على أنها صحيحة.

اختبار أثر التظليل

أُجري اختبار إضافي لمعرفة ما إذا كان بالإمكان تحديد المتطلبات المهمة من صياغتها وحدها، من دون تظليل أو ألوان. وحقق مصنّف نصي دُرّب على أمثلة درجة المساحة تحت منحنى ROC بلغت 0.664 (حيث تمثل 0.5 التخمين العشوائي).

لم تحقق الأساليب الأبسط نتائج أفضل من المصادفة: فقد سُجّلت درجة 0.508 عند استخدام كلمات توحي بالإلحاح بوصفها مؤشرات، في حين أسفر طول الجملة عن درجة 0.492. وتشير هذه النتائج إلى أنه لا يمكن استنتاج الكثير عن ما قصده المؤلف الذي استخدم أداة التظليل، من الصياغة وحدها.

وهذا منطقي؛ إذ يُفترض أنه لو كانت الصياغة حازمة بما يكفي، لما شعر المؤلف بالحاجة إلى أي تأكيد لاحق.

الأساليب المنافسة

شملت الأساليب المقارنة محلّل المؤلفين، OURS؛ وOURS مع أدوار البروز؛ وOURS مع ترميز غير مصنّف؛ وdocx2python؛ وDocling؛ والتحويل إلى نص عادي.

استخدمت جميع الأساليب المستندات والأسئلة نفسها، ولم يتغير سوى أسلوب تحويل المستندات. وشملت المقارنة الرئيسية 76 مستندًا، مع تكرار كل اختبار ثلاث مرات:

نتائج اختبار يقارن ست طرائق لتحديد المتطلبات الموسومة بأنها «مهمة» في مستندات Word. يعرض القسم العلوي نتائج 76 مستندًا اختُبرت ثلاث مرات. ويعرض القسم السفلي اختبار تأكيد منفصلًا باستخدام 79 مستندًا، مع تكرار الاختبار ست مرات. وتشير درجات F1 الأعلى إلى أداء أفضل؛ أما معدلات الإيجابيات الكاذبة الأقل فتعني اختيار عدد أقل من المتطلبات غير الموسومة عن طريق الخطأ. وتظهر الفروق ذات الدلالة الإحصائية بخط عريض.

كما يتضح أعلاه، حقق نظام المؤلفين أفضل درجة إجمالية لمقياس F1، بلغت 0.690، مقارنةً بـ0.586 لـdocx2python، و0.150 لـDocling، و0.075 فقط للنص العادي (يجمع مقياس F1 بين الدقة والاسترجاع في مقياس واحد للصحة، حيث تمثل 1.0 درجة مثالية).

أظهرت نتائج الإيجابيات الكاذبة أيضاً أهمية الحفاظ على التنسيق: ففي Docling، اختيرت المتطلبات غير المحددة على أنها مهمة عن طريق الخطأ بمعدل يقارب أربعة أضعاف المعدل المسجل لنظام المؤلفين (4.3% مقابل 1.1%).

أُجري اختبار منفصل للتحقق مما إذا كانت نماذج الذكاء الاصطناعي تستفيد من إخبارها بدلالة التنسيق، بدلاً من الاكتفاء بعرض الألوان الأصلية والتظليل عليها، وأظهرت النتائج تحسناً طفيفاً لكنه ذو دلالة إحصائية عند تزويدها بهذه التسميات الإضافية. إلا أن معظم الفائدة تحققت بالفعل من خلال الحفاظ على التنسيق نفسه.

ضغوط خارجية

أجرى الباحثون تقييماً إضافياً باستخدام معيار Microsoft لفهم مستندات Office (OCB)، الذي يقيس مدى دقة استعادة المعلومات من مستندات Office.

استُخرج 326 سؤالاً من 59 مستنداً من مستندات Word، وشملت الأسئلة التنسيق والجداول والروابط التشعبية والتعليقات والحواشي السفلية. وقد زودت Microsoft الباحثين بالأسئلة ومعايير التقييم، على نحو مستقل عن الدراسة:

نتائج مقارنة خمس طرق لتحويل المستندات وفق معيار Microsoft لفهم مستندات Office، الذي يشمل 326 سؤالاً موزعاً على 59 مستنداً من مستندات Word. تتراوح الدرجات بين 0 و1، وتشير الدرجات الأعلى إلى أداء أفضل، وتُبرز الدرجة الأفضل في كل فئة بخط عريض. وتلخص الصفوف الأخيرة الأداء الإجمالي والدلالة الإحصائية. في هذه الحالة، حقق نظام المؤلفين أعلى درجة إجمالية، مع أن docx2python كان أفضل في التعامل مع التظليل.

كما يتضح أعلاه، حقق نظام المؤلفين درجة إجمالية ممتازة بلغت 0.959، مقارنةً بدرجة جيدة قدرها 0.810 لـdocx2python، ودرجة متوسطة بلغت 0.720 لـDocling، ودرجة منخفضة نسبياً بلغت 0.634 للنص العادي.

حقق النظام الجديد درجات مثالية في البيانات الوصفية والتعليقات والحواشي السفلية، في حين حصلت جميع الطرق المنافسة على صفر؛ غير أن هذه التحسينات لم تنتج حصراً عن الحفاظ على التظليل وألوان النص، كما أثبت نظام المؤلفين تفوقه أيضاً في استعادة المعلومات من الجداول وتخطيطات المستندات والخطوط والروابط التشعبية.

الخلاصة

حاولت مؤخراً، دون نجاح يُذكر، معرفة ما إذا كان بالإمكان أتمتة إبراز الجداول والأشكال في ورقة علمية بصيغة PDF، وهو ما كنت أفعله يدوياً، باستخدام نماذج اللغة الكبيرة و/أو Python، وكانت النتائج… حسناً، مضحكة. أصبح تصنيف الأوراق العلمية وقياسها وتحليلها مجالاً راسخاً في الأدبيات البحثية، ولم يعد هناك مجال يُذكر، ولا أمل كبير، أمام الهاوي العابر.

أما فيما يتعلق بهذه الورقة، فيتمثل إنجاز المؤلفين في اكتشاف مؤشر مهم للتأكيد كان يضيع أثناء التحويل. لكن مضاعفة استهلاك الرموز التي يتطلبها حلهم ليست بالأمر الهيّن، خصوصاً عند العمل على النطاق الذي تتطلبه طبقات التعرف الضوئي على المحارف واستيعاب المستندات. لذا أعتقد أن الإنجاز هنا هو اكتشاف المشكلة.

* بعنوان «ما كتبه المؤلف، وما يقرؤه الوكيل: الفقدان الصامت للإشارات أثناء استيعاب مستندات المؤسسات».

^† كلها من Amazon.

^†† التأكيدات من المؤلفين وليست مني، مع أنني أحوّل بانتظام الاستشهادات المضمنة في النص التي يضيفها المؤلفون إلى روابط تشعبية.

نُشر لأول مرة يوم الجمعة، 30 أكتوبر 2026