تغيير ألوان الخطوط يمكن أن يختطف استدلال الذكاء الاصطناعي

دراسة جديدة تجد أن التنسيق العادي يمكن أن يوجه استدلال الذكاء الاصطناعي بهدوء، مما يجعله يتغاضى عن الكلمات، يخطئ في قراءة المعنى، ويصل إلى استنتاجات مختلفة – دون تغيير النص نفسه.

قد يختلف الترميز الثقافي للون لدى البشر حسب العالم، لكن المفاهيم الغربية – أي الأحمر يعني ‘خطر’, الأخضر يعني ‘موافق’ – تميل إلى السائدة حتى في نماذج اللغة البصرية الآسيوية Vision Language Models (VLMs)، لأسباب استراتيجية أو عارضة مختلفة.

نحن لسنا مختلفين؛ تلوين الأشياء ‘السيئة’ بألوان إيجابية، والأشياء ‘الجيدة’ بألوان سلبية، يجعل البشر يتفاعلون بشكل مختلف مع تلك الأشياء. وكذلك تغيير السطوع والتباين.

استكشفت تعاون بحثي جديد إلى أي مدى ينطبق هذا على نماذج الذكاء الاصطناعي، كاشفة عن مؤشرات أولية أن نماذج اللغة البصرية يمكن أن تتأثر بتحريك لون النص، وكذلك تعديل التباين والسطوع النسبي.

The authors state:

توفر تجاربنا تحليلاً منهجياً لكيفية تشويه التنسيق البصري منخفض المستوى للنص للتمثيلات الدلالية داخل مشفر الرؤية في نموذج اللغة البصرية. بالإضافة إلى ذلك، نفحص كيف تتجسد هذه التحولات في الفضاء الكامن كتحولات سلوكية في نماذج اللغة البصرية من الطرف إلى الطرف عبر كل من المهام الذاتية (تحليل المشاعر) والموضوعية (الإجابة على الأسئلة).

تُظهر هذه النتائج أن التنسيق البصري يكشف عن ضعف حاسم، لم يُستكشف سابقاً في نماذج اللغة البصرية، ونناقش تداعياته على صلابة وسلامة خطوط معالجة نماذج اللغة البصرية.

من موقع مشروع العمل الجديد، توضيح لكيفية أن لون النص وحده يمكن أن يغيّر التفسير الداخلي للذكاء الاصطناعي لكلمة ما. يُظهر المثال كلمة ‘bad’ مُصوَّرة بألوان مختلفة، حيث يُحوِّل الأخضر تمثيلها الدلالي نحو تفسير أكثر إيجابية، على الرغم من بقاء النص نفسه دون تغيير. المصدر

ألوني بالمفاجأة

في الوقت الحالي، بالنسبة للمليارات من الشركات والأفراد الذين تم تقليص حركة البحث الحيوية لديهم بشكل قاسٍ بسبب ظهور الملخصات التي يولدها الذكاء الاصطناعي في نتائج البحث، وكذلك التحول إلى نموذج اللغة الكبيرة كموظف بحث، فإن أسطح الهجوم من هذا النوع جذابة جداً في الوقت الحالي.

نظرًا لأن الضجيج المستمر للنقاش البشري على Reddit ضروري للحفاظ على حداثة معرفة الذكاء الاصطناعي، أصبحت هذه المنصة الاجتماعية هدفًا رئيسيًا للشركات والأفراد الذين يرغبون في أن تُضمّن في معرفة نماذج اللغة الكبيرة؛ وقد ظهرت بالفعل أدلة حول ‘التلاعب’ بـ Reddit كطريقة وسيطة للتأثير على نماذج اللغة الكبيرة.

في سياق مشابه، هناك الحيلة القديمة التي تتضمن تضمين نص لا يراه إلا الآلات، بحيث يمكنك تمرير تعليمات مخفية ذات مصلحة شخصية إلى نموذج اللغة الكبيرة، لـ الفوز في مسابقة أكاديمية، أو التأثير على نتائج الامتحانات.

مؤخرًا، بدأت مجلة Time وضع إعلانات في نسخة ‘سرية’ من موقعها لا يراها سوى زواحف الويب الذكائية التي تجوب باستمرار المواقع بحثًا عن بيانات جديدة، مما قد يسمح للمعلنين بشراء طريقهم إلى بروز أكبر (أو نظرة أكثر إيجابية) في ردود الذكاء الاصطناعي.

لذلك، أي ضعف جديد في نماذج اللغة الكبيرة/النماذج البصرية للغة، مثل الردود الملونة التي يمكن ‘تبديلها’ للتلاعب بالنتائج، هو هدف واضح لعالم يسعى بشدة لاستعادة السيطرة على السرد الإعلامي من الذكاء الاصطناعي المتقدم.

على سبيل المثال، قد تضيف شركة تسعى لبناء مصنع ملوث قد يقلل من جودة المياه المحلية ترميزًا لونيًا إلى معجمها من الدعاية، في المواد التسويقية أو البيانات الصحفية، كإضافة لتوجيه الأخبار التي يعتبرها معظم الناس ‘سلبية’.

يمكن لاستخدام استراتيجي لتقنيات CSS و/أو SEO أن يخفي حتى التلاعبات اللونية عن القراء البشر، من خلال تقديم أنماط مخصصة للذكاء الاصطناعي فقط تُفرض فيها تأكيدات لونية في النص مخفية عن البشر، الذين سيرون النص باللون الأسود فقط.

The authors of the new work state:

تشير هذه الحسّاسات إلى خطر على الموثوقية والسلامة في خطوط معالجة النماذج البصرية للغة التي تستقبل مستندات أو لقطات شاشة واجهة المستخدم: يمكن للتنسيق السليم أو العدائي أن يوجه قرارات النموذج دون تغيير النص الأساسي.

تشمل الإجراءات الوقائية العملية تطبيع النص المعروض قبل الاستنتاج، والتحقق المتقاطع من الإجابات المستندة إلى الصور مع النص المستخرج عبر OCR، وإضافة فحوصات عدم الاعتماد على النمط إلى مجموعات التقييم.

العمل الجديد يحمل العنوان Seeing Red, Thinking Bad: Color Bias in Vision Language Models، ويأتي من خمسة باحثين من معهد اليابان للعلوم والتقنية الصناعية المتقدمة (AIST)، وجامعة تسوكوبا، وجامعة تقنية نورمبرغ، وجامعة أكسفورد. يتضمن المبادرة مستودع GitHub وموقع المشروع.

الطريقة

لاكتشاف مدى تأثير العرض البصري وحده على النماذج، طور الباحثون ما يُسمى ‘مُحفزات بصرية خفية’ – تغييرات تبدو عادية في تنسيق النص، لا تحمل أي تعليمات صريحة للذكاء الاصطناعي.

قد يكون ذلك بسيطًا كتغيير لون الكلمات الإيجابية أو السلبية، أو جعل إجابة خاطئة تبرز بوضوح أكثر من الصحيحة، مع ترك الصياغة الفعلية دون تعديل.

تم إنشاء نص مختلف لكل مهمة، حيث استخدمت اختبارات المشاعر قوالب محايدة مليئة بكلمات إيجابية وسلبية، بينما استندت اختبارات الإجابة على الأسئلة البصرية (VQA) إلى أزواج سؤال-سياق من SQuAD.

أمثلة على أسئلة موجهة للآلة من مجموعة بيانات SQuAD المستخدمة في العمل الجديد. المصدر

تم تسمية المجموعة المنقحة الناتجة بـ ‘مجموعة VQA الخفية’.

تم عرض النص على لوحة قياسية بحجم 800×600 بكسل، بتخطيط ثابت، بحيث يتم تعديل التنسيق البصري المستهدف فقط. تم تعديل اللون والتباين بشكل مستقل، حيث اختبرت اختبارات اللون الارتباطات الدلالية المتعلمة، واختبارات التباين بروزًا بصريًا.

تم إعادة تلوين الكلمات المختارة، وعرض الفقرات بالكامل بتباين أقل؛ أو، في إعداد مسابقة البروز، تم جعل الإجابات الخاطئة أكثر بروزًا بصريًا من الصحيحة.

وبالتالي، يمكن إرجاع أي تغيير في استجابات النموذج إلى التنسيق البصري فقط وليس إلى تعديل النص الأساسي.

البيانات والاختبارات

تم إنشاء ثلاث مجموعات اختبار متميزة لتمثيل طرق مختلفة يتعامل معها نماذج اللغة البصرية مع النص المقدم كصور:

توضيح لتصاميم الاختبار البصري الثلاثة. تُظهر الأمثلة المحفزات المستخدمة لاختبار ما إذا كان العرض البصري وحده يمكن أن يؤثر على استدلال النموذج: (أ) نص مختلط المشاعر مع كلمات مختارة مُعاد تلوينها لاختبار تحيز اللون؛ (ب) فقرة أطول تفصل بين اللغة الإيجابية والسلبية لتقييم ما إذا كان هيكل المستند يغير التأثير؛ (ج) مثال على إجابة سؤال بصري حيث يتم جعل إجابة مُضللة غير صحيحة ولكنها دلاليًا مشابهة (‘عشرون ميلاً’) أكثر بروزًا بصريًا عبر زيادة التباين. المصدر

تختبر مجموعة المشاعر ذات الجمل القصيرة تحيز اللون على مستوى الكلمات باستخدام 100 جملة قصيرة مُولَّدة من قوالب محايدة تحتوي على كلمات إيجابية أو سلبية. تم عرض كل جملة في 37 نسخة بصرية، تشمل نسخة أساسية بنص أسود بالإضافة إلى تركيبات من ستة ألوان (أحمر، أخضر، أزرق، أصفر، سماوي وأرجواني)، بثلاث مستويات شدة.

استخدمت مجموعة المشاعر ذات الجمل الطويلة فقرات أطول، حيث تم فصل اللغة الإيجابية والسلبية إلى أجزاء مختلفة من النص. كان الهدف تحديد ما إذا كانت بنية المستند الأوسع وتأثيرات الموضع، مثل الأولوية أو الحداثة (تحيزات قائمة على الموضع، حيث يمكن إعطاء وزن أكبر للمعلومات التي تظهر في بداية أو نهاية المستند)، ستتفوق على أي تحيز ناتج عن اللون. تم تطبيق نفس 37 حالة لون.

في مجموعة VQA الخفية، تم عرض الأسئلة والسياق المرتبط بها كصور، ثم تم اختبار حالتين معتمدتين على التباين: في Global Contrast، تم تقليل قابلية قراءة المستند بالكامل عن طريق عرضه بمستويات تباين منخفضة تدريجيًا؛ وفي Saliency Competition، تم عرض إما الإجابة الصحيحة أو كلمة مُضللة دلاليًا (مختارة باستخدام تشابه CLIP) بتباين عالٍ، بينما تم إبهار النص المتبقي – مما يسمح لتأكيد بصري أن يتنافس مع الأدلة الموجودة في النص.

المقاييس

تم تصنيف كل مثال كإيجابي، محايد أو سلبي. ثم قُورنت التصنيفات الناتجة مع معيار أسود كامل (نص أسود على خلفية بيضاء) لتحديد مدى إزاحة التوقعات نحو نتائج أكثر إيجابية أو سلبية نتيجة اللون وحده.

تم تقييم تجارب VQA عبر مقياس F1 على مستوى الرموز، حيث تم مقارنة الإجابات المتوقعة مع الإجابات الحقيقية المقبولة.

تم تقديم مقياس جديد يُسمى معدل الخطأ المستحث (IER) خصيصًا لاختبار مسابقة البروز، وكان يهدف إلى قياس مدى اختيار إجابة مُضللة مميزة بصريًا (بدلاً من الإجابة الصحيحة) عندما تم تقليل وضوح النص.

بالإضافة إلى ذلك، استُخدم فحص تمثيل CLIP لقياس كيف غيرت تغييرات اللون تمثيل كلمة دلاليًا داخل مساحة تضمين CLIP.

علاوةً على ذلك، استُدم نموذج VLM لتقنية التعرف الضوئي على الأحرف (OCR) كوكيل لتقييم مدى إمكانية قراءة الكلمات الفردية بشكل موثوق عند مستويات تباين منخفضة تدريجيًا، مما سمح بتقدير النقطة التي يصبح فيها النص المعروض غير قابل للقراءة فعليًا.

أُجريت التقييمات باستخدام أربعة نماذج VLM مفتوحة المصدر: LLaVA-v1.6-Mistral-7B; LLaVA-v1.6-Vicuna-7B; Qwen2-VL-7B-Instruct; وIDEFICS2-8B. يؤكد المؤلفون أن اختيار النماذج المفتوحة المصدر يضمن إمكانية تكرار التجارب تحت إعدادات موجهات ثابتة، وإعدادات عرض موحدة، وفك تشفير حتمي.

النتائج

قَيم المؤلفون في البداية محفزات اللون على مجموعة المشاعر ذات الجمل القصيرة، مستفيدين من تحيز اللون على مستوى الكلمات، حيث تم توزيع الكلمات الحاملة للمشاعر:

نتائج الاختبار تُظهر أكبر تحولات المشاعر التي تسببها تنسيق اللون عبر أربعة نماذج لغة بصرية. تُقاس القيم نسبةً إلى المعيار الأسود الكامل، مع أعمدة إيجابية وسلبية تُظهر أكبر حركة في كل اتجاه، بينما يلخص النطاق إجمالي قابلية كل نموذج للتحيز الناجم عن اللون.

يظهر Qwen2-VL-7B أكبر تحيز إيجابي عندما تُلون الكلمات الإيجابية باللون الأخضر/الأزرق (حتى +0.42)، وأكبر تحيز سلبي عندما تُلون الكلمات السلبية باللون الأحمر (حتى -0.48).

تختلف القابلية العامة بشكل كبير بين النماذج: يُظهر Qwen2-VL-7B أكبر نطاق إجمالي (0.90)، يليه IDEFICS2-8B (0.52)، بينما تُظهر نماذج LLaVA نطاقات أصغر بكثير (0.04–0.12)، مما يدل على حساسية أضعف نسبيًا لتنسيق اللون على مستوى الكلمات في هذا الإعداد.

نلاحظ طيفًا واضحًا من القابلية: يُظهر Qwen2-VL-7B أكبر تحولات ناتجة عن اللون، بينما تكون نماذج LLaVA أكثر صلابة نسبيًا.

تُظهر النتائج اللاحقة أن تأثير اللون ليس موحدًا على الإطلاق: كان Qwen2-VL-7B الأكثر تأثرًا، حيث دفعت النصوص الخضراء والزرقاء المشاعر باستمرار نحو تقييمات أكثر إيجابية عندما تم تمييز الكلمات الإيجابية، بينما دفعت النصوص الحمراء التنبؤات نحو اتجاه أكثر سلبية عندما تم تمييز الكلمات السلبية:

نتائج الاختبار تقارن تحولات المشاعر الناجمة عن اللون عبر أربعة نماذج لغة بصرية. تُظهر الرسوم البيانية كيف غيرت ألوان النص المختلفة توقعات المشاعر مقارنةً بالمعيار الأسود الكامل، مع إشارة المحور العمودي إلى حجم واتجاه كل تحول. أظهر Qwen2-VL-7B أقوى حساسية للون، بينما ظلت نماذج LLaVA مستقرة نسبيًا.

تشير الورقة إلى أن شدة اللون الأقوى عمومًا تعزز هذه التأثيرات: أظهر IDEFICS2-8B نمطًا مشابهًا، وإن كان بدرجة أقل، بينما ظلت نماذج LLaVA قريبة من معيارها عبر معظم الألوان والشدة، مما يدل على مقاومة أكبر للتلاعب القائم على اللون.

اختبر الباحثون بعد ذلك فقرات أطول عبر فصل اللغة الإيجابية والسلبية إلى نصفين مختلفين من مجموعة المشاعر ذات الجمل الطويلة، مما سمح بقياس بنية المستند إلى جانب تحيز اللون. حددت التجارب ما إذا كان كل نموذج يعتمد أكثر على بداية (الأولوية) أو نهاية (الحداثة) الفقرة.

غالبًا ما تفوقت بنية المستند على إشارات اللون: فضل Qwen2-VL-7B وLLaVA-Mistral-7B النصف الثاني من النص، بينما اعتمد IDEFICS2-8B وLLaVA-Vicuna-7B غالبًا على النصف الأول:

نتائج الاختبار تُظهر كيف اعتمدت أربعة نماذج لغة بصرية على موضع المستند عند تحليل فقرات أطول. تُشير ‘استراتيجية الموضع’ إلى ما إذا كانت التوقعات تتبع النصف الأول (الأولوية) أو النصف الثاني (الحداثة) من النص؛ وتُظهر ‘الالتزام’ مدى استمرارية اتباع تلك الاستراتيجية؛ و’نطاق تحيز اللون’ يقيس التأثير المتبقي للون النص تحت هذه الظروف المنظمة.

ظل اللون يؤثر على بعض النماذج، خصوصًا IDEFICS2-8B، لكنه أصبح أقل تأثيرًا في النص المنظم.

لفهم سبب قدرة تغييرات اللون على تعديل المشاعر دون تغيير الكلمات نفسها، فحص الباحثون كيف يؤثر اللون على التمثيلات البصرية الداخلية للنماذج باستخدام تحليل إسقاط دلالي عبر CLIP. كما هو موضح أدناه، يغيّر تعديل لون الكلمة تمثيلها الدلالي باستمرار عبر عدة أبعاد مفاهيمية:

نتائج الاختبار تُظهر كيف غيّر لون النص التمثيل الدلالي الداخلي لست كلمات. تتبع الرسوم البيانية الكلمات ‘warm’، ‘cold’، ‘safe’، ‘dangerous’، ‘good’ و’bad’ عبر محاور السلامة، القيمة، الحرارة والعاطفة، موضحة أن تغيير اللون وحده يحول تمثيلها الداخلي بشكل منهجي، رغم بقاء النص نفسه دون تغيير.

ظهر أكبر التغييرات على محور ‘good’ مقابل ‘bad’. كما هو موضح أعلاه، فإن تغيير كلمة من الأسود إلى الأخضر يميل إلى نقل معناها الداخلي نحو اتجاه أكثر إيجابية، بينما يميل الأزرق إلى العكس – رغم أن الكلمة نفسها لم تتغير. ظهرت تحولات أصغر ولكن ثابتة أيضًا للمجالات العاطفية، السلامة والحرارة.

اُستخدم CLIP فقط لفحص هذه التمثيلات الداخلية، وليس لتفسير كيفية عمل كل نموذج لغة بصرية بدقة. ومع ذلك، فإن النمط نفسه الذي ظهر داخل CLIP يتطابق بشكل وثيق مع تغييرات المشاعر المدفوعة باللون التي لوحظت في التجارب السابقة.

بحث الباحثون بعد ذلك ما إذا كان تعديل تباين النص، بدلاً من اللون، يمكن أن يضلل نماذج اللغة البصرية أثناء إجابة الأسئلة البصرية (VQA). تم تمييز إجابة ‘مضللة’ محتملة ولكن غير صحيحة بينما تم إبهار النص المحيط:

نتائج الاختبار تقارن أداء إجابة الأسئلة البصرية تحت ثلاث حالات بروز نصي. تُحسب النتائج كمتوسط عبر ست مستويات تباين رمادية منخفضة، والفرق الوحيد بين الأعمدة هو ما إذا كان لا نص، أو الإجابة الصحيحة، أو الإجابة المضللة قد عُرضت باللون الأسود عالي التباين. أدى تمييز الإجابة الصحيحة إلى زيادة مستمرة في درجات F1، بينما أدى تمييز المضللة إلى انخفاضها.

تشير النتائج أعلاه إلى أن تمييز الإجابة الصحيحة حسّن الدقة، بينما أدى إبراز المضللة إلى تقليلها. تم قياس هذا التأثير لاحقًا عبر معدل الخطأ المستحث المذكور أعلاه:

نتائج الاختبار تُظهر مدى تكرار اختيار كل نموذج لغة بصرية لإجابة مرئية بارزة لكنها غير صحيحة. تُظهر الأعمدة ست مستويات تباين رمادية منخفضة تُطبق على النص المحيط في حالة ‘المضللة البارزة’، حيث تشير القيم الأعلى إلى انخفاض الرؤية. كلما أصبح النص المحيط أصعب قراءةً، ارتفعت معدلات الخطأ المستحث عمومًا، بينما ظل Qwen2-VL-7B أكثر مقاومة باستمرار مقارنة بالنماذج الأخرى.

الخلاصة

سيكون من المثير للاهتمام معرفة ما إذا كان سيتم استغلال هذه النقطة الخاصة، خاصةً لأن من المثير أيضًا معرفة كيف يمكن حقن ‘توجيه اللون’ دون أن يصبح واضحًا للقراء البشر.

على الرغم من أن جامعي صفحات الويب الذكائية الذين يعرضون الصفحات فعليًا يمكن أن يُقدم لهم CSS ‘بديل’ يغيّر الألوان في أجزاء مختارة من النص، فإن الكثير يعتمد على دقة أداة الجمع؛ إذا كانت الأداة تقتصر على استخراج HTML للبحث عن الكود (HTML) والنص (محتوى الصفحة)، فقد تتجاهل CSS ولا تعرف شيئًا عن التلوين. ومع ذلك، من المرجح أن الأداة الجشعة ترغب أيضًا في CSS جديد، مما يسمح بالعرض وإعادة التلوين.

بدلاً من ذلك، يمكن رفع كتب أو مجلات بنص مُعاد تلوينه انتقائيًا إلى مستودعات موثوقة مثل Internet Archive (هدف شائع جدًا)، حتى مع تمثيلها كمسحات لعمل قديم. هناك العديد من سبل الإدخال تحت الممارسات الحالية، وليس فقط لهذا النهج الجديد والملون بشكل خاص.

نُشر لأول مرة يوم الاثنين، 17 أغسطس 2026