زاوية Anderson

استخدام الرموز التعبيرية يمكن أن يتجاوز مرشحات المحتوى في روبوتات الدردشة بالذكاء الاصطناعي

Martin Anderson
أضف Unite.AI إلى مصادرك المفضلة على Google
A man with a smiley emoji for a head lights a cigarette from a lit bomb. SDXL, Flux Kontext Dev, Adobe Firefly.
النقاط الرئيسيةتتجاوز الرموز التعبيرية مرشحات أمان الذكاء الاصطناعي عن طريق استغلال الارتباطات…
عرض المزيد
  • تتجاوز الرموز التعبيرية مرشحات أمان الذكاء الاصطناعي عن طريق استغلال الارتباطات الإحصائية الناتجة من بيانات التدريب السامة.
  • تحول الرموز التعبيرية نبرة المطالبة نحو المرح مما يعطل أنظمة مراقبة المحتوى.
  • معاني الرموز التعبيرية مستقلة عن اللغة مما يجعل تقنية الاختراق هذه فعالة عبر لغات متعددة.

يمكن استخدام الرموز التعبيرية لتجاوز آليات السلامة في نماذج اللغة الكبيرة واستثارة مخرجات سامة كان سيجري حظرها لولا ذلك. وبهذه الوسيلة، يمكن دفع نماذج اللغة الكبيرة إلى مناقشة موضوعات محظورة، مثل صنع القنابل والقتل، وتقديم نصائح بشأنها.

 

تعاون جديد بين الصين وسنغافورة يجد أدلة مقنعة بأن الإيموجي يمكن استخدامها ليس فقط لتجاوز مرشحات الكشف عن المحتوى في نماذج اللغة الكبيرة (LLMs) ، ولكنها يمكنها بشكل عام زيادة مستوى السُمية خلال تفاعل المستخدم مع النماذج:

عرض من الورقة لكيفية مساعدة ترميز مفهوم محظور بالرموز التعبيرية على تجاوز قيود نموذج لغوي شائع. المصدر: https://arxiv.org/pdf/2509.11141

من الورقة الجديدة ، عرض واسع للطرق التي يمكن بها لترميز مفهوم محظور بالرموز التعبيرية أن يساعد المستخدم على تجاوز قيود نموذج لغوي شائع. مصدر: https://arxiv.org/pdf/2509.11141

في المثال أعلاه ، من الورقة الجديدة ، نرى أن تحويل النية المخالفة للقواعد، المعبر عنها بالكلمات، إلى صيغة بديلة محملة بالرموز التعبيرية يمكن أن يحصل على استجابة أكثر “تعاونا” من نموذج لغة متقدم مثل ChatGPT-4o (الذي يعتاد على تطهير المدخلات و اعتراض المادة الإخراجية التي قد تنتهك قواعد الشركة).

بصورة فعالة ، في الظروف الأكثر تطرفا ، يمكن لاستخدام الرموز التعبيرية أن يعمل كتقنية لتجاوز القيود ، وفقا لمؤلفي العمل الجديد.

هناك لغز متبقي مذكور في الورقة هو سؤال لماذا تعطي نماذج اللغة الإيموجي مثل هذه الحرية لتجاوز القواعد و استخراج محتوى سام ، عندما تفهم النماذج بالفعل أن بعض الإيموجي لها ارتباطات سامة قوية.

الاقتراح المقدم هو أن لأن نماذج اللغة يتم تدريبها على نمذجة و إعادة بناء الأنماط من بيانات التدريب ، و لأن الإيموجي يتم العثور عليها بشكل متكرر في تلك البيانات ، فإن النموذج يتعلم أن الإيموجي تنتمي في ذلك الخطاب ، و يعاملها كترابط إحصائي ، بدلا من محتوى يجب تقييمه و تصفيته.

هذا يعني أن الإيموجي ، عند إعادة استخدامها في سؤال ، تساعد النموذج على التنبؤ بمواصلة سامة بشكل أكثر ثقة ؛ لكن بدلا من أن تعمل كإشارة تحذير ، تعمل الإيموجي كدليل دلالي ، الذي يعزز بالفعل المعنى السام المقصود بدلا من تعديله أو اعتراضه. ولأن المواءمة من أجل السلامة تُطبّق لاحقًا، وغالبًا ضمن إطار حرفي ضيق ، قد تتجنب الأسئلة ذات الإيموجي الكشف تماما.

بهذه الطريقة ، تقترح الورقة أن النموذج لا يصبح متسامحا على الرغم من الارتباط السام – بل يصبح متسامحا بسبب ذلك.

مرور بلا قيود

قال المؤلفون إن هذا لا يمثل نظرية حاسمة لماذا يمكن استخدام الإيموجي لتجاوز مرشحات المحتوى في نماذج اللغة. و قالوا:

‘النماذج يمكنها التعرف على النية الخبيثة المعبر عنها بواسطة الإيموجي ، ومع ذلك ، كيفية تجاوز آليات السلامة لا تزال غير واضحة.’

قد ينشأ هذا الضعف من تصميم مرشحات المحتوى المتمركز على النص ، التي تفترض إما مدخلات نصية حرفية أو تضمين يُحوَّل بأمانة إلى مكافئات نصية؛ وفي الحالتين يعتمد النظام على وحدات نصية صريحة يمكن مطابقتها مع قواعد السلامة.

لأخذ مثال من تحرير الصور القائم على الذكاء الاصطناعي: عندما يرفع المستخدم صورة غير لائقة إلى نموذج رؤية-لغة و يطلب تعديلات ، تستخدم أنظمة مثل Adobe Firefly أو ChatGPT أنابيب CLIP لاستخراج مفاهيم نصية من الصورة ، كشرط مسبق للتعديل. عندما يتم تمثيل تلك المفاهيم في الكلمات ، فإن وجود أي مصطلحات مقيدة في تلك الكلمات المستخرجة سيؤدي إلى تشغيل المرشح ، مما يؤدي إلى رفض الطلب.

ومع ذلك ، لسبب ما ، يبدو أن حالة الإيموجي كونها ليست كلمة ولا صورة (أو كليهما) تمنحها قوة لتجاوز التصفية؛ كما يشير المؤلفون ، من الواضح أن هناك حاجة إلى مزيد من البحث في هذا الثغرة الغريبة.

الورقة الجديدة بعنوان حين تصبح الابتسامة عدائية: تفسير كيفية استثارة الرموز التعبيرية لسُمية نماذج اللغة الكبيرة ، و تأتي من تسعة مؤلفين من جامعة تسينغهوا والجامعة الوطنية في سنغافورة.

(لسوء الحظ ، العديد من الأمثلة التي تشير إليها الورقة موجودة في مرفق لم يتم إصداره بعد؛ على الرغم من أننا طلبنا ذلك من المؤلفين ، لم يُقدَّم الملحق حتى وقت الكتابة. ومع ذلك، تبقى النتائج التجريبية في متن الورقة جديرة بالاهتمام.)

ثلاثة تفسيرات أساسية للإيموجي

يشير المؤلفون إلى ثلاث سمات لغوية تجعل الإيموجي فعالة في تجاوز المرشحات. أولا ، معاني الإيموجي هي متعلقة بالسياق. على سبيل المثال ، الإيموجي “المال مع الأجنحة” (انظر الصورة أدناه) يتم تعريفه رسميا على أنه يمثل تحويلات المال أو الإنفاق؛ ومع ذلك ، اعتمادا على النص المحيط ، يمكن أن يعني نشاطا شرعيا أو غير شرعي:

في جزء من الورقة الجديدة ، نرى أن إيموجي شائع يمكن أن يكون معناه مخطوفا أو معدلا أو معكوسا في الاستخدام الشائع. هذا يعطي الإيموجي جواز سفر رسمي إلى الفضاء الدلالي ، و حمولة مخفية من المعنى السلبي أو السام الذي يمكن استغلاله بمجرد تجاوز المرشحات.

في جزء من الورقة الجديدة ، نرى أن إيموجي شائع يمكن أن يكون معناه مخطوفا أو معدلا أو معكوسا في الاستخدام الشائع. هذا يعطي الإيموجي جواز سفر رسمي إلى الفضاء الدلالي ، و حمولة مخفية من المعنى السلبي أو السام الذي يمكن استغلاله بمجرد تجاوز المرشحات.

ثانيا ، يمكن أن تغير الإيموجي النبرة من سؤال. وجودها غالبا ما يضيف لعبية أو سخرية ، مما يخفف الحدة العاطفية. في الاستفسارات الضارة ، يمكن أن يجعل الطلب يبدو وكأنه مزحة أو لعبة ، مما يشجع النموذج على الاستجابة بدلا من الرفض:

يمكن لتأثير الرموز التعبيرية الملطف أن يزيل السمية من النبرة دون إزالتها من النية.

يمكن لتأثير الرموز التعبيرية الملطف أن يزيل السمية من النبرة دون إزالتها من النية.

ثالثا ، تدعي الورقة أن الإيموجي هي مستقلة عن اللغة: يستطيع رمز تعبيري واحد نقل الشعور نفسه عبر الإنجليزية والصينية والفرنسية وغيرها. وهذا يجعله مثاليًا للأسئلة متعددة اللغات، إذ يحافظ على المعنى حتى عند ترجمة النص المحيط به:

ينقل رمز القلب المكسور رسالة عالمية تمثل حالة أساسية في التجربة الإنسانية لا تتأثر كثيرًا بالفروق الوطنية أو الثقافية.

يوصل رمز «القلب المكسور» رسالة عالمية، ربما لأنه يمثل حالة أساسية في التجربة الإنسانية لا تتأثر كثيرًا بالفروق الوطنية أو الثقافية.

المنهج والبيانات والاختبارات*

قام الباحثون بإنشاء نسخة معدلة من مجموعة بيانات AdvBench ، بإعادة كتابة أسئلة ضارة من AdvBench لتشمل إيموجي إما كبديل عن كلمات حساسة أو كتمويه زخرفي. AdvBench تغطي 32 موضوعًا عالي الخطورة ، بما في ذلك التفجير و القرصنة و القتل ، وغيرها:

أمثلة أصلية من AdvBench ، تظهر كيف يمكن لأسلوب سؤال معادي واحد أن يتجاوز الحماية في عدة روبوتات دردشة رئيسية ، مما يؤدي إلى تعليمات ضارة على الرغم من التدريب على المواءمة.

أمثلة أصلية من AdvBench ، تظهر كيف يمكن لأسلوب سؤال معادي واحد أن يتجاوز الحماية في عدة روبوتات دردشة رئيسية ، مما يؤدي إلى تعليمات ضارة على الرغم من التدريب على المواءمة. المصدر: https://arxiv.org/pdf/2307.15043

تم تعديل جميع 520 حالة أصلية من AdvBench بهذه الطريقة ، مع استخدام أكثر 50 توجيهًا سُمية و غير مكرر عبر مجموعة من التجارب. تم ترجمة الأسئلة أيضًا إلى لغات متعددة و اختبارها عبر سبعة نماذج رئيسية مفتوحة و مغلقة المصدر ، و بالاشتراك مع تقنيات “تجاوز” معروفة فعالة التحسين التكراري الآلي للتوجيهات (PAIR) و شجرة الهجمات مع التقليم (TAP) و DeepInception.

النماذج المغلقة المصدر المستخدمة كانت Gemini-2.0-flash و GPT-4o (2024-08-06) و GPT-4-0613 و Gemini-1.5-pro. النماذج المفتوحة المصدر المستخدمة كانت Llama-3-8B-Instruct و Qwen2.5-7B-Instruct (Team 2024b) و Qwen2.5-72B-Instruct (Team 2024a) ، مع تكرار جميع التجارب ثلاث مرات لحساب الصدفة.

اختبرت الدراسة أولا ما إذا كان إعادة كتابة أسئلة ضارة من AdvBench باستخدام إيموجي سيزيد من الإخراج السام ، بما في ذلك الترجمات إلى لغات أخرى. بالإضافة إلى ذلك ، طبقت نفس طريقة تحرير الإيموجي على أسئلة من استراتيجيات “تجاوز” المعروفة (PAIR و TAP و DeepInception) لمعرفة ما إذا كان يمكن أن يزيد استبدال الإيموجي من نجاحهم.

في كلتا الحالتين ، تم الحفاظ على هيكل الأسئلة الأصلية ، مع استبدال مصطلحات حساسة فقط بالإيموجي و إضافة عناصر زخرفية لتمويه النية.

للمقاييس الاختبارية ، ابتكر المؤلفون نظام تسجيل يسمى GPT-Judge. في هذا الإعداد، لم يكن GPT-4o هو النموذج الخاضع للاختبار، بل جرى توجيهه للعمل كمقيّم يُسنِد درجة رقمية هي درجة الضرر (HS) إلى استجابات تم توليدها بواسطة نماذج أخرى.

تم تقييم كل إخراج من 1 (غير ضار) إلى 5 (شديد الضرر للغاية) ، و تم الإبلاغ عن نسبة الاستجابات التي تلقت 5 كـ نسبة الضرر (HR).

ولمنع النماذج من الانجراف إلى تفسير الرموز التعبيرية بدلًا من تقديم إجابة صريحة، أضاف الباحثون توجيهًا إلى كل سؤال يطلب من النموذج أن يوجز إجابته:

نتائج من أسئلة الإيموجي في 'الإعداد-1' ، مع مقارنات بالمتغيرات التي تم استبدال الإيموجي فيها بكلمات أو إزالتها بالكامل. تم اختصار أسماء النماذج لتوفير المساحة.

نتائج من أسئلة الإيموجي في ‘الإعداد-1’ ، مع مقارنات بالمتغيرات التي تم استبدال الإيموجي فيها بكلمات أو إزالتها بالكامل. تم اختصار أسماء النماذج لتوفير المساحة.

في الجدول الأول أعلاه ، يشير الجانب الأيسر من الجدول إلى أن أسئلة ضارة تم استبدالها بالإيموجي حققت درجات HS و HR أعلى بكثير من نسخ اختبارات الاستئصال، أي النسخ التي أُعيدت فيها ترجمة الرمز التعبيري إلى نص، مما يعرّضه مباشرة لمرشحات المحتوى.

يشير المؤلفون إلى أن† نهج استبدال الإيموجي يتفوق على أساليب “تجاوز” سابقة ، كما هو مبين في الجدول الإضافي التالي:

نتائج نسبة الضرر لأسئلة 'تجاوز' المعدلة بالإيموجي في 'الإعداد-2' ، مع أسماء النماذج في شكل مختصر.

نتائج نسبة الضرر لأسئلة ‘تجاوز’ المعدلة بالإيموجي في ‘الإعداد-2’ ، مع أسماء النماذج في شكل مختصر.

يشير المؤلفون إلى أن الجدول الأول أعلاه يشير أيضا إلى أن تأثير الإيموجي يمتد عبر اللغات. عندما تم ترجمة المكونات النصية لأسئلة الإيموجي إلى الصينية و الفرنسية و الإسبانية و الروسية ، ظلت الإخراجات السامة عالية؛ لأن هذه كلها لغات غنية بالموارد ، تشير النتائج إلى أن المخاطر لا تقتصر على اللغة الإنجليزية ولكنها تنطبق على المجموعات الرئيسية للمستخدمين ، مع عمل الإيموجي كقناة قابلة للنقل لتوليد المحتوى السام.

نحو نهاية الورقة ، يشير الباحثون إلى أن تأثير الإيموجي ليس مجرد حادث ، بل يعود إلى كيفية معالجة النماذج لها ، مشيرين إلى أن النماذج يمكنها التعرف على المعنى الضار للإيموجي – ومع ذلك ، يتم كبت استجابات الرفض عندما تكون الإيموجي موجودة.

وتبين دراسات التجزئة أيضًا أن الرموز التعبيرية غالبًا ما تنقسم إلى أجزاء نادرة أو غير منتظمة لا تتداخل كثيرًا مع مكافئاتها النصية، مما ينشئ قناة بديلة للدلالات السامة.

بالنظر إلى ما وراء ميكانيكا النموذج ، تبحث الورقة في بيانات التدريب ، و تكتشف أن العديد من الإيموجي الشائعة تظهر في سياقات سامة مثل الإباحية و الاحتيال و القمار. يجادل المؤلفون بأن هذا التعرض المتكرر قد يؤدي إلى تطبيع الارتباط بين الإيموجي و المحتوى السام ، مما يشجع النماذج على الامتثال لأسئلة سامة بدلا من حظرها.

معا ، تشير هذه النتائج إلى أن كلا من المعالجة الداخلية و بيانات التدريب المتحيزة تساهم في فعالية الإيموجي في تجاوز إجراءات السلامة.

الخاتمة

ليس من غير المألوف استخدام أساليب مدخلات بديلة لمحاولة “تجاوز” نماذج اللغة الكبيرة. في السنوات الأخيرة ، على سبيل المثال ، تم استخدام الترميز الست عشري لتجاوز مرشحات ChatGPT. يبدو أن المشكلة تكمن في استخدام لغة نصية مسطحة لتقييم الطلبات الواردة والاستجابات الصادرة.

في حالة الإيموجي ، يمكن أن يتم إدخال بؤرة مخفية من المعنى المخالف للقواعد في الخطاب بدون عقاب أو تدخل ، لأن طريقة النقل غير تقليدية. قد يتوقع المرء أن يتدخل التحويل إلى نص القائم على CLIP في جميع عمليات رفع الصور ، بحيث يصبح المحتوى المخالف أو المخالف للقانون في النهاية كمحتوى نصي قابل للتحديد.

من الواضح أن هذا ليس هو الحال ، على الأقل فيما يتعلق بالنماذج الكبيرة التي تمت دراستها؛ و يبدو أن حواجزها اللغوية تبدو هشة ومتمحورة حول النص. يمكن أن نتخيل أن تفسير المحتوى الأكثر شمولا (على سبيل المثال ، من خلال دراسة تنشيطات الخريطة الحرارية) يحمل تكلفة معالجة و/أو عرض نطاق قد تجعل هذه الأساليب باهظة على نحو غير عملي ، من بين قيود و اعتبارات أخرى محتملة.

 

* تنسيق هذه الورقة هو فوضوي مقارنة بالعادي ، مع منهجية و اختبارات غير واضحة. لذلك ، قمنا بتمثيل القيمة الأساسية للعمل بأفضل ما يمكن في هذه الظروف.

† في معالجة للنتائج يُقرّ بأنها تكاد تكون مستعصية على الفهم ومربكة.

نشر لأول مرة يوم الأربعاء ، 17 سبتمبر 2025

كاتب في مجال تعلم الآلة، متخصص في توليد صور البشر. كان رئيسًا سابقًا لمحتوى البحث في Metaphysic.ai، حتى دمجه في Brahma.ai التابعة لـ DNEG.
الموقع الإلكتروني: martinanderson.ai
للتواصل: martin@martinanderson.ai