لغة “الهراء” التي يمكن أن تخترق أنظمة تعديل التركيبات الصورية

تشير الأبحاث الجديدة من جامعة كولومبيا إلى أن الحوافز التي تمنع نماذج التركيبات الصورية مثل DALL-E 2 و Imagen و Parti من إنتاج صور ضارة أو مثيرة للجدل معرضة لنوع من الهجمات المعادية التي تتضمن “كلمات مصنعة”.

قام المؤلف بتطوير两 نهج يمكنهما потенциально تجاوز إجراءات تعديل المحتوى في نظام التركيبات الصورية، ووجد أن هذه النهج قوية بشكل ملحوظ حتى عبر مختلف الهياكل، مما يشير إلى أن الضعف أكثر من كونه مجرد نظام، وقد يرتبط ببعض المبادئ الأساسية للتركيبات الصورية النصية.

الأولى، والأقوى من بينهما، تسمى التنبيه الماكاروني. مصطلح “ماكاروني” أصلا يشير إلى مزيج من اللغات المتعددة، كما هو الحال في Esperanto أو Unwinese. ربما يكون أكثر الأمثلة الثقافية انتشارًا هو الأردية-الإنجليزية، نوع من “مزيج الشفرة” الشائع في باكستان، والذي يخلط بحرية الكلمات الإنجليزية والأفعال الأردية.

التنبيه الماكاروني التركيبي في DALL-E 2. مصدر: https://arxiv.org/pdf/2208.04135.pdf

في بعض الأمثلة السابقة، تم لصق أجزاء من الكلمات ذات المعنى معًا، باستخدام الإنجليزية كـ “هيكل”. تستخدم أمثلة أخرى في الورقة لغات متعددة عبر تنبيه واحد.

سيستجيب النظام بطريقة معنوية بسبب قلة العناية في المصادر على شبكة الإنترنت التي تم تدريب النظام عليها. ستكون هذه المصادر غالبًا معروضة بالكامل مع تسميات متعددة اللغات (أي من مجموعات بيانات لم تكن مخصصة بشكل خاص لمهمة التركيبات الصورية)، وكل كلمة تم بلعها، بأي لغة، ستصبح “رمزًا”؛ ولكن أيضًا أجزاء من تلك الكلمات ست trởن “كلمات فرعية” أو رموز جزءية. في معالجة اللغة الطبيعية (NLP)، يساعد هذا النوع من “التخفيض” في التمييز بين أصل الكلمات الأطول المشتقة التي قد تنشأ في عمليات التحويل، ولكنه يخلق أيضًا مجموعة ليكو كبيرة يمكن أن يستفيد منها التنبيه “الإبداعي”.

كلمات البورتمانتو أحادية اللغة أيضًا فعالة في الحصول على صور عبر لغة غير مباشرة أو غير عادية، مع نتائج متشابهة غالبًا يمكن الحصول عليها عبر هياكل مختلفة، مثل DALL-E 2 و DALL-E Mini (Craiyon).

في النهج الثاني، يسمى التنبيه الداعي، بعض الكلمات المركبة تشبه في النبرة سلاسل “اللاتينية المدرسية” المعروضة في حياة بريان من مونتي بايثون (1979).

ليس هذا मजाक – غالبًا ما ينجح اللاتيني المزيف في إثارة استجابة معنوية من DALL-E 2.

يصرح المؤلف بما يلي:

‘من المخاوف الواضحة المتعلقة بهذه الطريقة هو تجاوز مرشحات المحتوى التي تعتمد على تنبيهات محظورة. في المبدأ، يمكن أن يوفر التنبيه الماكاروني طريقة سهلة وواضحة لتجاوز هذه المرشحات من أجل توليد محتوى ضار أو مخالف أو غير قانوني أو حساس، بما في ذلك الصور العنيفة أو الكراهية أو العنصرية أو الجنسية أو الإباحية، وربما الصور التي تنتهك حقوق الملكية الفكرية أو تصور أفراد حقيقيين.

‘الشركات التي تقدم خدمة توليد الصور قد وضعت الكثير من العناية في منع توليد مثل هذه النتائج وفقًا لسياسة المحتوى الخاصة بها. لذلك، يجب أن يتم التحقيق في التنبيه الماكاروني بشكل منهجي كتهديد لبروتوكولات الأمان المستخدمة لتوليد الصور التجارية.’

يقترح المؤلف عددًا من العلاجات لهذه الضعف، بعضها قد يُعتبر مقيدًا للغاية.

أول الحلول الممكنة هي الأكثر تكلفة: لتنقية الصور المصدر أكثر عناية، مع إشراف بشري أكثر وalgorithmي أقل. ومع ذلك، يقر الورقة بأن هذا لن يمنع نظام التركيبات الصورية من إنشاء تركيبة مخالفة بين مفهومين صوريين بريئين في حد ذاته.

ثانيًا، ي建议 الورقة أن أنظمة التركيبات الصورية يمكن أن تعمل مخرجاتها الفعلية عبر نظام مرشح، لاعتراض أي ارتباطات مشكلة قبل تقديمها للمستخدم. من المحتمل أن يعمل DALL-E 2 على مثل هذا المرشح، على الرغم من أن OpenAI لم تكشف عن كيفية عمل تعديل المحتوى في DALL-E 2.

أخيرًا، يعتبر المؤلف إمكانية “قائمة كلمات بيضاء”، والتي تسمح فقط بالكلمات المعتمدة والموافقة على استرجاع المفاهيم وتحميلها، ولكنه يقر بأن هذا قد يمثل تقييدًا شديدًا لفعاليّة النظام.

على الرغم من أن الباحث قام فقط بتجربة خمس لغات (الإنجليزية والألمانية والفرنسية والإسبانية والإيطالية) في إنشاء هياكل التنبيه، يعتقد أن هذا النوع من “الهجوم المعادي” يمكن أن يصبح أكثر “غامضًا” وصعبًا لمنعها من خلال توسيع عدد اللغات، نظرًا لأن نماذج الهيبرسكال مثل DALL-E 2 يتم تدريبها على لغات متعددة (بسبب أن استخدام الإدخال غير المفلتر أو “الخام” أسهل من مراعاة التكلفة الكبيرة لتنقيته، و因为 الإضافات الإضافية إلى الأبعاد من المحتمل أن تزيد من فائدة النظام).

اللغة الغامضة في DALL-E 2

تم اقتراح في السابق أن الهراء الذي ينتجه DALL-E 2 كلما حاول تصوير اللغة المكتوبة يمكن أن يكون في حد ذاته “قائمة مفردات مخفية”. ومع ذلك، لم تقدم الأبحاث السابقة حول هذه اللغة الغامضة أي طريقة لتطوير سلاسل النونس التي يمكن أن تستدعي صورًا محددة.

من بين الأعمال السابقة، تنص الورقة على ما يلي:

‘[هي] لا توفر طريقة موثوقة لfinding سلاسل النونس التي تستدعي صورًا محددة. لا يبدو أن معظم نص الهراء الذي يضمنه DALL-E 2 في الصور مرتبط بشكل موثوق به بمفاهيم بصرية محددة عند نسخها واستخدامها كتنبيه. هذا يحد من قابليّة هذا النهج كوسيلة لتجاوز تعديل المحتوى الضار أو المخالف؛ وبالتالي، ليس خطرًا خاصًا لاستخدام نماذج توليد الصور الموجهة بالنص.’

بدلاً من ذلك، يتم شرح نهجي المؤلف كوسيلة لتحقيق هراء يمكن أن يستدعي صورًا ذات صلة وذات معنى، بينما يتجاوز الأدب التقليدية الذي يطور الآن إلى هندسة التنبيه.

على سبيل المثال، يعتبر المؤلف كلمة “الطائر” في اللغات الخمس التي تندرج تحت نطاق الورقة: فوجل بالألمانية، أوسيلي بالإيطالية، ويسو بالفرنسية، و باجاروس بالإسبانية.

مع ترميز التشفير الزوجي للبايت (BPE) الذي يستخدمه تطبيق CLIP المتكامل في DALL-E 2، يتم تحويل الكلمات إلى رموز غير محرفنة باللغة الإنجليزية، ويمكن دمجها “إبداعيًا” لتشكيل كلمات نونس تبدو هراء لنا، لكنها تحتفظ بمعناها المخيط معًا ل DALL-E 2، مما يسمح للنظام بالتعبير عن النية المتصورة:

في المثال السابق، تم لصق كلمتين أجنبيتين ل “الطائر” معًا في سلسلة هراء. بفضل الوزن الجزئي للكلمات الفرعية، يتم الحفاظ على المعنى.

يشدد المؤلف على أن نتائج ذات معنى يمكن أيضًا الحصول عليها بدون الالتزام بحدود تقطيع الكلمات الفرعية، على الأرجح لأن DALL-E 2 (الدراسة الأساسية للورقة) تم تعميمه بشكل جيد بما يكفي لسماح بحدود الكلمات الفرعية لتتلاشى دون تدمير معناها.

为了 مزيد من توضيح النهج المطور، تقدم الورقة أمثلة على التنبيه الماكاروني عبر مجالات مختلفة، باستخدام قائمة الكلمات الرمزية الموضحة أدناه (مع كلمات هراء هجينة على اليمين).

يصرح المؤلف بأن الأمثلة التالية من DALL-E 2 ليست “مختارة بعناية”:

اللغة الفرنكا

تلاحظ الورقة أيضًا أن العديد من الأمثلة تعمل بنفس القدر أو على الأقل بشكل متشابه للغاية عبر كل من DALL-E 2 و DALL-E Mini (الآن Craiyon)، وأن هذا مفاجئ، نظرًا لأن DALL-E 2 هو نموذج انتشار وال DALL-E Mini ليس كذلك؛ يتم تدريب النظامين على مجموعات بيانات مختلفة؛ ويستخدم DALL-E Mini معالج BART بدلاً من معالج CLIP المفضل في DALL-E 2.

نتائج متشابهة بشكل ملحوظ من DALL-E Mini، مقارنة بالصورة السابقة، التي تمت特色 النتائج من نفس الإدخال “الهراء” من DALL-E 2.

كما يمكن تجميع التنبيه الماكاروني في جمل صوتية لإنشاء مشاهد أكثر تعقيدًا. ومع ذلك، يتطلب هذا استخدام الإنجليزية كـ “هيكل” لتجميع المفاهيم، مما يجعل الإجراء أكثر عرضة للا截اع bởi أنظمة الرقابة القياسية في إطار التركيبات الصورية.

تلاحظ الورقة أن التهجين اللغوي، أو “لصق” الكلمات معًا لاستدعاء محتوى ذي صلة من نظام التركيبات الصورية، يمكن أيضًا إنجازه في لغة واحدة، من خلال استخدام كلمات البورتمانتو.

التنبيه الداعي

يعتمد نهج “التنبيه الداعي” الموجود في الورقة على “استدعاء” استجابة أوسع من النظام بكلمات لا تعتمد بشكل صارم على الكلمات الفرعية أو الرموز الفرعية أو التسميات المشتركة.

نوع واحد من التنبيه الداعي هو اللاتينية الزائفة، والتي يمكن، من بين استخدامات أخرى، توليد صور لأدوية خيالية، حتى بدون تحديد أن DALL-E 2 يجب أن يسترد مفهوم “الدواء”:

يعمل التنبيه الداعي أيضًا بشكل جيد بشكل خاص مع تنبيهات غير منطقية تتعلق بمواقع جغرافية محتملة، ويعمل بشكل موثوق عبر هياكل مختلفة من DALL-E 2 و DALL-E Mini:

الكلمات المستخدمة لهذه التنبيهات إلى DALL-E 2 و DALL-E Mini تذكرنا بأسماء حقيقية، ولكنها في حد ذاتها هراء تام. ومع ذلك، فقد “استقبل” النظام “الجو” من الكلمات.

يبدو أن هناك بعض التداخل بين التنبيه الماكاروني والتنبيه الداعي. تنص الورقة على ما يلي:

‘يبدو أن فروق البيانات التدريبية، وحجم النموذج، وهيكل النموذج قد تسبب في أن يفسر النماذج المختلفة تنبيهات مثل voiscellpajaraux و eidelucertlagarzard بطريقة “ماكارونية” أو “داعية”، حتى عندما يثبت أن هذه النماذج تستجيب لكلا نهجي التنبيه.’

تختتم الورقة بالقول:

‘في حين أن خصائص هذه النماذج – بما في ذلك الحجم، والهيكل، وطريقة الترميز، والبيانات التدريبية – قد تؤثر على ضعفها تجاه الهجمات المعادية النصية، تشير الأدلة الأولية المذكورة في هذا العمل إلى أن بعض هذه الهجمات قد تعمل بشكل موثوق نسبيًا عبر النماذج.’

يُعتبر أكبر عائق أمام التجربة الحقيقية حول هذه الأساليب هو خطر التعرض للحظر من قبل النظام المضيف. يتطلب DALL-E 2 رقم هاتف مرتبط مع كل حساب مستخدم، مما يحد من عدد “حسابات البارون” التي قد تكون ضرورية لاختبار حدود هذا النوع من الاختراق اللغوي، فيما يتعلق بتجاوز الأساليب الحالية لتعديل المحتوى. حاليًا، يبقى الحاجز الرئيسي ل DALL-E 2 هو تقلب الوصول.

نشر لأول مرة في 9 أغسطس 2022.