الهجمات على أنظمة معالجة اللغة الطبيعية باستخدام الأمثلة المعادية

قام باحثون في المملكة المتحدة وكندا بتصميم سلسلة من الهجمات المعادية السوداء ضد أنظمة معالجة اللغة الطبيعية (NLP) التي تؤثر على مجموعة واسعة من الإطارات الشائعة لمعالجة اللغة، بما في ذلك الأنظمة المنتشرة على نطاق واسع من جوجل وفيسبوك وآي بي إم ومايكروسوفت.

يمكن استخدام الهجوم لتعطيل أنظمة الترجمة الآلية عن طريق إجبارها على إنتاج هراء أو تغيير طبيعة الترجمة؛ لتعطيل تدريب نماذج NLP؛ لت归ء تصنيف المحتوى السام؛ لتسميم نتائج محركات البحث عن طريق إحداث فهرسة معيبة؛ لتسبب فشل محركات البحث في تحديد المحتوى الضار أو السلبي الذي يمكن قراءته بشكل مثالي بواسطة شخص؛ وحتى تسبب هجمات منع الخدمة (DoS) على إطارات NLP.

على الرغم من أن المؤلفين قد كشفوا عن الورقة المقترحة حول الثغرات الأمنية لعدة أطراف مجهولة التي تتميز منتجاتها في البحث، إلا أنهم يعتبرون أن ngành NLP قد تأخرت في حماية نفسها من الهجمات المعادية. وتذكر الورقة ما يلي:

‘تستغل هذه الهجمات ميزات التشفير اللغوي، مثل الحروف غير المرئية والمتشابهة. على الرغم من أن هذه الهجمات شوهدت من وقت لآخر في الماضي في رسائل البريد العشوائي والاحتيال، يبدو أن مصممي العديد من أنظمة NLP التي يتم نشرها حاليًا على نطاق واسع قد تجاهلوا هذه الهجمات تمامًا.’

تم تنفيذ العديد من الهجمات في بيئة “ال砂وق الأسود” قدر الإمكان – من خلال مكالمات واجهة برمجة التطبيقات إلى أنظمة MLaaS، بدلاً من الإصدارات المثبتة محليًا من إطارات NLP مفتوحة المصدر. وفيما يتعلق bằng فعالية الأنظمة المشتركة، يكتب المؤلفون:

‘تم إجراء جميع التجارب في إعداد أسود حيث يُسمح بتقييمات نموذجية غير محدودة، ولكن الوصول إلى أوزان أو حالة النموذج المقيم لا يُسمح به. هذا يمثل واحدًا من أقوى نماذج التهديد التي يمكن أن تكون الهجمات عليها ممكنة في معظم الإعدادات، بما في ذلك ضد عروض MLaaS التجارية. كل نموذج تم فحصه كان عرضة للهجمات غير المرئية.’

‘نعتقد أن تطبيق هذه الهجمات يجب أن يعمم نظريًا إلى أي نموذج NLP قائم على النص بدون دفاعات كافية في المكان.’

تitled الورقة Bad Characters: Imperceptible NLP Attacks، وتأتي من ثلاثة باحثين عبر ثلاثة أقسام في جامعة كامبريدج وجامعة إدنبرة، وباحث من جامعة تورنتو.

عنوان الورقة مثالى: فهو ممتلئ بالحروف غير المرئية التي تشكل أساس واحد من أربعة أساليب هجومية رئيسية اعتمدتها الباحثون.

حتى عنوان الورقة يحتوي على أسرار خفية.

الطريقة / الطرق

تطرح الورقة ثلاث طرق هجمات فعالة رئيسية: الحروف غير المرئية؛ الحروف المتشابهة؛ و إعادة الترتيب. هذه هي الطرق “العالمية” التي وجد الباحثون أنها تملك نطاقًا واسعًا ضد إطارات NLP في سيناريوهات السندوق الأسود. طريقة إضافية، تتضمن استخدام حرف حذف، وجد الباحثون أنها مناسبة فقط لأنابيب NLP غير عادية التي تستخدم لوحة النظام.

1: الحروف غير المرئية

تستخدم هذه الهجوم حروفًا مشفرة في خط لا تتوافق مع глиف في نظام اليونيكود. تم تصميم نظام اليونيكود لت chuẩnية النص الإلكتروني، ويغطي الآن 143,859 حرفًا عبر لغات و مجموعات رموز متعددة. العديد من هذه التعيينات لن تحتوي على أي حرف مرئي في خط (الذي لا يمكن، بطبيعة الحال، أن يتضمن حروفًا لكل إدخال ممكن في اليونيكود).

من الورقة، مثال نظري للهجوم باستخدام الحروف غير المرئية، الذي يقسم الكلمات إلى مقاطع لا تعني شيئًا لمعالجة اللغة الطبيعية، أو، إذا تم صياغتها بعناية، يمكن أن يعوق الترجمة الدقيقة. للمقارنة، النص الأصلي صحيح. مصدر: https://arxiv.org/pdf/2106.09898.pdf

عادة، لا يمكنك استخدام واحد من هذه الحروف غير المرئية لإنشاء مسافة ذات عرض صفر، لأن معظم الأنظمة ستعرض رمز “محل إحتياطي” (مثل مربع أو علامة استفهام في مربع مائل) لتمثيل الحرف غير المعروف.

然而، كما لاحظت الورقة، هناك عدد قليل فقط من الخطوط التي تهيمن على المشهد الحاسوبي الحالي، ويتوقع أن تتبع معظمها معيار اليونيكود.

لذلك اختار الباحثون глиفات Unifont من GNU لتحليلهم، جزئيًا بسبب تغطيتها “ال强” لليونيكود، ولكن أيضًا لأنها تشبه الكثير من الخطوط “القياسية” التي من المحتمل أن يتم تغذيتها لأنظمة NLP. بينما لا يتم عرض الحروف غير المرئية التي تم إنتاجها من Unifont، إلا أنها يتم احتسابها على أنها حروف مرئية من قبل أنظمة NLP التي تم اختبارها.

التطبيقات

عندما يتم إجراء بحث جوجل من النص المحدد، لا يتم الحصول على النتيجة المتوقعة:

هذا هو تأثير جانبي على العميل، ولكن الآثار الجانبية على الخادم أكثر جديًا. كما لاحظت الورقة:

‘حتى وإن كان المستند المتأثر يتم فهرسته بواسطة متصفح محرك البحث، فإن المصطلحات المستخدمة في فهرسته ستتأثر بالاضطرابات، مما يجعل من أقل احتمالية أن تظهر من بحث على مصطلحات غير معطوبة. ومن الممكن إخفاء المستندات من محركات البحث “في وضح النهار”. ‘

‘على سبيل المثال، يمكن لشركة غير شريفة أن تخفي المعلومات السلبية في تقاريرها المالية بحيث يفشل محركات البحث المتخصصة التي يستخدمها المحللون الماليون في اكتشافها.’

كانت السيناريوهات الوحيدة التي أثبتت فيها هجوم “الحروف غير المرئية” فعالية أقل هي ضد نماذج المحتوى السام، وتمييز الكيانات المسمى، وتحليل المزاج. يفترض المؤلفون أن هذا إما لأن النماذج تم تدريبها على بيانات تحتوي على حروف غير مرئية، أو أن tokenizer النموذج (الذي يقسم الإدخال اللغوي الخام إلى مكونات موديولية) تم تكوينه بالفعل للاهمال.

2: الحروف المتشابهة

الحرف المتشابه هو حرف يبدو مثل حرف آخر – ضعف семантиكي تم استغلاله في عام 2000 لإنشاء نسخة احتيالية من مجال معالجة الدفع PayPal (PYPL ).

في هذا المثال النظري من الورقة، يغير هجوم الحروف المتشابهة معنى الترجمة عن طريق استبدال الحروف المتشابهة غير المرئية بالحروف اللاتينية الشائعة.

يقول المؤلفون:

‘لقد وجدنا أن نماذج التعلم الآلي التي تتم معالجتها بواسطة النص المقدم من المستخدم، مثل أنظمة الترجمة الآلية العصبية، هي خاصة بالهجمات من هذا النوع. على سبيل المثال، يمكن اعتبار خدمة الترجمة الشهيرة جوجل ترانسليت. في وقت كتابة هذه الورقة، كان إدخال السلسلة “paypa” في نموذج الإنجليزية إلى الروسية ينتج بشكل صحيح “PayPa”، ولكن استبدال الحرف اللاتيني “a” في الإدخال بالحرف السيريلي “а” ينتج بشكل خاطئ “папа” (“الأب” باللغة الإنجليزية).’

يلاحظ الباحثون أن العديد من أنابيب NLP ستستبدل الحروف التي تقع خارج قاموسها المحدد بالحرف “” (“مجهول”)، ولكن العمليات البرمجية التي تستدعي النص الملوث إلى الأنبوب قد تنتشر كلمات غير معروفة للتقييم قبل أن تدخل هذه الإجراء الأمني. ويقول المؤلفون إن هذا “يفتح سطحة هجمات كبيرة بشكل مفاجئ”.

3: إعادة الترتيب

يسمح اليونيكود بلغات مكتوبة من اليسار إلى اليمين، مع التعامل مع الترتيب بواسطة خوارزمية BIDI (التنسيق الثنائي). يعتبر خلط الحروف من اليمين إلى اليسار واليسار إلى اليمين في سلسلة واحدة محير، وقد وفر اليونيكود مساحة لهذا من خلال السماح لـ BIDI بالتعديل بواسطة حروف تحكم خاصة. هذه الحروف تسمح بالتخطيط شبه العشوائي لترميز ثابت.

في مثال نظري آخر من الورقة، يسبب هجوم الترتيب الآلي الترجمة إلى وضع جميع الحروف في الترجمة في الترتيب الخاطئ، لأنها تتبع الترميز الخاطئ من اليمين إلى اليسار / من اليسار إلى اليمين، بسبب جزء من النص المهاجم (محدد) يأمره بذلك.

يقول المؤلفون إن هذه الطريقة كانت فعالة في وقت كتابة الورقة ضد تنفيذ اليونيكود في متصفح Chromium، المصدر الأصلي لمتصفح جوجل كروم، ومتصفح مايكروسوفت إيدج، وعدد من الفروع الأخرى.

أيضًا: الحذف

تتضمن هذه الهجوم استخدام حرف يمثل مسافة خلفية أو تحكم آخر، وهو يتم تنفيذه بطرق مشابهة لماكرو النص. يقول المؤلفون:

‘يمكن لحرف تحكم صغير في اليونيكود أن يسبب حذف النص المجاور. الأمثلة البسيطة هي حرف المسافة الخلفية (BS) وحرف الحذف (DEL). هناك أيضًا حرف العودة إلى البداية (CR) الذي يسبب خوارزمية عرض النص إلى العودة إلى بداية السطر وكتابة محتوياته.’

‘على سبيل المثال، النص المشفر الذي يمثل “Hello CR Goodbye World” سيعرض sebagai “Goodbye World”.’

تم اختبار هذه الهجوم، وتمتلك أداءً مشابهًا لزملائها. ومع ذلك، يمكن تنفيذ هجمات باستخدام الطرق الثلاث الأولى ببساطة عن طريق تحميل المستندات أو صفحات الويب (في حالة الهجوم على محركات البحث و/أو أنابيب NLP للفهرسة).

في هجوم الحذف، تؤدي الحروف المrafted إلى محو ما يسبقها، أو إجبار النص الواحد إلى فقرة ثانية، في كلتا الحالتين دون جعل ذلك واضحًا للمقارئ العاديين.

الفعالية ضد أنظمة NLP الحالية

أجريت الهجمات على خمس نماذج مغلقة الشفرة من فيسبوك وآي بي إم ومايكروسوفت وجوجل وهاجينج فايس، وكذلك ثلاثة نماذج مفتوحة المصدر.

كما تم اختبار هجمات “الاسفنج” ضد النماذج. هجوم الاسفنج هو في الأساس هجوم منع الخدمة (DoS) لأنظمة NLP، حيث لا “يحسب” النص الإدخال، ويتسبب في تباطؤ التدريب بشكل حاسم – عملية يجب أن تكون عادة محظورة بواسطة معالجة البيانات.

تم تقييم خمس مهام NLP، وهي الترجمة الآلية، واكتشاف المحتوى السام، وتصنيف التمثيل النصي، وتمييز الكيانات المسمى، وتحليل المزاج.

تم إجراء الاختبارات على عدد غير محدد من وحدات معالجة الرسومات Tesla P100، كل منها يعمل بمعالج Intel Xeon Silver 4110 على نظام Ubuntu. من أجل عدم انتهاك شروط الخدمة في حالة إجراء مكالمات واجهة برمجة التطبيقات، تم تكرار التجارب بشكل موحد مع ميزانية اضطراب صفرية (نص مصدر غير متأثر) إلى خمس (الاضطراب الأقصى). يعتقد الباحثون أن النتائج التي حصلوا عليها يمكن أن تتجاوز إذا سمح بعدد أكبر من التكرارات.

نتائج تطبيق الأمثلة المعادية ضد نموذج Fairseq EN-FR من فيسبوك.

نتائج الهجمات على مصنف المحتوى السام من آي بي إم وواجهة برمجة تطبيقات Perspective من جوجل.

هجومان ضد نموذج Fairseq من فيسبوك: الهجوم ‘الغير مستهدف’ يهدف إلى تعطيل الترجمة، بينما يهدف الهجوم ‘المستهدف’ إلى تغيير معنى اللغة المترجمة.

كما قام الباحثون بتحسين نظامهم ضد الإطارات السابقة التي لم تكن قادرة على توليد نص “قابل للقراءة البشرية” بنفس الطريقة، ووجدوا أن النظام يعتبر على نفس مستوى هذه الإطارات، وأحيانًا أفضل بكثير، مع الحفاظ على ميزة كبيرة في الخفاء.

تتراوح الفعالية المتوسطة عبر جميع الطرق ومتجهات الهجوم والtargets حول 80٪، مع عدد قليل من التكرارات.

في تعليقهم على النتائج، يقول الباحثون:

‘ربما يكون الجانب الأكثر إزعاجًا من هجماتنا غير المرئية هو تطبيقها الواسع: جميع أنظمة NLP التي تم اختبارها معرضة لها. في الواقع، أي نموذج تعلم آلي يبتلع النص المقدم من المستخدم كإدخال معرض للهجوم هذا. قد تختلف الآثار المعادية من تطبيق إلى آخر ونموذج إلى آخر، ولكن جميع النماذج القائمة على النص معرضة لتشفير معادي ما لم يتم تقييد التشفير بشكل مناسب.’

التعرف الضوئي على الحروف الشاملة؟

تعتمد هذه الهجمات على ما يسمى “ثغرات أمنية” في اليونيكود، وستزال في أنبوب NLP الذي يرسم جميع النصات الواردة ويستخدم التعرف الضوئي على الحروف كإجراء تنقية. في هذه الحالة، سيتم تمرير نفس المعنى الدلالي غير المalign الذي يظهر للناس الذين يقرأون هذه الهجمات إلى نظام NLP.

然而، عندما قام الباحثون بتنفيذ أنبوب OCR لاختبار هذه النظرية، وجدوا أن نقاط BLEU (التقييم الثنائي) انخفضت من دقة القاعدة بنسبة 6.2٪، ويشير إلى أن تقنيات OCR المحسنة قد تكون ضرورية لتصحيح هذه المشكلة.

ويقترحون أيضًا أن يتم إزالة حروف التحكم BIDI من الإدخال افتراضيًا، وتمثل الحروف المتشابهة غير العادية وترميزها، وتنبيه المضغوطات وآليات الإدخال ضد الحروف غير المرئية.

في الختام، يحث فريق البحث قطاع NLP على أن يصبح أكثر يقظة لاحتمالات الهجوم المعادي، وهو مجال بحثي شائع في أبحاث الرؤية الحاسوبية.

‘نوصي بجميع الشركات التي تبني وتنشر أنظمة NLP القائمة على النص بتحقيق هذه الدفاعات إذا أرادوا تطبيقاتهم أن تكون قوية ضد الجهات الفاعلة الخبيثة.’

* تحويلي للتعليقات المتضمنة إلى روابط تشعبية

18:08 14th Dec 2021 – أزلت الإشارة المكررة إلى آي بي إم، نقلت الارتباط الداخلي التلقائي من الاقتباس – MA