الهجوم العدائي البصري يمكن أن يغير معنى لافتات الطريق

قام باحثون في الولايات المتحدة بتطوير هجوم عدائي ضد قدرة أنظمة التعلم الآلي على تفسير ما يرونه بشكل صحيح – بما في ذلك عناصر مهمة مثل لافتات الطريق – من خلال توجيه ضوء منظم على أشياء في العالم الحقيقي. في أحد التجارب ، نجح Approach في تغيير معنى لافتة “หยุด” إلى لافتة حد السرعة “30 ميل في الساعة”.

الاضطرابات على لافتة ، تم إنشاؤها بواسطة توجيه ضوء مصمم عليها ، ت改变 كيفية تفسيرها في نظام التعلم الآلي. مصدر: https://arxiv.org/pdf/2108.06247.pdf

البحث ، الذي يحمل عنوان الهجوم العدائي البصري ، يأتي من جامعة بوردو في إنديانا.

الهجوم العدائي البصري (OPAD) ، كما هو موضح في الورقة ، يستخدم الإضاءة المهيكلة لتحويل مظهر الأشياء المستهدفة ، ويتطلب فقط مشروعًا ، وكاميرا ، وكمبيوتر. نجح الباحثون في تنفيذ هجمات بيضاء وسوداء باستخدام هذه التقنية.

إعداد OPAD ، والاضطرابات التي يتم إدراكها بشكل ضعيف (من قبل الأشخاص) والتي تكفي لتحقيق تصنيف خاطئ.

تتكون إعدادات OPAD من مشروع ViewSonic 3600 لومن SVGA ، وكاميرا Canon T6i ، وكمبيوتر محمول.

الهجوم العدائي الأسود والهجمات المستهدفة

الهجمات البيضاء هي سيناريوهات غير محتملة حيث قد يكون المهاجم لديه وصول مباشر إلى إجراء نموذج التدريب أو إلى حوكمة بيانات الإدخال. الهجمات السوداء ، على العكس ، عادة ما يتم صياغتها عن طريق استنتاج كيفية بناء التعلم الآلي ، أو على الأقل كيفية سلوكه ، وتصميم نماذج “ظل” ، وتطوير هجمات عدائية مصممة للعمل على النموذج الأصلي.

نرى هنا مقدار الاضطراب البصري اللازم لخداع المصنف.

في الحالة الأخيرة ، لا يُحتاج إلى وصول خاص ، على الرغم من أن هذه الهجمات تُعزز بشكل كبير من قبل انتشار مكتبات وبيانات الرؤية الحاسوبية المفتوحة الحالية في البحث الأكاديمي والتجاري.

جميع هجمات OPAD المذكورة في الورقة الجديدة هي هجمات “مستهدفة” ، تسعى بشكل خاص إلى تغيير كيفية تفسير أشياء معينة. على الرغم من أن النظام قد تم إثباته أيضًا قادرًا على تحقيق هجمات مجردة ، يعتقد الباحثون أن مهاجمًا حقيقيًا سيكون لديه هدف تخريبي أكثر تحديدًا.

هجوم OPAD هو ببساطة نسخة حقيقية من المبدأ المتكرر لتحققيق الضوضاء في الصور التي سيتم استخدامها في أنظمة الرؤية الحاسوبية. قيمة هذا النهج تكمن في أن بإمكانك ببساطة “نقل” الاضطرابات إلى الكائن المستهدف لتحفيز التصنيف الخاطئ ، بينما يعتبر من الصعب تحقيق ذلك عن طريق ضمان وجود صور “خيل طروادة” في عملية التدريب.

في حالة OPAD التي تمكنت من فرض معنى “سرعة 30” على لافتة “หยุด” ، تم الحصول على الصورة الأساسية عن طريق إضاءة الكائن بشكل موحد عند شدة 140/255. ثم تم تطبيق الإضاءة المعدلة بواسطة مشروع تدرج الانحدار.

أمثلة على هجمات OPAD لتحقيق التصنيف الخاطئ.

يشير الباحثون إلى أن التحدي الرئيسي للمشروع كان في ضبط وتشغيل آليات المشروع بحيث تحقق خداعًا نظيفًا ، حيث أن الزوايا والبصريات والعديد من العوامل الأخرى تشكل تحديًا للاستغلال.

بالإضافة إلى ذلك ، من المحتمل أن يعمل هذا النهج فقط في الليل. سواء كان الاضطراب الواضح سيكشف عن “الاختراق” هو أيضًا عامل. إذا كانت لافتة مثل لافتة بالفعل مضاءة ، يجب على المشروع تعويض الإضاءة ، ويجب أن يكون مقدار الاضطراب المنعكس مقاومًا لأضواء السيارات. يبدو أن هذا النظام سيعمل بشكل أفضل في البيئات الحضرية ، حيث من المحتمل أن تكون الإضاءة البيئية أكثر استقرارًا.

البحث بناءً على إصدار معني بالتعلم الآلي من جامعة كولومبيا لعام 2004 حول تغيير مظهر الأشياء عن طريق نقل صور أخرى عليها – وهو تجربة بصرية تفتقر إلى الإمكانات الخبيثة ل OPAD.

في الاختبار ، تمكنت OPAD من خداع المصنف في 31 من 64 هجومًا – بنسبة نجاح 48٪. يشير الباحثون إلى أن نسبة النجاح تعتمد بشكل كبير على نوع الكائن الذي يتم استهدافه. لا يمكن أن توفر الأسطح المتنقطة أو المنحنية (مثل الدب والكوب على التوالي) انعكاسًا مباشرًا كافياً لتنفيذ الهجوم. من ناحية أخرى ، الأسطح المسطحة المتعمدة مثل لافتات الطريق هي بيئات مثالية لتشويش OPAD.

سطح الهجوم المفتوح المصدر

تم تنفيذ جميع الهجمات ضد مجموعة محددة من قواعد البيانات: قاعدة بيانات التعرف على لافتات المرور الألمانية (GTSRB ، تسمى GTSRB-CNN في الورقة الجديدة) ، والتي تم استخدامها لتدريب النموذج لسيناريو هجوم مماثل في عام 2018؛ قاعدة بيانات ImageNet VGG16؛ وقاعدة بيانات ImageNet Resnet-50.

هل هذه الهجمات “نظرية فقط” ، لأنها تستهدف قواعد بيانات مفتوحة المصدر ، وليس الأنظمة المغلقة في المركبات ذاتية القيادة؟ سيكون ذلك إذا لم تعتمد أذرع البحث الرئيسية على البنية التحتية مفتوحة المصدر ، بما في ذلك الخوارزميات وقواعد البيانات ، وبدلاً من ذلك عملت بجد في السر لإنشاء قواعد بيانات مغلقة ومصادر تمييز غير شفافة.

لكن بشكل عام ، هذا ليس كيفية عمل الأشياء. تصبح مجموعات البيانات الرائدة بمثابة معايير لقياس جميع التقدم (والاحترام والشهرة) ، في حين تقود أنظمة التعرف على الصور مفتوحة المصدر مثل سلسلة YOLO ، من خلال التعاون العالمي الشائع ، أي نظام مغلق تم تطويره داخليًا يعمل على مبادئ مشابهة.

التعرض FOSS

حتى في Places حيث سيتم استبدال البيانات في إطار الرؤية الحاسوبية في النهاية ببيانات مغلقة تمامًا ، يتم تعديل أوزان النماذج “الخالية” عادةً في مراحل التطوير المبكرة بواسطة بيانات FOSS التي لن يتم التخلص منها تمامًا – مما يعني أن النظم الناتجة يمكن أن تكون مستهدفة بشكل محتمل بواسطة طرق FOSS.

بالإضافة إلى ذلك ، يتيح الاعتماد على نهج مفتوح المصدر لأنظمة الرؤية الحاسوبية من هذا النوع للشركات الخاصة أن تستفيد ، مجانًا ، من الابتكارات المتفرعة من مشاريع البحث العالمية الأخرى ، مما يضيف حافزًا ماليًا للاحتفاظ بالهيكل القابل للوصول. بعد ذلك ، يمكنهم محاولة إغلاق النظام فقط عند نقطة التسويق ، وبذلك يتم دمج مجموعة كاملة من مقاييس FOSS القابلة للاستدلال في النظام.