لماذا لا يجب أن يتم أخذ الهجمات على الصور المعادية على سبيل المزاح

الهجمات على أنظمة التعرف على الصور باستخدام صور معادية محددة بدقة تم اعتبارها دليلًا على概念 मजاكي ولكن غير مهم خلال السنوات الخمس الماضية. ومع ذلك، تشير الأبحاث الجديدة من أستراليا إلى أن الاستخدام العرضي لمجموعات بيانات الصور الشهيرة للمشاريع التجارية للذكاء الاصطناعي قد يخلق مشكلة أمنية جديدة دائمة.

لمدة عامين الآن، كان فريق من الأكاديميين في جامعة أديلايد يحاول شرح شيء مهم جدًا حول مستقبل أنظمة التعرف على الصور القائمة على الذكاء الاصطناعي.

من الصعب (ومكلف جدًا) إصلاحه الآن، وسيكون من غير المقبول تكلفته لتصحيحه بمجرد أن يتم تطوير الاتجاهات الحالية في أبحاث التعرف على الصور إلى تطبيقات تجارية وصناعية في غضون 5-10 سنوات.

قبل أن ن开始، دعونا نلقي نظرة على زهرة يتم تصنيفها على أنها باراك أوباما، من بين ستة مقاطع فيديو نشرها الفريق على صفحة المشروع:

المصدر: https://www.youtube.com/watch?v=Klepca1Ny3c

في الصورة أعلاه، نظام التعرف على الوجه الذي يعرف بوضوح كيفية التعرف على باراك أوباما يتم خداعه بنسبة 80٪ للاعتقاد بأن رجلًا مجهول الهوية يحمل صورة معادية محددة بدقة لزهرة هو أيضًا باراك أوباما. النظام لا يهتم حتى بأن “الوجه الكاذب” على صدر الشخص، بدلاً من كونه على كتفه.

على الرغم من أن الباحثين قد تمكنوا من إنجاز هذا النوع من الاستيلاء على الهوية من خلال توليد صورة متسقة (زهرة) بدلاً من الضوضاء العشوائية المعتادة، يبدو أن مثل هذه الهجمات المزحة تظهر بانتظام في أبحاث الأمان حول الرؤية الحاسوبية. على سبيل المثال، النظارات ذات الأنماط الغريبة التي تمكنت من خداع التعرف على الوجه في عام 2016، أو الصور المعادية المحددة بدقة التي تحاول إعادة كتابة إشارات الطريق.

إذا كنت مهتمًا، فإن نموذج الشبكة العصبية التلافوية (CNN) الذي يتم مهاجمته في المثال أعلاه هو VGGFace (VGG-16)، الذي تم تدريبه على مجموعة بيانات PubFig بجامعة كولومبيا. استخدمت عينات الهجوم التي طورها الباحثون موارد مختلفة في مجموعات مختلفة.

لوحة المفاتيح يتم إعادة تصنيفها على أنها مخروط، في نموذج WideResNet50 على ImageNet. لقد تأكد الباحثون أيضًا من أن النموذج لا يحتوي على أي تحيز تجاه المخاريط. انظر الفيديو الكامل لمعروضات موسعة وإضافية في https://www.youtube.com/watch?v=dhTTjjrxIcU

التعرف على الصور كمتجه هجومي جديد

الهجمات المثيرة للإعجاب التي يحددها الباحثون ويوضحونها ليست انتقادات لبيانات معينة أو هياكل تعلم الآلة المحددة التي تستخدمها. ولا يمكن الدفاع عنها بسهولة عن طريق تبديل مجموعات البيانات أو النماذج، أو إعادة تدريب النماذج، أو أي من العلاجات “البسيطة” الأخرى التي تسببها ممارسو تعلم الآلة للاستهزاء بهذا النوع من الخداع.

بدلاً من ذلك، تظهر استغلالات فريق أديلايد ضعفًا مركزيًا في المعمارية الحالية لتنمية الذكاء الاصطناعي للتعرف على الصور؛ ضعف يمكن أن يتعرض له العديد من أنظمة التعرف على الصور في المستقبل للاستغلال بسهولة من قبل المهاجمين، ويضع التدابير الدفاعية اللاحقة في موقف دفاعي.

تخيل الصور المعادية الجديدة (مثل الزهرة أعلاه) التي يتم إضافتها كـ “هجمات يوم الصفر” إلى أنظمة الأمان في المستقبل، تمامًا كما يتم تحديث تعريفات الفيروسات لأنظمة مكافحة الفيروسات والبرامج الضارة كل يوم.

سيكون إمكانية الهجمات الجديدة على الصور المعادية لا متناهية، لأن المعمارية الأساسية للنظام لم تتوقع مشاكلًا لاحقة، كما حدث مع الإنترنت، و عيب الألفية، و برج بيزا المائل.

كيف إذن نحضر المشهد لهذا؟

الحصول على البيانات لهجوم

الصور المعادية مثل مثال “الزهرة” أعلاه يتم توليدها عن طريق الوصول إلى مجموعات بيانات الصور التي تم تدريب النماذج الحاسوبية عليها. لا تحتاج إلى وصول “متميز” إلى بيانات التدريب (أو هياكل النماذج)، لأن معظم مجموعات البيانات (والنماذج المدربة) متاحة على نطاق واسع في سيل متجدد.

على سبيل المثال، يمكن الحصول على مجموعة بيانات ImageNet الشهيرة في الرؤية الحاسوبية من خلال التورنت، وتجاوز القيود المعتادة القيود، وإتاحة العناصر الثانوية الحاسمة، مثل مجموعات التحقق.

المصدر: https://academictorrents.com

إذا كنت تمتلك البيانات، يمكنك (كما يشير الباحثون في أديلايد) “إعادة هندسة” أي مجموعة بيانات شعبية، مثل CityScapes، أو CIFAR.

في حالة PubFig، مجموعة البيانات التي أتاحت “زهرة أوباما” في المثال السابق، قامت جامعة كولومبيا بمعالجة الاتجاه المتزايد في قضايا حقوق النشر حول إعادة توزيع مجموعة بيانات الصور من خلال توجيه الباحثين حول كيفية إعادة إنشاء المجموعة من خلال روابط منضبطة، بدلاً من جعل التجميع متاحًا بشكل مباشر، مشيرًا إلى ‘يبدو أن هذا هو الطريق الذي تتبعه قواعد البيانات الكبيرة الأخرى على الإنترنت’.

في معظم الحالات، لا يلزم ذلك: تقدر كاغل أن أفضل 10 مجموعات بيانات للصور في الرؤية الحاسوبية هي: CIFAR-10 وCIFAR-100 (كلاهما متاح للتنزيل المباشر); CALTECH-101 و256 (كلاهما متاح، ومتاح حاليًا كتورنت); MNIST (متاح رسميًا، ومتاح أيضًا كتورنت); ImageNet (انظر أعلاه); Pascal VOC (متاح، ومتاح أيضًا كتورنت); MS COCO (متاح، ومتاح كتورنت); Sports-1M (متاح); وYouTube-8M (متاح).

تعد هذه المتاحة أيضًا ممثلة للنطاق الأوسع من مجموعات بيانات الصور الحاسوبية المتاحة، منذ أن الموت في ثقافة التطوير المفتوح هو “نشر أو تموت”.

في أي حال، يزيد ندرة مجموعات البيانات الجديدة القابلة للإدارة، وتكلفة تطوير مجموعات الصور، والاعتماد على “الأسماء الكبيرة القديمة”، والاتجاه نحو تحويل مجموعات البيانات القديمة من مشكلة تم تحديدها في الورقة الجديدة في أديلايد.

الانتقادات الشائعة لأساليب الهجمات على الصور المعادية

الانتقاد الأكثر شيوعًا للهجمات على الصور المعادية من قبل مهندسي تعلم الآلة هو أن الهجوم محدد لمجموعة بيانات معينة، أو نموذج معين، أو كلاهما؛ أنه لا يُ일반 إلى أنظمة أخرى؛ وبالتالي، يمثل تهديدًا琐ماً.

الانتقاد الثاني الأكثر شيوعًا هو أن الهجوم على الصور المعادية هو ‘صندوق أبيض’، مما يعني أنك ستحتاج إلى وصول مباشر إلى بيئة التدريب أو البيانات. هذا هو سيناريو غير محتمل في معظم الحالات – على سبيل المثال، إذا كنت تريد استغلال عملية التدريب لأنظمة التعرف على الوجه لدائرة شرطة العاصمة لندن، ستحتاج إلى اختراق NEC، إما عن طريق وحدة التحكم أو فأس.

الحمض النووي الطويل لمجموعات بيانات الرؤية الحاسوبية الشهيرة

فيما يتعلق بالانتقاد الأول، يجب أن نضع في الاعتبار ليس فقط أن عددًا قليلاً من مجموعات بيانات الرؤية الحاسوبية يهيمن على الصناعة حسب القطاع سنويًا (أي ImageNet لمختلف أنواع الكائنات، وCityScapes لمشاهد القيادة، و FFHQ لتعرف الوجه); ولكن أيضًا أن هذه المجموعات، كبيانات صور معنونة ببساطة، تكون “مستقلة عن المنصة” ويمكن نقلها بسهولة.

اعتمادًا على قدراتها، سيتعرف أي بنية تدريب للرؤية الحاسوبية على بعض ميزات الكائنات والفئات في مجموعة بيانات ImageNet. قد تتعرف بعض البنيات على المزيد من الميزات أكثر من غيرها، أو قد تقوم بإنشاء اتصالات أكثر فائدة من غيرها، ولكن جميعها يجب أن تتعرف على الميزات على الأقل من المستوى الأعلى:

بيانات ImageNet، مع عدد mínimo من التعريفات الصحيحة – ميزات ‘المستوى الأعلى’.

تلك الميزات من “المستوى الأعلى” هي التي تميز وتعرف على مجموعة البيانات، وهي “المخلب” الموثوق الذي يمكن تعليقه على منهجية هجوم صور معادية طويلة الأمد يمكن أن تعبر أنظمة مختلفة، وتتطور مع مجموعة البيانات “القديمة” مع استمرارها في الأبحاث والمنتجات الجديدة.

سوف تنتج بنية أكثر تعقيدًا تحديدات أكثر دقة ومتفرقة:

然而، كلما اعتمدت طريقة الهجوم على الصور المعادية على هذه الميزات الأدنى (أي “شاب كاوكاسي أبيض” بدلاً من “وجه”), كلما كانت أقل فعالية في الأنظمة المتقاطعة أو في البنيات اللاحقة التي تستخدم إصدارات مختلفة من مجموعة البيانات الأصلية – مثل مجموعة فرعية أو مجموعة معنونة، حيث لا تتواجد العديد من الصور الأصلية من مجموعة البيانات الكاملة:

الهجمات المعادية على النماذج المُعدَّة مسبقًا “المحوَّلة إلى الصفر”

ماذا عن الحالات التي يتم فيها تنزيل نموذج مُعدٍ مسبقًا تم تدريبه في البداية على مجموعة بيانات شعبية جدًا، وإعطائه بيانات جديدة تمامًا؟

النموذج تم تدريبه بالفعل على ImageNet، وكل ما تبقى هو الأوزان، التي قد تستغرق أسابيع أو أشهر للتدريب، و现在 جاهزة لمساعدتك في تحديد كائنات مشابهة لتلك الموجودة في البيانات الأصلية (الغائبة الآن).

مع إزالة البيانات الأصلية من بنية التدريب، ما تبقى هو ‘الانحياز’ للنموذج لتصنيف الكائنات بالطريقة التي تعلمها في البداية، مما سيؤدي في النهاية إلى إعادة تشكيل العديد من ‘التوقيعات’ الأصلية وتصبح مرة أخرى عرضة لأساليب الهجمات على الصور المعادية القديمة.

تعد الأوزان هذه قيمة. بدون البيانات أو الأوزان، سيكون لديك بنية فارغة بدون بيانات. ستحتاج إلى تدريبها من الصفر، بتكلفة زمنية وموارد حاسوبية كبيرة، مثل ما فعلته المؤسسات الأصلية (ربما باستخدام أجهزة أكثر قوة وميزانية أعلى مما لديك).

المشكلة هي أن الأوزان هذه تم تشكيلها جيدًا ومتينة. على الرغم من أنها سوف تتكيف إلى حد ما أثناء التدريب، إلا أنها سوف تتصرف بشكل مشابه على بياناتك الجديدة كما فعلت على البيانات الأصلية، مما ينتج عنها ميزات توقيعية يمكن أن تعتمد عليها أنظمة الهجمات على الصور المعادية.

في المستقبل البعيد، هذا أيضًا يحافظ على “الحمض النووي” لمجموعات بيانات الرؤية الحاسوبية التي تبلغ من العمر 12 عامًا أو أكثر، والتي قد مرت بتحول ملحوظ من الجهود المفتوحة المصدر إلى التطبيقات التجارية والصناعية – حتى عندما تم التخلص من البيانات الأصلية في بداية المشروع. قد لا تحدث بعض هذه التطبيقات التجارية حتى بعد سنوات.

لا يلزم صندوق أبيض

فيما يتعلق بالانتقاد الثاني الشائع لمنهجيات الهجمات على الصور المعادية، وجد مؤلفو الورقة الجديدة أن قدرتهم على خداع أنظمة التعرف على الصور bằng صور معادية محددة بدقة قابلة للنقل بدرجة عالية عبر العديد من البنيات.

في حين أنهم يلاحظون أن طريقة “التصحيح العالمي للتخفي” (TnT) التي طوروها هي الأولى التي تستخدم صورًا معترف بها (بدلاً من ضوضاء الاضطراب العشوائي) لخداع أنظمة التعرف على الصور، يذكر المؤلفون أيضًا:

‘[TnTs] فعالة ضد تصنيفات متقدمة شائعة مثل WideResNet50 في مهمة التعرف البصري على نطاق كبير من ImageNet إلى نماذج VGG-face في مهمة التعرف على الوجه من PubFig في كل من الهجمات الموجهة والهجمات غير الموجهة.

‘TnTs يمكن أن تملك: i) الطبيعية القابلة للتحقيق [مع] المحددات المستخدمة في أساليب الهجوم الخبيث؛ و ii) القدرة على النقل والانتشار من أمثلة معادية إلى شبكات أخرى.

‘هذا يثير مخاوف أمنية وآمنة بشأن الشبكات العصبية العميقة الموجودة بالفعل، وكذلك النشرات المستقبلية للشبكات العصبية العميقة حيث يمكن للمهاجمين استخدام تصحيح طبيعي غير ملحوظ لخداع أنظمة الشبكات العصبية دون تعديل النموذج وبدون خطر الاكتشاف.’

يُقترح المؤلفون أن التدابير التقليدية، مثل تدهور دقة الشبكة، قد توفر بعض الدفاع ضد تصحيح TnT، ولكن “TnTs لا تزال تنجح في تجاوز هذه الأساليب الدفاعية المثبتة مع معظم الأنظمة الدفاعية التي تحقق 0٪ من المتانة”.

من الحلول الممكنة التعلم الفيدرالي، حيث يتم حماية مصدر الصور المساهمة، ونهج جديد يمكن أن “يشفر” البيانات في وقت التدريب، مثل ما اقترحه جامعة نانجينج للطيران والفضاء مؤخرًا.

حتى في تلك الحالات، سيكون من المهم تدريب البيانات على صور جديدة حقيقية – الآن، الصور والتعليقات المرتبطة بها في مجموعة بيانات الرؤية الحاسوبية الشهيرة هي بالفعل متجسدة في دورات التطوير حول العالم لدرجة أنها تشبه البرمجيات أكثر من البيانات؛ برمجيات لم يتم تحديثها بشكل ملحوظ خلال السنوات القليلة الماضية.

الختام

الهجمات على الصور المعادية يتم إتاحتها ليس فقط من خلال ممارسات تعلم الآلة المفتوحة المصدر، ولكن أيضًا من خلال ثقافة تطوير الذكاء الاصطناعي التي تحفز على إعادة استخدام مجموعات بيانات الرؤية الحاسوبية الشهيرة لعدة أسباب: أنها أثبتت فاعليتها؛ إنها أرخص من “البدء من الصفر”؛ وهي معدة ومحافظة عليها من قبل أذهان وتنظيمات رائدة في الأكاديميا والصناعة، على مستويات من التمويل والتوظيف التي قد تكون صعبة على شركة واحدة لمطابقتها.

إضافة إلى ذلك، في العديد من الحالات التي ليست فيها البيانات أصلية (مثل CityScapes)، تم جمع الصور قبل الجدل الأخير حول قضايا الخصوصية وممارسات جمع البيانات، مما يترك هذه المجموعات القديمة في نوع من “الوضع القانوني الغامض” الذي قد يبدو وكأنه “ميناء آمن” من وجهة نظر الشركة.

هجمات TnT! تصحيح عالمي طبيعي ضد أنظمة الشبكات العصبية العميقة من تأليف Bao Gia Doan وMinhui Xue وEhsan Abbasnejad وDamith C. Ranasinghe من جامعة أديلايد، مع Shiqing Ma من قسم علوم الحاسوب بجامعة روتجرز.

تم تحديثه في 1 ديسمبر 2021، 7:06 صباحًا بتوقيت جرينيتش+2 – تم تصحيح خطأ إملائي.