جعل نموذج التعلم الآلي ينسى عنك

إزالة قطعة معينة من البيانات التي ساهمت في نموذج التعلم الآلي تشبه محاولة إزالة الملعقة الثانية من السكر من كوب من القهوة. البيانات ، في هذه المرحلة ، أصبحت مرتبطة بشكل جوهري مع العديد من الخلايا العصبية الأخرى داخل النموذج. إذا كان نقطة البيانات تمثل بيانات “تحديد” كانت متورطة في الجزء الأول ، العالي الأبعاد ، من التدريب ، فإن إزالتها يمكن أن تعيد تعريف كيفية عمل النموذج بشكل جذري ، أو حتى تتطلب أن يتم إعادة تدريبه في بعض الإنفاق من الوقت والمال.

على الرغم من ذلك ، في أوروبا على الأقل ، المادة 17 من قانون حماية البيانات العامة (GDPR) ي đòi أن تزيل الشركات مثل هذه بيانات المستخدم عند الطلب. منذ أن تم صياغة القانون على أساس أن هذا الحذف لن يكون أكثر من استعلام “drop” قاعدة بيانات ، فإن التشريعات التي سيتم صياغتها من مشروع قانون الاتحاد الأوروبي قانون الذكاء الاصطناعي سيتم نسخ ولصق روح GDPR في القوانين التي تنطبق على أنظمة الذكاء الاصطناعي المدربة بدلاً من البيانات الجدولية.

تتم النظر في تشريعات إضافية حول العالم التي تمكن الأفراد من طلب حذف بياناتهم من أنظمة التعلم الآلي ، في حين أن قانون خصوصية المستهلك في كاليفورنيا (CCPA) لعام 2018 يمنح هذا الحق بالفعل لمقيمي الولاية.

لماذا يهم الأمر

عندما يتم تدريب مجموعة بيانات إلى نموذج تعلم آلي قابل للتنفيذ ، تتم تعمیم سمات تلك البيانات وتجريدتها ، لأن النموذج مصمم لاستنتاج المبادئ والاتجاهات العامة من البيانات ، في النهاية لإنتاج خوارزمية ستكون مفيدة في تحليل بيانات محددة وغير مجردة.

然而 ، تقنيات مثل عكس النموذج كشفت عن إمكانية إعادة تحديد البيانات المساهمة التي تقع تحت الخوارزمية النهائية المجردة ، في حين أن هجمات الاستدلال بالعضوية قادرة أيضًا على كشف البيانات المصدر ، بما في ذلك البيانات الحساسة التي قد تكون فقط سمح بها للاستخدام في مجموعة البيانات على أساس الانonymity.

الاهتمام المتزايد بهذا السعي لا يحتاج إلى الاعتماد على النشاط النشط للحماية الخصوصية: حيث يتم تجارية قطاع التعلم الآلي خلال العشر سنوات القادمة ، والضغط على الدول لإنهاء الثقافة الحالية الليبرالية على استخدامスクレイب الشاشة لإنشاء مجموعة البيانات ، سيكون هناك حافز تجاري متزايد للمنظمات التي تفرض حقوق الملكية (والمنظمات التي تفرض حقوق الملكية) لفك تشفير ومراجعة البيانات التي ساهمت في إطارات الذكاء الاصطناعي التوليفية والاستدلالية والتوليدية.

إحداث نسيان في نماذج التعلم الآلي

لذلك نحن متروك مع تحدي إزالة السكر من القهوة. إنه مشكل كان مضايقًا الباحثين في السنوات الأخيرة: في عام 2021 ، وجدت ورقة دعم الاتحاد الأوروبي دراسة مقارنة حول مخاطر الخصوصية لمكتبات التعرف على الوجه أن العديد من خوارزميات التعرف على الوجه الشهيرة كانت قادرة على تمكين التمييز القائم على الجنس أو العرق في هجمات إعادة التعريف؛ في عام 2015 ، اقترح بحث من جامعة كولومبيا طريقة “إلغاء التعلم” dựa على تحديث عدد من الجمعات داخل البيانات؛ وفي عام 2019 ، قدم باحثون من ستانفورد خوارزميات حذف جديدة لتنفيذات кластерنگ K-means.

الآن ، نشرت مجموعة بحثية من الصين والولايات المتحدة عملًا جديدًا يقدم مقياسًا موحدًا لتقييم نجاح نهجيات الحذف ، جنبًا إلى جانب طريقة “نسيان” جديدة تسمى Forsaken ، والتي يزعم الباحثون أنها قادرة على تحقيق معدل نسيان يزيد عن 90٪ ، مع خسارة دقة تبلغ 5٪ فقط في أداء النموذج العام.

الورقة بعنوان تعلم النسيان: إلغاء التعلم عبر маскиنگ العصبية ، وتضم باحثين من الصين وبركلي.

ماسك العصبية ، المبدأ وراء Forsaken ، يستخدم مُولد تدرج الماسك كمرشح لازالة بيانات محددة من النموذج ، بفعالية تحديثه بدلاً من إجباره على إعادة التدريب من الصفر أو من لقطة حدثت قبل включення البيانات (في حالة نماذج التدفق المستمر التي يتم تحديثها باستمرار).

هندسة مُولد تدرج الماسك. مصدر: https://arxiv.org/pdf/2003.10933.pdf

الأصول البيولوجية

يذكر الباحثون أن هذا النهج كان مستوحى من العمليات البيولوجية ل “النسيان الفعّال” ، حيث يقوم المستخدم بأعمال حازمة لحذف جميع خلايا Engram لذاكرة معينة عن طريق التلاعب بنوع خاص من الدوبامين.

Forsaken يستدعي بشكل مستمر مُولد تدرج الماسك الذي يكرر هذه الإجراءات ، مع حماية لخفض أو إيقاف هذه العملية لمنع نسيان كارثي للبيانات غير المستهدفة.

مميزات النظام هي أنه قابل للتطبيق على nhiều أنواع من الشبكات العصبية الحالية ، في حين أن العمل الحديث المماثل نجح بشكل كبير في شبكات الرؤية الحاسوبية؛ وأنه لا يتداخل مع إجراءات تدريب النموذج ، بل يعمل كملحق ، دون الحاجة إلى تعديل الهندسة المعمارية الأساسية أو إعادة تدريب البيانات.

تقيد التأثير

يمكن أن يكون حذف البيانات المساهمة تأثيرًا محتملًا على وظيفة خوارزمية التعلم الآلي. لتفادي ذلك ، استغل الباحثون تنظيم العادي ، وهو ميزة من تدريب الشبكات العصبية العادية التي يتم استخدامها بشكل شائع لمنع التدريب الزائد. التطبيق المحدد المُختار مصمم لضمان أن Forsaken لا يفشل في التقارب أثناء التدريب.

لتحديد توزيع بيانات قابل للاستخدام ، استخدم الباحثون بيانات خارج التوزيع (OOD) (أي ، البيانات غير المضمنة في مجموعة البيانات الفعلية ، مما يقلد “البيانات الحساسة” في مجموعة البيانات الفعلية) لتعديل السلوك الذي يجب أن يتبعه الخوارزمية.

التجارب على مجموعات البيانات

تم اختبار الطريقة على ثماني مجموعات بيانات قياسية ، وتم تحقيق معدلات نسيان قريبة أو أعلى من إعادة التدريب الكامل ، مع تأثير قليل على دقة النموذج.

يبدو من المستحيل أن تكون إعادة التدريب الكامل على مجموعة بيانات معدلة أسوأ من أي طريقة أخرى ، منذ أن تم تخصيص البيانات المستهدفة بالكامل. ومع ذلك ، فإن النموذج قد حدد بالفعل سمات مختلفة من البيانات المحذوفة بطريقة “هولوجرافية” ، على النحو الذي (بالتشارك) يُعيد تعريف فائدة كوب من الماء.

بصورة فعالة ، أثر أوزان النموذج بالفعل ببيانات المحذوفات ، والطريقة الوحيدة لإزالة تأثيرها بالكامل هي إعادة تدريب النموذج من الصفر ، بدلاً من نهج إعادة التدريب السريع للنموذج الموزون على مجموعة بيانات معدلة.