Δημιουργώντας ένα Μοντέλο Μηχανικής Μάθησης για να Ξεχάσει για Εσάς

Η αφαίρεση ενός συγκεκριμένου τμήματος δεδομένων που συνέβαλε σε ένα μοντέλο μηχανικής μάθησης είναι σαν να προσπαθείς να αφαιρέσεις τη δεύτερη κουταλιά ζάχαρη από ένα φλιτζάνι καφέ. Τα δεδομένα, μέχρι εκείνη τη στιγμή, έχουν ήδη γίνει αδιαχώριστα με πολλά άλλα νευρωνικά κύτταρα μέσα στο μοντέλο. Nếu ένα σημείο δεδομένων αντιπροσωπεύει “οριστικά” δεδομένα που συμμετείχαν στο πρώτο, υψηλοδιαστατικό μέρος της εκπαίδευσης, τότε η αφαίρεσή του μπορεί να αναδιαμορφώσει ριζικά τον τρόπο με τον οποίο λειτουργεί το μοντέλο, ή ακόμη και να απαιτήσει ότι πρέπει να επαναεκπαιδευτεί με κάποιο κόστος χρόνου και χρημάτων.

Ωστόσο, στην Ευρώπη τουλάχιστον, το Άρθρο 17 του Γενικού Κανονισμού Προστασίας Δεδομένων (GDPR) απαιτεί ότι οι εταιρείες αφαιρούν τέτοια δεδομένα χρηστών κατόπιν αιτήματος.既然 ο νόμος διαμορφώθηκε με την κατανόηση ότι αυτή η διαγραφή θα ήταν όχι περισσότερο από μια ερώτηση “drop” βάσης δεδομένων, η νομοθεσία που προκύπτει από το σχέδιο του Ευρωπαϊκού Νόμου για την Τεχνητή Νοημοσύνη θα αντιγράψει αποτελεσματικά το πνεύμα του GDPR σε νόμους που ισχύουν για εκπαιδευμένα συστήματα Τεχνητής Νοημοσύνης αντί για ταμπελώδη δεδομένα.

Επιπλέον νομοθεσία εξετάζεται σε όλο τον κόσμο που θα δώσει το δικαίωμα στους ατόμους να ζητήσουν διαγραφή των δεδομένων τους από συστήματα μηχανικής μάθησης, ενώ ο Νόμος Προστασίας Καταναλωτών της Καλιφόρνιας (CCPA) του 2018 παρέχει ήδη αυτό το δικαίωμα στους κατοίκους της πολιτείας.

Γιατί Μαθαίνει

Όταν ένα σύνολο δεδομένων εκπαιδεύεται σε ένα ενεργό μοντέλο μηχανικής μάθησης, τα χαρακτηριστικά αυτών των δεδομένων γενικεύονται και αφαίρενονται, επειδή το μοντέλο σχεδιάζεται για να συναγάγει αρχές και ευρείες τάσεις από τα δεδομένα, τελικά παράγοντας einen αλγόριθμο που θα είναι χρήσιμος στην ανάλυση συγκεκριμένων και μη γενικευμένων δεδομένων.

Ωστόσο, τεχνικές όπως αποστροφή μοντέλου έχουν αποκαλύψει τη δυνατότητα αναγνώρισης των δεδομένων που συμβάλλουν στο τελικό, αφηρημένο αλγόριθμο, ενώ επιθέσεις συναίνεσης μελών είναι επίσης ικανές να εκθέσουν τα δεδομένα πηγής, συμπεριλαμβανομένων ευαίσθητων δεδομένων που μπορεί να έχουν επιτρέψει να περιλαμβάνονται σε ένα σύνολο δεδομένων με την κατανόηση της ανωνυμοποίησης.

Εξασφαλίζοντας την Λήθη σε Μοντέλα Μηχανικής Μάθησης

Επομένως, μας μένει η πρόκληση να βγάλουμε τη ζάχαρη από τον καφέ. είναι ένα πρόβλημα που έχει ενοχλήσει τους ερευνητές τα τελευταία χρόνια: το 2021 η υποστηριζόμενη από την ΕΕ μελέτη βρήκε ότι πολλά δημοφιλή αλγόριθμοι αναγνώρισης προσώπου ήταν ικανοί να ενεργοποιήσουν σεξιστικές ή ρατσιστικές διακρίσεις σε επιθέσεις αναγνώρισης; το 2015 η έρευνα στο Πανεπιστήμιο Κολούμπια πρότεινε μια μέθοδο “απομάθησης” με βάση την ενημέρωση ενός αριθμού συναθροίσεων μέσα στα δεδομένα; και το 2019 οι ερευνητές του Στάνφορντ πρότειναν νέους αλγόριθμους διαγραφής για εφαρμογές K-means.

Τώρα, μια ερευνητική κοινοπραξία από την Κίνα και τις ΗΠΑ έχει δημοσιεύσει νέα εργασία που εισάγει einen ενιαίο μέτρο για την αξιολόγηση της επιτυχίας των προσεγγίσεων διαγραφής δεδομένων, μαζί με μια νέα μέθοδο “απομάθησης” που ονομάζεται Forsaken, η οποία οι ερευνητές ισχυρίζονται ότι είναι ικανή να επιτύχει ένα ποσοστό λήθης άνω του 90%, με απώλεια ακρίβειας μόνο 5% στην συνολική απόδοση του μοντέλου.

Το έγγραφο ονομάζεται Μάθε να Ξεχάσεις: Απομάθηση Μηχανής μέσω Μάσκας Νευρώνων και περιλαμβάνει ερευνητές από την Κίνα και το Μπέρκλεϊ.

Η μάσκα νευρώνων, η αρχή πίσω από το Forsaken, χρησιμοποιεί einen γεννήτρια με Masks ως φίλτρο για την αφαίρεση συγκεκριμένων δεδομένων από ένα μοντέλο, ανανεώνοντας το με τον τρόπο αυτό αντί να το αναγκάζει να επαναεκπαιδευτεί είτε από την αρχή είτε από ένα σναπσότ που συνέβη πριν από την ένταξη των δεδομένων (σε περίπτωση μοντέλων που βασίζονται σε ροή και που ενημερώνονται συνεχώς).

Η αρχιτεκτονική του γεννήτορα με Masks. Source: https://arxiv.org/pdf/2003.10933.pdf

Βιολογικές Προελεύσεις

Οι ερευνητές αναφέρουν ότι αυτή η προσέγγιση εμπνεύστηκε από τη βιολογική διαδικασία της “ενεργού λήθης”, όπου ο χρήστης λαμβάνει δραστικά μέτρα για να διαγράψει όλα τα κύτταρα εγγράμματος για μια συγκεκριμένη μνήμη με τη χειραγώγηση ενός ειδικού τύπου ντοπαμίνης.

Το Forsaken συνεχίζει να επικαλείται μια μάσκα με Masks που αναπαράγει αυτή τη δράση, με προστασίες για να επιβραδύνει ή να σταματήσει αυτή τη διαδικασία, προκειμένου να αποφευχθεί η καταστροφική λήθη μη στόχου δεδομένων.

Περιορισμός της Επίδρασης

Η διαγραφή των δεδομένων που συμβάλλουν μπορεί να έχει μια δυνητικά επιζήμια επίδραση στη λειτουργικότητα ενός αλγορίθμου μηχανικής μάθησης. Για να αποφευχθεί αυτό, οι ερευνητές έχουν εκμεταλλευτεί την κανονικοποίηση norm, μια λειτουργία της κανονικής εκπαίδευσης νευρωνικών δικτύων που χρησιμοποιείται συνήθως για να αποφευχθεί η υπερεκπαίδευση. Η συγκεκριμένη εφαρμογή που επιλέχθηκε σχεδιάστηκε για να διασφαλίσει ότι το Forsaken δεν αποτυγχάνει να συναφθεί κατά την εκπαίδευση.

Δοκιμές σε Συνολά

Η μέθοδος δοκιμάστηκε σε οκτώ τυποποιημένα σύνολα δεδομένων και γενικά πέτυχε ποσοστά λήθης κοντά ή υψηλότερα από την πλήρη επαναεκπαίδευση, με πολύ μικρή επίδραση στην ακρίβεια του μοντέλου.

Φαίνεται αδύνατο ότι η πλήρης επαναεκπαίδευση σε ένα επεξεργασμένο σύνολο δεδομένων θα μπορούσε να κάνει χειρότερα από οποιαδήποτε άλλη μέθοδο,既然 τα δεδομένα είναι εντελώς απουσιάζουν. Ωστόσο, το μοντέλο έχει μέχρι εκείνη τη στιγμή αφηρημένα διάφορα χαρακτηριστικά των διαγραμμένων δεδομένων με έναν “ολόγραμμα” τρόπο, όπως (με ανάλογο τρόπο) που μια σταγόνα μελάνι αναδιαμορφώνει τη χρησιμότητα ενός ποτηριού νερού.

Επομένως, τα βάρη του μοντέλου έχουν ήδη επηρεαστεί από τα διαγραμμένα δεδομένα, και ο único τρόπος για να αφαιρέσει完全 την επίδρασή τους είναι να επαναεκπαιδεύσει το μοντέλο από το απόλυτο μηδέν, αντί για την πολύ ταχύτερη προσέγγιση της επαναεκπαίδευσης του μοντέλου με βάρη σε ένα επεξεργασμένο σύνολο δεδομένων.