MLaaS: Πρόληψη της κλοπής μοντέλων API με τη χρήση Variational Autoencoders

Η Μηχανική Μάθηση ως Υπηρεσία (MLaaS) εμπορευματοποιεί τους καρπούς της ακριβής έρευνας και εκπαίδευσης μοντέλων μέσω API που παρέχουν στους πελάτες πρόσβαση σε ενημερώσεις από το σύστημα. Αν και η λογική του συστήματος αποκαλύπτεται αναπόφευκτα σε κάποιο βαθμό μέσω αυτών των συναλλαγών, η βασική αρχιτεκτονική του μοντέλου, τα βάρη που ορίζουν τη χρησιμότητα του μοντέλου και τα συγκεκριμένα δεδομένα εκπαίδευσης που το έκαναν χρήσιμο φυλάσσονται με ζήλο για διάφορους λόγους.

Πρώτον, το πλαίσιο έχει πιθανότατα εκμεταλλευτεί μια σειρά από ελεύθερο ή ανοιχτό κώδικα (FOSS) αποθετήρια, και πιθανότατα ανταγωνιστές θα μπορούσαν εύκολα να κάνουν το ίδιο στην αναζήτηση των ίδιων στόχων. Δεύτερον, σε πολλές περιπτώσεις, τα βάρη που χρησιμοποιούνται από τα μοντέλα αντιπροσωπεύουν το 95% ή περισσότερο της ικανότητας του μοντέλου να ερμηνεύσει δεδομένα εκπαίδευσης καλύτερα από ανταγωνιστικά μοντέλα και συνθέτουν πιθανότατα την πυρήνα της αξίας της ακριβής επένδυσης, τόσο σε όρους ωρών έρευνας όσο και σε υψηλού επιπέδου, καλά εξοπλισμένη εκπαίδευση μοντέλων σε βιομηχανικού επιπέδου GPU.

Επιπλέον, το μείγμα ιδιόκτητων και δημόσιων δεδομένων πίσω από το σύνολο δεδομένων εκπαίδευσης του μοντέλου είναι ένα πιθανότατα εκρηκτικό ζήτημα: όπου τα δεδομένα είναι “πρωτότυπο” έργο που έχει ληφθεί με δαπανηρές μεθόδους, η ικανότητα ενός χρήστη API να συναγάγει τη δομή δεδομένων ή το περιεχόμενο μέσω των API-επιτρεπόμενων αιτημάτων θα μπορούσε να τους επιτρέψει να αναπαράγουν ουσιαστικά την αξία του έργου, είτε κατανοώντας το σχήμα των δεδομένων (επιτρέποντας την πρακτική αναπαραγωγή) είτε αναπαράγοντας τα βάρη που ορχηστρώνουν τα χαρακτηριστικά των δεδομένων, τα οποία πιθανότατα επιτρέπουν την αναπαραγωγή ενός “κενού” αλλά αποτελεσματικού αρχιτεκτονικού στυλ στο οποίο θα μπορούσαν να ενταχθούν μετέπειτα υλικά.

Πλυντήριο Δεδομένων

Επιπλέον, ο τρόπος με τον οποίο τα δεδομένα αφηρηθούν στον.latent χώρο του μοντέλου μηχανικής μάθησης κατά την εκπαίδευση τα “πλύνει” ουσιαστικά σε γενικευμένες λειτουργίες που δυσκολεύουν τους κατόχους πνευματικών δικαιωμάτων να κατανοήσουν αν το πρωτότυπο έργο τους έχει ενσωματωθεί χωρίς άδεια σε ένα μοντέλο.

Το τρέχον laissez faire κλίμα σε όλο τον κόσμο σχετικά με αυτήν την πρακτική πιθανότατα θα πέσει υπό αυξανόμενη ρύθμιση τα επόμενα 5-10 χρόνια. Οι προσχέδιες ρυθμίσεις της ΕΕ για την τεχνητή νοημοσύνη περιέχουν ήδη περιορισμούς σχετικά με την προέλευση των δεδομένων και ένα υποτιθέμενο πλαίσιο διαφάνειας που θα καθιστά δύσκολο για τις εταιρείες συλλογής δεδομένων να παρακαμφθούν οι κανονισμοί τομέα σχετικά με το web-scraping για ερευνητικούς σκοπούς. Άλλες κυβερνήσεις, συμπεριλαμβανομένων των ΗΠΑ, έχουν τώρα δεσμευτεί σε παρόμοια ρυθμιστικά πλαίσια μακροπρόθεσμα.

Καθώς το πεδίο της μηχανικής μάθησης εξελίσσεται από μια κουλτούρα απόδειξης концепτού σε einen εμπορική οικοδομή, τα μοντέλα μηχανικής μάθησης που βρέθηκαν να έχουν παραβεί τους περιορισμούς των δεδομένων, ακόμη και σε πολύ πρώιμες ιτεράσεις των προϊόντων τους, θα μπορούσαν να βρεθούν νομικά εκτεθειμένα.

Επομένως, ο κίνδυνος συναγερμού πηγών δεδομένων μέσω κλήσεων API σχετίζεται όχι μόνο με την βιομηχανική κατασκοπεία μέσω αντίστροφης μοντέλου και άλλων μεθόδων, αλλά και με τις αναδυόμενες νομικές μεθόδους για την προστασία της πνευματικής ιδιοκτησίας που μπορεί να επιβαρύνουν τις εταιρείες μετά το τέλος της “αγριας δύσης” της εποχής της έρευνας μηχανικής μάθησης.

API-Driven Exfiltration ως Μέσο Ανάπτυξης Αντιπαλικής Επίθεσης

Ορισμένα πλαίσια μηχανικής μάθησης ενημερώνουν συνεχώς τα δεδομένα εκπαίδευσης και τους αλγόριθμους, αντί να εξάγουν ένα οριστικό, μακροχρόνιο μοντέλο από ένα μεγάλο σώμα ιστορικών δεδομένων (όπως το GPT-3, για παράδειγμα). Αυτά περιλαμβάνουν συστήματα που σχετίζονται με πληροφορίες κίνησης και άλλους τομείς όπου τα δεδομένα σε πραγματικό χρόνο είναι κρίσιμα για την οngoing αξία μιας υπηρεσίας ML.

Εάν η λογική ή η βαρύτητα του μοντέλου μπορεί να “χαρτογραφηθεί” με τη συστηματική έρευνα του μέσω API, αυτά τα στοιχεία μπορούν πιθανότατα να χρησιμοποιηθούν ενάντια στο σύστημα με τη μορφή αντιπαλικών επιθέσεων, όπου κακόβουλα σχεδιασμένα δεδομένα μπορούν να αφήνουν στο άγριο, σε περιοχές όπου το στόχο σύστημα είναι πιθανό να τα πάρει. ή με την διείσδυση των διαδικασιών προμήθειας δεδομένων με άλλους τρόπους.

Επομένως, τα μέτρα κατά της API-κεντρικής χαρτογράφησης έχουν επιπτώσεις επίσης για την ασφάλεια των μοντέλων μηχανικής μάθησης.

Πρόληψη της API-Driven Exfiltration

Μια σειρά από ερευνητικές πρωτοβουλίες έχουν αναδυθεί τα τελευταία χρόνια για να παρέχουν μεθοδολογίες που μπορούν να προληψουν την εύρεση της αρχιτεκτονικής του μοντέλου και των συγκεκριμένων πηγών δεδομένων μέσω κλήσεων API. Η τελευταία από αυτές είναι περιγράφηκε σε μια συνεργασία μεταξύ ερευνητών από το Ινδικό Ινστιτούτο Επιστημών στο Μπανγκαλόρ και Nference, μια πλατφόρμα λογισμικού με βάση την τεχνητή νοημοσύνη στο Κέιμπριτζ, Μασαχουσέτη.

Με τίτλο Stateful Detection of Model Extraction Attacks, η έρευνα προτείνει ένα σύστημα που ονομάζεται VarDetect, για το οποίο έχει κυκλοφορήσει πρωτογενές κώδικα στο GitHub.

Εκτελώντας server-side, το VarDetect παρακολουθεί συνεχώς τις ερωτήσεις του χρήστη σε ένα API, αναζητώντας τρεις διαφορετικές προτύπους επιθέσεων εξαγωγής μοντέλων. Οι ερευνητές αναφέρουν ότι το VarDetect είναι η πρώτη αμυντική μηχανισμός του είδους του που αντέχει σε όλες τις τρεις. Επιπλέον, μπορεί να ανταποκριθεί στις αντεπιθέσεις των επιτιθέμενων που γίνονται συνειδητοί μιας αμυντικής μηχανισμού και που επιδιώκουν να τον νικήσουν με την απόκρυψη των προτύπων επιθέσεων με παύσεις ή με την αύξηση του όγκου των ερωτημάτων για να αποκρύψουν τις αιτήσεις που προσπαθούν να χαρτογραφήσουν το μοντέλο.

Η αρχιτεκτονική του VarDetect. Πηγή: https://arxiv.org/pdf/2107.05166.pdf

Το VarDetect χρησιμοποιεί Variational Autoencoders (VAEs) για να δημιουργήσει ένα είδος εύρεσης για τις εισερχόμενες αιτήσεις. Σε αντίθεση με τις προηγούμενες μεθόδους, το σύστημα εκπαιδεύεται σε ιδιόκτητα δεδομένα, απομακρύνοντας την ανάγκη για πρόσβαση σε δεδομένα επιτιθέμενων, μια αδυναμία των προηγούμενων προσεγγίσεων, και ένα απίθανο σценάριο.

Το προσαρμοσμένο μοντέλο που σχεδιάστηκε για το έργο προέρχεται από τρεις δημόσιες βάσεις δεδομένων ή προσεγγίσεις: το έργο που αναπτύχθηκε το 2016 από το Eidgenössische Technische Hochschule Zürich και το Cornell Tech. με την προσθήκη θορύβου σε “προβληματικά” δεδομένα, όπως πρώτα αποδείχθηκε στην έρευνα PRADA του 2017 από τη Φινλανδία. και με την κράτηση δημόσιων εικόνων, εμπνευσμένη από την έρευνα ActiveThief 2020 από το Ινδικό Ινστιτούτο Επιστημών.

Μια σύγκριση των αθώων και ‘κακόβουλων’ δειγμάτων δεδομένων σε πέντε βάσεις δεδομένων που χρησιμοποιούνται στο VarDetect.

Οι κατανομές συχότητας που αντιστοιχούν σε χαρακτηριστικά από το dataset του VarDetect θα σημαδεύονται ως σήματα εξαγωγής.

Οι ερευνητές παραδέχονται ότι οι συνηθισμένοι προτύπους αιτημάτων από αθώους χρήστες μπορούν πιθανότατα να προκαλέσουν ψευδείς θετικούς στην систему, εμποδίζοντας την κανονική χρήση. Επομένως, τέτοια αντιλαμβανόμενα “ασφαλή” σήματα μπορεί να προστεθούν μετέπειτα στο σύνολο δεδομένων του VarDetect, γίνοντας ενσωματωμένα στο αλγόριθμο μέσω ενός ρολού εκπαίδευσης, ανάλογα με τις προτιμήσεις του συστήματος υποδοχής.