DRM για συνόλους δεδομένων υπολογιστικής όρασης

Η ιστορία δείχνει ότι τελικά η «ανοικτή» εποχή της έρευνας υπολογιστικής όρασης, όπου η αναπαραγωγιμότητα και η ευνοϊκή κριτική αξιολόγηση είναι κεντρικές για την ανάπτυξη μιας νέας πρωτοβουλίας, πρέπει να δώσει τη θέση της σε μια νέα εποχή προστασίας πνευματικής ιδιοκτησίας – όπου κλειστά μηχανισμοί και πλατφόρμες εμποδίζουν τους ανταγωνιστές από το να υπονομεύουν τους υψηλούς κόστους ανάπτυξης του συνόλου δεδομένων, ή από το να χρησιμοποιούν ένα δαπανηρό έργο ως απλό σκαλοπάτι για την ανάπτυξη του δικού τους (ίσως ανώτερου) έργου.

Τώρα, η αυξανόμενη τάση προς τον προστατευτισμό υποστηρίζεται κυρίως από την τοποθέτηση ιδιωτικών κεντρικών πλαισίων πίσω από πρόσβαση API, όπου οι χρήστες στέλνουν σπάνιες συμβολοσειρές ή αιτήσεις και όπου οι μετασχηματιστικές διαδικασίες που κάνουν τις απαντήσεις του πλαισίου πολύτιμες είναι εντελώς κρυμμένες.

Σε άλλες περιπτώσεις, το τελικό μοντέλο μπορεί να κυκλοφορήσει, αλλά χωρίς τις κεντρικές πληροφορίες που το κάνουν πολύτιμο, όπως τα προ-εκπαιδευμένα βάρη που μπορεί να κοστίσουν πολλά εκατομμύρια για να παραχθούν· ή χωρίς μια ιδιωτική βάση δεδομένων, ή ακριβείς λεπτομέρειες για το πώς παράχθηκε ένα υποσύνολο από μια σειρά ανοικτών συνόλων δεδομένων. Σε περίπτωση του μεταμορφωτικού μοντέλου φυσικής γλώσσας GPT-3 της OpenAI, και τα δύο μέτρα προστασίας χρησιμοποιούνται τώρα, αφήνοντας τους μιμητές του μοντέλου, όπως GPT Neo, να συναρμολογούν μια προσέγγιση του προϊόντος όσο καλύτερα μπορούν.

Προστασία συνόλων εικόνων

Ωστόσο, η ενδιαφέρον είναι αυξανόμενο για μεθόδους με τις οποίες ένα «προστατευμένο» πλαίσιο μηχανικής μάθησης θα μπορούσε να ανακτήσει κάποιο επίπεδο φορητότητας, διασφαλίζοντας ότι μόνο οι εξουσιοδοτημένοι χρήστες (για παράδειγμα, οι πληρωμένοι χρήστες) θα μπορούσαν να χρησιμοποιήσουν το σύστημα με κέρδος. Αυτό συνήθως περιλαμβάνει την κρυπτογράφηση του συνόλου δεδομένων με κάποιο προγραμματιστικό τρόπο, ώστε να διαβάζεται «καθαρό» από το πλαίσιο AI κατά την εκπαίδευση, αλλά να είναι κατεστραμμένο ή αχρήσιμο σε οποιοδήποτε άλλο контέκστ.

Ένα τέτοιο σύστημα έχει προταθεί πρόσφατα από ερευνητές στο Πανεπιστήμιο Επιστήμης και Τεχνολογίας της Κίνας στο Ανχούι και στο Πανεπιστήμιο Φουντάν στο Σανγκάη. Με τίτλο Αναστρέψιμη προστασία συνόλων εικόνων, η έρευνα προσφέρει μια διαδικασία που προστίθεται αυτόματα παρεμβολές αντι-παραδειγμάτων σε ένα σύνολο εικόνων, ώστε να μην μπορεί να χρησιμοποιηθεί για εκπαίδευση σε περίπτωση πειρατείας, αλλά όπου η προστασία είναι εντελώς φιλτράρεται από ένα εξουσιοδοτημένο σύστημα που περιέχει ένα μυστικό token.

Από την έρευνα: μια ‘τιμής’ πηγή εικόνας αποδίδεται αποτελεσματικά μη εκπαιδεύσιμη με τεχνικές αντι-παραδειγμάτων, με τις παρεμβολές να αφαιρούνται συστηματικά και αυτόματα για einen ‘εξουσιοδοτημένο’ χρήστη. Πηγή: https://arxiv.org/pdf/2112.14420.pdf

Ο μηχανισμός που επιτρέπει την προστασία ονομάζεται αναστρέψιμος γεννήτωρ αντι-παραδειγμάτων (RAEG) και ουσιαστικά ισοδυναμεί με κρυπτογράφηση στην πραγματική χρήσιμότητα των εικόνων για σκοπούς ταξινόμησης, χρησιμοποιώντας αναστρέψιμη απόκρυψη δεδομένων (RDH). Οι ερευνητές αναφέρουν:

‘Η μέθοδος πρώτα δημιουργεί την εικόνα αντι-παραδείγματος χρησιμοποιώντας υπάρχουσες μεθόδους AE, στη συνέχεια ενσωματώνει την παρέμβολή αντι-παραδείγματος στην εικόνα αντι-παραδείγματος και δημιουργεί την εικόνα stego χρησιμοποιώντας RDH. Λόγω του χαρακτηριστικού της αναστρέψιμότητας, η παρέμβολή αντι-παραδείγματος και η αρχική εικόνα μπορούν να ανακτηθούν.’

Οι αρχικές εικόνες από το σύνολο δεδομένων εισάγονται σε ένα U-σχήμα αναστρέψιμο νευρωνικό δίκτυο (INN) για να παράγουν εικόνες που επηρεάζονται από αντι-παράδειγμα, που σχεδιάζονται για να εξαπατούν συστήματα ταξινόμησης. Αυτό σημαίνει ότι η τυπική εξαγωγή χαρακτηριστικών θα υπονομευθεί, καθιστώντας δύσκολο τον προσδιορισμό χαρακτηριστικών όπως το φύλο και άλλα χαρακτηριστικά που βασίζονται στο πρόσωπο (αν και η αρχιτεκτονική υποστηρίζει eine σειρά από τομείς, και όχι μόνο υλικά που βασίζονται στο πρόσωπο).

Ένα τεστ αναστροφής του RAEG, όπου διάφορες επιθέσεις thựcτούνται στις εικόνες πριν από την ανακατασκευή. Μέθοδοι επιθέσεων περιλαμβάνουν Gaussian Blur και JPEG artefacts.

Έτσι, αν προσπαθήσουμε να χρησιμοποιήσουμε το «κατεστραμμένο» ή «κρυπτογραφημένο» σύνολο δεδομένων σε ένα πλαίσιο που σχεδιάστηκε για GAN-βασισμένη γεννήτρια προσώπων, ή για σκοπούς αναγνώρισης προσώπων, το αποτέλεσμα μοντέλο θα είναι λιγότερο αποτελεσματικό από ότι θα ήταν αν είχε εκπαιδευτεί σε αδιατάρακτες εικόνες.

Κλείδωμα των εικόνων

Ωστόσο, αυτό είναι μόνο ένα πλάγιο αποτέλεσμα της γενικής εφαρμοσιμότητας των δημοφιλών μεθόδων παρεμβολής. Στην πραγματικότητα, στην περίπτωση που οραματίζεται, τα δεδομένα θα είναι αναπηδημένα εκτός από την περίπτωση που υπάρχει εξουσιοδοτημένη πρόσβαση στο στόχο πλαίσιο,既然 το κεντρικό «κλειδί» για τα καθαρά δεδομένα είναι ένα μυστικό token μέσα στην αρχιτεκτονική στόχο.

Αυτή η κρυπτογράφηση έρχεται με ένα κόστος· οι ερευνητές χαρακτηρίζουν την απώλεια της αρχικής ποιότητας εικόνας ως ‘σύντομη παραμόρφωση’, και αναφέρουν ‘[Η] προτεινόμενη μέθοδος μπορεί σχεδόν απόλυτα να ανακτήσει την αρχική εικόνα, ενώ οι προηγούμενες μεθόδους μπορούν να ανακτήσουν μόνο μια θολή εκδοχή.’

Οι προηγούμενες μεθόδους που αναφέρονται είναι από το Νοέμβριο του 2018 έρευνα Μη εξουσιοδοτημένος AI δεν μπορεί να με αναγνωρίσει: Αναστρέψιμο αντι-παράδειγμα, μια συνεργασία μεταξύ δύο κινεζικών πανεπιστημίων και του RIKEN Center για Προηγμένα Projekte (AIP)· και Αναστρέψιμη επίθεση αντι-παραδείγματος με βάση αναστρέψιμη μετασχηματισμό εικόνας, μια έρευνα του 2019 επίσης από τον κινεζικό ακαδημαϊκό ερευνητικό τομέα.

Οι ερευνητές της νέας έρευνας ισχυρίζονται ότι έχουν κάνει αξιοσημείωτες βελτιώσεις στην χρησιμότητα των ανακτημένων εικόνων, σε σύγκριση με αυτές τις προηγούμενες προσεγγίσεις, παρατηρώντας ότι η πρώτη προσέγγιση είναι πολύ ευαίσθητη σε μεσολαβική παρέμβαση, και πολύ εύκολη να παρακαμφθεί, ενώ η δεύτερη προκαλεί υπερβολική υποβάθμιση των αρχικών εικόνων (σε εξουσιοδοτημένη εκπαίδευση), υπονομεύοντας την εφαρμοσιμότητα του συστήματος.

Αρχιτεκτονική, δεδομένα και δοκιμές

Το νέο σύστημα αποτελείται από einen γεννήτωρα, ένα επίπεδο επίθεσης που εφαρμόζει παρέμβολη, προ-εκπαιδευμένους ταξινομητές-στόχους, και ένα στοιχείο διακρίτη.

Η αρχιτεκτονική του RAEG. Αριστερά-μέσα, βλέπουμε το μυστικό token ‘I_prt‘, το οποίο θα επιτρέψει την απο-παρέμβολή της εικόνας κατά την εκπαίδευση, αναγνωρίζοντας τις παρεμβολές που έχουν ενσωματωθεί στις πηγαίες εικόνες και αποζημιώνοντας τις.

Παρακάτω είναι τα αποτελέσματα ενός δοκιμαστικού συγκριτικού με τις δύο προηγούμενες προσεγγίσεις, χρησιμοποιώντας τρία σύνολα δεδομένων: CelebA-100· Caltech-101· και Mini-ImageNet.

Τα τρία σύνολα δεδομένων εκπαιδεύτηκαν ως δίκτυα ταξινόμησης-στόχων, με μέγεθος batch 32, σε ένα NVIDIA RTX 3090 κατά τη διάρκεια μιας εβδομάδας, για 50 επωχών.

Οι ερευνητές ισχυρίζονται ότι το RAEG είναι η πρώτη εργασία που προσφέρει ένα αναστρέψιμο νευρωνικό δίκτυο που μπορεί να παράγει αντι-παράδειγμα.

Πρώτη δημοσίευση 4ης Ιανουαρίου 2022.