Η Σανσούρα των Μοντέλων AI Δεν Λειτουργεί Καλά, Αποκαλύπτει Μια Μελέτη

Οι προσπάθειες να σανσούρουν τους γενераторς εικόνων AI με τη διαγραφή του απαγορευμένου περιεχομένου (όπως πορνογραφία, βία ή πνευματικά δικαιώματα) από τα εκπαιδευμένα μοντέλα δεν αποδίδουν: μια νέα μελέτη διαπιστώνει ότι οι τρέχουσες μεθόδους διαγραφής εννοιών επιτρέπουν τις “απαγορευμένες” ιδιότητες να διαρρεύσουν σε μη σχετικές εικόνες και επίσης αποτυγχάνουν να εμποδίσουν την εμφάνιση στενά σχετικών εκδόσεων του υποτιθέμενου “διαγραμμένου” περιεχομένου.

Εάν οι εταιρείες που παράγουν βασικά μοντέλα AI δεν μπορέσουν να εμποδίσουν την κακοποίηση τους για την παραγωγή απεχθούς ή παράνομου υλικού, κινδυνεύουν με δίωξη και/ή κλείσιμο. Αντίθετα, οι προμηθευτές που διαθέτουν τα μοντέλα τους μόνο μέσω API, όπως η Adobe με τον γεννήτορα Firefly, βρίσκονται σε θέση να μην ανησυχούν για το τι μπορεί να δημιουργήσουν τα μοντέλα τους,既然 και η πρόκληση του χρήστη και το αποτέλεσμα ελέγχονται και αποστειρώνονται:

Το σύστημα Firefly της Adobe, που χρησιμοποιείται σε εργαλεία όπως το Photoshop, đôi και fois απορρίπτει μια γεννήτρια αίτημα ngay από την αρχή, блокируя την πρόκληση πριν δημιουργηθεί κάτι. Άλλες φορές, δημιουργεί την εικόνα αλλά στη συνέχεια блокάρει το αποτέλεσμα μετά από έλεγχο. Αυτό το είδος άρνησης κατά τη διαδικασία μπορεί επίσης να συμβεί στο ChatGPT, όταν το μοντέλο αρχίζει μια απάντηση αλλά τη διακόπτει αφού αναγνωρίσει μια παραβίαση πολιτικής – και đôi και fois μπορεί κανείς να δει την αποτυχημένη εικόνα για λίγο κατά τη διαδικασία αυτή.

Ωστόσο, οι φίλτρες API αυτού του είδους μπορούν συνήθως να ακυρωθούν από τους χρήστες σε τοπικά εγκατεστημένα μοντέλα, συμπεριλαμβανομένων των μοντέλων όρασης-γλώσσας (VLMs) που ο χρήστης μπορεί να επιθυμήσει να προσαρμόσει μέσω τοπικής εκπαίδευσης σε δεδομένα που έχουν δημιουργηθεί από τον χρήστη.

Στις περισσότερες περιπτώσεις, η απενεργοποίηση τέτοιων λειτουργιών είναι εύκολη, και περιλαμβάνει την αναγραφή μιας λειτουργικής κλήσης σε Python (αν και τέτοιου είδους hacks πρέπει συνήθως να επαναλαμβάνονται ή να ξαναεφευρίσκονται μετά από ενημερώσεις πλαισίου).

Από επιχειρηματική πλευρά, είναι δύσκολο να κατανοηθεί πώς αυτό θα μπορούσε να είναι πρόβλημα,既然 η προσέγγιση API μεγιστοποιεί τον εταιρικό έλεγχο του workflow του χρήστη. Από την πλευρά του χρήστη, ωστόσο, και το κόστος των μοντέλων API και ο κίνδυνος λανθασμένης ή υπερβολικής λογοκρισίας πιθανότατα θα τους οδηγήσει να κατεβάσουν και να προσαρμόσουν τοπικές εγκαταστάσεις ανοικτών μοντέλων – τουλάχιστον, όπου η άδεια FOSS είναι ευνοϊκή.

Το τελευταίο σημαντικό μοντέλο που κυκλοφόρησε χωρίς καμία προσπάθεια να ενσωματώσει αυτο-λογοκρισία ήταν το Stable Diffusion V1.5, πριν από σχεδόν τρία χρόνια. Αργότερα, η αποκάλυψη ότι τα corpora εκπαίδευσής του περιείχαν δεδομένα CSAM οδήγησε σε αυξανόμενες απαιτήσεις να απαγορευτεί η διαθεσιμότητά του, και την αφαίρεσή του από το αποθετήριο Hugging Face το 2024.

Κόψτε το!

Οι σκεπτικιστές υποστηρίζουν ότι το ενδιαφέρον μιας εταιρείας για τη λογοκρισία των τοπικά εγκατεστημένων γεννητόρων AI βασίζεται αποκλειστικά σε ανησυχίες σχετικά με την νομική εκθεση, σε περίπτωση που τα πλαισιά τους δημοσιευτούν για την διευκόλυνση παράνομου ή απεχθούς περιεχομένου.

Πράγματι, κάποια “τοπικά φιλικά” ανοικτά μοντέλα δεν είναι τόσο δύσκολο να απολογοκρισθούν (όπως Stable Diffusion 1.5 και DeepSeek R1).

Αντίθετα, η πρόσφατη κυκλοφορία της Black Forest Lab’s Flux σειράς μοντέλων Kontext ήταν χαρακτηρισμένη από την δέσμευση της εταιρείας να καταργήσει ολόκληρη τη σειρά Kontext. Αυτό επιτεύχθηκε τόσο μέσω προσεκτικής επιλογής δεδομένων όσο και μέσω στοχευμένης λεπτής ρύθμισης μετά την εκπαίδευση, με σκοπό την αφαίρεση οποιασδήποτε υπολειμματικής τάσης προς NSFW ή απαγορευμένο περιεχόμενο.

Αυτή είναι η περιοχή όπου η δράση έχει λάβει χώρα στην ερευνητική σκηνή τα τελευταία 2-3 χρόνια: με έμφαση στην επιδιόρθωση μοντέλων με μη καλά επιμελημένα δεδομένα. Προσφορές αυτού του είδους περιλαμβάνουν Unified Concept Editing in Diffusion Models (UCE); Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models (RECE); Mass Concept Erasure in Diffusion Models (MACE); και concept-Semi-Permeable structure is injected as a Membrane (SPM):

Το 2024 έγγραφο ‘Unified Concept Editing in Diffusion Models’ πρόσφερε κλειστές μορφές επεξεργασίας στα βάρη προσοχής,  ενεργοποιώντας την αποτελεσματική επεξεργασία πολλών εννοιών σε μοντέλα κειμένου-εικόνας. Αλλά αντέχει η μέθοδος στη σκραπνίλ; Source: https://arxiv.org/pdf/2308.14761

Αν και αυτή είναι μια αποτελεσματική προσέγγιση (οι υπερκλίμακες συλλογές όπως LAION είναι πολύ μεγάλες για να επιμεληθούν χειροκίνητα), δεν είναι απαραίτητα αποτελεσματική: σύμφωνα με μια νέα αμερικανική μελέτη, καμία από τις προαναφερθείσες διαδικασίες επεξεργασίας – που αντιπροσωπεύουν την κατάσταση της τέχνης στις μετα-εκπαιδευτικές τροποποιήσεις μοντέλων AI – δεν λειτουργεί πολύ καλά.

Οι συγγραφείς διαπίστωσαν ότι αυτές οι Τεχνικές Διαγραφής Εννοιών (CETs) μπορούν συνήθως να παρακαμφθούν εύκολα, και ότι ακόμη και όπου είναι αποτελεσματικές, έχουν σημαντικές παρενέργειες:

Εфекτες της διαγραφής εννοιών σε μοντέλα κειμένου-εικόνας. Κάθε στήλη δείχνει μια πρόκληση και την έννοια που σημειώθηκε για διαγραφή, μαζί με τις γεννημένες εξόδους πριν και μετά την επεξεργασία. Ιεραρχίες υποδεικνύουν γονεο-παιδικές σχέσεις μεταξύ εννοιών. Τα παραδείγματα υπογραμμίζουν κοινές παρενέργειες, συμπεριλαμβανομένης της αποτυχίας να διαγράψουν παιδικές έννοιες, καταστολής γειτονικών εννοιών, αποφυγής μέσω ανασύνθεσης και μεταφοράς διαγραμμένων ιδιοτήτων σε μη σχετικά αντικείμενα. Source: https://arxiv.org/pdf/2508.15124

Οι συγγραφείς διαπίστωσαν ότι οι κυρίαρχες τρέχουσες τεχνικές διαγραφής εννοιών αποτυγχάνουν να μπλοκάρουν σύνθετες προκλήσεις (για παράδειγμα, κόκκινο αυτοκίνητο ή μικρό ξύλινο καρεκλάκι); συχνά αφήνουν υποκατηγορίες να διαφεύγουν ακόμη και μετά την διαγραφή μιας γονικής κατηγορίας (όπως αυτοκίνητο ή λεωφορείο που συνεχίζει να εμφανίζεται μετά την αφαίρεση οχήματος); και εισαγάγουν νέα προβλήματα όπως η διαρροή ιδιοτήτων (όπου, για παράδειγμα, η διαγραφή μπλε καναπέ θα μπορούσε να προκαλέσει το μοντέλο να γεννήσει αντικείμενα όπως μπλε καρέκλα).

Σε πάνω από το 80% των δοκιμαστικών περιπτώσεων, η διαγραφή μιας ευρείας έννοιας όπως οχήματος δεν σταμάτησε το μοντέλο από τη γεννήτρια πιο συγκεκριμένων οχημάτων περιπτώσεων όπως αυτοκίνητα ή λεωφορεία.

Η επεξεργασία, όπως παρατηρεί το έγγραφο, προκαλεί επίσης τις χάρτες προσοχής (τα μέρη του μοντέλου που αποφασίζουν πού να εστιάσουν στην εικόνα) να σκορπίσουν, μειώνοντας την ποιότητα της εξόδου.

Ενδιαφέρον είναι ότι το έγγραφο διαπιστώνει ότι η διαγραφή σχετικών εκπαιδευμένων εννοιών μια-μια λειτουργεί καλύτερα από την απόπειρα να τις αφαιρέσει όλες μαζί – αν και δεν αφαιρεί όλες τις ελαττώματα των μελετημένων μεθόδων επεξεργασίας:

Σύγκριση προοδευτικών και όλα-μαζί στρατηγικών διαγραφής. Όταν όλες οι παραλλαγές του ‘αρκουδάκι’ διαγράφονται ταυτόχρονα, το μοντέλο συνεχίζει να γεννήσει αντικείμενα που μοιάζουν με αρκουδάκι. Η διαγραφή των παραλλαγών βήμα-βήμα είναι πιο αποτελεσματική, οδηγώντας το μοντέλο να καταστείλει την στόχο έννοια πιο αξιόπιστα.

Αν και οι ερευνητές δεν μπορούν προς το παρόν να προσφέρουν λύση στα προβλήματα που περιγράφονται στο έγγραφο, έχουν αναπτύξει einen νέο συνόλου δεδομένων και ένα βENCHMARK που μπορεί να βοηθήσει μελλοντικές ερευνητικές εργασίες να κατανοήσουν εάν τα δικά τους “λογοκρισμένα” μοντέλα λειτουργούν όπως αναμένεται.

Το έγγραφο αναφέρει:

‘Προηγούμενες αξιολογήσεις έχουν βασιστεί αποκλειστικά σε một μικρό σύνολο στόχων και διατηρημένων τάξεων. Για παράδειγμα, όταν διαγράφεται η έννοια ‘αυτοκίνητο’, μόνο η ικανότητα του μοντέλου να γεννήσει αυτοκίνητα ελέγχεται. Αποδεικνύουμε ότι αυτή η προσέγγιση είναι θεμελιωδώς ανεπαρκής και ότι η αξιολόγηση της διαγραφής εννοιών πρέπει να είναι πιο ολοκληρωμένη για να περιλαμβάνει όλες τις σχετικές υπο-έννοιες, όπως ‘κόκκινο αυτοκίνητο’.

‘Με την εισαγωγή ενός διαφορετικού συνόλου δεδομένων με σύνθετες παραλλαγές και την συστηματική ανάλυση επιπτώσεων όπως η επίδραση σε γειτονικές έννοιες, η αποφυγή εννοιών και η διαρροή ιδιοτήτων, αποκαλύπτουμε σημαντικές περιορισμοί και παρενέργειες των υφιστάμενων CETs.

‘Το βENCHMARK μας είναι αδιαίρετο και εύκολα ενσωματώνεται και είναι ιδανικά κατάλληλο για να βοηθήσει την ανάπτυξη νέων Τεχνικών Διαγραφής Εννοιών (CETs).’

Αν και οι CETs διαγράφουν την στόχο έννοια ‘πτηνό’, αποτυγχάνουν στην περίπτωση της σύνθετης παραλλαγής ‘κόκκινο πτηνό’ (πάνω). Μετά την διαγραφή ‘μπλε καναπέ’, όλες οι μέθοδοι χάνουν επίσης την ικανότητα να γεννήσουν μια μπλε καρέκλα (κάτω). Οι επιτυχείς αποτελέσματα σημειώνονται με ένα πράσινο tick σύμβολο, και οι αποτυχίες με ένα κόκκινο ‘X’ σύμβολο.

Η μελέτη προσφέρει μια ενδιαφέρουσα εικόνα για το βαθμό της διείσδυσης των εννοιών που εκπαιδεύονται σε ένα μοντέλο λατινικής χώρου, και το βαθμό με τον οποίο η ενσωμάτωση δεν θα επιτρέψει καμία οριστική και πραγματικά διακριτή διαγραφή έννοιας.

Το νέο έγγραφο έχει τον τίτλο Παρενέργειες της Διαγραφής Εννοιών από Μοντέλα Diffusion, και προέρχεται από τέσσερις ερευνητές από το Πανεπιστήμιο του Μέριλαντ.

Μέθοδος και Δεδομένα

Οι συγγραφείς πιστεύουν ότι προηγούμενες εργασίες που ισχυρίζονται ότι διαγράφουν έννοιες από μοντέλα diffusion δεν αποδεικνύουν τον ισχυρισμό τους επαρκώς, αναφέροντας*:

‘Οι ισχυρισμοί διαγραφής χρειάζονται πιο ροβούστα και ολοκληρωμένη αξιολόγηση. Για παράδειγμα, αν η έννοια που πρέπει να διαγραφεί είναι ‘οχήμα’, υπο-έννοιες όπως ‘αυτοκίνητο’ και σύνθετες έννοιες όπως ‘κόκκινο αυτοκίνητο’ ή ‘μικρό αυτοκίνητο’ πρέπει επίσης να διαγραφούν.

‘Ωστόσο, αυτό το аспект της ιεραρχίας εννοιών και σύνθεσης δεν λαμβάνεται υπόψη στις υφιστάμενες πρωτόκολλα αξιολόγησης, καθώς εστιάζουν μόνο στην ακρίβεια της単ικής διαγραμμένης έννοιας. [Οι συγγραφείς του EraseBench] αξιολογούν πώς οι CETs επηρεάζουν οπτικά παρόμοιες και παραφρασμένες έννοιες (όπως ‘γάτα’ και ‘κουνέλι’)[;] ωστόσο δεν εξαντλούν την ιεραρχία και τη σύνθεση των εννοιών.’

Για να παρέχουν δεδομένα αναφοράς για μελλοντικές εργασίες, οι συγγραφείς δημιούργησαν το Συνόλο Δεδομένων Αξιολόγησης Παρενεργειών (SEE) – μια μεγάλη συλλογή κειμένων-προκλήσεων που σχεδιάστηκαν για να ελέγξουν πώς λειτουργούν οι μέθοδοι διαγραφής εννοιών.

Οι προκλήσεις ακολουθούν ένα απλό πρότυπο στο οποίο ένα αντικείμενο περιγράφεται με ιδιότητες μεγέθους, χρώματος και υλικού – για παράδειγμα, μια εικόνα ενός μικρού κόκκινου ξύλινου αυτοκινήτου.

Τα αντικείμενα προέρχονται από το σύνολο δεδομένων MS-COCO, και οργανώνονται σε μια ιεραρχία υπερκατηγοριών όπως οχήμα, και υποκατηγοριών όπως αυτοκίνητο ή λεωφορείο, με τις συνδυασμούς ιδιοτήτων να形成ουν τα φύλλα (το πιο συγκεκριμένο επίπεδο της ιεραρχίας). Αυτή η δομή επιτρέπει να ελέγξουν τη διαγραφή σε διαφορετικά σημασιολογικά επίπεδα, από ευρείες κατηγορίες σε συγκεκριμένες παραλλαγές.

Για να υποστηρίξουν την αυτοματοποιημένη αξιολόγηση, κάθε πρόκληση ζευγαρώθηκε με μια ναι-ή-όχι ερώτηση, όπως Υπάρχει αυτοκίνητο στην εικόνα;, και επίσης χρησιμοποιήθηκε ως μια ετικέτα για τα μοντέλα ταξινόμησης εικόνων:

Συνδυασμοί προκλήσεων στο σύνολο δεδομένων SEE που παράγονται με την παραλλαγή μεγέθους, χρώματος και υλικού.

Για να μετρήσουν πόσο καλά κάθε μέθοδος διαγραφής εννοιών λειτουργούσε, οι συγγραφείς ανέπτυξαν δύο μεθόδους βαθμολόγησης: Ακρίβεια στόχου, η οποία παρακολουθεί πόσο συχνά οι διαγραμμένες έννοιες εξακολουθούν να εμφανίζονται στις γεννημένες εικόνες; και Ακρίβεια διατήρησης, η οποία παρακολουθεί εάν το μοντέλο συνεχίζει να γεννήτει υλικό που δεν ήταν υποτιθέμενο να διαγραφεί.

Η ισορροπία μεταξύ των δύο βαθμολογιών προορίζεται να αποκαλύψει εάν η μέθοδος κατάφερε να αφαιρέσει την απαγορευμένη έννοια χωρίς να βλάψει την ευρύτερη έξοδο του μοντέλου.

Οι συγγραφείς αξιολόγησαν τη διαγραφή εννοιών σε τρεις τρόπους αποτυχίας: πρώτον, ένα μέτρο του εάν η αφαίρεση μιας έννοιας όπως αυτοκίνητο διαταράσσει κοντινές ή μη σχετικές έννοιες, με βάση τη σημασιολογική και ιδιοτική ομοιότητα; δεύτερον, ένα τεστ για το εάν η διαγραφή μπορεί να παρακαμφθεί με την πρόκληση υπο-εννοιών όπως κόκκινο αυτοκίνητο μετά την διαγραφή οχήματος.

Τέλος, διεξήχθη ένα έλεγχος για τη διαρροή ιδιοτήτων, όπου ιδιότητες που συνδέονται με διαγραμμένες έννοιες εμφανίζονται σε άλλα αντικείμενα (για παράδειγμα, η διαγραφή καναπέ μπορεί να προκαλέσει ένα άλλο αντικείμενο, όπως ένα γλάστρα, να κληρονομήσει το χρώμα ή το υλικό του). Το τελικό σύνολο δεδομένων περιέχει 5056 σύνθετες προκλήσεις

Δοκιμές

Τα προηγούμενα πλαισιά που δοκιμάστηκαν ήταν αυτά που αναφέρθηκαν νωρίτερα – UCE, RECE, MACE, και SPM. Οι ερευνητές υιοθέτησαν τις προεπιλεγμένες ρυθμίσεις από τα αρχικά έργα, και λεπτο-ρύθμισαν όλα τα μοντέλα σε μια NVIDIA RTX 6000 GPU με 48GB VRAM.

Το Stable Diffusion 1.4, ένα από τα πιο διαρκή μοντέλα στη βιβλιογραφία, χρησιμοποιήθηκε για όλες τις δοκιμές – ίσως όχι τουλάχιστον επειδή τα πρώτα μοντέλα SD είχαν λίγη ή καμία εννοιακή συγκράτηση, και ως takový προσφέρει ένα κενό χαρτί σε αυτό το συγκεκριμένο ερευνητικό πλαίσιο.

Κάθε μια από τις 5056 προκλήσεις από το σύνολο δεδομένων SEE εκτελέστηκε τόσο στο αμεταβλητό όσο και στο επεξεργασμένο μοντέλο, γεννώντας τέσσερις εικόνες ανά πρόκληση χρησιμοποιώντας σταθερά τυχαία σπέρματα, επιτρέποντας να ελέγξουν εάν οι επιπτώσεις της διαγραφής παρέμειναν σταθερές σε πολλαπλές εξόδους. Κάθε επεξεργασμένο μοντέλο παρήγαγε συνολικά 20,224 εικόνες.

Η παρουσία διατηρημένων εννοιών αξιολογήθηκε σύμφωνα με προηγούμενες μεθόδους για διαδικασίες διαγραφής κειμένου-εικόνας, χρησιμοποιώντας τα μοντέλα VQA BLIP, QWEN 2.5 VL, και Florence-2base.

Επίδραση σε Γειτονικές Έννοιες

Η πρώτη δοκιμή μετρούσε εάν η διαγραφή μιας έννοιας άθελά της επηρέασε γειτονικές έννοιες. Για παράδειγμα, μετά την διαγραφή αυτοκίνητο, το μοντέλο πρέπει να σταματήσει να γεννήτει κόκκινο αυτοκίνητο ή μεγάλο αυτοκίνητο, αλλά ακόμη να μπορεί να γεννήτει σχετικές έννοιες όπως λεωφορείο ή φορτηγό, και μη σχετικές όπως πdür.

Η ανάλυση χρησιμοποίησε CLIP ομοιότητα ενσωματωμάτων και απόσταση επεξεργασίας ιδιοτήτων για να εκτιμήσει πόσο κοντά ήταν κάθε έννοια στην διαγραμμένη στόχο:

Συνδυασμένα αποτελέσματα για ακρίβεια στόχου (αριστερά) και ακρίβεια διατήρησης (δεξιά) που σχεδιάζονται έναντι σημασιολογικής ομοιότητας (πάνω) και συνθετικής απόστασης (κάτω). Μια ιδανική μέθοδος διαγραφής εννοιών θα έδειχνε χαμηλή ακρίβεια στόχου και υψηλή ακρίβεια διατήρησης σε όλες τις αποστάσεις; αλλά τα αποτελέσματα δείχνουν ότι οι τρέχουσες τεχνικές αποτυγχάνουν να γενικευτούν καθαρά, με κοντινές έννοιες είτε να μην διαγράφονται επαρκώς είτε να διαταράσσονται αναλογικά.

Από τα αποτελέσματα, οι συγγραφείς σχολιάζουν:

‘Όλες οι CETs συνεχίζουν να γεννήτει σύνθετες ή σημασιολογικά μακρινές παραλλαγές της στόχου παρά την διαγραφή, που ιδανικά δεν θα έπρεπε να συμβεί. Είναι φανερό ότι η UCE επιτυγχάνει υψηλότερη ακρίβεια από τις άλλες μέθοδοι CET στην [διατηρημένη τάξη], υποδεικνύοντας ελάχιστη ανεπιθύμητη επίδραση σε σημασιολογικά σχετικές έννοιες.

‘Αντίθετα, η SPM επιτυγχάνει την χαμηλότερη ακρίβεια, υποδεικνύοντας ότι η στρατηγική επεξεργασίας της είναι πιο ευάλωτη στην ομοιότητα εννοιών.’

Μεταξύ των τεσσάρων μεθόδων που δοκιμάστηκαν, η RECE ήταν η πιο αποτελεσματική στην αποκλεισμό της στόχου έννοιας. Ωστόσο, όπως φαίνεται στην αριστερή πλευρά της εικόνας παραπάνω, όλες οι μέθοδοι απέτυχαν να καταστείλουν τις σύνθετες παραλλαγές. Μετά την διαγραφή πτηνό, το μοντέλο εξακολουθούσε να γεννήτει εικόνες ενός κόκκινου πτηνού, υποδεικνύοντας ότι η έννοια παρέμεινε εν μέρει ακέραιη.

Η διαγραφή μπλε καναπέ επίσης εμπόδισε το μοντέλο να γεννήτει μια μπλε καρέκλα, υποδεικνύοντας βλάβη σε γειτονικές έννοιες.

Η RECE χειρίστηκε τις σύνθετες παραλλαγές καλύτερα από τις άλλες, ενώ η UCE διατήρησε τις σχετικές έννοιες καλύτερα.

Εισβολή Διαγραφής

Η δοκιμή εισβολής διαγραφής αξιολόγησε εάν τα μοντέλα μπορούσαν ακόμη να γεννήσουν υπο-έννοιες μετά την διαγραφή της υπερ-έννοιας. Για παράδειγμα, αν η οχήμα διαγράφηκε, η δοκιμή ελέγχει εάν το μοντέλο μπορούσε ακόμη να γεννήσει εξόδους όπως ποδήλατο ή κόκκινο αυτοκίνητο.

Οι προκλήσεις στόχευαν τόσο σε άμεσες υπο-κατηγορίες όσο και σε σύνθετες παραλλαγές για να καθορίσουν εάν η διαδικασία διαγραφής εννοιών είχε πραγματικά αφαιρέσει την πλήρη ιεραρχία ή μπορούσε να παρακαμφθεί μέσω πιο συγκεκριμένων περιγραφών:

Παράκαμψη διαγραμμένων υπερ-κατηγοριών μέσω των υπο-κατηγοριών και συνθετικών παραλλαγών, με υψηλότερη ακρίβεια που υποδηλώνει μεγαλύτερη παράκαμψη.

Το αμεταβλητό μοντέλο διατήρησε υψηλή ακρίβεια σε όλες τις υπερ-κατηγορίες, επιβεβαιώνοντας ότι δεν είχε διαγράψει τις στόχου έννοιες. Μεταξύ των CETs, η MACE έδειξε την ελάχιστη παράκαμψη, επιτυγχάνοντας την χαμηλότερη ακρίβεια υπο-κατηγορίας σε περισσότερες από τις μισές δοκιμασμένες κατηγορίες. Η RECE επίσης παρουσίασε καλή απόδοση, ιδιαίτερα στις κατηγορίες αξεσουάρ, αθλήματα, και ηλεκτρονικά.

Αντίθετα, η UCE και η SPM έδειξαν υψηλότερη ακρίβεια υπο-κατηγορίας, υποδεικνύοντας ότι οι διαγραμμένες έννοιες ήταν πιο εύκολο να παρακαμφθούν μέσω σχετικών ή εμβυθισμένων προκλήσεων.

Οι συγγραφείς σημειώνουν:

‘[Όλες] οι CETs επιτυγχάνουν να καταστείλουν την στόχο υπερ-έννοια (“τροφή”). Ωστόσο, όταν προκληθούν με ιδιοτήτων-παιδιά της ιεραρχίας τροφής (π.χ. “μεγάλο πίτσα”), όλες οι μέθοδοι γεννήτει είδη τροφής.

‘Ομοίως στην κατηγορία “οχήμα”, όλα τα μοντέλα γεννήτει ποδήλατα, παρά την διαγραφή του “οχήματος”.’

Διαρροή Ιδιοτήτων

Η τρίτη δοκιμή, διαρροή ιδιοτήτων, ελέγχει εάν ιδιότητες που συνδέονται με μια διαγραμμένη έννοια εμφανίζονται σε άλλα μέρη της εικόνας.

Για παράδειγμα, μετά την διαγραφή καναπέ, το μοντέλο δεν πρέπει να γεννήτει ούτε καναπέ ούτε να εφαρμόζει τις τυπικές ιδιότητες του (όπως χρώμα ή υλικό) σε μη σχετικά αντικείμενα στην ίδια πρόκληση. Αυτό μετρήθηκε με την πρόκληση του μοντέλου με ζευγαρωμένα αντικείμενα και την εξέταση εάν οι διαγραμμένες ιδιότητες εμφανίζονται λανθασμένα σε διατηρημένες έννοιες:

Χάρτες προσοχής για ιδιότητες-λεξήματα μετά την διαγραφή εννοιών. Αριστερά: Όταν το ‘μπάνκο’ διαγράφεται, το λεξήμα ‘ξύλινο’ μεταφέρεται στο πουλί, οδηγώντας σε ξύλινα πουλιά. Δεξιά: Η διαγραφή του ‘καναπέ’ αποτυγχάνει να καταστείλει τη γεννήτρια του καναπέ, ενώ το λεξήμα ‘μεγάλο’ είναι λανθασμένα ανατεθειμένο στη ζαμπόν.

Η RECE ήταν η πιο αποτελεσματική στην διαγραφή των στόχου ιδιοτήτων, αλλά επίσης εισήγαγε τη μεγαλύτερη διαρροή ιδιοτήτων σε διατηρημένες προκλήσεις, υπερβαίνοντας ακόμη και το αμεταβλητό μοντέλο. Η UCE διαρρέει λιγότερο από τις άλλες μέθοδοι.

Τα αποτελέσματα, όπως υποδηλώνουν οι συγγραφείς, δείχνουν την αναγκαιότητα ενός εσωτερικού συμβιβασμού, με ισχυρότερη διαγραφή να αυξάνει τον κίνδυνο λανθασμένης μεταφοράς ιδιοτήτων.

Συμπέρασμα

Ο λατινικός χώρος ενός μοντέλου δεν γεμίζει με einen τάξη κατά τη διάρκεια της εκπαίδευσης, με τις παραγώμενες έννοιες να κατατίθενται ομαλά σε ράφια ή σε φακέλους; αλλά τα εκπαιδευμένα ενσωματώματα είναι και το περιεχόμενο και οι контейнερς τους: όχι χωρισμένα από οποιαδήποτε σαφείς ορίες, αλλά μάλλον μπλεγμένα μεταξύ τους με έναν τρόπο που καθιστά την αφαίρεση προβληματική – σαν να προσπαθείς να αφαιρέσεις ένα πα운드 σαρκός χωρίς καμία απώλεια αίματος.

Σε έξυπνα και εξελισσόμενα συστήματα, τα θεμελιώδη γεγονότα – όπως το κάψιμο των δακτύλων σας και η μεταχείριση της φωτιάς με σεβασμό στη συνέχεια – είναι δεμένα με τις συμπεριφορές και τις συσχετίσεις που形成ουν αργότερα, καθιστώντας το προκλήμα να παράγουν ένα μοντέλο που μπορεί να έχει μείνει με τις επιπτώσεις μιας κεντρικής, πιθανώς ‘απαγορευμένης’ έννοιας, αλλά να λείπει η έννοια αυτή από μόνη της.

* Η μετατροπή μου των εσωτερικών παραπομπών των συγγραφέων σε υπερσυνδέσμους.

Πρώτη δημοσίευση Παρασκευή, 22 Αυγούστου 2025