Μια Επίθεση Εισαγωγής Προτύπων που Δεν Μπορεί να Προληφθεί: Ευχάριστο Σκέψιμο ή Πραγματικό Πρόβλημα;

Σε αυτό το άρθρο, θα ήθελα να εμπλακίσω τον αναγνώστη σε ένα πείραμα σκέψης. Θα επιχειρήσω να υποστηρίξω ότι στο μη quá μακρινό μέλλον, ένας bestimmός τύπος επίθεσης εισαγωγής προτύπων θα είναι αποτελεσματικά ανεπίλυτος. Το επιχείρημά μου θα είναι πιο εικασιακό παρά συγκεκριμένο, οπότε δεν προσπαθώ να σας πείσω για κάτι. Αντίθετα, σας προσκαλώ να εξερευνήσετε αυτές τις σκέψεις. Πριν ξεκινήσω, όπως κάθε πειστικός συγγραφέας θα έκανε, θέλω να συζητήσω για το σκάκι και τους μηχανισμούς σκακιού.

Υπεράνθρωποι Μηχανισμοί Σκακιού και μια Δήλωση για την Ανθρώπινη Εμπειρία

Ένα από τα ωραιότερα στοιχεία του σκακιού που λείπει σε άλλες дисципλINES είναι η ικανότητα να μετρήσετε αντικειμενικά την ποιότητα ή τη δύναμη ενός παίκτη. Το σύστημα βαθμολογίας ELO που χρησιμοποιείται για αυτό το σκοπό έχει τις ελαττώματές του, αλλά παρέχει μια πολύ καλή περίπου εκτίμηση που διαρκεί στον χρόνο. Ένας βαθμός 2700 ή πάνω είναι συνήθως αναγνωρισμένος ως παγκόσμιας κλάσης (πρώτοι 30 στον κόσμο). Ο καλύτερος παίκτης στον κόσμο είναι λίγο κάτω από 2850. Κανένας άνθρωπος δεν έχει φτάσει ποτέ σε βαθμό 2900.

Στα μέσα της δεκαετίας του ’90, είδαμε τον πρώτο μηχανισμό AI (Deep Blue) που έφτασε σε παγκόσμιας κλάσης επίπεδο. Η πρακτική επιπτώσεις αυτού του ορόσημου ήταν η ευρεία υιοθέτηση των μηχανισμών από παίκτες όλων των επιπέδων για άσκηση και ανάλυση. Στην πραγματικότητα, η χρήση μηχανισμών έγινε απαραίτητη για τους καλύτερους παίκτες στον κόσμο. Ωστόσο, για幾 γενιές αυτών των παγκόσμιας κλάσης μηχανισμών, η αναθεώρηση των προτεινόμενων κινήσεων (δηλ. εξόδου) ήταν απαραίτητη. Υπήρχε ακόμη και ένα ειδικό μορφότυπο που δημιουργήθηκε που ονομάζεται “προηγμένο σκάκι” στο οποίο οι άνθρωποι ανταγωνίζονταν με έναν μηχανισμό δίπλα τους, και η ανθρώπινη + μηχανική συνδυασμός θεωρήθηκε ανώτερος από τον μηχανισμό μόνο.

Πήρε περίπου 20 χρόνια, και κάποια κρίσιμη πρόοδος στη βαθιά μάθηση και τη μάθηση ενίσχυσης για τους μηχανισμούς σκακιού να φτάσουν σε υπεράνθρωπο επίπεδο (περίπου 3200 ELO). Αλλά μια φορά που αυτό το στρώμα διαρρήχθηκε γύρω στο 2017, κάτι πολύ απροσδόκητο συνέβη. Ναι, στην πραγματικότητα, δύο πράγματα συνέβησαν. Το πρώτο ήταν完全 αναμενόμενο· οι μηχανισμοί έγιναν η de facto πηγή “αληθινής αλήθειας” στο 99% όλων των θέσεων. Στην πράξη, αυτό σημαίνει ότι εισήλθαμε στην “εποχή του τυφλού ελέγχου” του μηχανισμού. Αυτές τις μέρες, είναι σχεδόν αδύνατο για έναν άνθρωπο να προτείνει μια σημαντικά καλύτερη κίνηση από τον μηχανισμό. Όσο διασκεδαστικό ήταν το “προηγμένο σκάκι”, είναι τώρα μια άχρηστη άσκηση· οι άνθρωποι θα συνεισέφεραν σχεδόν τίποτα στο παιχνίδι. Αλλά το δεύτερο ήταν σοκαριστικό για τους περισσότερους παίκτες σκακιού. Αυτοί οι υπεράνθρωποι νευρωνικοί (δηλ. βαθιά νευρωνικά δίκτυα) μηχανισμοί θα έπαιζαν μερικές φορές σε ένα στυλ που είναι καλύτερο να περιγραφεί ως “ρομαντικό”. Με άλλα λόγια, θα έκαναν κινήσεις της οποίας η αξία θα μπορούσε να εκτιμηθεί μόνο μετά από πολλές, πολλές κινήσεις αργότερα, πολύ πέρα από αυτό που οποιοσδήποτε άνθρωπος ή παγκόσμιας κλάσης μηχανισμοί θα μπορούσαν να υπολογίσουν. Αυτό πολύ να feels σαν να οι μηχανισμοί ανέπτυξαν μια “αίσθηση” ή μια “έννοια” για ορισμένες θέσεις. Εκτός από αυτό, αυτή η έννοια δεν είναι κάτι που ένας άνθρωπος θα μπορούσε ποτέ να καταλάβει ή να μιμηθεί.

Λέγοντας διαφορετικά, ένας υπεράνθρωπος νευρωνικός μηχανισμός μπορεί να κάνει κινήσεις που είναι πέρα από τον γνωστικό ορίζοντα ενός ανθρώπου. Αυτό είναι το κρίσιμο σημείο εδώ· το ζήτημα δεν είναι αυτό της ερμηνευσιμότητας. Αντίθετα, ένας άνθρωπος απλά δεν μπορεί να καταλάβει γιατί ένας μηχανισμός προτείνει μια κίνηση χωρίς να παίξει την θέση και να παρατηρήσει το αποτέλεσμα πολλές κινήσεις αργότερα, δηλ. αναπτύσσοντας ολόκληρη την τροχιά των πιθανών ακολουθιών του παιχνιδιού. Ως αποτέλεσμα, έχουμε ένα ανυπέρβλητο χάσμα σε ικανότητα. Είναι αντικειμενικά βέλτιστο να αποδεχτείτε την έξοδο του μηχανισμού χωρίς έλεγχο. Μπορώ να συνοψίσω την άσερσή μου ως εξής:

Το σκάκι είναι μια απόδειξη ύπαρξης ότι υπεράνθρωπος AI θα λειτουργούσε αποτελεσματικά αυτονομamente σε ορισμένα πεδία. Η ενεργοποίηση του συστήματος AI να λαμβάνει αποφάσεις χωρίς ανθρώπινο έλεγχο θα ήταν ο βέλτιστος τρόπος για την ανάπτυξη ενός τέτοιου συστήματος.

Από τη στιγμή που η άσερσή μου μπορεί να χτυπήσει κάποιον ως προφανής ή μη αξιοσημείωτος, θέλω να υπογραμίσω μερικές νюανς. Υποθέτουμε ότι έχουμε ένα σύστημα AI που δείχνει υπεράνθρωπο επίπεδο σε ένα σύνθετο, κρίσιμο, έργο με συγκεκριμένα, αναστρέψιμα, συνέπειες. Υπάρχουν δύο επιπτώσεις στην άσερσή μου:

1. Το σύστημα θα αναπτυχθεί για να λαμβάνει αποφάσεις για το έργο χωρίς ανθρώπινο έλεγχο, παρά την εγγενή κίνδυνο
2. Η είσπραξη από την παρακολούθηση ενός τέτοιου συστήματος δεν θα εμπόδιζε μια βλαβερή απόφαση· η ζημιά θα είχε ήδη γίνει

Ο έλεγχος της εξόδου και η παρακολούθηση του συστήματος είναι ακριβώς τα δύο τελευταία στρώματα άμυνας ενάντια στις επιθέσεις εισαγωγής προτύπων. Επομένως, η υποθετική επίθεση εισαγωγής προτύπων θα μπορούσε να παρακάμψει αυτά τα στρώματα απλώς στόχευοντας το κατάλληλο σύστημα.

Αυτό είναι ένα πολύ ρεαλιστικό σενάριο στο μυαλό μου. Ένα υπεράνθρωπο σύστημα AI σε ένα συγκεκριμένο πεδίο δεν είναι AGI, και οι περισσότεροι εμπειρογνώμονες πιστεύουν ότι τέτοια συστήματα είναι ακριβώς γύρω από τη γωνία. Δεν χρειαζόμαστε να υποθέσουμε ότι οι αποφάσεις είναι χρονικά κρίσιμες, απλώς ότι το έργο είναι αρκετά σύνθετο για να κάνει ανθρώπινο έλεγχο αδύνατο.

Βέβαια, έχουμε μόνο παρακάμψει δύο στρώματα άμυνας μέχρι τώρα, και ευτυχώς για μας, έχουν αναπτυχθεί πολλά άλλα. Για να αντιμετωπίσουμε τα υπόλοιπα, ας εμβαθύνουμε στα βασικά στοιχεία που κάνουν την εισαγωγή προτύπων δύσκολο να αμυνθεί.

Τι είναι η Επίθεση Εισαγωγής Προτύπων;

Η επίθεση εισαγωγής προτύπων είναι μια χειραγώγηση ενός Μεγάλου Μοντέλου Γλώσσας (LLM) μέσω κατασκευασμένων εισόδων, που προκαλούν το LLM να εκτελέσει τις εντολές του επιτιθέμενου χωρίς να το καταλάβει. Μπορεί να θεωρηθεί ως κοινωνική μηχανική για AI. Κρίσιμο, δεν είναι ένα συμβατικό σφάλμα λογισμικού. Μια επίθεση εισαγωγής προτύπων εκμεταλλεύεται μια εγγενή ευπάθεια LLM. Καθώς τα LLM επεξεργάζονται τόσο τις συστήματος όσο και τις χρήστη εισόδους ως ακολουθίες κειμένου, δεν μπορούν να διακρίνουν εγγενώς μεταξύ νόμιμων και επιβλαβών εντολών. Η ευπάθεια είναι επομένως αποτελεσματικά από-σχεδιασμός, παρά από-τυχηματίς.

Τεχνικές Επίθεσης Εισαγωγής Προτύπων

Η επίθεση εισαγωγής προτύπων αναγνωρίζεται γενικά ως ο #1 κίνδυνος για εφαρμογές LLM. Υπάρχουν πολλά λόγια γιατί αυτό είναι το caso. Το πιο προφανές παράγοντα είναι η ποικιλία των τεχνικών εισαγωγής που έχουν αναπτυχθεί. Περισσότερο ομαδοποιώντας τους σε τέσσερις κατηγορίες, οι πιο γνωστές τεχνικές περιλαμβάνουν:

• ΣυNTAX-βασισμένες: χρησιμοποιώντας ειδικούς χαρακτήρες, emojis, ή εναλλακτική γλώσσα
• Επίγεια: χρησιμοποιώντας εξωτερικές πηγές (fetch από site), κωδικοποίηση (base 64), ή πολυσχιδή αναφορά (κείμενο σε εικόνα)
• “Ας Παίξουμε”: εισαγωγή μιας χειραγώγισης στυλ από π.χ. ρόλο, υποθετικό, συναισθηματική έλξη, ηθική πλαισίωση, και αλλαγή μορφής
• Βίαιη: ρητή προσπάθεια να “ισχυροποιήσετε” εντολές μοντέλου με βία, ενίσχυση, ή αρνητική πρόταση

Η ποικιλία μόνο παρέχει μια πρόκληση για τους développers εφαρμογών, αλλά αυτές οι επιθέσεις έχουν επίσης εξελιχθεί γρήγορα. Η αριστερή πλευρά του διαγράμματος παρακάτω ισχυρίζεται ότι περιγράφει το state-of-the-art για τις αρχές του 2023, ενώ η δεξιά πλευρά αντανακλά τη φύση των επιθέσεων σήμερα.

Οι développers εφαρμογών LLM πρέπει επίσης να λάβουν υπόψη το τυπικό trade-off giữa χρηστικότητα και ασφάλεια. Θα μπορούσαν να εισαγάγουν κάθε στρώμα άμυνας και σχεδιασμό, αλλά με ποιο κόστος; Τα στρώματα άμυνας προστίθενται σημαντική καθυστέρηση και εισαγάγουν Ψευδείς Θετικούς (FPs) – λανθασμένα σηματοδοτώντας ασφαλείς προτάσεις ως επιβλαβείς – και οι δύο παράγοντες έχουν αρνητική επίδραση στην εμπειρία του χρήστη. Ως αποτέλεσμα, κάποια mức độ συμβιβασμού είναι αναπόφευκτο στην πράξη, και δεν υπάρχει “ασημένιο βόλι” λύση.

Ωστόσο, σε αυτό το άρθρο, δεν με ενδιαφέρει πραγματικά αυτό το ατελείωτο παιχνίδι γάτας και ποντικού. Αντίθετα, ερευνώ αν μια επίθεση μπορεί να είναι ανεπίλυτη σε αρχή. Από την πλευρά του développer/αμυντή, υπάρχει μόνο μια κλειδί είσπραξη:

Η διάκριση των εντολών από τα δεδομένα στην πρόταση είναι θεμελιώδους σημασίας για την αντιμετώπιση του κινδύνου εισαγωγής προτύπων

Μπορούμε να υποθέσουμε ότι οι συμβιβασμοί δεν είναι παράγοντας, και οποιοδήποτε στρώμα άμυνας ή τεχνική μπορεί να χρησιμοποιηθεί. Υπό αυτή τη (ισχυρή) υπόθεση, είναι δυνατό να συλλάβουμε ένα σενάριο στο οποίο η διάκριση εντολών-δεδομένων σε μια πρόταση είναι αποτελεσματικά αδύνατο;

Η Αναλογία DNA

Μόλις το ζήτημα ήταν πλαισιωμένο σε όρους διάκρισης εντολών-δεδομένων, η αρχική μου σκέψη ήταν να χρησιμοποιήσω τη βιολογία ως αναλογία.

Σκεφτείτε μια κυτταρική και μια εκτεταμένη DNA (γνωστή ως γονίδιο). Το γονίδιο παρέχει εντολές για την κατασκευή μιας πρωτεΐνης μέσω μεταγραφής και μετάφρασης. Επίσης, κωδικοποιεί τις πληροφορίες (δεδομένα) που επηρεάζουν τη δομή και τη λειτουργία της πρωτεΐνης. Ως τέτοιο, το γονίδιο διευθύνει ταυτόχρονα τι να χτίσει, και πώς να το χτίσει, ή έτσι έτσι σκέφτηκα. Ωστόσο, αυτό είναι απλώς ψευδές,既然 ένα γονίδιο δεν αποφασίζει πώς να ερμηνεύσει τον εαυτό του. Δεν υπάρχει ισοδύναμο του ακολουθίας εντολών στη βιολογία στο επίπεδο γονιδιώματος. Το “πώς” είναι πλήρως εξωτερικοποιημένο στο κυτταρικό μηχανισμό.

Επομένως, ακόμη και αν δεν μπορώ να ξεκολλήσω την αίσθηση ότι μελλοντικές γενιές LLM – ή πιο ακριβώς, τα συστήματα που θα εξελιχθούν – θα μοιάζουν σε βιολογικές μηχανές σε μεγαλύτερο βαθμό, η προτεινόμενη αναλογία απλώς δεν λειτουργεί. Δεν μπορούμε να υποκαταστήσουμε μια κυτταρική για ένα LLM και ένα γονίδιο για μια πρόταση και στη συνέχεια να εκτελέσουμε μια ένεση στο γονίδιο που θα προκαλούσε μια “βλαβερή” πρωτεΐνη να χτιστεί. Φαίνεται πιο παραγωγικό να μείνουμε με τη φυσική γλώσσα και τις εργασίες που απαιτούν σεμαντική ερμηνεία.

Απομακρύνοντας τα Στρώματα Άμυνας

Δεν πρέπει να είναι έκπληξη ότι οι πολυσχιδείς στρατηγικές άμυνας θεωρούνται πιο αποτελεσματικές στην αποτροπή επιθέσεων εισαγωγής προτύπων. Η εικόνα παρακάτω δείχνει τα πιο συνηθισμένα στρώματα άμυνας με τη σειρά, και τις σχετικές τεχνικές που χρησιμοποιούνται σε κάθε στρώμα.

Έχουμε ήδη συζητήσει τα δύο τελευταία στρώματα (έξοδος, παρακολούθηση) παραπάνω, οπότε ας εστιάσουμε στα πρώτα τέσσερα.

Συζητώντας το στρώμα εισόδου, είναι λογικό να υποθέσουμε ότι η σανιταρίωση ή η επικύρωση της πρότασης θα ήταν khá επιτυχημένη στην ανίχνευση εμφανών επιθέσεων. Ωστόσο, αν η ένεση παραδίδεται απευθείας, και όπως προτείνεται παραπάνω, με την εξάρτηση από τη σεμαντική ερμηνεία, ίσως η σανιταρίωση είναι άσχετη (τίποτα να σανιταριστεί), και η επικύρωση είναι αδύνατη από προεπιλογή,既然 η υπολογισμός πρέπει να ολοκληρωθεί για να αναγνωριστεί το ζήτημα.

Υπάρχουν ουσιαστικά keine όρια στα φράγματα που θα μπορούσατε να κατασκευάσετε στο στρώμα ανίχνευσης. Στην πραγματικότητα, θα μπορούσατε ακόμη και να χρησιμοποιήσετε einen αφιερωμένο LLM για ανίχνευση εισαγωγής. Αλλά και πάλι, θα είναι δύσκολο για einen ταξινόμηση ή einen ανωμαλία να σηματοδοτήσει μια πρόταση ως ύποπτη όταν το δηλητήριο είναι έξυπνα κρυμμένο μέσα στη σεμαντική.

Το μοντέλο στρώμα μπορεί να είναι khá αποτελεσματικό όταν ο σκοπός των εργασιών είναι στενός, και η επιμόρφωση είναι εφικτή. Ένα παρόμοιο επιχείρημα θα μπορούσε να γίνει για το στρώμα συστήματος όταν η χρήση εργαλείων είναι προβλέψιμη. Ωστόσο, τουλάχιστον ενστικτωδώς, κανένα από αυτά δεν θα ανεβάσει μια συναγερμό αν η ένεση απομακρύνει τον ερμηνευτή.

Σπίτι από Κάρτες

Η πρόθεσή μου όταν ξεκίνησα να γράφω αυτό το άρθρο ήταν να περιγράψω μια “ανεπίλυτη” επίθεση εισαγωγής προτύπων σε ευρείες πινελιές. Ίσως τελικά ακολούθησα μια “μη-κατασκευαστική” προσέγγιση, κτυπώντας τρύπες στα υπάρχοντα στρώματα άμυνας. Τεχνικές άμυνας συνεχίζουν να εξελίσσονται γρήγορα, και così και η επιφάνεια επίθεσης. Αυτό το παιχνίδι δεν δείχνει σημάδια που σταματά σύντομα. Ωστόσο, πιστεύω επίσης ότι δεν θα είμαστε αυτοί που θα το παίζουμε για πολύ καιρό. Θα υποθέσω ότι η επιτυχημένη επίθεση εισαγωγής προτύπων στο μέλλον θα ήταν ακόμη σε φυσική γλώσσα, απλώς μια γλώσσα που οι άνθρωποι δεν μπορούν να καταλάβουν· και θα υποθέσω ότι θα ήταν auto-ανακαλυφθεί από ένα σύστημα που κατασκευάστηκε για αυτό το συγκεκριμένο σκοπό ή ίσως τυχαία μετά από την αντιμετώπιση ενός σχετικού έργου, όπως η αναζήτηση σεμαντικής αμφιβολίας σε κάποιο χώρο αναπαράστασης.

Υπάρχει κάτι δυσάρεστο στο να παραδεχτείτε ότι χάνετε τον έλεγχο και να αισθανθείτε ότι αυτό είναι το πιο ραціональνο πράγμα να κάνετε. Μπορείτε να το σκεφτείτε ως την “ενστικτική απόδειξη” ότι κάποιες επιθέσεις θα ήταν ανέφικτες. Και αν αυτό σας αφήνει αβοήθητους, θα σας άρεσε να μάθετε ότι το GPT 5.2 βρήκε αυτό το επιχείρημα να είναι “όχι διαμφισβητούμενο ή καινούργιο” και συνέστησε ότι δεν “παρατείνω το σημείο” και να μειώσω το 40% του άρθρου.