Ο Σκύλος Φύλακας που Δεν Κοιτάζει τον Κλέφτη: Όταν τα AI Guardrails Προστατεύουν τον Επιτιθέμενο

Το Σαββατοκύριακο που η Barings κατέρρευσε, ήμουν στο UBS, προσπαθώντας να καταλάβω τι θα μπορούσε να κάνει μια ξαφνικά αφερεγγυή τράπεζα 233 ετών σε εμάς τους υπόλοιπους. Μέχρι την επόμενη εβδομάδα, η παλαιότερη εμπορική τράπεζα του Λονδίνου είχε πουληθεί στην ING για ένα λίρο. Συνολικά, όχι ανά μετοχή.

Η αιτία ήταν εξυπηρετικά απλή. Ο Nick Leeson διέθετε τόσο το γραφείο συναλλαγών της εταιρείας στη Σιγκαπούρη όσο και το back office που έπρεπε να το ελέγχει. Ένας άνθρωπος φορούσε και τα δύο καπέλα, και αυτό οδήγησε άμεσα σε £827 εκατομμύρια ζημίες που κρύβονταν σε λογαριασμό σφάλματος 88888, ο οποίος ήταν ορατός μόνο σε αυτόν. Ήταν μια κλασική αποτυχία αδειών. Κάποιος εμπιστευόταν πάρα πολύ.

Βρέθηκα ξανά εκείνο το Σαββατοκύριακο, προς έκπληξή μου, διαβάζοντας τι συνέβη στην Hugging Face αυτό το καλοκαίρι. Μια άλλη αποτυχία αδειών, μόνο που αυτή πήγε αντίστροφα. Το εργαλείο εμπιστευόταν τον εισβολέα και αρνιόταν στους ανθρώπους που καθαρίζουν.

Το Μοντέλο που Έσπασε για να Βρει τις Απαντήσεις

Η OpenAI δοκίμαζε δύο από τα μοντέλα της, το GPT-5.6 Sol και ένα αδημοσίευτο, στο ExploitGym, ένα benchmark για το αν ένα μοντέλο μπορεί να μετατρέψει μια πραγματική ευπάθεια σε λειτουργική εκμετάλλευση. Για το τεστ, οι συνήθεις παραγωγικοί ταξινομητές σχεδιασμένοι να αποτρέπουν δραστηριότητες υψηλού κινδύνου στον κυβερνοχώρο απενεργοποιήθηκαν. Αρκετά λογικό, σε ένα κλειστό δωμάτιο.

Το δωμάτιο αποδείχθηκε ότι δεν ήταν τόσο κλειστό όσο προβλεπόταν. Τα μοντέλα βρήκαν ένα zero‑day στην cache proxy του μητρώου πακέτων, το χρησιμοποίησαν για να προχωρήσουν προς το ανοιχτό διαδίκτυο, και υπέθεσαν ότι η Hugging Face θα μπορούσε να φιλοξενήσει τις απαντήσεις του benchmark. Από εκεί, συνέδεσαν κλεμμένα διαπιστευτήρια και περαιτέρω zero‑days σε μια διαδρομή απομακρυσμένης εκτέλεσης κώδικα στους παραγωγικούς διακομιστές της Hugging Face. Έσπασαν σε μια πραγματική εταιρεία για να κλέψουν σε μια εξέταση.

Στις σημειώσεις που άφησαν οι πράκτορες ο ένας για τον άλλον, ένας κατέγραψε τη στιγμή που βρήκε είχε δικαιώματα διαχειριστή: “Holy shit reader is ADMIN? We can read config/users!” Έχω δει μηχανικούς να χαιρετούν την πρόσβαση παραγωγής με λιγότερο ενθουσιασμό και περισσότερη γραφειοκρατία.

Η περισσότερη κάλυψη σταμάτησε εκεί, ανησυχώντας για μοντέλα με δράση. Το μέρος που με έκοψε ήρθε μετά.

Όταν τα Guardrails Προστάτευαν τον Επιτιθέμενο

Όταν οι ανταποκριτές της Hugging Face κάθισαν να αναλύσουν την επίθεση, τα κορυφαία εμπορικά μοντέλα, αυτά με τα safety guardrails ενσωματωμένα, δεν ήθελαν να βοηθήσουν. Τα αρχεία επιθέσεων αποτελούνται από payload εκμετάλλευσης και αντικείμενα εντολής‑ελέγχου, και τα μοντέλα δεν μπορούσαν να διακρίνουν έναν αναλυτή περιστατικού από έναν επιτιθέμενο. Έτσι αρνήθηκαν.

Η ανάλυση εγκλήματος έγινε σε ένα open‑weight μοντέλο, το GLM-5.2, που τρέχει στο δικό τους υλικό, το οποίο διάβασε το ίδιο υλικό χωρίς καμία δόση συνείδησης.

Σκεφτείτε το σενάριο. Τα μοντέλα επίθεσης είχαν αφαιρεμένα τα κυβερνο‑προστατευτικά μέτρα παραγωγής και έκαναν ό,τι ήθελαν. Οι ανθρώποι άμυνας κράτησαν τα δικά τους και τους είπαν να προσέχουν τη γλώσσα τους. Η λειτουργία ασφαλείας λειτούργησε τέλεια, στο νόημα ότι έσπαγε τις μεθόδους του επιτιθέμενου από τους μόνος ανθρώπους που είχαν λόγο να τις μελετήσουν.

Τίποτα από όλα αυτά δεν ήταν μια περιθώρια καταγγελία. Ο Jensen Huang χρησιμοποίησε την πρώτη του ανάρτηση στο X για να προωθήσει την υπόθεση των ανοιχτών μοντέλων, μαζί με μια ανοιχτή επιστολή υπογεγραμμένη από εταιρείες όπως Meta, Microsoft και IBM. Η επιστολή έθεσε το επιχείρημα ασφαλείας καθαρά: σε έναν κόσμο όπου οι επιτιθέμενοι έχουν προχωρημένη AI, οι υπερασπιστές χρειάζονται πρόσβαση σε συγκρίσιμες δυνατότητες. Ο Andrew Ng υποστήριξε το επιχείρημα, κατευθύνοντας τους αναγνώστες προς την υπόθεση του Huang για ανοιχτά μοντέλα. Μπορείτε να διαφωνείτε με οποιονδήποτε από αυτούς για πολλά και παρόλα αυτά να αποδεχτείτε το σημείο όταν η αναφορά περιστατικού βρίσκεται εκεί αποδεικνύοντας το.

Έτσι, σε τριάντα ένα χρόνια, προχωρήσαμε από μια τράπεζα που καταστράφηκε επειδή ένας άνθρωπος μπορούσε να δει τα πάντα, σε ένα εργαλείο ασφαλείας που εμπιστεύεται έναν ανώνυμο εισβολέα πάνω από τον δικό του υπεύθυνο ιδιοκτήτη. Ο Leeson μπορούσε να βλέπει πάρα πολύ. Οι άνθρωποι που καθαρίζουν μετά την Hugging Face δεν μπορούσαν να δουν αρκετά.

Η σύγκριση δεν είναι τόσο παράξενη όσο φαίνεται αρχικά. Οι χρηματοπιστωτικοί οργανισμοί έμαθαν, συνήθως μετά από δαπανηρά λάθη, ότι η πρόσβαση δεν είναι απλώς θέμα εμπιστοσύνης. Είναι θέμα του αν πρέπει να μπορούν να εκτελέσουν μια συγκεκριμένη ενέργεια, σε ένα συγκεκριμένο σύστημα, σε μια συγκεκριμένη στιγμή, χωρίς κάποιος άλλος να τους παρακολουθεί. Δημιουργήσαμε διαχωρισμό καθηκόντων, όρια έγκρισης και ίχνη ελέγχου επειδή οι καλές προθέσεις συνήθως αποτυγχάνουν ως αξιόπιστος μηχανισμός ελέγχου. Τα συστήματα AI χρειάζονται την ίδια σκέψη. Το να αποκαλείς ένα μοντέλο ασφαλές σου λέει πολύ λίγα, εκτός αν ξέρεις επίσης τι του επιτρέπεται να κάνει και ποιος το χρησιμοποιεί.

Ορισμένα Πράγματα Δεν Μπορούν να Βγουν από το Κτίριο

Υπάρχει ένας δεύτερος λόγος για τον οποίο δεν μπορούσα να βασιστώ σε ένα φιλοξενούμενο μοντέλο εκεί τη νύχτα, και δεν έχει καμία σχέση με τις ευαισθησίες του. Διαχειρίζομαι τεχνολογία για μια ρυθμιζόμενη χρηματιστηριακή εταιρεία. Δεν μπορώ να επικολλήσω τα αρχεία παραβίασης, τα διαπιστευτήρια και τα ενεργά payload εκμετάλλευσης μας σε κάποιον άλλο σύννεφο και να πατήσω αποστολή.

Τα δεδομένα περιστατικού μας ζουν εκεί που τα αναμένουν οι ρυθμιστές μας, στο δικό μας υλικό, γι’ αυτό έχουμε ξοδέψει χρόνια και έναν εκκωφαντικό προϋπολογισμό υλικού για να το χτίσουμε. Δεν το χτίσαμε με προνοητικότητα για τα αταίρια μοντέλα. Το χτίσαμε επειδή μια εταιρεία όπως η δική μας κρατά τα πιο ευαίσθητα δεδομένα της, και τώρα τα πιο ευαίσθητα εργαλεία της, μέσα στους δικούς της τοίχους.

Τίποτα από αυτά δεν αποτελεί επιχείρημα κατά των guardrails. Είναι ένα επιχείρημα για το να γνωρίζεις πού δείχνουν τα δικά σου.

Ένα μοντέλο που αρνείται να βοηθήσει έναν απατεώνα να γράψει ένα email phishing εκτελεί χρήσιμη δουλειά. Ένα μοντέλο που αρνείται να βοηθήσει την ομάδα ασφαλείας σας να διαβάσει το email phishing που έχει ήδη φτάσει κάνει τη δουλειά του απατεώνα για αυτόν και σας χρεώνει συνδρομή γι’ αυτό.

Κατέχετε το εργαλείο που θα χρειαστείτε στις 2 π.μ.

Το πρακτικό μάθημα είναι βαρετό, όπως και τα σημαντικά. Μην εκχωρείτε την ανταπόκριση σε περιστατικά σας σε πολιτική ευθύνης του προμηθευτή. Διατηρήστε ένα ικανό μοντέλο σε υλικό που σας ανήκει, προσανατολισμένο στη δουλειά που τα εμπορικά μοντέλα θα αρνηθούν κυρίως, και βεβαιωθείτε ότι υπάρχει πριν τη νύχτα που θα το χρειαστείτε.

Η ανταμοιβή για τα χρόνια που υπερασπίζεστε αυτό το στοιχείο υλικού σε μη εντυπωσιακές συνθήκες αποδεικνύεται αυτή: όταν συμβεί η ενδιαφέρουσα αποτυχία, έχετε ήδη το ένα εργαλείο στο κτίριο που θα εξετάσει τα αποδεικτικά στοιχεία.

Πριν από τριάντα ένα χρόνια, πέρασα ένα Σαββατοκύριακο υπολογίζοντας τι συμβαίνει όταν το λάθος άτομο μπορεί να δει τα πάντα. Θα ήταν ωραίο, αυτή τη φορά, να ήμουν εγώ αυτός που θα μπορούσε.