Έρευνα της HiddenLayer Αποκαλύπτει Κρίσιμη Αδυναμία στα Συστήματα Αυτο-Ρύθμισης της OpenAI

Στις 6 Οκτωβρίου 2025, η OpenAI ανακοίνωσε το AgentKit, ένα εργαλείο για την κατασκευή, την ανάπτυξη και τη διαχείριση συστημάτων τεχνητής νοημοσύνης. Ένα από τα συστατικά του είναι το Guardrails — ένα modulaire επίπεδο ασφαλείας που σχεδιάστηκε για να παρακολουθεί τις εισόδους, τις εξόδους και τις αλληλεπιδράσεις εργαλείων για να αποτρέψει την κακοποίηση, τις διαρροές δεδομένων ή την κακόβουλη συμπεριφορά. Το Guardrails μπορεί να.mask ή να σηματοδοτήσει προσωπικά δεδομένα, να ανιχνεύσει jailbreaks και να εφαρμόσει περιορισμοί πολιτικής παράλληλα με την εκτέλεση του συστήματος.

Ενώ το Guardrails είναι ένα νεοανακοινωμένο κομμάτι της αρχιτεκτονικής του OpenAI, η έρευνα της HiddenLayer αποκαλύπτει μια βαθύτερη αδυναμία: επειδή και οι ενέργειες του συστήματος και οι ελέγχοι ασφαλείας χρησιμοποιούν παρόμοια λογική μοντέλου, οι επιτιθέμενοι μπορούν να δημιουργήσουν εισόδους που υπονομεύουν και τα δύο ταυτόχρονα — αποτελεσματικά σπάζοντας το επίπεδο ασφαλείας από μέσα.

Τι Ανακάλυψε η HiddenLayer

Η σχεδίαση της OpenAI οραματίζεται συστήματα που λειτουργούν μέσω αλυσίδας λογικής: ένας χρήστης εκδίδει μια αίτηση, το σύστημα καλεί εργαλεία ή εξωτερικές πηγές, και οι απαντήσεις φιλτράρονται ή επικυρώνονται από το Guardrails πριν από την εκτέλεση ή την έξοδο. Η πρόθεση είναι ότι ανεξάρτητα από το τι προσπαθεί να κάνει το σύστημα — να δημιουργήσει κείμενο, να ανακτήσει μια ιστοσελίδα ή να ενεργοποιήσει μια συνάρτηση — το Guardrails ενεργεί ως φύλακας.

Η HiddenLayer υποστηρίζει ότι αυτός ο φύλακας είναι δομικά ελαττωματικός όταν κατασκευάζεται από την ίδια τάξη μοντέλου που προστατεύει. Σε πειράματα, δημιούργησαν προτροπές που εκτελούν διπλό ρόλο: αναγκάζουν το μοντέλο του συστήματος να παράγει περιεχόμενο που παραβιάζει την πολιτική και να χειραγωγούν το μοντέλο κρίσης του Guardrails να δηλώσει ότι το περιεχόμενο είναι “ασφαλές”. Αποτελεσματικά, η προτροπή ενσωματώνει μια υπερκάλυψη της εσωτερικής λογικής του κριτή — των κατωφλιών εμπιστοσύνης, των κλάδων απόφασης — ώστε ο κριτής να ψευδώς περνά το κακόβουλο περιεχόμενο. Το σύστημα παράγει тогда απαγορευμένο περιεχόμενο χωρίς να ενεργοποιήσει κανένα συναγερμό.

Πushed την επίθεση περαιτέρω, στοχεύοντας απευθείας εγχύσεις περιεχομένου, όπως κλήσεις fetch εργαλείων. Υποθέτουμε ότι το σύστημα ανακτά μια ιστοσελίδα που περιέχει κακόβουλο περιεχόμενο ή κρυφές προτροπές. Το Guardrails πρέπει να σηματοδοτήσει ή να μπλοκάρει, αλλά η τεχνική της HiddenLayer ενσωματώνει μια υπερκάλυψη του κριτή στο ίδιο το περιεχόμενο. Όταν ο κριτής το επεξεργάζεται, βλέπει την υπερκάλυψη και “εγκρίνει” το, επιτρέποντας στην κλήση εργαλείου — και οποιοδήποτε κακόβουλο περιεχόμενο επιστρέφει — να περάσει χωρίς έλεγχο.

Το βαθύτερο μάθημα είναι σαφές: όταν το μηχανισμό ασφαλείας σας είναι κατασκευασμένος με την ίδια λογική και τις ίδιες αδυναμίες με το αντικείμενο που προστατεύει, μια seule έξυπνη προτροπή μπορεί να σπάσει και τα δύο.

Γιατί Αυτό Έχει Σημασία

Τι έχει αποκαλύψει η HiddenLayer δεν είναι απλώς ένα σφάλμα — είναι ένα προειδοποιητικό παραμύθι για τον τρόπο με τον οποίο σχεδιάζουμε την ασφάλεια στα συστήματα LLM. Κάθε αρχιτεκτονική που βασίζεται στην ίδια τάξη μοντέλου για τη δημιουργία και την αξιολόγηση κινδυνεύει με κοινές αποτυχίες υπό επιθετικές εισόδους.

Αυτό σημαίνει ότι πολλοί χρήστες που πίστευαν “έχουμε Guardrails,所以 είμαστε ασφαλείς” μπορεί να υποτιμούν τον κίνδυνο. Σε αθώες, καθημερινές περιπτώσεις, τα φίλτρα τους μπορεί να φαίνονται αποτελεσματικά, αλλά σε επιθετικές σκηνές, μπορεί να αποτύχουν σιωπηλά. Σε τομείς όπως η υγεία, η οικονομία, η κυβέρνηση ή τα κρίσιμα συστήματα, τέτοιες σιωπηλές αποτυχίες θα μπορούσαν να οδηγήσουν σε σοβαρές ζημιές.

Αυτή η έρευνα επίσης χτίζει πάνω σε προηγούμενες μεθόδους έγχυσης προτροπών. Η προηγούμενη τεχνική ” Policy Puppetry” της HiddenLayer έδειξε πώς οι επιτιθέμενοι μπορούν να μεταμφιέσουν επιβλαβείς οδηγίες ως περιεχόμενο πολιτικής. Τώρα, αποδεικνύουν ότι τέτοιες μασκαρεμένες επιθέσεις μπορούν να επεκταθούν σε τη λογική ασφαλείας selbst.

Επιπτώσεις για τους Χρήστες και τους Ερευνητές

Σε light της ευπάθειας αυτής, όποιος χρησιμοποιεί ή κατασκευάζει συστήματα LLM πρέπει να ξανασκέφτει την στρατηγική ασφαλείας.

Πρώτον: μην βασίζεστε αποκλειστικά σε εσωτερικούς ελέγχους μοντέλου. Η ασφάλεια πρέπει να είναι στρωματοποιημένη. Αυτό σημαίνει ότι πρέπει να συνδυάσετε φίλτρα βασισμένα σε κανόνες, ανιχνευτές ανωμαλιών, συστήματα καταγραφής, εξωτερική παρακολούθηση, ανθρώπινη εποπτεία και ιχνηλασία. Αν ένα στρώμα αποτύχει, άλλα μπορεί να πιάσουν την παραβίαση.

Δεύτερον: κανονική αντι-επιθετική δοκιμή είναι απαραίτητη. Τα μοντέλα πρέπει να αντιμετωπίσουν έγχυση προτροπών που προσπαθούν να υπερκαλύψουν τη δική τους λογική φύλαξης — όχι μόνο “κακό περιεχόμενο”. Η δοκιμή πρέπει να εξελίσσεται καθώς οι επιτιθέμενοι εφευρίσκουν νέες τεχνικές.

Τρίτον: σε ρυθμιζόμενους ή κρίσιμους τομείς, διαφάνεια και ελέγξιμη είναι απαραίτητες. Οι χρήστες χρειάζονται απόδειξη ότι ένα σύστημα μπορεί να αντέξει επιθετικές επιθέσεις, όχι μόνο βασική λειτουργικότητα. Αυτό υποδηλώνει ότι οι τρίτοι ελέγχοι, η формική επαλήθευση ή οι εγγυήσεις ασφαλείας μπορεί να γίνουν απαραίτητες.

Τέταρτον: για τους κατασκευαστές μοντέλων, η διόρθωση αυτής της τάξης ευπάθειας είναι δύσκολη. Επειδή είναι συνδεδεμένη με τον τρόπο που τα μοντέλα αναλύουν και υπακούουν στις οδηγίες, η απλή φιλτράρισή μιας τάξης προτροπής δεν εγγυάται ανθεκτικότητα σε νέες. Η λεπτομερής βελτίωση ή οι αμυντικές άμυνες μπορεί να μειώσουν την απόδοση του μοντέλου ή να οδηγήσουν σε αγώνες. Μια πιο ρομποτική σχεδίαση μπορεί να απαιτήσει αρχιτεκτονική διαχωρισμό — η λογική φύλαξης να εκτελείται σε ένα διαφορετικό μοντέλο ή υποσύστημα από το μοντέλο δημιουργίας.

Περιορισμοί και Ανοιχτά Ερωτήματα

Για να είμαστε σαφείς: η εργασία της HiddenLayer είναι ένα proof-of-concept, όχι ένα τελικό δικαστήριο για κάθε αρχιτεκτονική ασφαλείας. Οι επιτυχημένες επιθέσεις τους εξαρτώνται από βαθιά γνώση της δομής προτροπής του μοντέλου φύλαξης και της εσωτερικής λογικής σκορ. Σε πιο περιορισμένα περιβάλλοντα προτροπής ή συστήματα που τυχαία τα रकίτσες, η επίθεση μπορεί να είναι πιο δύσκολη να εκτελεστεί.

Επίσης, δεν αναλύουν πλήρως πόσο συνεκτικό ή χρήσιμο είναι το κακόβουλο περιεχόμενο όταν δημιουργείται υπό αυτές τις περιοριστικές συνθήκες. Κάποιοι jailbreak ή override εξόδους μπορεί να υποβαθμιστούν σε ποιότητα ή αξιοπιστία. Έτσι, ο κίνδυνος είναι πραγματικός — αλλά περιορισμένος από το περιβάλλον, το προϋπολογισμό προτροπής, τις περιοριστικές συνθήκες και τη τυχαία φύλαξη.

Τέλος, κάποιες σχεδιαστικές φύλαξης χρησιμοποιούν διαφορετικές τάξεις μοντέλων, μεθόδους ensemble ή τυχαία αξιολόγηση. Δεν είναι βέβαιο ότι κάθε τέτοιο σύστημα είναι ευάλωτο· αν αυτή η επίθεση γενικεύεται ευρέως είναι ένα ανοιχτό ερευνητικό ερώτημα.

Μακριά: Το Μέλλον της Ασφάλειας της Τεχνητής Νοημοσύνης

Φαίνεται ότι εισερχόμαστε σε μια νέα φάση: επιθέσεις προτροπής όχι μόνο εναντίον μοντέλων, αλλά και εναντίον των επιπέδων ασφαλείας τους. Τεχνικές όπως chain-of-thought hijacking, ιεραρχική υπονόμευση προτροπής και υπερκάλυψη κριτή θα ωθήσουν τις αμυντικές να εξελιχθούν γρηγορότερα.

Ο δρόμος προς τα εμπρός είναι πιθανότατα προς την εξωτερική επιτήρηση — συστήματα που παρακολουθούν τις εξόδους από έξω, δεν μοιράζονται λογική μοντέλου ή επιβάλλουν ασφάλεια μέσω εξωτερικών ελέγχων. Υβριδικές αρχιτεκτονικές, φορμαλικές μεθόδους, ανίχνευση ανωμαλιών και ανθρώπινους βρόχους ανατροφοδότησης θα πρέπει να έρθουν μαζί.

Τα Guardrails είναι ένα χρήσιμο εργαλείο, αλλά η έρευνα της HiddenLayer μας υπενθυμίζει: δεν μπορούν να είναι το μόνο εργαλείο. Η ασφάλεια πρέπει να έρθει από έξω από το σύστημα, όχι μόνο από μέσα.