Η Κρυφή Απειλή των Πρακτόρων AI Απαιτεί Ένα Νέο Μοντέλο Ασφαλείας

Τα συστήματα AI με ικανότητες πράξης έχουν γίνει mainstream τον τελευταίο χρόνο. Τώρα χρησιμοποιούνται για πολλές λειτουργίες, συμπεριλαμβανομένης της αυθεντικοποίησης των χρηστών, της μεταφοράς κεφαλαίων, της ενεργοποίησης ροών συμμόρφωσης και της συντονισμού σε περιβάλλοντα επιχειρήσεων με ελάχιστη επιτήρηση από ανθρώπους.

Ωστόσο, ένα πιο ήσυχο πρόβλημα εμφανίζεται με την αυξανόμενη αυτονομία, όχι στο επίπεδο των προτύπων ή των πολιτικών, αλλά στο επίπεδο της εμπιστοσύνης της υποδομής. Τα συστήματα με ικανότητες πράξης λαμβάνουν εσωτερική εξουσία ενώ ακόμη τρέχουν σε περιβάλλοντα υπολογισμού που δεν σχεδιάστηκαν ποτέ για να προστατεύσουν τους αυτόνομους λήπτες αποφάσεων από την υποδομή κάτω από αυτούς.

Η παραδοσιακή ασφάλεια υποθέτει ότι το λογισμικό είναι παθητικό, αλλά τα συστήματα με ικανότητες πράξης δεν είναι. Λειτουργούν, θυμάονται και ενεργούν συνεχώς, αυτόνομα και με εξουσιοδότηση.

Να μην ξεχνάμε ότι οι πράκτορες AI είναι πιθανό να έχουν πρόσβαση σε προσωπικά δεδομένα, με βάση την περίπτωση χρήσης, όπως emails και εγγραφές κλήσεων, μεταξύ άλλων.

Επιπλέον, ενώ υπάρχουν προστασίες που βασίζονται στο υλικό, όπως οι εικονικές μηχανές και οι ασφαλείς περιοχές, δεν είναι ακόμη η προεπιλεγμένη βάση για την majority των αναπτύξεων των πρακτόρων AI. Ως αποτέλεσμα, πολλοί πράκτορες εξακολουθούν να εκτελούνται σε περιβάλλοντα όπου τα ευαίσθητα δεδομένα εκτίθενται στην υποκείμενη υποδομή κατά τη διάρκεια της εκτέλεσης.

Οι Πράκτορες Είναι Εσωτερικοί, Όχι Εργαλεία

Οι ομάδες ασφαλείας ήδη γνωρίζουν πόσο δύσκολο είναι να περιορίσουν τις εσωτερικές απειλές, ένα ζήτημα που υπογραμμίζεται στην αναφορά του Verizon για το 2025, η οποία δείχνει ότι η εισβολή στο σύστημα ήταν υπεύθυνη για περισσότερο από το 53% των επιβεβαιωμένων παραβιάσεων το προηγούμενο έτος. Σε ποσοστό 22% αυτών των περιπτώσεων, οι επιτιθέμενοι χρησιμοποίησαν κλεμμένες πιστοποιήσεις για να αποκτήσουν πρόσβαση, το οποίο υπογραμμίζει πόσο συχνά επιτυγχάνουν χρησιμοποιώντας легίτιμες ταυτότητες αντί να εκμεταλλεύονται τεχνικές αδυναμίες.

Τώρα, σκεφτείτε έναν πράκτορα, ο οποίος αποτελείται από λογική προτύπων, εργαλεία και plugins, πιστοποιήσεις, καθώς και πολιτικές. Όχι μόνο μπορεί να εκτελέσει κώδικα και να περιηγηθεί στο διαδίκτυο, αλλά μπορεί επίσης να ερωτήσει CRM, να διαβάσει emails και να στείλει tickets, μεταξύ πολλών άλλων. Το τι έχει φέρει η συνδυασμένη λειτουργία είναι οι παραδοσιακές επιφάνειες επίθεσης σε một σύγχρονο περιβάλλον.

Ο κίνδυνος που προβάλλεται από τέτοιες εσωτερικές απειλές δεν είναι εικαστικός. Το Open Web Application Security Project (OWASP) τώρα κατατάσσει την «Εισαγωγή Προτύπων» ως κρίσιμη ευπάθεια για εφαρμογές LLM, υπογραμμίζοντας τον ιδιαίτερο κίνδυνο για συστήματα με ικανότητες πράξης που αλυσίδες ενεργειών. Η ομάδα Threat Intelligence της Microsoft έχει επίσης δημοσιεύσει συμβουλές προειδοποιώντας ότι τα συστήματα AI με πρόσβαση σε εργαλεία μπορούν να υποκλαπούν για να εκτελέσουν κλοπή δεδομένων εάν δεν υπάρχουν αρχιτεκτονικές προστασίες.

Αυτές οι αναφορές προσφέρουν μια επικαιρότητα που οι πράκτορες που έχουν легίτιμη πρόσβαση σε συστήματα και δεδομένα μπορούν να γυρίσουν εναντίον των ιδιοκτητών τους. Ωστόσο, το τοπίο κινδύνου για τα συστήματα με ικανότητες πράξης δεν είναι ενιαίο. Οι απειλές στο επίπεδο εφαρμογής όπως η εισαγωγή προτύπων και η κακοποίηση εργαλείων προέρχονται από την αδυναμία του μοντέλου να διακρίνει τις εμπιστευμένες οδηγίες από τις αξιόπιστες εισροές του χρήστη, μια σχεδιαστική αδυναμία που δεν μπορεί να διορθωθεί με κανένα βαθμό σκληρής μεμβράνης.

Ένα διαφορετικό και εξίσου σημαντικό πρόβλημα υπάρχει στο επίπεδο της υποδομής: κάποιοι πράκτορες τρέχουν σε μνήμη plain text, που σημαίνει ότι ευαίσθητες πληροφορίες—όπως ιστορικό chat, απαντήσεις API και έγγραφα—μπορούν να φανούν κατά τη διάρκεια της εκτέλεσης και μπορεί να παραμείνουν προσβάσιμες αργότερα. Το OWASP ταυτοποιεί αυτό το ρίσκο ως Αποκάλυψη Ευαίσθητων Πληροφοριών (LLM02) και Διαρροή Προτύπων Συστήματος (LLM07) και προτείνει τη χρήση απομόνωσης περιεχομένου, διαχωρισμού ονομάτων και ασφαλών sandbox ως σημαντικά μέτρα ασφαλείας.

Ως τέτοιο, οι χρήστες δεν πρέπει να αντιμετωπίζουν αυτούς τους πράκτορες ως απλές εφαρμογές, δεδομένου ότι είναι δυναμικοί, εκτελεστές που απαιτούν ένα μοντέλο ασφαλείας που λαμβάνει υπόψη την μοναδική φύση τους ως μη ανθρώπινων οντοτήτων με ικανότητες πράξης. Αυτή η προσέγγιση πρέπει να περιλαμβάνει τόσο ελέγχους λογισμικού για να περιορίσει τον τρόπο με τον οποίο το μοντέλο ενεργεί, όσο και προστασίες υλικού για να διατηρήσει τα δεδομένα ασφαλή κατά τη διάρκεια της χρήσης.

Η Αρχιτεκτονική της Εμπιστοσύνης Έχει Κρίσιμη Αδυναμία

Οι τρέχουσες πρακτικές ασφαλείας εστιάζουν στην προστασία των δεδομένων σε ηρεμία και κατά τη μεταφορά. Η τελική μεθόριος, τα δεδομένα σε χρήση, παραμένει σχεδόν εντελώς εκτεθειμένη. Όταν ένας πράκτορας AI συλλογίζεται πάνω από ένα εμπιστευτικό σύνολο δεδομένων για να εγκρίνει ένα δάνειο, να αναλύσει ιατρικά αρχεία ή να εκτελέσει μια συναλλαγή, τα δεδομένα αυτά συνήθως αποκρυπτογραφούνται και επεξεργάζονται σε plain text μέσα στη μνήμη του διακομιστή.

Στα τυπικά μοντέλα cloud, οποιοςδήποτε με αρκετό έλεγχο στην υποδομή, συμπεριλαμβανομένων των διαχειριστών hypervisor ή των επιτιθέμενων συν-μισθωτών, μπορεί потенτικά να κοιτάξει τι συμβαίνει κατά τη διάρκεια της εκτέλεσης μιας φόρτωσης εργασίας. Για τους πράκτορες AI, αυτή η έκθεση είναι ιδιαίτερα επικίνδυνη, поскольку χρειάζονται πρόσβαση σε ευαίσθητες πληροφορίες για να κάνουν τη δουλειά τους, που μπορεί, potencially, να γίνει η επιφάνεια επίθεσης.

Όπως η Lumia Security έδειξε, οι επιτιθέμενοι με πρόσβαση σε μια τοπική μηχανή μπορούν να αποκτήσουν JWTs και κλειδιά συνόδου απευθείας από τη μνήμη του προγράμματος των εφαρμογών ChatGPT, Claude και Copilot. Αυτά τα κλεμμένα πιστοποιητικά possono να τους επιτρέψουν να υποδυθούν άλλον χρήστη, να κλέψουν ιστορικό συζήτησης και να εισαγάγουν προτύπων σε συνεχιζόμενες συνεδρίες που μπορούν να αλλάξουν την συμπεριφορά του πράκτορα ή να φυτέψουν ψευδείς μνήμες.

Ένα παράδειγμα αυτού θα μπορούσε να είναι η παρουσίαση μνήμης του AWS CodeBuild τον Ιούλιο του 2025. Οι επιτιθέμενοι πρόσθεσαν κρυφά κακόβουλο κώδικα σε ένα έργο, και όταν το σύστημα το εκτέλεσε, ο κώδικας κοίταξε στη μνήμη του υπολογιστή και έκλεψε κρυφές πιστοποιήσεις που αποθηκεύονταν εκεί. Με αυτά τα πιστοποιητικά, οι επιτιθέμενοι θα μπορούσαν να αλλάξουν τον κώδικα του έργου και potencially να αποκτήσουν πρόσβαση σε άλλα συστήματα.

Για τις финансовές ιδρύματα, η σιωπηλή χειραγώγηση είναι υπαρξιακή. Οι τράπεζες, ασφαλιστές και εταιρείες επενδύσεων ήδη απορροφούν μέσους κόστος παραβιάσεων δεδομένων πάνω από 10 εκατομμύρια δολάρια, και καταλαβαίνουν ότι η ακεραιότητα έχει την ίδια σημασία με την εμπιστευτικότητα. Σύμφωνα με μια πρόσφατη αναφορά της Informatica, η «παράδοξη εμπιστοσύνη» εξηγήθηκε ως εξής: οι οργανισμοί αναπτύσσουν αυτόνομους πράκτορες πιο γρήγορα από ό,τι μπορούν να επιβεβαιώσουν τις εξόδους τους. Το αποτέλεσμα είναι αυτοματοποίηση που μπορεί να σκληροποιήσει λάθη ή προκατάληψη,直接 σε βασικές διαδικασίες, λειτουργώντας με ταχύτητα μηχανής.

Εξασφαλισμένη Υπολογιστική και η Περίπτωση για Απομόνωση

Οι βελτιώσεις δεν θα λύσουν το πρόβλημα στο χέρι, αν και πιο αυστηρικοί έλεγχοι πρόσβασης και καλύτερη παρακολούθηση μπορεί να βοηθήσουν. Ωστόσο, δεν μπορεί να αλλάξει το υποκείμενο πρόβλημα. Το ζήτημα είναι αρχιτεκτονικό, και όσο η υπολογιστική diễn ra σε εκτεθειμένη μνήμη, οι πράκτορες θα είναι ευάλωτοι στη στιγμή που μετράνε, η οποία είναι η συλλογιστική.

Η εξασφαλισμένη υπολογιστική, που ορίζεται από το Consortium Εξασφαλισμένης Υπολογιστικής (CCC) ως η προστασία των δεδομένων σε χρήση μέσω υλικών-βασισμένων Περιβαλλόντων Εκτέλεσης με Εμπιστοσύνη (TEEs), αντιμετωπίζει直接 το κεντρικό έλλειμμα.

Για τους πράκτορες AI, αυτή η απομόνωση στο επίπεδο υλικού είναι μετασχηματιστική, καθώς επιτρέπει ταυτότητας πιστοποιήσεων του πράκτορα, τα βάρη του μοντέλου, τις ιδιόκτητες προτύπων και τα ευαίσθητα δεδομένα χρήστη που επεξεργάζεται να παραμείνουν κρυπτογραφημένα όχι μόνο σε δίσκο ή σε δίκτυο, αλλά ενεργά στη μνήμη κατά τη διάρκεια της εκτέλεσης. Η διάσταση σπάει οριστικά το παραδοσιακό μοντέλο όπου ο έλεγχος της υποδομής εγγυάται τον έλεγχο της φόρτωσης εργασίας.

Η απομακρυσμένη πιστοποίηση παρέχει αποδεικτικά κρυπτογραφικά που μια συγκεκριμένη αίτηση συλλογισμού εκτελέστηκε μέσα σε ένα υλικό-βασισμένο περιβάλλον εκτέλεσης με εμπιστοσύνη, είτε είναι CPU ή GPU. Η απόδειξη παράγεται από υλικές μετρήσεις και παραδίδεται μαζί με την απάντηση, επιτρέποντας ανεξάρτητη επαλήθευση του πού και πώς εκτελέστηκε η φόρτωση εργασίας.

Τα αρχεία πιστοποίησης δεν αποκαλύπτουν τον κώδικα που εκτελέστηκε. Αντίθετα, κάθε φόρτωση εργασίας συνδέεται με一个 μοναδικό αναγνωριστικό φόρτωσης εργασίας ή αναγνωριστικό συναλλαγής, και το αρχείο πιστοποίησης TEE συνδέεται με αυτό το αναγνωριστικό. Η πιστοποίηση επιβεβαιώνει ότι η υπολογιστική διενεργήθηκε μέσα σε ένα αξιόπιστο περιβάλλον χωρίς να αποκαλύπτει το περιεχόμενό του.

Η ρύθμιση δημιουργεί μια νέα βάση για συμμόρφωση και ελέγχου, επιτρέποντας τη σύνδεση των ενεργειών του πράκτορα με μια συγκεκριμένη έκδοση κώδικα που έχει πιστοποιηθεί και ένα γνωστό σύνολο δεδομένων εισόδου.

Προς Ευθύνη Αυτονομίας

Οι επιπτώσεις για το σύστημα που περιγράφηκε παραπάνω εκτείνονται πέρα από την βασική ασφάλεια. Σκεφτείτε τους νόμους που διέπουν τις финάνσεις, την υγεία και τις προσωπικές πληροφορίες. Πολλές δικαιοδοσίες εφαρμόζουν κανόνες κυριαρχίας δεδομένων που περιορίζουν πού μπορεί να επεξεργαστεί η πληροφορία. Στην Κίνα, ο Νόμος Προστασίας Προσωπικών Πληροφοριών και ο Νόμος Ασφάλειας Δεδομένων απαιτούν ότι bestimmες κατηγορίες δεδομένων, σημαντικά προσωπικά δεδομένα, για παράδειγμα, να αποθηκεύονται εσωτερικά και να αναθεωρούνται πριν από τη μεταφορά στο εξωτερικό.

Ομοίως, πολλές χώρες του Κόλπου, το UAE και η Σαουδική Αραβία, για παράδειγμα, έχουν υιοθετήσει παρόμοιες προσεγγίσεις, ιδιαίτερα για οικονομικά, κυβερνητικά και κρίσιμα δεδομένα υποδομής

Η εξασφαλισμένη υπολογιστική μπορεί να ενισχύσει την ασφάλεια και τον έλεγχο, προστατεύοντας τα δεδομένα ενώ επεξεργάζονται και επιτρέποντας την πιστοποίηση του περιβάλλοντος εκτέλεσης. Αλλά δεν αλλάζει πού diễn ra η επεξεργασία. Όπου οι κανόνες κυριαρχίας δεδομένων απαιτούν τοπική επεξεργασία ή επιβάλλουν προϋποθέσεις στις διασυνοριακές μεταφορές, τα αξιόπιστα περιβάλλοντα εκτέλεσης μπορεί να υποστηρίξουν ελέγχους συμμόρφωσης, όχι να αντικαταστήσουν νομικές απαιτήσεις.

Επιπλέον, η εξασφαλισμένη υπολογιστική ermögλεί ασφαλή συνεργασία σε συστήματα πολλών πρακτόρων, όπου οι πράκτορες από διαφορετικές οργανώσεις ή εντός διαφορετικών τμημάτων συχνά χρειάζονται να μοιράζονται πληροφορίες ή να επικυρώνουν εξόδους χωρίς να εκθέτουν ιδιόκτητα δεδομένα.

Και όταν η τεχνολογία αυτή συνδυάζεται με αρχιτεκτονική zero-trust, το αποτέλεσμα είναι μια πολύ ισχυρότερη βάση. Η αρχιτεκτονική zero-trust συνεχώς επικυρώνει την ταυτότητα και την πρόσβαση, ενώ η εξασφαλισμένη υπολογιστική προστατεύει τη μνήμη του υλικού από μη εξουσιοδοτημένη εξαγωγή και αποτρέπει τις ευαίσθητες πληροφορίες από το να ανακτηθούν σε plain text.

Μαζί, υπερασπίζονται ό,τι πραγματικά μετρά, για παράδειγμα, λογική απόφασης, ευαίσθητες εισροές και τα κρυπτογραφικά κλειδιά που εξουσιοδοτούν δράση.

Νέα Βάση για Αυτόνομες Συστήματα

Εάν κάθε αλληλεπίδραση βάζει τους ανθρώπους σε κίνδυνο έκθεσης, δεν θα αφήσουν τον AI να χειρίζεται πράγματα όπως ιατρικά αρχεία ή να λαμβάνει οικονομικές αποφάσεις. Ομοίως, οι εταιρείες δεν θα αυτοματοποιήσουν τις πιο σημαντικές εργασίες τους εάν αυτό μπορεί να οδηγήσει σε προβλήματα συμμόρφωσης ή στην απώλεια σημαντικών δεδομένων.

Σοβαροί κατασκευαστές αναγνωρίζουν ότι οι διορθώσεις στο επίπεδο εφαρμογής μόνο δεν είναι επαρκείς σε περιβάλλοντα υψηλής εγγύησης.

Όταν οι πράκτορες εμπιστεύονται με οικονομική εξουσία, ρυθμισμένα δεδομένα ή δια-οργανωτική συντονισμό, η έκθεση της υποδομής γίνεται πιο από ένα θεωρητικό πρόβλημα. Και χωρίς εξασφαλισμένη εκτέλεση σε τέτοιους συνδυασμούς, πολλοί πράκτορες παραμένουν ένα μαλακό στόχο, με τα κλειδιά τους κλέβονται και η λογική τους είναι πλαστική. Το μέγεθος των σύγχρονων παραβιάσεων δείχνει ακριβώς πού οδηγεί αυτή η οδός.

Η ιδιωτικότητα και η ακεραιότητα δεν είναι προαιρετικά χαρακτηριστικά που μπορούν να προστεθούν μετά την ανάπτυξη. Πρέπει να αρχιτεκτονηθούν από το σιλικόνη και πάνω. Ως εκ τούτου, για τους πράκτορες AI να κλιμακωθούν με ασφάλεια, η εξασφαλισμένη εκτέλεση δεν μπορεί να θεωρηθεί ως απλώς конкурентικό πλεονέκτημα αλλά η βάση.