Η Κρυφή Απειλή των Πρακτόρων AI Απαιτεί Ένα Νέο Μοντέλο Ασφαλείας

Οι συστήματα AI με ιδιότητα έχουν γίνει mainstream τα τελευταία χρόνια. Χρησιμοποιούνται για διάφορες λειτουργίες, όπως η αυθεντικοποίηση χρηστών, η μεταφορά κεφαλαίων, η ενεργοποίηση εργασιών συμμόρφωσης και η συντονισμός σε περιβάλλοντα επιχείρησης με ελάχιστη επιτήρηση ανθρώπων.

Ωστόσο, ένα σιωπηρό πρόβλημα εμφανίζεται με την αυξανόμενη αυτονομία, όχι στο επίπεδο των προτύπων ή των πολιτικών, αλλά στο επίπεδο της υποδομής εμπιστοσύνης. Τα συστήματα με ιδιότητα έχουν χορηγηθεί εξουσιοδότηση εσωτερικού ενώ vẫn τρέχουν σε περιβάλλοντα υπολογισμού που δεν σχεδιάστηκαν ποτέ για να προστατεύσουν τους αυτόνομους λήπτες αποφάσεων από την υποδομή κάτω από αυτούς.

Η παραδοσιακή ασφάλεια υποθέτει ότι το λογισμικό είναι παθητικό, αλλά τα συστήματα με ιδιότητα δεν είναι. Λειτουργούν, θυμόντου και ενεργούν συνεχώς, αυτόνομα και με εξουσιοδότηση.

Не να ξεχάσουμε ότι οι πράκτορες AI είναι πιθανό να έχουν πρόσβαση σε προσωπικά δεδομένα, με βάση την περίπτωση χρήσης, όπως emails και καταγραφές κλήσεων, μεταξύ άλλων.

Επιπλέον, ενώ υπάρχουν υλικο-βασισμένες προστασίες, όπως εικονικές μηχανές και ασφαλείς κλειδοθήκες, δεν είναι ακόμη η προεπιλεγμένη βάση για την majority των αναπτύξεων AI με ιδιότητα. Ως αποτέλεσμα, πολλοί πράκτορες εξακολουθούν να εκτελούνται σε περιβάλλοντα όπου τα ευαίσθητα δεδομένα εκτίθενται στην υποδομή κατά τη διάρκεια της εκτέλεσης.

Οι Πράκτορες Είναι Εσωτερικοί, Όχι Εργαλεία

Οι ομάδες ασφαλείας ήδη γνωρίζουν πόσο δύσκολο είναι να περιορίσουν τις εσωτερικές απειλές, ένα ζήτημα που υπογραμμίζεται στην έκθεση Verizon του 2025 για τις παραβιάσεις δεδομένων, η οποία δείχνει ότι η εισβολή συστήματος ήταν υπεύθυνη για περισσότερο από το 53% των επιβεβαιωμένων παραβιάσεων του προηγούμενου έτους. Σε ποσοστό 22% αυτών των περιπτώσεων, οι επιτιθέμενοι χρησιμοποίησαν κλεμμένα διαπιστευτήρια για να αποκτήσουν πρόσβαση, το οποίο υπογραμμίζει πόσο συχνά επιτύγχαναν χρησιμοποιώντας έγκυρες ταυτότητες αντί να εκμεταλλεύονται τεχνικές αδυναμίες.

Τώρα, σκεφτείτε έναν πράκτορα, ο οποίος αποτελείται από λογική προτύπων, εργαλεία και συνδέσμους, διαπιστευτήρια, καθώς και πολιτικές. Όχι μόνο μπορεί να εκτελέσει κώδικα και να περιηγηθεί στο διαδίκτυο, αλλά μπορεί επίσης να ερωτήσει CRM, να διαβάσει emails και να推 tickets, μεταξύ πολλών άλλων. Το συνδυασμό των λειτουργιών έχει φέρει παραδοσιακές επιφάνειες επίθεσης σε ένα σύγχρονο περιβάλλον.

Ο κίνδυνος που αντιπροσωπεύει τέτοιες εσωτερικές απειλές δεν είναι εικαστικός. Το Open Web Application Security Project (OWASP) τώρα καταγράφει την “Εισαγωγή Προτύπων” ως κρίσιμη ευπάθεια για εφαρμογές LLM, σημειώνοντας τον ιδιαίτερο κίνδυνο για συστήματα με ιδιότητα που αλυσίδες ενεργειών. Η ομάδα Thông Tin Διαβίβασης της Microsoft έχει επίσης δημοσιεύσει συμβουλές που προειδοποιούν ότι τα συστήματα AI με πρόσβαση σε εργαλεία possono να υποκλαπεί για να εκτελέσουν κλοπή δεδομένων εάν δεν υπάρχουν αρχιτεκτονικές προστασίες.

Αυτές οι αναφορές προσφέρουν μια επίκαιρη υπενθύμιση ότι οι πράκτορες που έχουν έγκυρη πρόσβαση σε συστήματα και δεδομένα possono να γυρίσουν εναντίον των ιδιοκτητών τους. Ωστόσο, το τοπίο κινδύνου για συστήματα με ιδιότητα δεν είναι ενιαίο. Οι απειλές στο επίπεδο εφαρμογής όπως η εισαγωγή προτύπων και η κακοποίηση εργαλείων προέρχονται από την αδυναμία του μοντέλου να διακρίνει έγκυρες οδηγίες από μη έγκυρη εισαγωγή χρήστη, μια σχεδιαστική αδυναμία που δεν μπορεί να διορθωθεί με κανένα επίπεδο σκληρής ασφάλειας.

Ένα διαφορετικό και εξίσου σημαντικό πρόβλημα υπάρχει στο επίπεδο υποδομής: ορισμένοι πράκτορες τρέχουν σε μνήμη κρυπτογράφησης, που σημαίνει ότι ευαίσθητες πληροφορίες – όπως ιστορικό συνομιλιών, απαντήσεις API και έγγραφα – possono να δουν ενώ επεξεργάζονται και μπορεί να παραμείνουν προσβάσιμες αργότερα. Το OWASP ταυτοποιεί αυτό το κίνδυνο ως Αποκάλυψη Ευαίσθητων Πληροφοριών (LLM02) και Συσσώρευση Προτύπων Συστήματος (LLM07) και προτείνει τη χρήση απομόνωσης περιεχομένου, διαχωρισμού ονομάτων και ασφαλή μνήμης ως σημαντικά μέτρα ασφαλείας.

Ως τέτοιο, οι χρήστες δεν πρέπει να αντιμετωπίζουν αυτούς τους πράκτορες ως απλά εφαρμογές, δεδομένου ότι είναι δυναμικοί, εκτελεστές που απαιτούν ένα μοντέλο ασφαλείας που λαμβάνει υπόψη την μοναδική φύση τους ως μη ανθρώπινων οντοτήτων με ιδιότητα. Αυτή η προσέγγιση πρέπει να περιλαμβάνει τόσο ελέγχους λογισμικού για να περιορίσει τον τρόπο με τον οποίο το μοντέλο ενεργεί και υλικές προστασίες για να διατηρήσει τα δεδομένα ασφαλή κατά τη χρήση τους.

Η Αρχιτεκτονική της Εμπιστοσύνης Έχει Κρίσιμη Αδυναμία

Οι τρέχουσες πρακτικές ασφαλείας εστιάζουν στην προστασία δεδομένων σε ηρεμία και μεταφορά. Η τελική μετώπη, τα δεδομένα σε χρήση, παραμένουν几乎 εντελώς εκτεθειμένα. Όταν ένας πράκτορας AI συλλογίζεται πάνω από ένα εμπιστευτικό σύνολο δεδομένων για να εγκρίνει ένα δάνειο, να αναλύσει ιατρικά αρχεία ή να εκτελέσει μια συναλλαγή, τα δεδομένα είναι συνήθως αποκρυπτογραφημένα και επεξεργάζονται σε κρυφό κείμενο μέσα στη μνήμη του διακομιστή.

Στα τυπικά μοντέλα cloud, όποιος έχει επαρκή έλεγχο над την υποδομή, συμπεριλαμβανομένων διαχειριστών hypervisor ή επιτιθέμενων συν-μισθωτών, μπορεί потенτικά να κοιτάξει τι συμβαίνει ενώ μια φόρτωση εκτελείται. Για τους πράκτορες AI, αυτή η έκθεση είναι ιδιαίτερα επικίνδυνη,既然 ότι χρειάζονται πρόσβαση σε ευαίσθητες πληροφορίες για να κάνουν τη δουλειά τους, η οποία μπορεί να γίνει η επιφάνεια επίθεσης.

Όπως η Lumia Security δήλωσε, οι επιτιθέμενοι με πρόσβαση σε μια τοπική μηχανή possono να αποκτήσουν JWTs και κλειδιά συνόδου απευθείας από τη μνήμη διαδικασίας των εφαρμογών ChatGPT, Claude και Copilot. Αυτά τα κλεμμένα διαπιστευτήρια possono να τους επιτρέψουν να υποδυθούν άλλον χρήστη, να κλέψουν ιστορικό συνομιλιών και να εισαγάγουν προτύπων σε συνεχιζόμενες συνόδους που possono να αλλάξουν τη συμπεριφορά του πράκτορα ή να φυτέψουν ψευδείς μνήμες.

Ένα παράδειγμα αυτού μπορεί να είναι η υπόθεση της AWS CodeBuild, η οποία είχε μια υπόθεση απορρύπανσης μνήμης τον Ιούλιο του 2025. Οι επιτιθέμενοι πρόσθεσαν κρυφά κακόβουλο κώδικα σε ένα έργο και όταν το σύστημα το εκτέλεσε, ο κώδικας κοίταξε στη μνήμη του υπολογιστή και έκλεψε κρυφά διαπιστευτήρια που αποθηκεύονταν εκεί. Με αυτά τα διαπιστευτήρια, οι επιτιθέμενοι μπορούσαν να αλλάξουν τον κώδικα του έργου και να αποκτήσουν πρόσβαση σε άλλα συστήματα.

Για τις χρηματοοικονομικές ιδρύματα, η σιωπηλή χειραγώγηση είναι υπαρξιακή. Οι τράπεζες, οι ασφαλιστές και οι επενδυτές ήδη απορροφούν μέσους κόστους παραβιάσεων δεδομένων πάνω από 10 εκατομμύρια δολάρια και κατανοούν ότι η ακεραιότητα έχει την ίδια σημασία με την εμπιστευτικότητα. Σύμφωνα με μια πρόσφατη έκθεση της Informatica, η “παράδοξη εμπιστοσύνης” εξηγείται ως εξής: οι οργανισμοί αναπτύσσουν αυτόνομους πράκτορες πιο γρήγορα από ό,τι possono να ελέγξουν τις εξόδους τους. Το αποτέλεσμα είναι η αυτοματοποίηση που μπορεί να σκληροποιήσει λάθη ή προκατάληψη, přímo στο πυρήνα των διαδικασιών, λειτουργώντας με ταχύτητα μηχανής.

Η Υπολογιστική Εμπιστευτικότητα και η Περίπτωση της Απομόνωσης

Οι επιδιορθώσεις που γίνονται σταδιακά δεν θα λύσουν το πρόβλημα.尽管 πιο αυστηροί έλεγχοι πρόσβασης και καλύτερη παρακολούθηση μπορεί να βοηθήσουν, δεν μπορεί να αλλάξουν το υποκείμενο πρόβλημα. Το ζήτημα είναι αρχιτεκτονικό και όσο η υπολογιστική διαδικασία συμβαίνει σε εκτεθειμένη μνήμη, οι πράκτορες θα είναι ευάλωτοι στο σημείο που matters περισσότερο, που είναι η συλλογιστική.

Η υπολογιστική εμπιστευτικότητα, όπως ορίζεται από το Consortium της Υπολογιστικής Εμπιστευτικότητας (CCC) ως η προστασία δεδομένων σε χρήση μέσω υλικο-βασισμένων Περιβαλλόντων Εκτέλεσης Εμπιστευτικών (TEEs), αντιμετωπίζει trực tiếp το κεντρικό πρόβλημα.

Για τους πράκτορες AI, αυτή η υλικο-βασισμένη απομόνωση είναι μετασχηματιστική,既然 ότι επιτρέπει στα διαπιστευτήρια ταυτότητας του πράκτορα, τα βάρη του μοντέλου, τις ιδιωτικές προτύπων και τα ευαίσθητα δεδομένα χρήστη που επεξεργάζεται να παραμείνουν κρυπτογραφημένα όχι μόνο σε δίσκο ή πάνω από ένα δίκτυο, αλλά ενεργά στη μνήμη κατά την εκτέλεση. Η διάσταση σπάει οριστικά το παραδοσιακό μοντέλο όπου ο έλεγχος της υποδομής εγγυάται τον έλεγχο της φόρτωσης.

Η απομακρυσμένη πιστοποίηση παρέχει αποδεικτικά κρυπτογραφικά στοιχεία ότι μια συγκεκριμένη αίτηση συλλογισμού εκτελέστηκε μέσα σε ένα υλικο-βασισμένο περιβάλλον εκτέλεσης εμπιστευτικών, είτε είναι CPU είτε GPU. Η απόδειξη παράγεται από υλικές μετρήσεις και παραδίδεται μαζί με την απάντηση, επιτρέποντας ανεξάρτητη επαλήθευση του πού και πώς εκτελέστηκε η φόρτωση.

Τα αρχεία πιστοποίησης δεν αποκαλύπτουν τον κώδικα που εκτελέστηκε. Αντίθετα, κάθε φόρτωση συνδέεται με一个 μοναδικό αναγνωριστικό φόρτωσης ή αναγνωριστικό συναλλαγής και το αρχείο πιστοποίησης TEE συνδέεται με αυτό το αναγνωριστικό. Η πιστοποίηση επιβεβαιώνει ότι η υπολογιστική διαδικασία εκτελέστηκε μέσα σε ένα ασφαλές περιβάλλον χωρίς να αποκαλύπτει το περιεχόμενό της.

Η ρύθμιση δημιουργεί μια νέα βάση για συμμόρφωση και ελέγχους, επιτρέποντας τη σύνδεση των ενεργειών του πράκτορα με μια συγκεκριμένη έκδοση κώδικα που έχει πιστοποιηθεί και ένα γνωστό σύνολο δεδομένων εισόδου.

Προς την Ευθύνη της Αυτονομίας

Οι επιπτώσεις για το σύστημα που περιγράφηκε παραπάνω εκτείνονται πέρα από την βασική ασφάλεια. Σκεφτείτε τους νόμους που διέπουν τις χρηματοοικονομικές, την υγεία και τις προσωπικές πληροφορίες. Πολλές δικαιοδοσίες εφαρμόζουν κανόνες κυριαρχίας δεδομένων που περιορίζουν πού μπορεί να επεξεργαστεί η πληροφορία. Στην Κίνα, ο Νόμος Προστασίας Προσωπικών Πληροφοριών και ο Νόμος Ασφάλειας Δεδομένων απαιτούν ορισμένες κατηγορίες δεδομένων, σημαντικά προσωπικά δεδομένα, για παράδειγμα, να αποθηκεύονται εσωτερικά και να αναθεωρούνται πριν από τη μεταφορά στο εξωτερικό.

Παράλληλα, ορισμένες χώρες του Κόλπου, το ΑΕ και η Σαουδική Αραβία, για παράδειγμα, έχουν υιοθετήσει παρόμοιες προσεγγίσεις, ιδιαίτερα για χρηματοοικονομικά, κυβερνητικά και κρίσιμα δεδομένα υποδομής.

Η υπολογιστική εμπιστευτικότητα μπορεί να ενισχύσει την ασφάλεια και την ελέγχωση, προστατεύοντας τα δεδομένα ενώ επεξεργάζονται και επιτρέποντας την πιστοποίηση του περιβάλλοντος εκτέλεσης. Ωστόσο, δεν αλλάζει πού συμβαίνει η επεξεργασία. Όπου οι κανόνες κυριαρχίας δεδομένων απαιτούν τοπική επεξεργασία ή επιβάλλουν προϋποθέσεις για διασυνοριακές μεταφορές, τα ασφαλή περιβάλλοντα εκτέλεσης possono να υποστηρίξουν ελέγχους συμμόρφωσης, όχι να αντικαταστήσουν νομικές απαιτήσεις.

Επιπλέον, η υπολογιστική εμπιστευτικότητα ermöglicht την ασφαλή συνεργασία σε συστήματα πολλών πρακτόρων, όπου οι πράκτορες από διαφορετικές οργανώσεις ή εντός διαφορετικών τμημάτων συχνά χρειάζονται να μοιράζονται πληροφορίες ή να επικυρώνουν εξόδους χωρίς να εκθέτουν ιδιωτικά δεδομένα.

Και όταν η τεχνολογία συνδυάζεται με αρχιτεκτονική zero-trust, το αποτέλεσμα είναι μια πολύ ισχυρότερη βάση. Η zero-trust συνεχώς επικυρώνει την ταυτότητα και την πρόσβαση, ενώ η υπολογιστική εμπιστευτικότητα προστατεύει τη μνήμη του υλικού από μη εξουσιοδοτημένη εξαγωγή και αποτρέπει την ανάκτηση ευαίσθητων πληροφοριών σε κρυφό κείμενο.

Μαζί, υπερασπίζονται ότι πραγματικά matters, για παράδειγμα, λογική αποφάσεων, ευαίσθητες εισόδους και τα κρυπτογραφικά κλειδιά που εξουσιοδοτούν ενέργειες.

Νέα Βάση για Αυτόνομες Συστήματα

Εάν κάθε αλληλεπίδραση βάζει τους ανθρώπους σε κίνδυνο έκθεσης, δεν θα αφήσουν την AI να χειρίζεται πράγματα όπως ιατρικά αρχεία ή να λαμβάνει χρηματοοικονομικές αποφάσεις. Παρόμοια, οι εταιρείες δεν θα αυτοματοποιήσουν τις πιο σημαντικές εργασίες τους εάν αυτό μπορεί να οδηγήσει σε προβλήματα συμμόρφωσης ή στην απώλεια σημαντικών δεδομένων.

Οι σοβαροί κατασκευαστές αναγνωρίζουν ότι οι επιδιορθώσεις εφαρμογής μόνο δεν είναι επαρκείς σε περιβάλλοντα υψηλής εγγύησης.

Όταν οι πράκτορες έχουν χορηγηθεί χρηματοοικονομική εξουσιοδότηση, ρυθμιζόμενη δεδομένα ή δια-οργανωτική συντονισμός, η υποδομική έκθεση γίνεται περισσότερο από ένα θεωρητικό πρόβλημα. Και χωρίς εμπιστευτική εκτέλεση σε τέτοιους контекστους, πολλοί πράκτορες παραμένουν ένα μαλακό στόχο, με τα κλειδιά τους κλέφθηκαν και η λογική τους είναι εύθραυστη. Το μέγεθος των σύγχρονων παραβιάσεων δείχνει ακριβώς πού οδηγεί αυτή η οδός.

Η ιδιωτικότητα και η ακεραιότητα δεν είναι προαιρετικά χαρακτηριστικά που μπορούν να προστεθούν μετά την ανάπτυξη. Πρέπει να αρχιτεκτονηθούν από το σιλικόνη και πάνω. Ως εκ τούτου, για την AI με ιδιότητα να κλιμακωθεί ασφαλώς, η υλικο-βασισμένη εμπιστευτικότητα δεν μπορεί να θεωρηθεί ως απλώς ένα ανταγωνιστικό πλεονέκτημα αλλά η βάση.