Κυβερνοασφάλεια
Η Cato Networks παρουσιάζει το AgentSense για να αποτρέπει επιβλαβείς ενέργειες πρακτόρων ΤΝ πριν από την εκτέλεσή τους

Βασικά σημείαΤο AgentSense στοχεύει στην έμμεση έγχυση προτροπών εντοπίζοντας πώς το μη αξιόπιστο…
Δείτε περισσότερα
- Το AgentSense στοχεύει στην έμμεση έγχυση προτροπών εντοπίζοντας πώς το μη αξιόπιστο περιεχόμενο κατευθύνει τις ενέργειες ενός πράκτορα.
- Τα έγκυρα διαπιστευτήρια δεν εγγυώνται ασφαλή συμπεριφορά, επειδή ένας πράκτορας μπορεί να χειραγωγηθεί ώστε να προβεί σε επιβλαβείς ενέργειες.
- Η πρόκληση των 10.000 δολαρίων της Cato καλεί τους ερευνητές να δοκιμάσουν αν το AgentSense αντιστέκεται στην κακόβουλη ανακατεύθυνση ροών εργασίας.
Η Cato Networks παρουσίασε το AgentSense, μια δυνατότητα ασφάλειας κατά τον χρόνο εκτέλεσης, σχεδιασμένη να αποτρέπει επιβλαβείς ενέργειες πρακτόρων ΤΝ πριν από την εκτέλεσή τους. Η τεχνολογία, που αναπτύχθηκε από την Cato AI Labs, παρακολουθεί πώς το μη έμπιστο περιεχόμενο επηρεάζει τη συμπεριφορά ενός πράκτορα, αντιμετωπίζοντας έναν κίνδυνο που δεν εξαλείφεται πλήρως με τις συνήθεις άδειες πρόσβασης: ένας πράκτορας μπορεί να διαθέτει νόμιμα διαπιστευτήρια και παρ’ όλα αυτά να χειραγωγηθεί ώστε να κάνει κάτι λάθος.
Η Cato αναφέρει ότι το AgentSense είναι ενσωματωμένο στην πλατφόρμα της και θα περιλαμβάνεται χωρίς επιπλέον χρέωση στις άδειες χρήσης Cato AI Usage. Η ανακοίνωση συνοδεύεται από μια πρόκληση δοκιμών με αντίπαλο, η οποία προσφέρει 10.000 δολάρια στον καθένα από τους τρεις πρώτους επιλέξιμους συμμετέχοντες που θα καταφέρουν να εκτρέψουν μια προστατευμένη ροή εργασιών προς κακόβουλες ενέργειες.
Οι έγκυρες άδειες πρόσβασης μπορούν και πάλι να οδηγήσουν σε μη ασφαλή ενέργεια
Ένας εταιρικός πράκτορας μπορεί να χρειάζεται να διαβάζει μηνύματα ηλεκτρονικού ταχυδρομείου, να αναζητά έγγραφα, να συμβουλεύεται ιστότοπους και να καλεί εργαλεία για να ολοκληρώσει μια εργασία. Κάθε πηγή διευρύνει τις πληροφορίες που μπορεί να χρησιμοποιήσει, αλλά δημιουργεί επίσης την ευκαιρία να επηρεάσει εξωτερικό κείμενο το επόμενο βήμα του.
Η έμμεση έγχυση εντολών εκμεταλλεύεται αυτό το όριο. Αντί να δώσει μια εντολή απευθείας ως εξουσιοδοτημένος χρήστης, ένας εισβολέας την κρύβει σε υλικό με το οποίο έρχεται σε επαφή ο πράκτορας κατά την εργασία του. Ένα έγγραφο, ένα αίτημα υποστήριξης, μια ιστοσελίδα ή μια απάντηση εργαλείου μπορεί να περιέχει κείμενο που επιχειρεί να εκτρέψει τη ροή εργασιών, να αποκαλύψει πληροφορίες ή να ενεργοποιήσει μια άσχετη ενέργεια.
Εξακολουθεί να είναι σημαντικό να ελέγχεται αν ένας πράκτορας έχει πρόσβαση σε μια εφαρμογή. Αυτό απαντά σε διαφορετικό ερώτημα από το αν μια συγκεκριμένη ενέργεια εξυπηρετεί την εργασία που εξουσιοδότησε ο χρήστης. Για παράδειγμα, μπορεί να επιτρέπεται σε έναν πράκτορα να διαβάζει εταιρικά αρχεία, χωρίς να έχει εξουσιοδότηση να τα στείλει σε έναν προορισμό που προτείνεται σε ένα έγγραφο που ανακτήθηκε.
Στόχος του AgentSense είναι να αξιολογεί αυτή τη συμπεριφορά κατά την εκτέλεση, παρέχοντας τη δυνατότητα παρέμβασης πριν πραγματοποιηθεί μια ευαίσθητη ενέργεια.
Παρακολούθηση της επιρροής μη έμπιστου περιεχομένου κατά τη συνεδρία ΤΝ
Η ανακοινωθείσα δυνατότητα Ανίχνευσης Επιρροής Μη Έμπιστου Περιεχομένου διαχωρίζει τις έμπιστες οδηγίες από το μη έμπιστο περιεχόμενο κατά τη διάρκεια μιας συνεδρίας ΤΝ και παρακολουθεί πώς το τελευταίο επηρεάζει τη συμπεριφορά και τα αποτελέσματα. Η Cato αναφέρει ότι αποκλείει μια ενέργεια όταν εντοπίζει μη έμπιστο υλικό να κατευθύνει τον πράκτορα προς ένα μη ασφαλές βήμα.
Η διάκριση είναι σημαντική, επειδή μια επίθεση δεν χρειάζεται να μοιάζει με μια γνώριμη κακόβουλη εντολή. Η Cato περιγράφει το AgentSense ως τεχνολογία που αξιολογεί την επιρροή, αντί να βασίζεται σε στατικούς ταξινομητές ή σε κατάλογο μοτίβων επιθέσεων που έχουν παρατηρηθεί στο παρελθόν. Στόχος είναι να αντιμετωπίζει τόσο νέες μορφές έμμεσης έγχυσης εντολών όσο και τις αναγνωρίσιμες.
Η ανακοίνωση περιγράφει την τεχνολογία ως κατοχυρωμένη με δίπλωμα ευρεσιτεχνίας, αλλά δεν παρέχει αριθμό διπλώματος, λεπτομέρειες υλοποίησης ή ανεξάρτητο δείκτη αποτελεσματικότητας. Επομένως, ο ισχυρισμός ότι προστατεύει από επιθέσεις που δεν έχουν εμφανιστεί στο παρελθόν θα πρέπει να εκλαμβάνεται ως η προβλεπόμενη δυνατότητα ασφαλείας του προϊόντος και όχι ως εγγύηση ότι θα σταματά κάθε απόπειρα έγχυσης εντολών.
Το πρακτικό ερώτημα είναι αν ένα επίπεδο ασφαλείας διαθέτει αρκετό πλαίσιο σχετικά με τη συνεδρία και την ενέργεια, ώστε να διακρίνει τη χρήση ενός εγγράφου ως τεκμηρίου από την αντιμετώπισή του ως εξουσιοδότησης. Το AgentSense έχει σχεδιαστεί ειδικά για αυτή τη διάκριση.
Η Ανίχνευση Απόκλισης είναι ξεχωριστή, προγραμματισμένη δυνατότητα
Η Cato περιγράφει επίσης την Ανίχνευση Απόκλισης του AgentSense με όρους μελλοντικής ανάπτυξης. Η προγραμματισμένη δυνατότητα θα αξιολογεί αν οι ενέργειες ενός πράκτορα εξακολουθούν να εξυπηρετούν την αρχική εργασία καθώς εξελίσσεται μια ροή εργασιών.
Συμπληρώνει την ανίχνευση επιρροής, χωρίς όμως να αντιμετωπίζει ακριβώς το ίδιο πρόβλημα. Η Ανίχνευση Επιρροής Μη Έμπιστου Περιεχομένου εξετάζει αν εξωτερικό περιεχόμενο κατευθύνει μια ενέργεια. Η Ανίχνευση Απόκλισης έχει στόχο να εξετάζει αν η ενέργεια εξακολουθεί να συνάδει με τον σκοπό, ακόμη κι αν το συγκεκριμένο βήμα επιτρέπεται τεχνικά.
Σε μια ροή εργασιών μπορεί σταδιακά να συσσωρευτούν βήματα που δεν προωθούν πλέον τον σκοπό της. Για να εντοπιστεί αυτή η απόκλιση, απαιτείται να διατηρείται εικόνα του εξουσιοδοτημένου στόχου καθ’ όλη τη διάρκεια της συνεδρίας, αντί να αξιολογείται κάθε κλήση εργαλείου μεμονωμένα. Η ανακοίνωση δεν προσδιορίζει ξεχωριστή ημερομηνία διάθεσης για την Ανίχνευση Απόκλισης.
Πώς εντάσσεται το AgentSense στην υπάρχουσα πλατφόρμα ασφαλείας ΤΝ της Cato
Η προσφορά ασφάλειας για πρακτορική ΤΝ της Cato περιλαμβάνει ήδη, σύμφωνα με την περιγραφή της, ελέγχους για τον εντοπισμό πρακτόρων και διακομιστών του Model Context Protocol, την καταγραφή προφίλ κλήσεων εργαλείων και την επιβολή πολιτικών στις αλληλεπιδράσεις των πρακτόρων. Η ευρύτερη πλατφόρμα της συνδυάζει το πλαίσιο δικτύωσης, πρόσβασης και ασφάλειας.
Η εταιρεία διαχωρίζει επίσης την ασφάλεια της χρήσης ΤΝ από τους εργαζομένους από την προστασία των εφαρμογών. Η προσφορά της για την ασφάλεια εφαρμογών ΤΝ περιγράφει ορατότητα κατά τον χρόνο εκτέλεσης, έλεγχο εντολών και απαντήσεων, καθώς και παραμετροποιήσιμες προστασίες για εφαρμογές ΤΝ που έχουν τεθεί σε λειτουργία. Αυτό δίνει το πλαίσιο για την εστίαση του AgentSense στην ακεραιότητα των ενεργειών που πραγματοποιούνται κατά τη ροή εργασιών.
Στην πράξη, ο έλεγχος της χρήσης ΤΝ περιλαμβάνει αρκετές συναφείς αποφάσεις: ποιες υπηρεσίες επιτρέπει ένας οργανισμός, ποια δεδομένα μπορούν να τους διαβιβάζονται και τι μπορεί να κάνει ένας πράκτορας με τις πληροφορίες που συναντά. Το AgentSense προσθέτει σε αυτό το σύνολο δυνατοτήτων έναν ισχυρισμό σχετικά με τη συμπεριφορά: εντοπίζει πότε το μη έμπιστο περιεχόμενο καθοδηγεί την ίδια την ενέργεια.
Η έρευνα για την έγχυση προτροπών δείχνει γιατί έχει σημασία το όριο
Η έρευνα της Cato για το EchoLeak περιγράφει μια αλληλουχία επιθέσεων, στην οποία περιεχόμενο από εξωτερικές πηγές θα μπορούσε να προκαλέσει την αποκάλυψη πληροφοριών από το πλαίσιο λειτουργίας του Microsoft 365 Copilot. Για την ασφάλεια των πρακτόρων τεχνητής νοημοσύνης, η σημασία έγκειται στη μετάβαση από την ανάγνωση εξωτερικού υλικού στην εκτέλεση οδηγιών ενσωματωμένων σε αυτό.
Η έρευνά της για το CurXecute εξέτασε ένα διαφορετικό ενδεχόμενο: η έγχυση προτροπών μέσω εξωτερικού περιεχομένου θα μπορούσε να οδηγήσει έναν πράκτορα προγραμματισμού να τροποποιήσει μια διαμόρφωση MCP και να ενεργοποιήσει την εκτέλεση εντολών. Σύμφωνα με την ανάλυση της Cato, η Cursor διόρθωσε αυτή την ευπάθεια στην έκδοση 1.3. Το παράδειγμα καταδεικνύει έναν τρόπο αστοχίας· δεν πρέπει να εκληφθεί ως ισχυρισμός ότι το διορθωμένο πρόβλημα παραμένει άλυτο.
Και οι δύο περιπτώσεις δείχνουν γιατί έχει σημασία η προέλευση του περιεχομένου, όταν ένας βοηθός έχει πρόσβαση σε ευαίσθητα δεδομένα ή εργαλεία εκτέλεσης. Μια αλληλεπίδραση που ξεκινά ως ανάκτηση πληροφοριών μπορεί να εξελιχθεί σε περιστατικό ασφάλειας, όταν το κείμενο που ανακτάται αλλάζει τη ροή ελέγχου της διαδικασίας.
Μια δημόσια πρόκληση για τη δοκιμή της προστασίας
Το AgentSense Challenge καλεί την κοινότητα ασφάλειας να εισαγάγει οδηγίες σε μια προστατευμένη ροή εργασιών και να επιχειρήσει να κατευθύνει τον πράκτορα μακριά από την πρόθεση του χρήστη. Η Cato αναφέρει ότι τα ευρήματα και τα σχόλια των συμμετεχόντων θα συμβάλουν στην περαιτέρω αξιολόγηση και βελτίωση.
Σύμφωνα με την ανακοίνωση, καθένας από τους τρεις πρώτους επιλέξιμους συμμετέχοντες που θα ολοκληρώσουν επιτυχώς την πρόκληση θα λάβει 10.000 δολάρια. Το δελτίο Τύπου που παρασχέθηκε δεν περιλαμβάνει την τελική διεύθυνση URL της πρόκλησης ούτε τους αναλυτικούς κανόνες της, επομένως η επιλεξιμότητα και τα όρια των δοκιμών θα εξαρτηθούν από τους όρους του προγράμματος που θα δημοσιευτούν.
Για τις επιχειρήσεις που διευρύνουν την αυτονομία των πρακτόρων, το AgentSense καλύπτει μια συγκεκριμένη ανάγκη: να διατηρεί τη σύνδεση ανάμεσα στην εργασία που εγκρίνει ο χρήστης και στις ενέργειες που τελικά εκτελεί ένα σύστημα τεχνητής νοημοσύνης. Η αξία της τεχνολογίας θα εξαρτηθεί από το πόσο σταθερά μπορεί να επιβάλλει αυτό το όριο, επιτρέποντας παράλληλα τη συνέχιση των νόμιμων εργασιών.












