Όταν η Ικανότητα του AI Αυξάνεται Γρηγορότερα από τα Μοντέλα Ασφαλείας που Δημιουργήθηκαν για να το Περιορίσουν

Τα εργαλεία AI συνήθως έρχονται με μια οικεία πίστωση. Υποσχέονται να απλοποιήσουν τις ροές εργασιών, να αυξήσουν την παραγωγικότητα και να αναλάβουν καθήκοντα που κανείς δεν απολαύει. Και στις περισσότερες περιπτώσεις, παρέχουν ακριβώς αυτό. Απλοποιούν τις συνδέσεις, συνοψίζουν έγγραφα, αυτοματοποιούν τις ροές εργασιών και κάνουν τις καθημερινές δραστηριότητες να φαίνονται σχεδόν毫χρεες.

Αλλά κάτω από όλες αυτές τις ανέσεις βρίσκεται μια διαφορετική ιστορία. Αυτά τα εργαλεία δεν περιορίζονται πλέον σε ένα κιβώτιο κειμένου. Αρχίζουν να δρουν στο ίδιο το λειτουργικό σύστημα. Μπορούν να περιηγηθούν σε αρχεία, να συντάξουν emails, να αλληλεπιδράσουν με εφαρμογές και να εκτελέσουν ενέργειες που προηγουμένως απαιτούσαν έναν προσεκτικό άνθρωπο που κατανοούσε τις συνέπειες. Αυτή η μετατόπιση τοποθετεί το AI σε μια θέση που οι υφιστάμενες υποθέσεις ασφαλείας δεν ήταν ποτέ κατασκευασμένες για να διαχειριστούν.

Η Στιγμή που το AI Κερδίζει Πρόσβαση στο Σύστημα

Μόλις ένα σύστημα AI μπορεί να διαβάσει πραγματικά αρχεία και να εκτελέσει πραγματικές εντολές, γίνεται μέρος της αξιόπιστης βάσης υπολογισμού. Αυτή είναι η στιγμή που οι μακροχρόνιες προσδοκίες για την ασφάλεια του AI αρχίζουν να σπάζουν.

Για χρόνια, η ένεση προτύπων θεωρούνταν μια περίεργη συμπεριφορά του μοντέλου. Προκαλούσε τους chatbots να παράγουν παραπλανητικές ή ανάρμοστες απαντήσεις, αλλά η ζημιά τελείωνε με τη συζήτηση. Τώρα η ίδια ελάττωμα μπορεί να προκαλέσει ενέργειες σε επίπεδο φιλοξενίας, όχι μόνο κείμενο. Μια κακόβουλη εντολή κρυμμένη μέσα σε ένα αρχείο PDF, ιστοσελίδα ή email δεν παράγει πλέον μια περίεργη απάντηση. Παραγει μια ενέργεια που λαμβάνεται στην μηχανή.

Αυτό δεν είναι κάτι που η βιομηχανία μπορεί να απορρίψει ως θεωρητικό. Ερευνητές στο Carnegie Mellon και το Πανεπιστήμιο του Washington έχουν δείξει επανειλημμένα ότι κρυμμένες εντολές μπορούν να οδηγήσουν τα μεγάλα μοντέλα γλώσσας στην εκτέλεση ενεργειών που οι χρήστες δεν είχαν πρόθεση. Εν τω μεταξύ, ερευνητές που μελετούν μοντέλα όρασης έχουν δείξει πώς οι χειραγωγημένες εικόνες μπορούν να αλλάξουν την αντίληψη του μοντέλου με τρόπους που επηρεάζουν την xuống 行為.

Αυτές οι πειραματικές μελέτες θεωρούνταν κάποτε ως εργαστηριακές περιέργειες. Δεν νιώθουν πλέον ακαδημαϊκές όταν το AI έχει πρόσβαση στο λειτουργικό σύστημα.

Όταν η Ικανότητα του Πράκτορα Υπερβαίνει τον Έλεγχο του Υπερασπιστή

ΕVEN οι εταιρείες που κατασκευάζουν αυτούς τους πράκτορες αναγνωρίζουν τη σοβαρότητα της πρόκλησης. Έχουν ενισχύσει τα φίλτρα για να χειριστούν τις προτροπές, αλλά δηλώνουν ανοιχτά ότι ο έλεγχος των πραγματικών ενεργειών του συστήματος AI παραμένει ένα ενεργό, ανεπίλυτο πεδίο εργασίας σε όλη τη βιομηχανία. Αυτό το κενό μεταξύ того που μπορεί να κάνει ο πράκτορας και τι peuvent οι υπερασπιστές να ελέγξουν εισάγει μια νέα κατηγορία κινδύνου που τα υφιστάμενα παιχνίδια ασφαλείας δεν μπορούν να απορροφήσουν.

Οι πράκτορες AI έχουν διασχίσει ένα όριο που η βιομηχανία δεν είναι πλήρως έτοιμη για. Ο μόνος τρόπος για να κατανοηθεί αυτό είναι να δούμε πώς η ένεση προτύπων τώρα διασταυρώνεται με τις ίδιες αλυσίδες επιθέσεων που οι υπερασπιστές έχουν ακολουθήσει για πάνω από μια δεκαετία.

Πώς η Ένεση Προτύπων Τώρα Χαρτογραφείται στις Αλυσίδες Επιθέσεων που Όλοι Γνωρίζουν

Οι επιτιθέμενοι έχουν πάντα ακολουθήσει ένα προβλέψιμο μοτίβο. Το πλαίσιο MITRE ATT&CK το διευκρινίζει σαφώς. Η αρχική πρόσβαση ακολουθείται από εκτέλεση, διαρκή παρουσία, ανακάλυψη, οριζόντια κίνηση, συλλογή και εξαγωγή. Οι τεχνικές ποικίλλουν, αλλά η δομή είναι σταθερή.

Τι αλλάζει είναι το μηχανισμό παράδοσης. Αντί να πείσουν τον χρήστη να ανοίξει một κακόβουλο προσάρτημα ή να κάνετε κλικ σε ένα επικίνδυνο σύνδεσμο, οι επιτιθέμενοι μπορούν να τοποθετήσουν εντολές όπου ο πράκτορας AI θα τις διαβάσει. Ο πράκτορας γίνεται το περιβάλλον εκτέλεσης. Εκτελεί τα βήματα ακριβώς όπως περιγράφονται. Το μοντέλο δεν αμφισβητεί εάν η εντολή είναι βλαβερή. Δεν εφαρμόζει κρίση ή ευστροφία. Απλώς ενεργεί.

Μόλις ένας επιτιθέμενος μπορεί να επηρεάσει τη λογική του πράκτορα, η αλυσίδα επιθέσεων έρχεται μαζί γρήγορα. Ένα χειραγωγημένο αρχείο προκαλεί εκτέλεση, εντολές που ακολουθούν δημιουργούν διαρκή παρουσία, αναζητήσεις συστήματος παρέχουν ανακάλυψη και ανεβάζοντας αρχεία ermögουν συλλογή και εξαγωγή. Δεν χρειάζεται κακόβουλο λογισμικό. Ο πράκτορας απλώς εκτελεί τα βήματα όπως γράφονται.

Αυτό είναι το μέρος της ιστορίας που οι ομάδες ασφαλείας αγωνίζονται να προσαρμοστούν. Έχουν ξοδέψει χρόνια κατασκευάζοντας κανόνες ανίχνευσης, ελέγχους και διαδικασίες απόκρισης γύρω από την εκτέλεση βασισμένη σε κώδικα. Οι πράκτορες AI εισάγουν διαφορετικά είδη διερμηνέων. Εκτελούν μέσω φυσικής γλώσσας, όχι συναρμολογημένα δυαδικά. Τα υφιστάμενα εργαλεία δεν είναι κατασκευασμένα για να παρακολουθήσουν ή ακόμη και να αναλύσουν τη διαδικασία λογικής.

Οι Ομάδες Ασφαλείας Δεν Είναι Έτοιμες και Δεν Το Κατανοούν

Τα προγράμματα ασφαλείας εξακολουθούν να υποθέτουν ότι ένας άνθρωπος κάθεται μεταξύ περιεχομένου και ενέργειας. Οι άνθρωποι μπορούν να εξαπατηθούν, αλλά σταματούν όταν κάτι φαίνεται λάθος. Παρατηρούν περίεργες φράσεις, αμφισβητούν απροσδόκητη συμπεριφορά και φέρνουν κρίση στην τελευταία μίλι του αποφασισμού.

Οι πράκτορες AI δεν κάνουν τίποτα από αυτά. Είναι συνεπείς, κυριολεκτικοί και γρηγορότεροι από οποιοδήποτε αντίπαλο. Μια seule γραμμή κρυμμένου κειμένου είναι αρκετή για να οδηγήσει τον πράκτορα να διαβάσει ευαίσθητα αρχεία, να μετακινηθεί μέσα σε εφαρμογές ή να επικοινωνήσει με ένα απομακρυσμένο διακομιστή. Αυτό τοποθετεί τους υπερασπιστές σε μια θέση που δεν έχουν υπάρξει πριν.

Οι ομάδες ασφαλείας έχουν περιορισμένη ορατότητα σε πώς ένας πράκτορας φτάνει σε μια απόφαση και δεν μπορούν εύκολα να καθορίσουν εάν μια ενέργεια προήλθε από τον χρήστη ή το AI. Η παραδοσιακή ανίχνευση κακόβουλου λογισμικού δεν προσφέρει καμία βοήθεια γιατί τίποτα κακόβουλο δεν εκτελείται στην συνηθισμένη έννοια και δεν υπάρχει εγγύηση ότι ο πράκτορας θα αμφισβητήσει ή θα απορρίψει βλαβερές εντολές κρυμμένες σε κανονικό περιεχόμενο.

Τα εργαλεία που σχεδιάστηκαν για ανθρώπινη συμπεριφορά απλώς δεν μεταφέρονται σε ένα κόσμο όπου η φυσική γλώσσα γίνεται το σενάριο που οδηγεί τη συμπεριφορά του συστήματος.

Τι Εργαλεία Αποζημιώσεων Πραγματικά Λειτουργούν

Η σκληροποίηση του μοντέλου δεν είναι αρκετό. Οι ομάδες ασφαλείας χρειάζονται ελέγχους γύρω από τον πράκτορα που περιορίζουν τι μπορεί να κάνει το AI, ακόμη και όταν η λογική του επηρεάζεται.

Πολλές στρατηγικές δείχνουν υποσχόμενες:

• Η πρόσβαση με ελάχιστα προνόμια είναι απαραίτητη. Οι πράκτορες πρέπει να έχουν πρόσβαση μόνο στα αρχεία και τις ενέργειες που απαιτούνται για τις εργασίες τους. Η μείωση των περιττών προνομίων περιορίζει την επίδραση των χειραγωγημένων εντολών.
• Τα βήματα έγκρισης από τον άνθρωπο μπορούν να σταματήσουν βλαβερές ενέργειες πριν συμβούν. Όταν ένας πράκτορας προσπαθεί μια ευαίσθητη λειτουργία, όπως την εκτέλεση μιας εντολής ή την πρόσβαση σε προστατευμένα δεδομένα, ο χρήστης πρέπει να εγκρίνει ή να αρνηθεί την αίτηση.
• Η φιλτράρισή του περιεχομένου δημιουργεί ένα буφέ giữa ανεπιθύμητα υλικά και τον πράκτορα. Η επιλογή εγγράφων, URL και εξωτερικού κειμένου μειώνει τις πιθανότητες ότι κρυμμένες εντολές φτάσουν στο μοντέλο.
• Η πλήρης καταγραφή είναι υποχρεωτική. Κάθε ενέργεια που ξεκινάει από τον πράκτορα πρέπει να καταγράφεται και να αναθεωρείται. Αυτές οι ενέργειες πρέπει να αντιμετωπίζονται με τον ίδιο τρόπο όπως οποιαδήποτε προνομιακή δραστηριότητα του χρήστη.
• Η χαρτογράφηση της συμπεριφοράς του πράκτορα στις τεχνικές ATT&CK βοηθά τους υπερασπιστές να αναγνωρίσουν πού ο πράκτορας μπορεί να οδηγηθεί σε βλαβερές ενέργειες και πού πρέπει να τοποθετηθούν φράγματα. Χρησιμοποιεί το ίδιο σύστημα που ήδη δομεί την αμυντική στρατηγική.

Αυτά τα εργαλεία αποζημιώσεων δεν θα εξαφανίσουν τον κίνδυνο. Αλλά θα τον περιορίσουν με τρόπους που οι αμυντικές άμυνες του μοντέλου δεν μπορούν.

Πού Πηγαίνει η Βιομηχανία Επόμενο

Οι πράκτορες AI αντιπροσωπεύουν μια σημαντική μετατόπιση σε πώς λειτουργεί ο υπολογισμός. Προσφέρουν απίστευτη παραγωγικότητα, αλλά εισάγουν επίσης μια κατηγορία λειτουργικού κινδύνου που δεν ταιριάζει μέσα στα υφιστάμενα πλαίσια ασφαλείας. Η οδηγία από το Εθνικό Κέντρο Κυβερνοασφάλειας του Ηνωμένου Βασιλείου είναι ένα ξεκίνημα, αλλά οι περισσότερες οργανώσεις ακόμη λείπουν από einen σαφή τρόπο να κυβερνούν πράκτορες που μπορούν να δρουν στο σύστημα.

Αυτή η στιγμή μοιάζει με τις πρώτες μέρες της υιοθέτησης του cloud. Η τεχνολογία κινήθηκε γρηγορότερα από τους ελέγχους. Οι οργανώσεις που προσαρμόστηκαν γρήγορα ήταν αυτές που αναγνώρισαν τη μετατόπιση νωρίς και κατασκεύασαν διαδικασίες για να την ταιριάξουν.

Το ίδιο θα ισχύσει εδώ. Οι πράκτορες AI δεν είναι απλώς βοηθοί. Είναι χειριστές με πρόσβαση σε επίπεδο συστήματος. Η ασφάλειά τους απαιτεί νέα παιχνίδια, νέα φράγματα και νέους τρόπους μοντελοποίησης της έκθεσης.

Η βιομηχανία δεν χρειάζεται να φοβάται αυτά τα εργαλεία. Αλλά πρέπει να τα κατανοήσει. Και πρέπει να κινηθεί γρήγορα, γιατί οι επιτιθέμενοι ήδη βλέπουν την ευκαιρία. Η ερώτηση είναι εάν οι υπερασπιστές θα κατασκευάσουν τις κατάλληλες ασφαλείς φράγματα ενώ ακόμη έχουν χρόνο.