Οι Πράκτορες AI Γίνονται Πιο Έξυπνοι και Η Επιφάνεια Επίθεσης τους Γίνεται Μεγαλύτερη

Η στιγμή που οι πράκτορες AI άρχισαν να κλείνουν συναντήσεις, να εκτελούν κώδικα και να περιηγούνται στο διαδίκτυο για λογαριασμό σας, η συζήτηση για την κυβερνοασφάλεια άλλαξε. Όχι σιγά σιγά, αλλά από την μια μέρα στην άλλη.

Αυτό που ήταν ένα περιεχόμενο, προβλέψιμο σύστημα λογισμικού έγινε κάτι που σκέφτεται, σχεδιάζει και thực施 δράσεις σε εργαλεία και API που几乎 δεν υπήρχαν πριν από ένα χρόνο.

Αυτό είναι πραγματικά ενθουσιαστικό, και είναι επίσης πραγματικά τρομακτικό, γιατί η επιφάνεια επίθεσης που συνοδεύει αυτή την αυτονομία είναι τεράστια, και οι περισσότερες οργανώσεις μόλις αρχίζουν να κατανοούν τι σημαίνει να αφήσουν πράκτορες στο υποδομή τους.

Από Chatbots σε Οперάτορες

Η αρχική υπόσχεση του AI ήταν απλή: ρωτήστε μια ερώτηση, λάβετε μια απάντηση. Αυτό εξακολουθεί να ισχύει για τις περισσότερες αλληλεπιδράσεις καταναλωτών, αλλά δεν είναι αυτό που συμβαίνει στις επιχειρηματικές αναπτύξεις πλέον. Οι πράκτορες σήμερα λαμβάνουν διαπιστευτήρια, κλειδιά API και τη δυνατότητα να διαγράψουν, να δημιουργήσουν και να annotούν δεδομένα, καθώς και να λάβουν πραγματικές ενέργειες μέσα σε συστήματα που έχουν πραγματικές συνέπειες.

Η αλλαγή συνέβη γρήγορα. Σε λιγότερο από δύο χρόνια, οι πράκτορες AI πέρασαν από τη δημιουργία κειμένου σε εκτέλεση ομαλών, πολυ-πρακτορικών ρυθμίσεων. Διαβάζουν emails, ενεργοποιούν ροές εργασιών, ερωτούν βάσεις δεδομένων και σε ορισμένες περιπτώσεις διαχειρίζονται άλλους πράκτορες κάτω από αυτούς. Αυτό το επίπεδο πρόσβασης vyžαδα了一ή διαδικασία προμήθειας και έναν άνθρωπο στο βρόχο. Τώρα είναι ένα αρχείο ρυθμίσεων και quelques API κλήσεις

Περισσότερη Πρόσβαση σημαίνει Περισσότερη Εκθέτηση

Οι παραδοσιακές επιθέσεις λογισμικού έχουν ένα κάποιο προβλέψιμο προφίλ. Υπάρχει ένα γνωστό σημείο εισόδου, μια γνωστή ευπάθεια, μια γνωστή διόρθωση. Οι πράκτορες AI σπάζουν αυτό το μοντέλο επειδή είναι δυναμικοί από σχέδιο. Δεν ακολουθούν einen στατικό κώδικα. Σκέφτονται τι να κάνουν επόμενο, που σημαίνει ότι η συμπεριφορά τους είναι δυσκολότερη να προβλεφθεί και πολύ δυσκολότερη να ελεγχθεί μετά.

Αυτή η απρόβλεπτη συμπεριφορά είναι χρήσιμη για την εκτέλεση εργασιών. Είναι επίσης ένα πλεονέκτημα για όποιον προσπαθεί να εκμεταλλευτεί το σύστημα. Όταν ένας πράκτορας μπορεί να αποφασίσει, στη μέση μιας εργασίας, να καλέσει ένα εξωτερικό API ή να εισαγάγει ένα τρίτο εργαλείο, δεν υπάρχει καθαρό περιφέρεια για να υπερασπιστεί.

Οι ομάδες ασφαλείας είναι συνηθισμένες να προστατεύουν γνωστές επιφάνειες και να παρακολουθούν το κόστος του Kubernetes. Οι πράκτορες συνεχίζουν να ανακαλύπτουν νέες επιφάνειες και εκμεταλλεύσεις, και κανείς δεν τις χαρτογραφεί σε πραγματικό χρόνο. Πριν να το καταλάβετε, κάποιος μπορεί να καταλάβει τα διαπιστευτήρια και να πάρει τον έλεγχο του ολόκληρου του “οργανισμού” AI με μια κίνηση.

Η Ένεση Προτύπων είναι το Νέο SQL Injection

Εάν υπάρχει ένας διαδικτυακός διαύλος που οι ερευνητές ασφαλείας συνεχίζουν να επιστρέφουν, είναι η ένεση προτύπων. Η ιδέα είναι απλή: αντί να εκμεταλλευτεί μια ευπάθεια κώδικα, ένας επιτιθέμενος χειρίζεται τις οδηγίες που λαμβάνει ένας πράκτορας μέσω των εισόδων του. Μια κακόβουλη οδηγία ενσωματωμένη σε μια ιστοσελίδα, ένα έγγραφο ή ακόμη και ένα email μπορεί να ανακατευθύνει τι θα κάνει ο πράκτορας επόμενο.

Τι κάνει αυτό ιδιαίτερα οξύ είναι ότι οι πράκτορες συχνά κάνουν ακριβώς αυτό που τους λένε. Επεξεργάζονται περιεχόμενο από το διαδίκτυο, από μηνύματα χρηστών, από τρίτα εργαλεία. Οποιονδήποτε από αυτό το περιεχόμενο είναι μια πιθανή επιφάνεια ένεσης. Ένας πράκτορας που διαβάζει ένα συμβιβασμένο έγγραφο και στη συνέχεια κάνει API κλήσεις με βάση το περιεχόμενό του έχει παραβιαστεί, και πιθανότατα δεν θα καταγράψει τίποτα που να κάνει την αλυσίδα αιτιότητας εμφανή.

Οι αμυντικές γραμμές εδώ είναι πραγματικές αλλά ανεπαρκείς. Η απομόνωση των ενεργειών των πρακτόρων, η περιόριση των εργαλείων που μπορεί να καλέσει ένας πράκτορας σε ορισμένες περιπτώσεις, και η κατασκευή ανθρώπινων ελέγχων σε υψηλές εργασίες μειώνουν τον κίνδυνο. Δεν τον εξαφανίζουν. Και οι περισσότερες οργανώσεις δεν έχουν εφαρμόσει ακόμη ούτε τα βασικά.

Το Πρόβλημα Εμπιστοσύνης Μέσα στα Συστήματα Πολυ-Πρακτόρων

Τα συστήματα πολυ-πρακτόρων εισάγουν ένα επίπεδο πολυπλοκότητας που είναι εύκολο να υποτιμηθεί. Όταν ένας πράκτορας συντονίζει πολλούς άλλους, υπάρχει μια ιεραρχία εμπιστοσύνης. Ο συντονιστής περνά οδηγίες, και οι υπόλοιποι πράκτορες τις ακολουθούν. Εάν ο συντονιστής παραβιαστεί, κάθε πράκτορας κάτω από αυτόν είναι αποτελεσματικά παραβιασμένος, και η ακτίνα εκρήγματος γίνεται μεγάλη πολύ γρήγορα.

Υπάρχει επίσης το ζήτημα της υπερ-εξουσιοδότησης. Οι πράκτορες συχνά λαμβάνουν περισσότερη πρόσβαση από όση χρειάζονται επειδή είναι πιο εύκολο να δώσουν ευρείες εξουσιοδότησεις από το να τις βελτιώσουν σταδιακά. Ένας ερευνητικός πράκτορας δεν χρειάζεται πρόσβαση σε μια παραγωγική βάση δεδομένων.

Ένας πράκτορας προγραμματισμού δεν χρειάζεται πρόσβαση σε οικονομικά αρχεία. Βέβαια, αυτό feels reassuring να έχει όλα συνδεδεμένα, αλλά είναι απλά πολύ ρισκό να δείτε οποιαδήποτε μη μειούμενη απόδοση. Αλλά οι γραμμές γίνονται ασαφείς στην πράξη, και οι αρχές ελάχιστης εξουσιοδότησης που λειτουργούν καλά στη θεωρία εγκαταλείπονται σιωπηρά στη βιάση να αποσταλούν.

Τι Σημαίνει Εύλογη Ασφάλεια Εδώ

Δεν υπάρχει ένα μόνο λύση που να κάνει τις αναπτύξεις πρακτόρων ασφαλείς. Είναι ένα στρωματωμένο πρόβλημα και χρειάζεται μια στρωματωμένη απάντηση. Οι οργανώσεις που το κάνουν καλά συνήθως αρχίζουν με ελέγχους πρόσβασης: δίνουν σε κάθε πράκτορα ένα καθορισμένο, στενό πεδίο και χτίζουν βήματα αναθεώρησης σε οποιαδήποτε ενέργεια που αφορά ευαίσθητα συστήματα ή εξωτερικές υπηρεσίες.

Η παρατηρησιμότητα έχει την ίδια σημασία με την πρόληψη. Εάν ένας πράκτορας κάνει κάτι απρόσμενο, οι ομάδες χρειάζονται μια πλήρη αναδρομή των οδηγιών που έλαβε, ποια εργαλεία κάλεσε, και τι επέστρεψε. Οι περισσότερες ρυθμίσεις καταγραφής δεν είναι χτισμένες με αυτή τη λεπτομέρεια στο μυαλό, και η ανακαίνιση μετά είναι đau khổ. Η κατασκευή από την αρχή αξίζει τη συρράξη.

Η δοκιμή αντίπαλου είναι επίσης υποτιμημένη. Η δοκιμή πρακτόρων, η προσπάθεια να ενέκτεινε κακόβουλες οδηγίες και να δει τι συμβαίνει, επιφανείζει ευπάθειες που η στατική αναθεώρηση κώδικα δεν θα πιάσει ποτέ. Είναι άβολο να σκεφτείτε, αλλά οι άνθρωποι που θα προσπαθήσουν να εκμεταλλευτούν αυτά τα συστήματα είναι ήδη这样. Να φτάσετε πρώτοι είναι η μόνη ευλογημένη κίνηση.

Τελικές Σκέψεις

Οι πράκτορες AI θα γίνουν μεγαλύτερος μέρος του τρόπου με τον οποίο οι οργανώσεις λειτουργούν, και αυτή η αλλαγή είναι ήδη καλά υπόweg. Η συζήτηση για την ασφάλεια πρέπει να τη φτάσει, και γρήγορα. Οι κίνδυνοι είναι πραγματικοί, οι διαδικτυακοί διαύλοι είναι καινοτόμοι, και το παράθυρο για να προηγηθούν είναι στενεύοντας.

Η κατανόηση του τοπίου απειλών για τα αυτόνομα συστήματα AI δεν είναι πλέον προαιρετική. Είναι ένα από τα πιο σημαντικά πράγματα που οι ομάδες ασφαλείας και μηχανικής μπορούν να κάνουν τώρα, και ο χρόνος για να το κάνουν σωστά έχει ήδη αρχίσει.