Οι Πράκτορες AI Γίνονται Πιο Έξυπνοι και Η Επιφάνεια Επίθεσης τους Γίνεται Μεγαλύτερη

Η στιγμή που οι πράκτορες AI άρχισαν να κάνουν κράτηση συναντήσεων, να εκτελούν κώδικα και να περιηγούνται στο διαδίκτυο για λογαριασμό σας, η συζήτηση για την κυβερνοασφάλεια άλλαξε. Όχι σιγά σιγά, αλλά από την μια μέρα στην άλλη.

То που ήταν ένα περιεχόμενο, προβλέψιμο σύστημα λογισμικού έγινε κάτι που συλλογίζεται, σχεδιάζει και λαμβάνει ενέργειες σε εργαλεία και API που几乎 δεν υπήρχαν πριν από ένα χρόνο.

Αυτό είναι πραγματικά ενθουσιαστικό, και είναι επίσης πραγματικά τρομακτικό, γιατί η επιφάνεια επίθεσης που συνοδεύει αυτή την αυτονομία είναι τεράστια, και οι περισσότερες οργανώσεις μόλις αρχίζουν να κατανοούν τι σημαίνει να αφήσουν πράκτορες στην υποδομή τους.

Από Chatbots σε Χειριστές

Η αρχική υπόσχεση του AI ήταν απλή: ρωτήστε μια ερώτηση, λάβετε μια απάντηση. Αυτό εξακολουθεί να ισχύει για τις περισσότερες καταναλωτικές互動, αλλά δεν είναι αυτό που συμβαίνει στις επιχειρηματικές αναπτύξεις πλέον. Οι σημερινοί πράκτορες λαμβάνουν διαπιστευτήρια, κλειδιά API και την ικανότητα να διαγράψουν, να δημιουργήσουν και να ανnotate δεδομένα, καθώς και να λάβουν πραγματικές ενέργειες σε συστήματα που έχουν πραγματικές συνέπειες.

Η αλλαγή συνέβη γρήγορα. Σε λιγότερο από δύο χρόνια, οι πράκτορες AI πήγαν από τη δημιουργία κειμένου σε επιτρέποντας μας να εκτελέσουμε ομαλές, πολυ-πρακτορικές εγκαταστάσεις. Διαβάζουν emails, ενεργοποιούν ροές εργασιών, ερωτούν βάσεις δεδομένων και σε ορισμένες περιπτώσεις διαχειρίζονται άλλους πράκτορες κάτω από αυτούς. Αυτό το επίπεδο πρόσβασης χρειαζόταν παλαιότερα μια μακρά διαδικασία προμήθειας και έναν άνθρωπο στη διαδικασία. Τώρα είναι ένα αρχείο διαμορφώσεων και quelques κλήσεις API

Περισσότερη Πρόσβαση Σημαίνει Περισσότερη Έκθεση

Οι παραδοσιακές επιθέσεις λογισμικού έχουν ένα κάπως προβλέψιμο προφίλ. Υπάρχει ένα γνωστό σημείο εισόδου, μια γνωστή ευπάθεια, μια γνωστή επιδιόρθωση. Οι πράκτορες AI σπάζουν αυτό το μοντέλο γιατί είναι δυναμικοί από σχεδιασμό. Δεν ακολουθούν einen στατικό κώδικα. Συλλογίζονται τι να κάνουν επόμενο, που σημαίνει ότι η συμπεριφορά τους είναι δυσκόλότερο να προβλεφθεί και πολύ δυσκόλότερο να ελεγχθεί μετά.

Αυτή η απρόβλεπτη συμπεριφορά είναι χρήσιμη για την εκτέλεση εργασιών. Είναι επίσης ένα πλεονέκτημα για όποιον προσπαθεί να εκμεταλλευτεί το σύστημα. Όταν ένας πράκτορας μπορεί να αποφασίσει, εν μέσω εργασίας, να καλέσει ένα εξωτερικό API ή να τραβήξει ένα εργαλείο τρίτου μέρους, δεν υπάρχει καθαρό περιβάλλον να υπερασπιστεί.

Οι ομάδες ασφαλείας είναι συνηθισμένες να προστατεύουν γνωστές επιφάνειες και να παρακολουθούν το κόστος του Kubernetes. Οι πράκτορες συνεχίζουν να ανακαλύπτουν νέες επιφάνειες και εκμεταλλεύσεις, και κανείς δεν τις χαρτογραφεί σε πραγματικό χρόνο. Πριν το καταλάβετε, κάποιος μπορεί να αποκτήσει τον έλεγχο των διαπιστευτηρίων και να πάρει τον έλεγχο ολόκληρου του “οργανισμού” AI με μια κίνηση.

Η Ένεση Προτύπων είναι η Νέα Ένεση SQL

Εάν υπάρχει ένα σημείο επίθεσης που οι ερευνητές ασφαλείας συνεχίζουν να επανέρχονται, είναι η ένεση προτύπων. Η ιδέα είναι απλή: αντί να εκμεταλλευτεί μια ευπάθεια κώδικα, ένας επιτιθέμενος χειρίζεται τις οδηγίες που λαμβάνει ένας πράκτορας μέσω των εισόδων του. Μια κακόβουλη οδηγία ενσωματωμένη σε μια ιστοσελίδα, ένα έγγραφο ή ακόμη και ένα email μπορεί να ανακατευθύνει τι θα κάνει ο πράκτορας επόμενο.

Τι κάνει αυτό ιδιαίτερα οξύ είναι ότι οι πράκτορες συχνά κάνουν ακριβώς αυτό που τους λέγεται. Επεξεργάζονται περιεχόμενο από το διαδίκτυο, από μηνύματα χρηστών, από εργαλεία τρίτων. Οποιονδήποτε από αυτό το περιεχόμενο είναι μια πιθανή επιφάνεια ένεσης. Ένας πράκτορας που διαβάζει ένα συμβιβασμένο έγγραφο και στη συνέχεια κάνει κλήσεις API με βάση το περιεχόμενό του έχει υποκλαπεί, και πιθανότατα δεν θα καταγράψει τίποτα που να κάνει την αλυσίδα αιτιότητας εμφανή.

Οι αμυντικές ενέργειες εδώ είναι πραγματικές αλλά不πλήρεις. Η δημιουργία eines sandbox για τις ενέργειες των πρακτόρων, η περιορισμός των εργαλείων που μπορεί να καλέσει ένας πράκτορας σε ορισμένες περιπτώσεις και η δημιουργία σημείων ελέγχου ανθρώπων σε εργασίες υψηλής σημασίας μειώνουν τον κίνδυνο. Δεν τον εξαφανίζουν. Και οι περισσότερες οργανώσεις δεν έχουν εφαρμόσει ακόμη ούτε τις βασικές.

Το Πρόβλημα Εμπιστοσύνης Μέσα στα Πολυ-Πρακτορικά Συστήματα

Τα πολυ-πρακτορικά συστήματα εισάγουν ένα επίπεδο πολυπλοκότητας που είναι εύκολο να υποτιμηθεί. Όταν ένας πράκτορας συντονίζει πολλούς άλλους, υπάρχει μια ιεραρχία εμπιστοσύνης. Ο συντονιστής περνά οδηγίες, και οι υπο-πράκτορες τις ακολουθούν. Εάν ο συντονιστής υποκλαπεί, κάθε πράκτορας κάτω από αυτόν είναι αποτελεσματικά υποκλαπεί επίσης, και η ακτίνα έκρηξης μεγαλώνει γρήγορα.

Υπάρχει επίσης το ζήτημα της υπερ-εξουσιοδότησης. Οι πράκτορες συχνά λαμβάνουν περισσότερη πρόσβαση από ότι χρειάζονται γιατί είναι ευκολότερο να δώσουν ευρείες εξουσιοδότησεις από πριν παρά να τις βελτιώσουν σταδιακά. Ένας ερευνητικός πράκτορας δεν χρειάζεται πρόσβαση σε μια βάση δεδομένων παραγωγής.

Ένας πράκτορας προγραμματισμού δεν χρειάζεται πρόσβαση σε οικονομικές εγγραφές. Βέβαια, αυτό feels ανακουφιστικό να έχει όλα συνδεδεμένα, αλλά είναι απλά πολύ rủiγο να δούμε οποιαδήποτε μη-μειούμενη απόδοση. Αλλά οι γραμμές γίνονται αμυδρές στην πράξη, και οι αρχές ελάχιστης εξουσιοδότησης που λειτουργούν καλά στη θεωρία εγκαταλείπονται σιωπηλά στην βιασύνη να αποπλεύσουν.

Τι Νόμιμη Ασφάλεια Φαίνεται Εδώ

Δεν υπάρχει καμία seule λύση που να κάνει τις αναπτύξεις πρακτόρων ασφαλείς. Είναι ένα στρωματωμένο πρόβλημα και χρειάζεται μια στρωματωμένη απάντηση. Οι οργανώσεις που το κάνουν καλά συνήθως αρχίζουν με τον έλεγχο πρόσβασης: δίνουν σε κάθε πράκτορα einen καθορισμένο, στενό πεδίο και χτίζουν βήματα αναθεώρησης σε οποιαδήποτε ενέργεια που αγγίζει ευαίσθητα συστήματα ή εξωτερικές υπηρεσίες.

Η παρατηρησιμότητα έχει την ίδια σημασία με την πρόληψη. Εάν ένας πράκτορας κάνει κάτι απρόσμενο, οι ομάδες χρειάζονται μια πλήρη ιχνηλάτηση των οδηγιών που έλαβε, ποια εργαλεία κάλεσε και τι επέστρεψε. Οι περισσότερες ρυθμίσεις καταγραφής δεν είναι κατασκευασμένες με αυτό το είδος γρανулярιας στο μυαλό, και η ανακατασκευή τους μετά είναιболική. Η κατασκευή τους από την αρχή αξίζει την τριβή.
Η δοκιμή αντίπαλων είναι επίσης υποτιμημένη. Η δοκιμή των πρακτόρων, συγκεκριμένα προσπαθώντας να ενέκτεινε κακόβουλες οδηγίες και παρατηρώντας τι συμβαίνει, επιφανείζει ευπάθειες που η στατική αναθεώρηση κώδικα δεν θα πιάσει ποτέ. Είναι άβολο να σκεφτείτε, αλλά οι άνθρωποι που θα προσπαθήσουν να εκμεταλλευτούν αυτά τα συστήματα είναι ήδη να το κάνουν. Να φτάσετε εκεί πρώτοι είναι η μόνη ευλογημένη κίνηση.

Τελικές Σκέψεις

Οι πράκτορες AI θα γίνουν μεγαλύτερος μέρος του τρόπου με τον οποίο λειτουργούν οι οργανώσεις, και αυτή η αλλαγή είναι ήδη σε εξέλιξη. Η συζήτηση για την ασφάλεια πρέπει να τη φτάσει, και γρήγορα. Οι κίνδυνοι είναι πραγματικοί, οι διαδρομές επίθεσης είναι καινούργιες, και το παράθυρο για να προηγηθεί είναι στενεύοντας.

Η κατανόηση του τοπίου απειλών για τα αυτόνομα συστήματα AI δεν είναι πλέον προαιρετική. Είναι ένα από τα πιο σημαντικά πράγματα που οι ομάδες ασφαλείας και μηχανικής μπορούν να κάνουν τώρα, και ο χρόνος για να το κάνουν σωστά έχει ήδη αρχίσει.