Γιατί τα Μέτρα Ασφαλείας των Chatbot είναι το Λάθος Σύνορο Ασφαλείας

Η επιχειρηματική τεχνητή νοημοσύνη έχει προχωρήσει πολύ πέρα από το στάδιο της απόδειξης της концепτός. Το 23% των οργανισμών έχουν ήδη αναπτύξει συστήματα τεχνητής νοημοσύνης σε κάποιο σημείο της επιχείρησής τους, και το 62% τουλάχιστον πειραματίζονται με πράκτορες τεχνητής νοημοσύνης. Αυτά δεν είναι ερευνητικά προγράμματα. Είναι παραγωγικές αναπτύξεις, ενσωματωμένες σε ροές εργασιών που αγγίζουν αποθετήρια κώδικα, δεδομένα πελατών, εσωτερικές API και λειτουργική υποδομή.

Η απάντηση του κλάδου σε αυτήν την ανάπτυξη έχει επικεντρωθεί σε μεγάλο βαθμό σε αυτό που συμβαίνει πριν από την εκκίνηση ενός πράκτορα. Οι προμηθευτές και οι ερευνητές έχουν δώσει ενέργεια σε προ-αναπτύξεις ασφάλειας: δημοσίευση πολιτικών κλιμάκωσης, ενίσχυση μοντέλων θεμελίωσης, φιλτράρισμα εισροών, ασφάλεια της αλυσίδας εφοδιασμού τεχνητής νοημοσύνης και επιβολή συμμόρφωσης κατά τη διάρκεια της εκπαίδευσης. Οι μεγάλες προμηθευτές τεχνητής νοημοσύνης έχουν κάνει σημαντικές επενδύσεις σε εργαλεία ασφαλείας που απευθύνονται στους développers, ενισχύοντας μια κεντρική υπόθεση: αν το μοντέλο και οι εισροές του ελέγχονται, το κίνδυνο που προκύπτει μπορεί να περιοριστεί.

Είναι ένας λογικός ενστίκτος, αλλά ένας ολοένα και πιο ατελής.

Το Prompt Δεν Είναι Σύνορο Ασφαλείας

Τα μέτρα ασφαλείας που λειτουργούν στο διεπαφή του μοντέλου ωφελούν κυρίως τις ομάδες που ελέγχουν τον κώδικα της εφαρμογής, τη διαμόρφωση του μοντέλου και την υποκείμενη υποδομή. Προσφέρουν πολύ λιγότερη προστασία στους υπερασπιστές που έχουν ανατεθεί να ασφαλίσουν συστήματα τεχνητής νοημοσύνης που δεν έχτισαν και δεν μπορούν να τροποποιήσουν. Αυτό είναι ένα σημαντικό τύφλος, και οι αντίπαλοι έχουν ήδη το βρήκαν.

Η τελευταία αναφορά πληροφοριών απειλών της OpenAI τεκμηριώνει ακριβώς αυτήν τη δυναμική. Οι πράκτορες απειλών εκμεταλλεύονται ενεργά το ChatGPT και παρόμοια εργαλεία σε περιβάλλοντα παραγωγής, όχι ανακαλύπτοντας νέες τεχνικές επιθέσεων, αλλά ενσωματώνοντας τη τεχνητή νοημοσύνη σε υπάρχουσες ροές εργασιών για να κινούνται γρηγορότερα. Η αναγνώριση γίνεται πιο αποτελεσματική. Η κοινωνική μηχανική κλιμακώνεται. Η ανάπτυξη κακόβουλου λογισμικού επιταχύνεται. Η επιφάνεια επίθεσης δεν έχει αλλάξει θεμελιωδώς· η ταχύτητα και ο όγκος της εκμετάλλευσης έχει.

Περισσότερο αποκαλυπτικό είναι το πώς οι επιτιθέμενοι ανταποκρίθηκαν όταν αυτά τα εργαλεία ανταποκρίθηκαν. Η OpenAI observed ότι οι πράκτορες απειλών μεταλλάσσουν γρήγορα τις προτροπές τους, διατηρώντας την υποκείμενη πρόθεση ενώ κυκλοφορούν σε επιφανειακές παραλλαγές για να παρακάμψουν τον έλεγχο του front-end. Αυτό είναι ένα μοτίβο που οι praktikoi ασφαλείας έχουν δει πριν.

Όταν Η Απειλή Κινείται Κατωτέρω

Οι ομάδες ασφαλείας που υπερασπίζονται τις αναπτύξεις της τεχνητής νοημοσύνης σήμερα αντιμετωπίζουν μια δομική ανισότητα. Τα εργαλεία που διαθέτουν είναι σε μεγάλο βαθμό κατασκευασμένα για να λογαρίθμουν τι επιτρέπεται να πει ένα μοντέλο. Ο πραγματικός κίνδυνος που πρέπει να διαχειριστούν είναι τι κάνει ένας πράκτορας σε διάφορα συστήματα, δίκτυα και ταυτότητες μια φορά που έχει λάβει άδειες και έχει απελευθερωθεί σε ένα περιβάλλον παραγωγής.

Τα μέτρα ασφαλείας που βασίζονται σε προτροπές μοιράζονται τις θεμελιώδεις αδυναμίες των προηγούμενων προσεγγίσεων ασφαλείας που βασίζονται σε κανόνες. Είναι εύθραυστα επειδή εξαρτώνται από την πρόβλεψη των μοτίβων επιθέσεων εκ των προτέρων. Είναι αντιδραστικά επειδή απαιτούν κάποιον να έχει παρατηρήσει και κωδικοποιήσει την απειλή πριν η άμυνα να λειτουργήσει. Και είναι υπερβαίνονται από τους αντίπαλους που έχουν υιοθετήσει την τεχνητή νοημοσύνη-βοηθούμενη επανάληψη ως τυπική πρακτική. Ένας υπερασπιστής που βασίζεται στο φιλτράρισμα εισροών για να πιάσει έναν πράκτορα απειλής που χρησιμοποιεί ένα μοντέλο γλώσσας για να δημιουργήσει νέες παραλλαγές προτροπών βρίσκεται σε μια ουσιαστικά χαμένη θέση.

Μετακίνηση του Συνόρου Ασφαλείας στις Ενέργειες του Πράκτορα

Η κατασκευή της ανθεκτικότητας της τεχνητής νοημοσύνης απαιτεί μια διαφορετική προοπτική και ο στόχος δεν πρέπει να είναι η προστασία του διεπαφής του μοντέλου. Πρέπει να είναι η ανίχνευση της πρόθεσης του επιτιθέμενου μέσω των παρατηρήσιμων συνεπειών των ενεργειών του πράκτορα. Αυτή είναι μια σημαντική διάκριση. Η πρόθεση δεν εμφανίζεται πάντα σε αυτό που λέει ένας πράκτορας ή σε ποιες εισροές λαμβάνει.

Η ασφάλεια των συστημάτων τεχνητής νοημοσύνης πρέπει να επεκταθεί πέρα από τους ελέγχους συμμόρφωσης και τις αξιολογήσεις ανθεκτικότητας στην συνεχή αξιολόγηση του πώς οι πράκτορες συμπεριφέρονται μια φορά που αλληλεπιδρούν με πραγματικά εργαλεία, πραγματικές API και πραγματικά δεδομένα. Η στατική αξιολόγηση στο χρόνο αναπτύξεως είναι αναγκαία αλλά ανεπαρκής. Το περιβάλλον απειλής στο οποίο λειτουργεί ένας πράκτορας αλλάζει συνεχώς. Η συμπεριφορά του πράκτορα πρέπει να παρακολουθείται με την ίδια συνέχεια.

Αυτό είναι ένα πρόβλημα που η σκληράδα της προτροπής δεν μπορεί να λύσει. Η ανίχνευση της κακόβουλης πρόθεσης καθώς εμφανίζεται μέσω ακολουθιών ενεργειών απαιτεί μοντέλα που μπορούν να κατανοήσουν σύνθετη, ακολουθιακή συμπεριφορά σε λειτουργικά περιβάλλοντα. Τα μοντέλα θεμελίωσης του βαθύ μαθήματος που κατασκευάζονται για ανάλυση συμπεριφοράς μπορούν να το κάνουν με τρόπους που τα συστήματα κανόνων και τα παραδοσιακά εργαλεία SIEM δεν μπορούν. Μαθαίνουν τι φαίνεται το κανονικό σε όλη τη διάρκεια της δραστηριότητας του πράκτορα και επιφανειακές αποκλίσεις που υποδηλώνουν ότι κάτι έχει αλλάξει, ακόμη και όταν καμία μεμονωμένη ενέργεια δεν θα ενεργοποιήσει μια συμβατική προειδοποίηση.

Η υποκείμενη λογική ισχύει ανεξάρτητα από το περιβάλλον αναπτύξεως: η ασφάλεια που έχει ως άγκυρα το στρώμα της προτροπής θα χάσει συνεχώς στους επιτιθέμενους που λειτουργούν στο στρώμα της ενέργειας. Η άμυνα πρέπει να μετακινηθεί στο σημείο όπου ζει η απειλή.

Τι πρέπει να κάνουν τώρα οι Ομάδες Ασφαλείας

Για τους ηγέτες ασφαλείας που προσπαθούν να προηγηθούν, μερικές πρακτικές μετατοπίσεις μπορούν να κλείσουν το χάσμα μεταξύ του σημείου όπου βρίσκονται οι άμυνες τώρα και του σημείου όπου πρέπει να είναι.

Αξιολογήστε την ασφάλεια της τεχνητής νοημοσύνης σε όλο το στακ εφαρμογής. Το μοντέλο θεμελίωσης είναι ένα στρώμα. Ισότιμα σημαντικό είναι το πώς οι πράκτορες συμπεριφέρονται μια φορά που αναπτύσσονται σε παραγωγή, ποια εργαλεία καλούν, ποίες άδειες χρησιμοποιούν και πώς αυτές οι επιλογές εξελίσσονται με το χρόνο. Οι αξιολογήσεις ασφαλείας που σταματούν στο σύνορο του μοντέλου αφήνουν την επιφάνεια λειτουργίας σε μεγάλο βαθμό ανεξέταστη.

Επιβάλετε την άδεια με την ελάχιστη δυνατή άδεια στο επίπεδο του πράκτορα. Οι πράκτορες τεχνητής νοημοσύνης πρέπει να έχουν πρόσβαση μόνο στα εργαλεία, τις API και τα δεδομένα που είναι αναγκαία για την προκαθορισμένη λειτουργία τους. Αυτός ο περιορισμός έχει σημασία ακόμη και όταν οι εξοδοί του πράκτορα φαίνονται αθώες. Η περιορισμός της εμβέλειας μειώνει τον κίνδυνο ενός πράκτορα που έχει διαρρεύσει και δημιουργεί σαφείς συμπεριφορικές βάσεις που κάνουν την ανίχνευση ανωμαλιών πιο αποτελεσματική.

Συμπεριφέρεστε στους πράκτορες ως ταυτότητες που παράγουν τηλεμετρία. Κάθε ενέργεια που thựcίζει ένας πράκτορας είναι ένα σημείο δεδομένων. Οι ομάδες ασφαλείας πρέπει να κατασκευάσουν λογική ανίχνευσης γύρω από αλυσίδες ενεργειών που ξεκινούν από πράκτορες, όχι μόνο τις προτροπές του χρήστη που τις προηγούνται. Αυτή η ανακατασκευή μετατοπίζει την παρακολούθηση από το τι ζήτησε ο χρήστης από τον πράκτορα να κάνει στο τι ο πράκτορας πραγματικά έκανε, που είναι το σημείο όπου η πρόθεση του επιτιθέμενου γίνεται ορατή.

Επενδύστε σε συνεχή παρακολούθηση συμπεριφοράς με μοντέλα ανίχνευσης που κατασκευάζονται ειδικά για αυτήν την εργασία. Η ανίχνευση της κακόβουλης πρόθεσης καθώς εμφανίζεται μέσω ακολουθιών ενεργειών απαιτεί εξειδικευμένη ικανότητα. Τα συμβατικά εργαλεία παρακολούθησης κατασκευάζονται για μοτίβα δραστηριότητας που παράγονται από ανθρώπους. Η συμπεριφορά του πράκτορα, με την ταχύτητά του, τον όγκο και τη много-βήματη δομή, απαιτεί υποδομή ανίχνευσης που σχεδιάζεται από την αρχή με αυτό το контекστό.

Προτεραιότητα στην ομαδική άμυνα. Οι τεχνικές επιθέσεων που βοηθούνται από την τεχνητή νοημοσύνη εξελίσσονται γρηγορότερα από ό,τι μπορεί να παρακολουθήσει οποιαδήποτε οργάνωση. Η κοινή έρευνα, η ανοιχτή συνεργασία και η κοινοτική πληροφόρηση απειλών δεν είναι προαιρετικά συμπληρώματα μιας στρατηγικής ασφαλείας τεχνητής νοημοσύνης· είναι βασικά είσοδα. Οι υπερασπιστές που παραμένουν τρέχοντες είναι αυτοί που συμβάλλουν και που τραβούν από την κοινή γνώση.

Η Συμπεριφορική Ασφάλεια Πραγματικά Παρέχει

Για τις ομάδες ασφαλείας που κάνουν αυτήν την μετατόπιση, η λειτουργική απόδοση είναι συγκεκριμένη. Η άγκυρα της ανίχνευσης στη συμπεριφορά του πράκτορα και όχι στις εξοδούς του μοντέλου ermögίζει την προηγούμενη ταυτοποίηση της κακόβουλης πρόθεσης, ακόμη και όταν οι επιθέσεις είναι κρυφές, προσαρμοστικές ή κρυπτογραφημένες. Οι επιτιθέμενοι που μεταλλάσσουν με επιτυχία τις προτροπές τους πέρα από τα φίλτρα εισροών πρέπει ακόμη να ενεργήσουν. Αυτές οι ενέργειες αφήνουν ίχνη. Η ανίχνευση συμπεριφοράς βρίσκει αυτά τα ίχνη πριν η ζημιά εξαπλωθεί.

Πιθανώς το πιο σημαντικό, αυτή η προσέγγιση δίνει στις οργανώσεις ένα πιστό μονοπάτι για την αναπτύξη πράκτορων τεχνητής νοημοσύνης σε κλίμακα χωρίς να αποδεχθούν αναλογικό κίνδυνο ασφαλείας. Το ερώτημα που κρατά πολλές επιχειρήσεις πίσω δεν είναι αν οι πράκτορες τεχνητής νοημοσύνης μπορούν να παράγουν αξία· είναι αν μπορούν να αναπτυχθούν με επαρκή εμπιστοσύνη ότι η στάθμη ασφαλείας δεν χειροτερεύει καθώς η αναπτύξη αυξάνεται. Η συμπεριφορική ασφάλεια, εδραιωμένη σε αυτό που πραγματικά λειτουργούν οι πράκτορες και όχι σε ποιες εισροές λαμβάνουν, παρέχει αυτήν την εμπιστοσύνη με τρόπο που τα μέτρα ασφαλείας που βασίζονται σε προτροπές δεν μπορούν ουσιαστικά.
Η γραμμή ασφαλείας σχεδιάστηκε στο λάθος σημείο, και αυτό το λάθος είχε νόημα όταν η τεχνητή νοημοσύνη ήταν ένα εργαλείο που περίμενε εισροή. Δεν περιμένει πλέον, τα συστήματα πράκτορα ενεργούν, αλυσίδες, επικαλύπτουν και συνδυάζουν σε περιβάλλοντα που καμία προ-αναπτύξαμε δοκιμή δεν προέβλεψε. Οι οργανώσεις που αναγνωρίζουν αυτό το sớm nhất θα είναι αυτές που πραγματικά κλιμακώνουν την τεχνητή νοημοσύνη με εμπιστοσύνη. Όλοι οι άλλοι θα περάσουν τα επόμενα χρόνια ανακαλύπτοντας, παραβίαση με παραβίαση, ότι ο έλεγχος του τι λέει ένα μοντέλο δεν ήταν ποτέ το ίδιο με τον έλεγχο του τι κάνει.