Από τη Γεννητική στη Διαδικτυακή Νοημοσύνη: Η Μετατόπιση από τον Κίνδυνο Περιεχομένου στο Κίνδυνο Εκτέλεσης

Η επιχειρηματική νοημοσύνη εξελίσσεται γρήγορα. Αυτό που ξεκίνησε ως γεννητική νοημοσύνη συν-πιλότος για την σύνταξη email και την περίληψη εγγράφων τώρα γίνεται κάτι πολύ πιο αυτόνομο: συστήματα που σχεδιάζουν, αποφασίζουν και εκτελούν εργασίες σε διάφορα εργαλεία και περιβάλλοντα.

Αυτή είναι η μετάβαση από τη γεννητική στη διαδικτυακή νοημοσύνη. Βλέπουμε τον κίνδυνο να μεταμορφώνεται.

Η γεννητική νοημοσύνη εισήγαγε κινδύνους περιεχομένου, συμπεριλαμβανομένων ψευδαισθήσεων, διαρροής δεδομένων μέσω προτροπών και προκατειλημμένων εξόδων. Ο κίνδυνος της διαδικτυαικής νοημοσύνης συμβαίνει μέσω των αυτόνομων συστημάτων της, τα οποία έχουν άδεια, μνήμη και τη δυνατότητα να έχουν πρόσβαση σε όλα τα διαθέσιμα εργαλεία με τη ταχύτητα των μηχανών.

Αυτή είναι μια ευκαιρία για τους chuyênικούς ασφαλείας, διακυβέρνησης ή νοημοσύνης να επανεξετάσουν τη θέση τους σε σχέση με τους νέους κινδύνους.

Τι είναι ο κίνδυνος της διαδικτυαικής νοημοσύνης;

Ο κίνδυνος της διαδικτυαικής νοημοσύνης αναφέρεται στους κινδύνους ασφαλείας, λειτουργίας και διακυβέρνησης που δημιουργούνται από συστήματα νοημοσύνης που λειτουργούν αυτόνομα, όχι μόνο παράγοντας κείμενο αλλά και εκτελώντας πολύπλοκες εργασίες σε επιχειρηματικά συστήματα.

Σε αντίθεση με τις παραδοσιακές μεγάλες γλωσσικές μοντέλα (LLM), τα διαδικτυακά συστήματα μπορούν να分割ουν εργασίες σε δυναμικές ροές εργασιών, να κάνουν εξωτερικές αιτήσεις API και να επικαλέσουν εσωτερικές εφαρμογές, και να αποθηκεύσουν και να ανακαλέσουν μνήμη. Μπορούν επίσης να λειτουργούν υπό ανατεθειμένη ταυτότητα και να επικοινωνούν με άλλα πράγματα.

Σε άλλες λέξεις, είναι λιγότερο σαν chatbot και περισσότερο σαν νεαροί ψηφιακοί υπάλληλοι. Αυτό αντιπροσωπεύει μια τεράστια αύξηση της επιφάνειας επιθέσεων του πράγματος νοημοσύνης.

Γεννητική vs διαδικτυακή νοημοσύνη: Τι αλλάζει;

Ο κίνδυνος της γεννητικής νοημοσύνης επικεντρώνεται στα εξόδους. Οι ομάδες ασφαλείας ρωτούν ερωτήσεις όπως αν το μοντέλο διαρρέει δεδομένα, αν μπορεί να ψευδαισθάνεται, ή αν παράγει επιβλαβές ή μη συμμορφωμένα περιεχόμενα.

Οι άνθρωποι είναι σαφώς στη λούπα. Η νοημοσύνη προτείνει, οι άνθρωποι εγκρίνουν.

Ο κίνδυνος της διαδικτυαικής νοημοσύνης είναι προσανατολισμένος στην δράση. Τώρα, οι ομάδες ασφαλείας πρέπει να ρωτήσουν τους εαυτούς τους ποια συστήματα το πράγμα μπορεί να αλληλεπιδράσει, ποια άδεια θα κληρονομήσει, πόσο μακριά μπορεί να φτάσει το σχέδιό του, και τι θα συμβεί αν απολεσθεί ενώ εκτελεί.

Η διαφορά μπορεί να είναι πολύ μικρή, αλλά είναι σημαντική: Η γεννητική νοημοσύνη δημιουργεί περιεχόμενο. Η διαδικτυακή νοημοσύνη δημιουργεί συνέπειες. Αυτή είναι η μετατόπιση από τον κίνδυνο περιεχομένου στο κίνδυνο εκτέλεσης.

Πώς η διαδικτυακή νοημοσύνη επεκτείνει την επιφάνεια επιθέσεων των επιχειρήσεων;

Η διαδικτυακή νοημοσύνη δεν προσθέτει μόνο μια νέα εφαρμογή. Δημιουργεί ένα νέο επιχειρησιακό επίπεδο. Εδώ είναι πώς η επιφάνεια επιθέσεων μεγαλώνει:

1. Διαδικτυακά πράγματα με đặcрава

Υπάρχουν πολλά πράγματα που ενεργούν για λογαριασμό χρηστών ή λογαριασμών υπηρεσιών. Όταν ο σκοπός των άδειας δεν είναι στενός, γίνονται πολύτιμα στόχοι.

Αυτό μπορεί να οδηγήσει σε προβλήματα confusdeputy, αύξηση προνομίων και οριζόντια κίνηση. Αυτό είναι ένα πρόβλημα όταν τα cloud, SaaS και εσωτερικά συστήματα παρέχουν δυναμική ή κληρονομική πρόσβαση σε πράγματα.

2. Δυναμικές διαδρομές εκτέλεσης

Οι ροές ελέγχου στις παραδοσιακές εφαρμογές είναι детерμινιστικές. Οι ροές ελέγχου στα διαδικτυακά συστήματα νοημοσύνης δεν είναι.

Σκέφτονται για στόχους, δράσεις, αντανακλούν, βελτιώνουν και επικαλέσουν εργαλεία με μη детерμινιστικό τρόπο. Αυτό οδηγεί σε δύσκολα να αναλυθούν περιπτώσεις αποτυχίας, σύνθετα γραφήματα εξαρτήσεων και κασκαντώσεις αποτυχιών σε συστήματα πολλαπλών πραγμάτων. Οι έλεγχοι ασφαλείας που αναπτύχθηκαν για детерμινιστικές ροές ελέγχου δεν είναι εφαρμόσιμοι εδώ.

3. Μόνιμη μνήμη

Η επιφάνεια επιθέσεων που προκαλείται από τη μνήμη του πράγματος είναι μόνιμη.

Όταν η βραχυπρόθεσμη ή μακροπρόθεσμη μνήμη είναι προσβεβλημένη, μια κακόβουλη κατάσταση μπορεί να επηρεάσει αποφάσεις σε πολλαπλά συνεδριάσεις. Αυτό διαφέρει από μια seule ένεση μιας προτροπής, καθώς η διαρροή μνήμης παρέχει μόνιμη κατάσταση.

4. Κίνδυνοι λήψης αποφάσεων με ταχύτητα μηχανής

Τα αυτόνομα πράγματα λαμβάνουν αποφάσεις με ταχύτητα που είναι αδύνατο να αντιγραφεί. Αυτό φέρνει προκλήσεις λήψης αποφάσεων με ταχύτητα μηχανής, όπως γρήγορη διάδοση λαθών, κύκλοι κακοποίησης πολύ πιο γρήγοροι από την αντίδραση των ανθρώπων και αύξηση πριν από την ανίχνευση.

Γιατί οι παραδοσιακοί έλεγχοι αποτυγχάνουν με τη διαδικτυακή νοημοσύνη

Οι περισσότεροι παραδοσιακοί επιχειρηματικοί μοντέλα ασφαλείας βασίζονται σε στατικές εφαρμογές, προβλέψιμες γραφήματα κλήσεων, ανθρώπινη έγκριση και σαφή διαχωρισμό μεταξύ επεξεργασίας δεδομένων και εκτέλεσης. Η διαδικτυακή νοημοσύνη κάνει αυτές τις υποθέσεις άκυρες.

Πάρτε, για παράδειγμα, einen παραδοσιακό έλεγχο όπως η επικύρωση εισόδου. Αυτό προστατεύει τα όρια του συστήματος. Ωστόσο, ο κίνδυνος της διαδικτυαικής νοημοσύνης συνήθως εμφανίζεται στη μέση της λούπας, στη φάση σχεδιασμού, αντανακλώσεως ή εργαλείων.

Οι παραδοσιακοί έλεγχοι ευπάθειας επικεντρώνονται επίσης στην υποδομή και το λογισμικό. Ωστόσο, ο κίνδυνος εκτέλεσης της νοημοσύνης κατοικεί στο επίπεδο λογικής και δράσης του πράγματος.

Το ερώτημα είναι: Πώς προστατεύετε κάτι που μπορεί να επιλέξει την επόμενη δράση του; Δεν μπορείτε να περιβάλετε τους ελέγχους γύρω από μια μονή κλήση μοντέλου. Πρέπει να ασφαλίσετε τη ροή εργασιών.

Ασφάλεια της διαδικτυαικής νοημοσύνης: Τι λειτουργεί στην πράξη;

Όταν πρόκειται για την ασφάλεια της διαδικτυαικής νοημοσύνης, πρέπει να existe μια μετατόπιση από τη σκέψη περίμετρου στη σκέψη κύκλου ζωής. Τα πράγματα δεν πρέπει να επιτρέπεται να ερμηνεύουν τους στόχους τους άπειρα, και υπάρχουν πολλοί τρόποι για να επιτευχθεί αυτό.

Η καθιέρωση επιτρεπτών ακολουθιών στόχων, η ρύθμιση του βάθους των δέντρων επέκτασης σχεδίου, η παρακολούθηση της οδικής μετατόπισης και η απαγόρευση των αυτο-συγγραφής στόχων εκτός ορίων είναι όλα απαραίτητοι έλεγχοι. Οι απροσδόκητες παραλλαγές στη λογική είναι συχνά οι προδρόμοι της χειραγώγησης.

Ενδυναμώστε την εκτέλεση εργαλείων. Τα εργαλεία είναι όπου το σχέδιο συναντά την πραγματικότητα, και η ασφάλεια πρέπει να καλύπτει τους ελέγχους άδειας πριν από την εκτέλεση εργαλείων, περιβάλλοντα εκτέλεσης με sandbox, αυστηρή επικύρωση παραμέτρων και μεταφορά πιστοποιητικών σε πραγματικό χρόνο. Κάθε εκτέλεση εργαλείου πρέπει να καταγράφεται ως πρώτης τάξης γεγονός ασφαλείας.

Απομονωθείτε στη μνήμη και στο πεδίο προνομίων. Η μνήμη πρέπει να αντιμετωπίζεται ως ευαίσθητη υποδομή. Αυτό σημαίνει την επικύρωση των λειτουργιών γραφής, τη διαμερισματική μνήμη, τον περιορισμό του πεδίου για λειτουργίες ανάγνωσης ανά εργασία, τη χρήση προσωρινών πιστοποιητικών και την αποτροπή κληρονομούμενων προνομίων. Η ακαδημαϊκή συσσώρευση άδειας είναι ένας σημαντικός κίνδυνος της διαδικτυαικής νοημοσύνης.

Ασφαλίστε τη συντονισμό πολλαπλών πραγμάτων. Σε κατανεμημένα συστήματα πραγμάτων, η επικοινωνία γίνεται ένας διαύλος επιθέσεων. Αυτό πρέπει να υποδηλώνει πιστοποίηση πραγμάτων, επικύρωση σχήματος μηνυμάτων, περιορισμένα κανάλια επικοινωνίας και παρακολούθηση για ανώμαλες επιρροές. Όταν η συντονισμό απομακρύνεται από τις αναμενόμενες ροές, η απομόνωση πρέπει να συμβεί αυτόματα.

Από τη διαχείριση έκθεσης στη διαχείριση αξιολόγησης για συστήματα νοημοσύνης

Αυτή είναι η θέση όπου μια ευρύτερη φιλοσοφία ασφαλείας γίνεται κλειδί. Η παραδοσιακή διαχείριση ευπαθειών αναγνωρίζει γνωστές αδυναμίες. Ωστόσο, τα αυτόνομα συστήματα νοημοσύνης εισάγουν εμεργούς έκθεση: κινδύνους που προκύπτουν από τη διαμόρφωση, το σχεδιασμό προνομίων, τους δρόμους ολοκλήρωσης και τη δυναμική συμπεριφορά.

Αυτό συμφωνεί με αυτό που η βιομηχανία έχει ονομάσει διαχείριση έκθεσης και, πιο πρόσφατα, αξιολόγηση έκθεσης.

Η διαχείριση έκθεσης είναι όλα για τη συνεχής ορατότητα σε πώς τα συστήματα (συμπεριλαμβανομένων cloud περιουσίων, ταυτοτήτων, εφαρμογών και τώρα πραγμάτων νοημοσύνης) δημιουργούν μονοπάτια που οι κακόβουλοι ηθοποιοί μπορούν να εκμεταλλευτούν.

Για την ασφάλεια των αυτόνομων συστημάτων νοημοσύνης, αυτό σημαίνει να ρωτήσετε: Τι μπορεί να φτάσει αυτό το πράγμα; Ποια άδεια συσσωρεύει; Ποια συστήματα ορχηστρώνει; Και πού η εκτέλεση διασταυρώνεται με ευαίσθητα δεδομένα;

Οι ομάδες που ήδη χρησιμοποιούν στρατηγικές έκθεσης για να μειώσουν τον κυβερνοκίνδυνο βρίσκονται σε μια στερεή θέση για να επεκτείνουν αυτές τις αρχές στα περιβάλλοντα νοημοσύνης τους. Για παράδειγμα, πλατφόρμες που ενοποιούν ταυτότητα, cloud και ορατότητα ευπαθειών παρέχουν έναν τρόπο για να κατανοήσουν πώς τα διαδικτυακά πράγματα με προνόμια διασταυρώνονται με υπάρχουσες διαδρομές επιθέσεων.

Το κλειδί δεν είναι η προμηθευτική εργαλειοθήκη per se. Είναι η σκέψη:

Δεν ασφαλίζετε τη διαδικτυακή νοημοσύνη προστατεύοντας το μοντέλο. Ασφαλίζετε το συνεχώς μετρώντας και μειώνοντας την έκθεσή του.

Διαχείριση κινδύνων επιπέδου εκτέλεσης στη διαδικτυακή νοημοσύνη

Το χαρακτηριστικό της ασφάλειας της διαδικτυαικής νοημοσύνης είναι αυτό: Η επιφάνεια επιθέσεων δεν είναι η απόκριση, αλλά η ροή εργασιών.

Οι κίνδυνοι εκτέλεσης είναι πολλοί, συμπεριλαμβανομένων της μη πιστοποιημένης χρήσης εργαλείων, της απάτης ταυτότητας, της αύξησης προνομίων, της δηλητηρίασης μνήμης, της χειραγώγησης μεταξύ πραγμάτων και των συστημάτων ανθρώπινου-στο-βρόχο υπό duress.

Η μείωση αυτών των κινδύνων σημαίνει να έχεις ορατότητα στις σχέσεις ταυτότητας, την κληρονομική άδεια, τις εξαρτήσεις API, τη δραστηριότητα εκτέλεσης και την τηλεμετρία εκτέλεσης.

Αυτό δεν είναι πλέον μόνο η ασφάλεια της γεννητικής νοημοσύνης, αλλά και η ασφάλεια λειτουργίας της νοημοσύνης.

Ο κίνδυνος της διαδικτυαικής νοημοσύνης είναι αρχιτεκτονικός, όχι υποθετικός

Η διαδικτυακή νοημοσύνη είναι το επόμενο βήμα στην εξέλιξη της επιχειρηματικής υιοθέτησης της νοημοσύνης. Διαθέτει την υπόσχεση της αποτελεσματικότητας, της αυτοματοποίησης και της κλιμάκωσης. Ωστόσο, επίσης εισάγει κίνδυνο από αυτό που λέει η νοημοσύνη σε αυτό που κάνει η νοημοσύνη.

Η μετάβαση από τη γεννητική στη διαδικτυακή νοημοσύνη επηρεάζει τα ακόλουθα:

• Κίνδυνο περιεχομένου σε κίνδυνο εκτέλεσης
• Στατικές προτροπές σε δυναμικές ροές εκτέλεσης
• Ανθρώπινη επικύρωση σε αυτόνομη εκτέλεση
• Ασφάλεια εφαρμογών σε διαχείριση έκθεσης

Οι ηγέτες ασφαλείας που κατανοούν αυτή τη μετάβαση πρώτοι μπορούν να αρχιτεκτονήσουν φράγματα που κλιμακώνουν με την αυτονομία. Οι άλλοι θα終ουν με ψηφιακούς εσωτερικούς χωρίς εσωτερικούς ελέγχους.

Το μέλλον της νοημοσύνης στις επιχειρήσεις είναι διαδικτυακό. Το μέλλον της ασφάλειας της νοημοσύνης πρέπει να είναι εξοriented, συνειδητός της ροής εργασιών και σχεδιασμένος για λειτουργίες ταχύτητας μηχανής.

Επειδή μια φορά τα πράγματα νοημοσύνης έχουν τη δυνατότητα να εκτελούν, η μόνη εφικτή προσέγγιση είναι να κατανοήσετε συνεχώς (και να μετριάσετε) σε τι εκτίθενται.