Έλεγχος Hallucination: Πλεονεκτήματα και Κίνδυνοι της Ανάπτυξης LLMs ως Μέρος των Διεργασιών Ασφαλείας

Μεγάλες Γλωσσικές Μοντέλα (LLMs) που εκπαιδεύονται σε τεράστιες ποσότητες δεδομένων μπορούν να κάνουν τις ομάδες λειτουργιών ασφαλείας πιο έξυπνες. Τα LLMs παρέχουν συμβουλές και οδηγίες σε απάντηση, ελέγχους, διαχείριση θέσης και άλλα. Οι περισσότερες ομάδες ασφαλείας πειραματίζονται ή χρησιμοποιούν LLMs για να μειώσουν το χειρωνακτικό έργο στις ροές εργασίας. Αυτό μπορεί να είναι και για рутиνα και για σύνθετα καθήκοντα.

Για παράδειγμα, ένα LLM μπορεί να ερωτήσει έναν υπάλληλο μέσω email εάν είχε την πρόθεση να μοιραστεί ένα έγγραφο που ήταν ιδιοκτησία και να επεξεργαστεί την απάντηση με μια σύσταση για einen ασφαλείας. Ένα LLM μπορεί επίσης να ανατεθεί να μεταφράσει αιτήσεις για να αναζητήσει επιθέσεις αλυσίδας εφοδιασμού σε ανοιχτά modules και να ξεκινήσει πράκτορες που επικεντρώνονται σε συγκεκριμένες συνθήκες — νέους συνεισφέροντες σε ευρέως χρησιμοποιούμενα βιβλιοθήκες, ακατάλληλους κώδικες — με κάθε πράκτορα προγραμματισμένο για αυτήν την συγκεκριμένη συνθήκη.

Ωστόσο, αυτά τα ισχυρά συστήματα AI φέρουν σημαντικούς κινδύνους που δεν είναι σαν τους άλλους κινδύνους που αντιμετωπίζουν οι ομάδες ασφαλείας. Τα μοντέλα που τροφοδοτούν τα LLMs ασφαλείας μπορούν να υποκλαπεί μέσω έγχυσης προτύπων ή δηλητηρίασης δεδομένων. Συνεχείς βρόχοι ανατροφοδότησης και αλγόριθμοι μηχανικής μάθησης χωρίς επαρκή ανθρώπινη καθοδήγηση μπορούν να επιτρέψουν σε κακόβουλους χρήστες να ερευνήσουν ελέγχους και στη συνέχεια να προκαλέσουν κακώς στοχευμένες απαντήσεις. Τα LLMs είναι επιρρεπή σε hallucinations, ακόμη και σε περιορισμένα πεδία. Ακόμη και τα καλύτερα LLMs κάνουν πράγματα όταν δεν ξέρουν την απάντηση.

Οι διεργασίες ασφαλείας και οι πολιτικές AI γύρω από τη χρήση LLM και τις ροές εργασίας θα γίνουν πιο κρίσιμες καθώς αυτά τα συστήματα γίνονται πιο κοινά σε επιχειρήσεις ασφαλείας και έρευνας. Η διασφάλιση ότι αυτές οι διεργασίες τηρούνται και μετράνονται και λογαριασμοί σε συστήματα διακυβέρνησης, θα αποδειχθεί κρίσιμη για να διασφαλιστεί ότι οι CISOs μπορούν να παρέχουν επαρκή κάλυψη GRC (Διακυβέρνηση, Κίνδυνος και Συμμόρφωση) για να ικανοποιήσουν νέες υποχρεώσεις όπως το Πλαίσιο Κυβερνοασφάλειας 2.0.

Η Τεράστια Επαγγελία των LLMs στην Ασφάλεια

Οι CISOs και οι ομάδες τους αγωνίζονται συνεχώς να跟πουν το αυξανόμενο κύμα νέων κυβερνοεπιθέσεων. Σύμφωνα με την Qualys, ο αριθμός των CVEs που αναφέρθηκαν το 2023 έφτασε σε ένανέο ρεκόρ των 26,447. Αυτό είναι πάνω από 5 φορές περισσότερο από το 2013.

Αυτή η πρόκληση έχει γίνει ακόμη πιο δυσχερής καθώς η επιφάνεια επιθέσεων της μέσης οργάνωσης μεγαλώνει με κάθε passing χρόνο. Οι ομάδες AppSec πρέπει να ασφαλίσουν και να παρακολουθήσουν πολλά περισσότερα λογισμικά εφαρμογών. Η υπολογιστική στα cloud, οι API, η多-cloud και η εικονικοποίηση έχουν προστεθεί στην复雑ότητα. Με τα σύγχρονα εργαλεία CI/CD και τις διαδικασίες, οι ομάδες εφαρμογών μπορούν να αποστέλλουν περισσότερο κώδικα, γρηγορότερα και πιο συχνά. Οι μικρουπηρεσίες έχουν σπάσει τις μονολιθικές εφαρμογές σε πολλές API και επιφάνεια επιθέσεων και επίσης έχουν κάνει πολλά περισσότερα τρυπήματα σε παγκόσμιους τοίχους πυρός για επικοινωνία με εξωτερικές υπηρεσίες ή συσκευές πελατών.

Τα προηγμένα LLMs έχουν τεράστια επαγγελία να μειώσουν το φορτίο εργασίας των ομάδων ασφαλείας και να βελτιώσουν τις ικανότητές τους. Τα εργαλεία κωδικοποίησης AI έχουν διεισδύσει ευρέως στην ανάπτυξη λογισμικού. Η έρευνα του Github βρήκε ότι το 92% των développers χρησιμοποιούν ή έχουν χρησιμοποιήσει εργαλεία AI για σύσταση και ολοκλήρωση κώδικα. Τα περισσότερα από αυτά τα “copilot” εργαλεία έχουν κάποιες ικανότητες ασφαλείας. Πράγματι, οι πειραματικές дисципλίνες με σχετικά δυαδικές εξόδους όπως η κωδικοποίηση (ο κώδικας θα περάσει ή θα αποτύχει στις μονάδες ελέγχου) είναι καλά προσαρμοσμένες για LLMs. Πέρα από την σάρωση κώδικα για ανάπτυξη λογισμικού και στη διαδικασία CI/CD, η AI θα μπορούσε να είναι πολύτιμη για τις ομάδες ασφαλείας με πολλούς άλλους τρόπους:

• Βελτιωμένη Ανάλυση: Τα LLMs μπορούν να επεξεργαστούν τεράστιες ποσότητες δεδομένων ασφαλείας (λογαριασμοί, ειδοποιήσεις, πληροφορίες απειλών) για να ανακαλύψουν μοτίβα και συσχετίσεις που δεν είναι ορατές στους ανθρώπους. Μπορούν να κάνουν αυτό σε όλες τις γλώσσες, όλο το 24ωρο, και σε πολλές διαστάσεις ταυτόχρονα. Αυτό ανοίγει νέες ευκαιρίες για τις ομάδες ασφαλείας. Τα LLMs μπορούν να μειώσουν ένα σωρό ειδοποιήσεων σε近 real-time, σημειώνοντας εκείνες που είναι πιο πιθανό να είναι σοβαρές. Μέσω της ενισχυτικής μάθησης, η ανάλυση πρέπει να βελτιωθεί με τον καιρό.
• Αυτοματοποίηση: Τα LLMs μπορούν να αυτοματοποιήσουν τις εργασίες των ομάδων ασφαλείας που συνήθως απαιτούν συζήτηση. Για παράδειγμα, όταν μια ομάδα ασφαλείας λαμβάνει ένα IoC και χρειάζεται να ρωτήσει τον ιδιοκτήτη ενός endpoint εάν είχε στην πραγματικότητα συνδεθεί σε μια συσκευή ή εάν βρίσκεται σε μια θέση εκτός των συνηθισμένων зωνών εργασίας, το LLM μπορεί να εκτελέσει αυτές τις απλές λειτουργίες και στη συνέχεια να ακολουθήσει με ερωτήσεις όπως απαιτείται και συνδέσμους ή οδηγίες. Αυτή η互動ία χρησιμοποιούσε να διεξάγεται από ένα μέλος της ομάδας IT ή ασφαλείας. Τα LLMs μπορούν επίσης να παρέχουν πιο προηγμένα χαρακτηριστικά. Για παράδειγμα, ένα Microsoft Copilot για Ασφάλεια μπορεί να δημιουργήσει αναφορές ανάλυσης περιστατικών και να μεταφράσει σύνθετο κώδικα malware σε φυσικές περιγραφές.
• Συνεχής Μάθηση και Ρύθμιση: Σε αντίθεση με τα προηγούμενα συστήματα μηχανικής μάθησης για πολιτικές ασφαλείας και κατανόηση, τα LLMs μπορούν να μαθαίνουν στο fly εισπράττοντας ανθρώπινες βαθμολογίες της απάντησής τους και επαναρυθμίζοντας σε νέες πισίνες δεδομένων που μπορεί να μην περιλαμβάνονται στα εσωτερικά αρχεία. Πράγματι, χρησιμοποιώντας το ίδιο υποκείμενο θεμελιώδες μοντέλο, τα LLMs ασφαλείας μπορούν να ρυθμιστούν για διαφορετικές ομάδες και τις ανάγκες, τις ροές εργασίας ή τις περιφερειακές ή καταERTICAL εργασίες. Αυτό σημαίνει επίσης ότι ολόκληρο το σύστημα μπορεί να γίνει τόσο έξυπνο όσο το μοντέλο, με αλλαγές που εξαπλώνονται γρήγορα σε όλες τις διεπαφές.

Κίνδυνος των LLMs για την Ασφάλεια

Ως μια νέα τεχνολογία με ένα σύντομο ιστορικό, τα LLMs έχουν σοβαρούς κινδύνους. Χειρότερα, η κατανόηση του πλήρους βαθμού αυτών των κινδύνων είναι δύσκολη επειδή οι έξοδοι των LLMs δεν είναι 100% προβλέψιμες ή προγραμματισμένες. Για παράδειγμα, τα LLMs μπορούν να “hallucinate” και να κάνουν λάθος απαντήσεις ή να απαντήσουν ερωτήσεις λάθος, βασισμένες σε φανταστικά δεδομένα. Πριν από την υιοθέτηση των LLMs για χρήσεις ασφαλείας, πρέπει να ληφθούν υπόψη οι πιθανές κίνδυνοι, συμπεριλαμβανομένων:

• Έγχυση Προτύπων: Οι επιτιθέμενοι μπορούν να δημιουργήσουν κακόβουλες προτροπές για να παράγουν παραπλανητικές ή βλαβερές εξόδους. Αυτός ο τύπος επιθέσεων μπορεί να εκμεταλλευτεί την τάση των LLMs να παράγουν περιεχόμενο με βάση τις προτροπές που λαμβάνουν. Σε χρήσεις ασφαλείας, η έγχυση προτύπων μπορεί να είναι πιο επικίνδυνη ως一种 επιθέσεων από εσωτερικούς ή μη εξουσιοδοτημένους χρήστες που χρησιμοποιούν προτροπές για να αλλάξουν μόνιμα τις εξόδους του συστήματος, στρέφοντας τη συμπεριφορά του μοντέλου.
• Δηλητηρίαση Δεδομένων: Τα δεδομένα εκπαίδευσης που βασίζονται τα LLMs μπορούν να διαβρωθούν σκόπιμα, υπονομεύοντας την λήψη αποφάσεων. Σε περιπτώσεις ασφαλείας, όπου οι οργανώσεις είναι πιθανό να χρησιμοποιούν μοντέλα που έχουν εκπαιδευτεί από παρόχους εργαλείων, η δηλητηρίαση δεδομένων μπορεί να συμβεί κατά τη διάρκεια της ρύθμισης του μοντέλου για τον συγκεκριμένο πελάτη και την περίπτωση χρήσης. Ο κίνδυνος εδώ θα μπορούσε να είναι ένας μη εξουσιοδοτημένος χρήστης που προσθέτει κακά δεδομένα — για παράδειγμα, διεφθαρμένα αρχεία καταγραφής — για να υπονομεύσει τη διαδικασία εκπαίδευσης. Ένας εξουσιοδοτημένος χρήστης θα μπορούσε επίσης να κάνει αυτό ακούσια. Το αποτέλεσμα θα ήταν εξόδους LLMs που βασίζονται σε κακά δεδομένα.
• Hallucinations: Όπως đã αναφέρθηκε προηγουμένως, τα LLMs μπορεί να παράγουν απαντήσεις που είναι γεμάτες λάθος, ακατάλληλες ή ακόμη και κακόβουλες λόγω λανθασμένων προτύπων ή ελαττωμάτων δεδομένων. Σε χρήσεις ασφαλείας, οι hallucinations μπορούν να οδηγήσουν σε κρίσιμες λάθος που μπορούν να αναστατώσουν την πληροφόρηση απειλών, την τριτοποίηση και την αποκατάσταση και άλλα. Επειδή η ασφάλεια είναι μια κρίσιμη δραστηριότητα, τα LLMs πρέπει να τηρούν υψηλότερες προδιαγραφές για την διαχείριση και την πρόληψη hallucinations σε αυτές τις περιπτώσεις.

Καθώς τα συστήματα AI γίνονται πιο ικανά, οι εγκαταστάσεις ασφαλείας τους επεκτείνονται γρήγορα. Για να είμαστε σαφείς, πολλές εταιρείες ασφαλείας έχουν χρησιμοποιήσει για καιρό αντιστοίχιση προτύπων και μηχανική μάθηση για δυναμική φιλτράρισμα. Αυτό που είναι νέο στην εποχή της γενετικής AI είναι τα διαδραστικά LLMs που παρέχουν ένα στρώμα νοημοσύνης πάνω από τις υφιστάμενες ροές εργασίας και πισίνες δεδομένων, ιδανικά βελτιώνοντας την αποδοτικότητα και τις ικανότητες των ομάδων ασφαλείας. Με άλλα λόγια, η GenAI μπορεί να βοηθήσει τους μηχανικούς ασφαλείας να κάνουν περισσότερα με λιγότερη προσπάθεια και τους ίδιους πόρους, αποφέροντας καλύτερη απόδοση και επιταχυνόμενα διαδικασίες.