Έλεγχος Hallucination: Οφέλη και Κίνδυνοι της Ανάπτυξης LLMs ως Μέρος των Διαδικασιών Ασφαλείας

Μεγάλες Γλωσσικές Μοντέλα (LLMs) εκπαιδευμένα σε τεράστιες ποσότητες δεδομένων μπορούν να κάνουν τις ομάδες λειτουργιών ασφαλείας πιο έξυπνες. Τα LLMs παρέχουν προτάσεις και οδηγίες σε απάντηση, ελέγχους, διαχείριση στάσεων και πολλά άλλα. Οι περισσότερες ομάδες ασφαλείας πειραματίζονται ή χρησιμοποιούν LLMs για να μειώσουν το χειροκίνητο έργο στις ροές εργασίας. Αυτό μπορεί να είναι και για mundanes και σύνθετα καθήκοντα.

Για παράδειγμα, ένα LLM μπορεί να ερωτήσει έναν υπάλληλο μέσω email εάν είχε την πρόθεση να μοιραστεί ένα έγγραφο που ήταν ιδιοκτησιακό και να επεξεργαστεί την απάντηση με μια σύσταση για einen ασφαλείας. Ένα LLM μπορεί επίσης να ανατεθεί να μεταφράσει αιτήματα για να ψάξει για επιθέσεις αλυσίδας εφοδιασμού σε ανοιχτά modules και να εκκινήσει πράκτορες που επικεντρώνονται σε συγκεκριμένες συνθήκες — νέοι συνεισφέροντες σε ευρέως χρησιμοποιούμενα βιβλιοθήκες, ακατάλληλες προτύπους κώδικα — με κάθε πράκτορα που προετοιμάζεται για αυτήν την συγκεκριμένη συνθήκη.

Ωστόσο, αυτά τα ισχυρά συστήματα AI φέρουν σημαντικούς κινδύνους που δεν είναι σαν τους άλλους κινδύνους που αντιμετωπίζουν οι ομάδες ασφαλείας. Τα μοντέλα που τροφοδοτούν τα LLMs ασφαλείας μπορούν να υποκλαπεί μέσω της ένεσης προτύπων ή της δηλητηρίασης δεδομένων. Συνεχείς βρόχοι ανατροφοδότησης και αλγόριθμοι μηχανικής μάθησης χωρίς επαρκή ανθρώπινη καθοδήγηση μπορούν να επιτρέψουν στους κακόβουλους ηθοποιούς να διερευνήσουν τους ελέγχους και στη συνέχεια να προκαλέσουν κακώς στοχευμένες απαντήσεις. Τα LLMs είναι επιρρεπή σε οπτασίες, ακόμη και σε περιορισμένα πεδία. Ακόμη και τα καλύτερα LLMs κάνουν πράγματα όταν δεν γνωρίζουν την απάντηση.

Οι διαδικασίες ασφαλείας και οι πολιτικές AI γύρω από τη χρήση LLM και τις ροές εργασίας θα γίνουν πιο κρίσιμες καθώς αυτά τα συστήματα γίνονται πιο κοινά σε επιχειρήσεις ασφαλείας και έρευνας. Η διασφάλιση ότι αυτές οι διαδικασίες συμμορφώνονται και μετράνονται και λογαριασμοί σε συστήματα διακυβέρνησης, θα αποδειχθεί κρίσιμο για να διασφαλιστεί ότι οι CISOs μπορούν να παρέχουν επαρκή κάλυψη GRC (Διακυβέρνηση, Κίνδυνος και Συμμόρφωση) για να ικανοποιήσουν νέες εντολές όπως το Πλαίσιο Κυβερνοασφάλειας 2.0.

Η Τεράστια Επαγγελία των LLMs στην Κυβερνοασφάλεια

Οι CISOs και οι ομάδες τους αγωνίζονται συνεχώς να跟πουν με την αυξανόμενη παλίρροια των νέων κυβερνοεπιθέσεων. Σύμφωνα με την Qualys, ο αριθμός των CVEs που αναφέρθηκαν το 2023 έφτασε σε ένα νέο ρεκόρ των 26,447. Αυτό είναι πάνω από 5 φορές περισσότερο από το 2013.

Αυτή η πρόκληση έχει γίνει ακόμη πιο επιβαρυμένη καθώς η επιφάνεια επιθέσεων της μέσης οργάνωσης μεγαλώνει με κάθε περίοδο. Οι ομάδες AppSec πρέπει να ασφαλίσουν και να παρακολουθήσουν πολλά περισσότερα προγράμματα λογισμικού. Η υπολογιστική στο σύννεφο, οι API, οι τεχνολογίες multi-cloud και εικονικοποίησης έχουν προστεθεί επιπλέον複雑. Με τις σύγχρονες εργαλεία και διαδικασίες CI/CD, οι ομάδες εφαρμογών μπορούν να στείλουν περισσότερο κώδικα, γρηγορότερα και πιο συχνά. Οι μικροϋπηρεσίες έχουν σπάσει τις μονολιθικές εφαρμογές σε πολλές APIs και επιφάνεια επιθέσεων και έχουν επίσης κάνει πολλά περισσότερα τρύπες σε παγκόσμιους πυροσβέστες για επικοινωνία με εξωτερικές υπηρεσίες ή συσκευές πελατών.

Τα προηγμένα LLMs κρατούν τεράστια επαγγελία να μειώσουν το έργο των ομάδων κυβερνοασφάλειας και να βελτιώσουν τις ικανότητές τους. Τα εργαλεία κωδικοποίησης AI έχουν διεισδύσει ευρέως στην ανάπτυξη λογισμικού. Η έρευνα του Github βρήκε ότι το 92% των développers χρησιμοποιούν ή έχουν χρησιμοποιήσει εργαλεία AI για πρόταση και ολοκλήρωση κώδικα. Τα περισσότερα από αυτά τα “copilot” εργαλεία έχουν κάποιες ικανότητες ασφαλείας. Πράγματι, οι προγραμματιστικές дисципλίνες με σχετικά δυαδικές εξόδους, όπως η κωδικοποίηση (ο κώδικας θα περάσει ή θα αποτύχει στις μονάδες ελέγχου), είναι καλά προσαρμοσμένες για LLMs. Πέρα από την σάρωση κώδικα για ανάπτυξη λογισμικού και στη διαδικασία CI/CD, η AI θα μπορούσε να είναι πολύτιμη για τις ομάδες κυβερνοασφάλειας με πολλούς άλλους τρόπους:

• Βελτιωμένη Ανάλυση: Τα LLMs μπορούν να επεξεργαστούν τεράστιες ποσότητες δεδομένων ασφαλείας (λογαριασμοί, ενημερώσεις, πληροφορίες απειλών) για να ανακαλύψουν μοτίβα και συσχετίσεις που δεν είναι ορατές στους ανθρώπους. Μπορούν να το κάνουν αυτό σε γλώσσες, γύρω από τον χρόνο, και σε πολλές διαστάσεις ταυτόχρονα. Αυτό ανοίγει νέες ευκαιρίες για τις ομάδες ασφαλείας. Τα LLMs μπορούν να κατεβάσουν ένα σωρό ενημερώσεων σε近 real-time, σημειώνοντας αυτές που είναι πιο πιθανό να είναι σοβαρές. Μέσω της ενίσχυσης της μάθησης, η ανάλυση πρέπει να βελτιωθεί με τον χρόνο.
• Αυτοματοποίηση: Τα LLMs μπορούν να αυτοματοποιήσουν καθήκοντα ομάδων ασφαλείας που συνήθως απαιτούν συζήτηση. Για παράδειγμα, όταν μια ομάδα ασφαλείας λαμβάνει ένα IoC και χρειάζεται να ρωτήσει τον ιδιοκτήτη ενός τερματικού εάν είχε στην πραγματικότητα συνδεθεί σε μια συσκευή ή εάν βρίσκεται κάπου έξω από τις正常 working ζώνες, το LLM μπορεί να εκτελέσει αυτές τις απλές λειτουργίες και στη συνέχεια να ακολουθήσει με ερωτήσεις όπως απαιτείται και συνδέσμους ή οδηγίες. Αυτό ήταν μια互動 που ένας IT ή μια ομάδα ασφαλείας είχε να διεξάγει ο ίδιος. Τα LLMs μπορούν επίσης να παρέχουν πιο προηγμένες λειτουργίες. Για παράδειγμα, ένα Microsoft Copilot για Ασφάλεια μπορεί να δημιουργήσει αναφορές ανάλυσης περιστατικών και να μεταφράσει σύνθετο κώδικα malware σε φυσική περιγραφή.
• Συνεχής Μάθηση και Ρύθμιση: Σε αντίθεση με τα προηγούμενα συστήματα μηχανικής μάθησης για τις πολιτικές ασφαλείας και την κατανόηση, τα LLMs μπορούν να μάθουν στην πτήση με την κατάποση ανθρώπινων αξιολογήσεων της απάντησής τους και με την επαναρύθμιση σε νέες πισίνες δεδομένων που μπορεί να μην περιέχονται στα εσωτερικά αρχεία. Πράγματι, χρησιμοποιώντας το ίδιο υποκείμενο θεμελιώδες μοντέλο, τα LLMs ασφαλείας μπορούν να ρυθμιστούν για διαφορετικές ομάδες και τις ανάγκες, τις ροές εργασίας ή τις περιφερειακές ή κατακόρυφες εργασίες. Αυτό σημαίνει επίσης ότι όλο το σύστημα μπορεί να είναι τόσο έξυπνο όσο το μοντέλο, με αλλαγές που διαδίδονται γρήγορα σε όλα τα διεπαφές.

Κίνδυνος LLMs για την Κυβερνοασφάλεια

Ως μια νέα τεχνολογία με ένα σύντομο ρεκόρ, τα LLMs έχουν σοβαρούς κινδύνους. Χειρότερα, η κατανόηση του πλήρους εύρους αυτών των κινδύνων είναι δύσκολη επειδή οι έξοδοι LLMs δεν είναι 100% προβλέψιμες ή προγραμματικές. Για παράδειγμα, τα LLMs μπορούν να “οπταστούν” και να κάνουν απαντήσεις ή να απαντήσουν ερωτήσεις λανθασμένα, με βάση φανταστικά δεδομένα. Πριν από την υιοθέτηση LLMs για περιπτώσεις χρήσης κυβερνοασφάλειας, πρέπει να ληφθούν υπόψη οι πιθανές κίνδυνοι, συμπεριλαμβανομένων:

• Ένεση Προτύπων: Οι επιτιθέμενοι μπορούν να δημιουργήσουν κακόβουλες προτάσεις ειδικά για να παράγουν παραπλανητικές ή βλαβερές εξόδους. Αυτός ο τύπος επιθέσεων μπορεί να εκμεταλλευτεί την τάση του LLM να δημιουργεί περιεχόμενο με βάση τις προτάσεις που λαμβάνει. Σε περιπτώσεις χρήσης κυβερνοασφάλειας, η ένεση προτύπων μπορεί να είναι πιο επικίνδυνη ως一种 μορφή insider επιθέσεων ή επιθέσεων από μη εξουσιοδοτημένους χρήστες που χρησιμοποιούν προτάσεις για να αλλάξουν μόνιμα τις εξόδους του συστήματος, στρεφώντας την συμπεριφορά του μοντέλου. Αυτό θα μπορούσε να παράγει ανακριβείς ή άκυρες εξόδους για άλλους χρήστες του συστήματος.
• Δηλητηρίαση Δεδομένων: Τα δεδομένα που εξαρτώνται τα LLMs μπορούν να υποκλαπεί, συμβιβάζοντας την λήψη αποφάσεων. Σε περιπτώσεις κυβερνοασφάλειας, όπου οι οργανώσεις είναι πιθανό να χρησιμοποιούν μοντέλα που έχουν εκπαιδευτεί από παρόχους εργαλείων, η δηλητηρίαση δεδομένων μπορεί να συμβεί κατά την ρύθμιση του μοντέλου για τον συγκεκριμένο πελάτη και την περίπτωση χρήσης. Ο κίνδυνος εδώ θα μπορούσε να είναι ένας μη εξουσιοδοτημένος χρήστης που προσθέτει κακόβουλα δεδομένα — για παράδειγμα, διεφθαρμένα αρχεία καταγραφής — για να υποκλαπεί τη διαδικασία εκπαίδευσης. Ένας εξουσιοδοτημένος χρήστης θα μπορούσε επίσης να το κάνει αυτό ακούσια. Το αποτέλεσμα θα ήταν εξόδους LLMs με βάση κακά δεδομένα.
• Οπτασίες: Όπως αναφέρθηκε προηγουμένως, τα LLMs μπορεί να παράγουν απαντήσεις που είναι faktually λανθασμένες, αλογικές ή ακόμη και κακόβουλες λόγω παρανόησης προτύπων ή υποκείμενων ελαττωμάτων δεδομένων. Σε περιπτώσεις χρήσης κυβερνοασφάλειας, οι οπτασίες μπορούν να οδηγήσουν σε κρίσιμες λάθη που αναπηρούν την πληροφόρηση απειλών, την τριβή και την αποκατάσταση και πολλά άλλα. Επειδή η κυβερνοασφάλεια είναι μια αποστολή κρίσιμη δραστηριότητα, τα LLMs πρέπει να τηρούν υψηλότερους προτύπους διαχείρισης και πρόληψης οπτασιών σε αυτές τις περιπτώσεις.

Όσο τα συστήματα AI γίνονται πιο ικανά, οι αναπτύξεις ασφαλείας τους επεκτείνονται γρήγορα. Για να seja σαφές, πολλές εταιρείες κυβερνοασφάλειας έχουν χρησιμοποιήσει για καιρό την αντιστοίχηση προτύπων και την μηχανική μάθηση για δυναμική φιλτράρισμα. Τι είναι νέο στην εποχή της γενικής AI είναι τα διαδραστικά LLMs που παρέχουν ένα στρώμα νοημοσύνης πάνω από τις υπάρχουσες ροές εργασίας και πισίνες δεδομένων, ιδανικά βελτιώνοντας την αποτελεσματικότητα και την ενίσχυση των ικανοτήτων των ομάδων κυβερνοασφάλειας. Με άλλα λόγια, η GenAI μπορεί να βοηθήσει τους μηχανικούς ασφαλείας να κάνουν περισσότερα με λιγότερη προσπάθεια και τους ίδιους πόρους, αποφέροντας καλύτερη απόδοση και επιταχυνόμενες διαδικασίες.