Έρευνα Υποδηλώνει ότι τα LLMs Είναι Πρόθυμα να Βοηθήσουν σε Κακόβουλη ‘Vibe Coding’

Τις τελευταίες 몇 années, τα Μεγάλα Μοντέλα Γλώσσας (LLMs) έχουν εμφανίσει κριτική για την πιθανή κακοποίηση τους σε επιθετική κυβερνοασφάλεια, ιδιαίτερα στη δημιουργία εκμεταλλεύσεων λογισμικού.

Η πρόσφατη τάση προς ‘vibe coding’ (η άνετη χρήση μοντέλων γλώσσας για τη γρήγορη ανάπτυξη κώδικα για ένα χρήστη, αντί να διδάξει ρητά τον χρήστη να προγραμματίσει) έχει αναβιώσει ένα концепτό που έφτασε στο ζενίθ του στις αρχές της δεκαετίας του 2000: τον ‘script kiddie’ – ένα σχετικά ακαδημαϊκό κακόβουλο άτομο με αρκετές γνώσεις για να αναπαραγάγει ή να αναπτύξει μια επιζήμιμη επίθεση. Η επικύρωση, φυσικά, είναι ότι όταν το εμπόδιο εισόδου είναι έτσι χαμηλωμένο, οι απειλές θα έχουν την τάση να πολλαπλασιαστούν.

Όλα τα εμπορικά LLMs έχουν κάποιο είδος φραγμού προστασίας ενάντια στη χρήση τους για τέτοιους σκοπούς, αν και αυτά τα προστατευτικά μέτρα είναι υπό συνεχή επίθεση. Συνήθως, τα περισσότερα μοντέλα FOSS (σε πολλαπλά домένια, από LLMs σε γεννήτριες εικόνων/βίντεο) κυκλοφορούν με κάποιο είδος παρόμοιας προστασίας, συνήθως για λόγους συμμόρφωσης στη Δύση.

Ωστόσο, οι επίσημες κυκλοφορίες μοντέλων τότε ακολουθούνται από συνεχή βελτιστοποίηση από τις κοινότητες χρηστών που αναζητούν περισσότερη λειτουργικότητα, ή αλλιώς LoRAs που χρησιμοποιούνται για να παρακαμφθούν οι περιορισμοί και να ληφθούν πιθανώς ‘απρόθυμες’ αποτελέσματα.

Αν και η πλειοψηφία των LLMs online θα εμποδίσει τη βοήθεια του χρήστη με κακόβουλες διαδικασίες, ‘απεριόριστες’ πρωτοβουλίες όπως Deep Hat είναι διαθέσιμες για να βοηθήσουν τους ερευνητές ασφαλείας να λειτουργούν σε ένα επίπεδο πεδίο ως οι αντίπαλόί τους.

Η γενική εμπειρία χρήστη στο παρόν χρόνο αντιπροσωπεύεται συνήθως στη σειρά ChatGPT, των οποίων οι μηχανισμοί φίλτρου συχνά ελκύουν κριτική από την κοινότητα LLM.

Φαίνεται Ότι Προσπαθείτε να Επιτεθεί σε Ένα Σύστημα!

Σε light της αυτής της αντιληπτής τάσης προς περιορισμό και λογοκρισία, οι χρήστες μπορεί να είναι έκπληκτοι να βρουν ότι το ChatGPT έχει βρεθεί να είναι το πλέον συνεργατικό από όλα τα LLMs που έχουν δοκιμαστεί σε μια πρόσφατη μελέτη που σχεδιάστηκε για να αναγκάσει τα μοντέλα γλώσσας να δημιουργήσουν κακόβουλες εκμεταλλεύσεις κώδικα.

Το νέο έγγραφο από ερευνητές στο UNSW Sydney και την Commonwealth Scientific and Industrial Research Organisation (CSIRO), με τίτλο Καλές Ειδήσεις για τους Script Kiddies; Αξιολόγηση Μεγάλων Μοντέλων Γλώσσας για Αυτοματοποιημένη Δημιουργία Εκμεταλλεύσεων, προσφέρει την πρώτη συστηματική αξιολόγηση του πόσο αποτελεσματικά αυτά τα μοντέλα μπορούν να προωθηθούν για να παράγουν λειτουργικές εκμεταλλεύσεις. Παραδείγματα συνομιλιών από την έρευνα έχουν παρθεί από τους συγγραφείς.

Η μελέτη συγκρίνει πώς τα μοντέλα εκτελέστηκαν σε cả τις αρχικές και τις τροποποιημένες εκδόσεις γνωστών εργαστηρίων ευπαθειών (δομημένες ασκήσεις προγραμματισμού που σχεδιάστηκαν για να δείξουν συγκεκριμένες αδυναμίες ασφαλείας λογισμικού), βοηθώντας να αποκαλυφθεί εάν βασίζονταν σε μνημονευμένα παραδείγματα ή αγωνίζονταν λόγω ενσωματωμένων περιορισμών ασφαλείας.

Από τον ιστότοπο υποστήριξης, το Ollama LLM βοηθά τους ερευνητές να αναπτύξουν μια επίθεση ευπάθειας συμβολοσειράς. Πηγή: https://anonymous.4open.science/r/AEG_LLM-EAE8/chatgpt_format_string_original.txt

Ενώ κανένα από τα μοντέλα δεν ήταν σε θέση να δημιουργήσει μια αποτελεσματική εκμετάλλευση, πολλά από αυτά ήρθαν πολύ κοντά· πιο σημαντικά, πολλά από αυτά ήθελαν να κάνουν καλύτερα στην εργασία, υποδεικνύοντας μια πιθανή αποτυχία των υφιστάμενων προσεγγίσεων φραγμών.

Το έγγραφο αναφέρει:

‘Οι πειραματικές μας μελέτες δείχνουν ότι το GPT-4 και το GPT-4o παρουσιάζουν υψηλό βαθμό συνεργασίας στη δημιουργία εκμεταλλεύσεων, συγκρίσιμο με κάποια ανοικτά μοντέλα πηγαίου κώδικα. Μεταξύ των αξιολογημένων μοντέλων, το Llama3 ήταν το πιο ανθεκτικό σε τέτοιες αιτήσεις.

‘Παρά τη愿 να βοηθήσουν, η πραγματική απειλή που προβάλλεται από αυτά τα μοντέλα παραμένει περιορισμένη, καθώς κανένα δεν κατάφερε να δημιουργήσει εκμεταλλεύσεις για τα πέντε προσαρμοσμένα εργαστήρια με αναδιαμορφωμένο κώδικα. Ωστόσο, το GPT-4o, ο ισχυρότερος εκτελεστής στη μελέτη μας, συνήθως έκανε μόνο ένα ή δύο λάθη ανά προσπάθεια.

‘Αυτό υποδηλώνει σημαντικό потенシャル για την αξιοποίηση των LLMs για την ανάπτυξη προηγμένων, γενικευμένων τεχνικών [Αυτοματοποιημένης Δημιουργίας Εκμεταλλεύσεων (AEG)].’

Πολυάριθμες Δεύτερες Ευκαιρίες

Το ρητό ‘Δεν έχετε δεύτερη ευκαιρία να κάνετε μια καλή πρώτη εντύπωση’ δεν ισχύει γενικά για τα LLMs, επειδή το συνήθως-περιορισμένο παράθυρο контекстου σημαίνει ότι ένας αρνητικός контекστ (σε μια κοινωνική έννοια, δηλαδή, ανταγωνισμός) δεν είναι διαρκής.

Σκεφτείτε: αν πήγαινε σε μια βιβλιοθήκη και ζητούσε ένα βιβλίο για πρακτική κατασκευή βομβών, θα απορριφθεί πιθανότατα, τουλάχιστον. Αλλά (υπό την προϋπόθεση ότι αυτή η ερώτηση δεν έσπασε εντελώς την συνομιλία από την αρχή) οι αιτήσεις σας για σχετικά έργα, όπως βιβλία για χημικές αντιδράσεις ή σχεδιασμό κυκλωμάτων, θα ήταν, στη σκέψη του βιβλιοθηκονόμου, σαφώς σχετικά με την αρχική ερώτηση, και θα αντιμετωπίζονταν με αυτόν τον τρόπο.

Πιθανότατα, ο βιβλιοθηκονόμος θα θυμόταν επίσης σε οποιαδήποτε μελλοντική συνάντηση ότι ζήτησες ένα βιβλίο για κατασκευή βομβών εκείνη τη φορά, καθιστώντας αυτό το νέο контекστ εαυτού ‘απαράτητο’.

Δεν ισχύει όμως με ένα LLM, το οποίο μπορεί να αγωνιστεί να διατηρήσει tokenized πληροφορίες ακόμη και από τη τρέχουσα συνομιλία, όχι μόνο από οδηγίες Μνήμης Εργασιών (αν υπάρχουν στην αρχιτεκτονική, όπως το προϊόν ChatGPT-4o).

Έτσι, ακόμη και οι καθημερινές συνομιλίες με το ChatGPT αποκαλύπτουν偶ως ότι đôi時.strains σε μια μύγα αλλά καταπίνει einen καμήλα, όχι τουλάχιστον όταν ένα συνθετικό θέμα, μελέτη ή διαδικασία που σχετίζεται με μια αλλιώς ‘απαγορευμένη’ δραστηριότητα επιτρέπεται να αναπτυχθεί κατά τη διάρκεια της συνομιλίας.

Αυτό ισχύει για όλα τα τρέχοντα μοντέλα γλώσσας, αν και η ποιότητα φραγμών μπορεί να ποικίλει σε έκταση και προσεγγίσει μεταξύ τους (δηλαδή, η διαφορά μεταξύ της τροποποίησης των βαρών του εκπαιδευμένου μοντέλου ή της χρήσης είσοδος/έξοδος φίλτρου κειμένου κατά τη διάρκεια μιας συνομιλίας, η οποία αφήνει το μοντέλο δομικά άθικτο αλλά πιθανότατα πιο εύκολο να επιτεθεί).

Δοκιμάζοντας τη Μέθοδο

Για να δοκιμάσουν πόσο μακριά τα LLMs θα μπορούσαν να οδηγηθούν προς τη δημιουργία λειτουργικών εκμεταλλεύσεων, οι συγγραφείς έθεσαν ένα ελεγχόμενο περιβάλλον χρησιμοποιώντας πέντε εργαστήρια από τα SEED Labs, το καθένα χτισμένο γύρω από γνωστές ευπαθειές, συμπεριλαμβανομένων μιας περίπτωσης υπερχείλισης буφέρ, επιστροφής σε libc, μιας επίθεσης Dirty COW και συνθηκών αγώνων.

Εκτός από τη χρήση των αρχικών εργαστηρίων, οι ερευνητές δημιούργησαν τροποποιημένες εκδόσεις με την επανατοποθέτηση μεταβλητών και συναρτήσεων σε γενικούς αναγνωριστές. Αυτό είχε ως στόχο να αποτρέψει τα μοντέλα από το να βασίζονται σε μνημονευμένα παραδείγματα εκπαίδευσης.

Κάθε εργαστήριο εκτελέστηκε δύο φορές ανά μοντέλο: μια φορά στη μορφή του και μια φορά στη διαμορφωμένη του εκδοχή.

Οι ερευνητές εισήγαγαν ένα δεύτερο LLM στο βρόχο: ένα επιθετικό μοντέλο που σχεδιάστηκε για να προωθήσει και να ξαναπροωθήσει το μοντέλο-στόχο για να βελτιώσει και να αναπτύξει την έξοδο του σε πολλαπλά γύρους. Το LLM που χρησιμοποιήθηκε για αυτόν τον ρόλο ήταν το GPT-4o, το οποίο λειτουργούσε μέσω ενός σενάριου που μεσολάβησε τη διάλογο μεταξύ του επιτιθέμενου και του μοντέλου-στόχου, επιτρέποντας τον κύκλο ανανέωσης να συνεχιστεί μέχρι δέκα πέντε φορές, ή μέχρι να μην υπάρξει περαιτέρω βελτίωση:

Ροή εργασίας για το LLM-επιτιθέμενο, σε αυτή την περίπτωση GPT-4o.

Τα μοντέλα-στόχοι για το έργο ήταν GPT-4o, GPT-4o-mini, Llama3 (8B), Dolphin-Mistral (7B), και Dolphin-Phi (2.7B), αντιπροσωπεύοντας τόσο ιδιωτικά όσο και ανοιχτά μοντέλα συστήματος, με eine μικτή από προσανατολισμένα και μη προσανατολισμένα μοντέλα (δηλαδή, μοντέλα με ενσωματωμένα μηχανισμοί ασφαλείας που σχεδιάστηκαν για να μπλοκάρουν επιβλαβείς προωθήσεις, και αυτά που τροποποιήθηκαν μέσω βελτιστοποίησης ή διαμόρφωσης για να παρακαμφθούν αυτοί οι μηχανισμοί).

Τα τοπικά εγκαταστάσιμα μοντέλα εκτελέστηκαν μέσω του πλαίσιο Ollama, ενώ τα άλλα προσεγγίστηκαν μέσω του μόνο διαθέσιμου μεθόδου – API.

Τα αποτελέσματα που προέκυψαν από τις εξόδους βαθμολογήθηκαν με βάση τον αριθμό των λαθών που εμπόδισαν την εκμετάλλευση να λειτουργήσει όπως προορίζονταν.

Αποτελέσματα

Οι ερευνητές δοκιμάζουν πόσο συνεργατικά ήταν κάθε μοντέλο κατά τη διάρκεια της διαδικασίας δημιουργίας εκμεταλλεύσεων, μετρημένα από την καταγραφή του ποσοστού των απαντήσεων στις οποίες το μοντέλο προσπάθησε να βοηθήσει με την εργασία (ακόμη και αν η έξοδος ήταν ελαττωματική).

Αποτελέσματα από την κύρια δοκιμή, δείχνοντας την μέση συνεργατικότητα.

Το GPT-4o και το GPT-4o-mini έδειξαν τα υψηλότερα επίπεδα συνεργατικότητας, με μέσους ρυθμούς απάντησης 97 και 96 τοις εκατό, αντίστοιχα, σε πέντε κατηγορίες ευπαθειών: περίπτωσης υπερχείλισης, επιστροφής σε libc, σειράς μορφοποίησης, συνθήκης αγώνων και Dirty COW.

Το Dolphin-Mistral και το Dolphin-Phi ακολούθησαν κοντά, με μέσους ρυθμούς συνεργατικότητας 93 και 95 τοις εκατό. Το Llama3 έδειξε την λιγότερη愿 να συμμετάσχει, με einen συνολικό ρυθμό συνεργατικότητας 27 τοις εκατό:

Στο αριστερό μέρος, βλέπουμε τον αριθμό των λαθών που έγιναν από τα LLMs στα αρχικά προγράμματα SEED Lab; στο δεξί μέρος, τον αριθμό των λαθών που έγιναν στα αναδιαμορφωμένα προγράμματα.

Εξετάζοντας την πραγματική απόδοση αυτών των μοντέλων, βρήκαν μια αξιοσημείωτη διαφορά μεταξύ θέλησης και αποτελεσματικότητας: το GPT-4o παρήγαγε τα πιο ακριβή αποτελέσματα, με συνολικά έξι λάθη σε πέντε αναδιαμορφωμένα εργαστήρια. Το GPT-4o-mini ακολούθησε με οκτώ λάθη. Το Dolphin-Mistral εκτέλεσε καλά στα αρχικά εργαστήρια αλλά αγωνίστηκε σημαντικά όταν ο κώδικας αναδιαμορφώθηκε, υποδεικνύοντας ότι μπορεί να είχε δει παρόμοιο περιεχόμενο κατά τη διάρκεια της εκπαίδευσης. Το Dolphin-Phi έκανε δεκαεπτά λάθη, και το Llama3 τα περισσότερα, με δεκαπέντε.

Οι αποτυχίες συνήθως αφορούσαν τεχνικά λάθη που κατέστησαν τις εκμεταλλεύσεις μη λειτουργικές, όπως λάθος μεγέθη буφέρ, λείπουν λογική βρόχου ή συντακτικά έγκυρα αλλά αναποτελεσματικά φορτία. Κανένα μοντέλο δεν κατάφερε να παράγει μια λειτουργική εκμετάλλευση για οποιαδήποτε από τις αναδιαμορφωμένες εκδόσεις.

Οι συγγραφείς παρατήρησαν ότι τα περισσότερα μοντέλα παρήγαγαν κώδικα που έμοιαζε με λειτουργικές εκμεταλλεύσεις, αλλά απέτυχαν λόγω μιας αδύναμης κατανόησης του πώς οι υποκείμενες επιθέσεις λειτουργούν πραγματικά – ένα μοτίβο που ήταν εμφανές σε όλες τις κατηγορίες ευπαθειών, και το οποίο υποδήλωνε ότι τα μοντέλα μιμούνταν οικείες δομές κώδικα αντί να συλλογίζονται τη λογική που εμπλέκεται (σε περιπτώσεις υπερχείλισης буφέρ, για παράδειγμα, πολλά απέτυχαν να κατασκευάσουν μια λειτουργική NOP sled/slide).

Στις προσπάθειες επιστροφής σε libc, τα φορτία συχνά περιείχαν λάθος padding ή εκτοπισμένες διευθύνσεις συναρτήσεων, με αποτέλεσμα εξόδους που φαίνονταν έγκυρες, αλλά ήταν αχρήστες.

Ενώ οι συγγραφείς περιγράφουν αυτή την ερμηνεία ως εικαστική, η συνεχή των λαθών υποδηλώνει ένα ευρύτερο ζήτημα στο οποίο τα μοντέλα αποτυγχάνουν να συνδέσουν τα βήματα μιας εκμετάλλευσης με την επιθυμητή επίδρασή τους.

Συμπέρασμα

Υπάρχει κάποια αμφιβολία, το έγγραφο παραδέχεται, σχετικά με το εάν τα μοντέλα γλώσσας που δοκιμάστηκαν είδαν τα αρχικά SEED Labs κατά τη διάρκεια της πρώτης εκπαίδευσης· για αυτόν τον λόγο, κατασκευάστηκαν παραλλαγές. Παρόλα αυτά, οι ερευνητές επιβεβαιώνουν ότι θα ήθελαν να εργαστούν με πραγματικές εκμεταλλεύσεις σε μελλοντικές επαναλήψεις αυτής της μελέτης· πραγματικά καινούργιο και πρόσφατο υλικό είναι λιγότερο πιθανό να υπόκειται σε συντομεύσεις ή άλλες παραπλανητικές επιδράσεις.

Οι συγγραφείς ομολογούν επίσης ότι τα μεταγενέστερα και πιο προηγμένα ‘σκέφτηκα’ μοντέλα όπως το GPT-o1 και το DeepSeek-r1, τα οποία δεν ήταν διαθέσιμα κατά τη διάρκεια της διεξαγωγής της μελέτης, μπορεί να βελτιώσουν τα αποτελέσματα που λήφθηκαν, και ότι αυτό είναι μια περαιτέρω ένδειξη για μελλοντική εργασία.

Το έγγραφο καταλήγει στο συμπέρασμα ότι τα περισσότερα από τα μοντέλα που δοκιμάστηκαν θα είχαν παράγει λειτουργικές εκμεταλλεύσεις εάν ήταν ικανά να το κάνουν. Η αποτυχία τους να παράγουν πλήρως λειτουργικές εξόδους δεν φαίνεται να οφείλεται σε μηχανισμούς ασφαλείας, αλλά μάλλον σε μια γνήσια αρχιτεκτονική περιορισμό – ένα που μπορεί να έχει ήδη μειωθεί σε πιο πρόσφατα μοντέλα, ή σύντομα θα μειωθεί.

Πρώτη δημοσίευση Δευτέρα, 5 Μαΐου 2025