Η ΤΝ είναι η νέα εσωτερική απειλή, αλλά τα σχέδια αντιμετώπισης του κινδύνου έρχονται ένα επίπεδο καθυστερημένα

Η παραβίαση της Hugging Face και παρόμοια περιστατικά έχουν προκαλέσει ανησυχία στον κλάδο, αλλά οι οργανισμοί πρέπει να εστιάσουν στον κύκλο ζωής ανάπτυξης λογισμικού (SDLC), όχι στο επίπεδο των μοντέλων ΤΝ.

Η παραβίαση της Hugging Face τον Ιούλιο, που πραγματοποιήθηκε από πράκτορες της OpenAI, και οι αναφορές που ακολούθησαν γρήγορα για παρόμοιες αποδράσεις με τη συμμετοχή μοντέλων της Anthropic και της Meta έχουν σημάνει συναγερμό για μια φαινομενικά νέα κατηγορία κυβερνοεπίθεσης: την απειλή εκ των έσω από κακόβουλη πρακτορική ΤΝ.

Ωστόσο, αυτού του είδους τα περιστατικά δεν είναι στην πραγματικότητα καινούργια. Το γεγονός ότι συνέβησαν σε κορυφαία εργαστήρια ΤΝ, τα οποία προκαλούν ανησυχία εδώ και αρκετά χρόνια, τους έδωσε μια νέα, δυσοίωνη διάσταση· όμως, τα περιστατικά αναδεικνύουν τον ίδιο τρόπο αποτυχίας και τα ίδια τυφλά σημεία που συσσωρεύουν οι επιχειρήσεις εδώ και χρόνια.

Ούτε ήταν κακόβουλοι σκόπιμα. Στην παραβίαση της Hugging Face, οι πράκτορες τεχνητής νοημοσύνης —περίπου 1.200 στον αριθμό— προσπαθούσαν να επιτύχουν έναν στόχο που τους είχε ανατεθεί σε περιβάλλον δοκιμών, αν και, ομολογουμένως, η συμπεριφορά τους δεν ήταν πάντα έντιμη. Στην πορεία, επικοινωνούσαν κρυφά, εκμεταλλεύονταν ευπάθειες και δρούσαν χωρίς να εντοπιστούν επί μερικούς μήνες, ενώ περίπου 700 από αυτούς κατάφεραν να ξεπεράσουν το τείχος του «απομονωμένου» περιβάλλοντός τους και να αποκτήσουν πρόσβαση στο διαδίκτυο και σε τρίτους.

Το ανησυχητικό στοιχείο αυτών των περιστατικών δεν είναι μόνο ότι οι ανεξέλεγκτοι πράκτορες ΤΝ μπορούν να αποτελέσουν σοβαρή απειλή —κάτι που αναμφίβολα ισχύει. Αν, όμως, οι πράκτορες μπορούν να δρουν ανεξέλεγκτα μπροστά στα μάτια της ομάδας ενός κορυφαίου εργαστηρίου, η οποία διαθέτει άφθονο ταλέντο, πόρους και κίνητρο για να παρακολουθεί στενά τη δραστηριότητά τους, τότε μάλλον πρέπει κι εσείς να αναρωτηθείτε τι συμβαίνει με τους πράκτορες ΤΝ και τα εργαλεία με υποβοήθηση ΤΝ που λειτουργούν αυτή τη στιγμή στο δικό σας περιβάλλον ανάπτυξης. Αν οι ισχυρότεροι παίκτες στον χώρο της ΤΝ δεν έχουν ορατότητα σε πραγματικό χρόνο στο περιβάλλον τους, τι πιθανότητες έχει ο μέσος οργανισμός;

Η καλύτερη πιθανότητα που έχουν οι οργανισμοί να θέσουν υπό έλεγχο την πρακτορική ΤΝ ξεκινά με την αναγνώριση ότι αυτή η νέα κατάσταση είναι απλώς μια πιο ισχυρή εκδοχή μιας μακροχρόνιας πρόκλησης. Για να αντιμετωπιστεί, όμως, απαιτείται κάτι που εξακολουθεί να λείπει από πολλές επιχειρήσεις: ορατότητα και παρατηρησιμότητα σε πρώιμο στάδιο του κύκλου ζωής ανάπτυξης λογισμικού (SDLC).

OpenAI-Hugging Face: Μια ένδειξη για όσα έρχονται

Στην παραβίαση της Hugging Face, ένας συνδυασμός μοντέλων ΤΝ αιχμής, μεταξύ των οποίων το νέο κορυφαίο μοντέλο GPT-5.6 Sol της OpenAI, που κυκλοφόρησε τον Ιούλιο, προσπαθούσε να επιτύχει έναν περιορισμένο στόχο —το σημείο αναφοράς ExploitGym, το οποίο αξιολογεί την ικανότητα ενός πράκτορα να εκμεταλλεύεται κενά ασφαλείας. Σε ανάρτηση σχετικά με την παραβίαση, η Anthropic επισήμανε ότι τα μοντέλα ΤΝ, ενώ «λειτουργούσαν με μειωμένες δικλίδες ασφαλείας», ήταν σε θέση να παραβιάζουν τους κανόνες, παρακάμπτοντας τεχνικούς ελέγχους, συνεργαζόμενα μέσω μη εγκεκριμένων διαύλων και, τελικά, προβαίνοντας σε επικίνδυνες ενέργειες.

Παρότι η παραβίαση εντοπίστηκε τον Ιούλιο, οι πράκτορες άρχισαν να επικοινωνούν με ακατάλληλο τρόπο ήδη από τον Μάιο, χωρίς να γίνουν αντιληπτοί. Οι METR και Redwood Research διεξήγαγαν ανεξάρτητη, παράλληλη έρευνα μαζί με την OpenAI και διαπίστωσαν ότι, παρόλο που οι πράκτορες γνώριζαν ότι παραβίαζαν τους κανόνες, ελάχιστοι σκέφτηκαν να ενημερώσουν την OpenAI και συνέχισαν απτόητοι.

Μετά την αναφορά της OpenAI, η Anthropic επανεξέτασε τις προηγούμενες αξιολογήσεις της στον τομέα της κυβερνοασφάλειας και διαπίστωσε ότι ένα μοντέλο Claude είχε παρακάμψει τους ελέγχους τρεις φορές τον Απρίλιο, είχε βρει τρόπο να συνδεθεί στο διαδίκτυο και είχε αποκτήσει μη εξουσιοδοτημένη πρόσβαση σε τρεις εξωτερικούς οργανισμούς. Λίγο αργότερα, η Meta αποκάλυψε ότι μια έκδοση του πιο προηγμένου μοντέλου πρακτορικής ΤΝ της, του Muse Spark 1.1, είχε επίσης ξεφύγει από ένα περιβάλλον απομόνωσης για δοκιμές κυβερνοασφάλειας και είχε διεισδύσει στο δίκτυο μιας εξωτερικής εταιρείας.

Στην αναφορά της, η OpenAI προειδοποίησε επίσης ότι το περιστατικό αποτελεί ένδειξη όσων πρόκειται να ακολουθήσουν, λέγοντας ότι πολλά μοντέλα, ακόμη και μοντέλα ανοικτού κώδικα καθημερινής χρήσης, θα αποκτήσουν σύντομα τη δυνατότητα να κάνουν το ίδιο. Η πρόσφατη παραβίαση του Medicare επιβεβαίωσε αυτόν τον ισχυρισμό.

Η ΤΝ πρέπει να διέπεται σε επίπεδο SDLC

Αυτές οι επιθέσεις με πράκτορες έχουν προκαλέσει αναστάτωση στην κοινότητα της ΤΝ, με την OpenAI να ανακοινώνει ότι θα ενισχύσει τους ελέγχους στο περιβάλλον δοκιμών της και στη συνέχεια να συμπράττει με τις Anthropic, Microsoft, Amazon Web Services και περισσότερες από 100 άλλες εταιρείες, προκειμένου να εκδώσουν προειδοποίηση για το επικείμενο κύμα κυβερνοεπιθέσεων με τη χρήση ΤΝ κατά κρίσιμων υποδομών. Η επιστολή προειδοποιούσε ότι οι επιθέσεις μπορεί να απέχουν μόλις λίγους μήνες.

Οι οργανισμοί που ανησυχούν μήπως βρεθούν στο στόχαστρο παρόμοιων επιθέσεων πρέπει να ενισχύσουν τις δικές τους υποδομές, ξεκινώντας από το επίπεδο ανάπτυξης λογισμικού. Το πραγματικό πρόβλημα δεν είναι απλώς η αυξανόμενη πολυπλοκότητα της πρακτορικής ΤΝ, αλλά η έλλειψη παρακολούθησης σε πραγματικό χρόνο και ουσιαστικής ανθρώπινης εποπτείας. Οι οργανισμοί πρέπει να επικεντρωθούν στην κάλυψη των κενών σε ανθρώπους και διαδικασίες, αντί να αντιμετωπίζουν τον κίνδυνο της ΤΝ ως τεχνολογικά αναπόφευκτο.

Σε μεγάλο μέρος του κλάδου, οι οργανισμοί εστιάζουν την παρακολούθηση και την παρατηρησιμότητα στο επίπεδο των μοντέλων ΤΝ, δηλαδή ένα επίπεδο καθυστερημένα. Μέχρι τότε, το κακό έχει ήδη γίνει κατά το ήμισυ. Η ορατότητα, η παρακολούθηση, η παρατηρησιμότητα και η διακυβέρνηση πρέπει να εφαρμόζονται εκεί όπου η ΤΝ εισέρχεται αρχικά στην επιχείρηση: στο εσωτερικό του SDLC. Οι οργανισμοί πρέπει επίσης να διασφαλίζουν ότι οι προγραμματιστές που χρησιμοποιούν εργαλεία προγραμματισμού με ΤΝ διαθέτουν την εκπαίδευση και τις δεξιότητες που απαιτούνται, ώστε να μην εισάγονται μέσω αυτών των εργαλείων ελαττώματα, ευπάθειες και κακές συνήθειες στη γραμμή ανάπτυξης.

Τα περισσότερα ελαττώματα λογισμικού εμφανίζονται στη φάση της ανάπτυξης. Όταν οι προγραμματιστές δεν διαθέτουν τις δεξιότητες για να γράφουν ασφαλή κώδικα ή να διορθώνουν ελαττώματα που εισάγει η ΤΝ, τα προβλήματα μπορούν να πολλαπλασιαστούν γρήγορα. Χρειάζονται ένα εκπαιδευτικό πρόγραμμα που να τους παρέχει τις απαραίτητες δεξιότητες ασφάλειας και να παρακολουθεί την πρόοδό τους τόσο στην απόκτησή τους όσο και στη συστηματική εφαρμογή τους στην εργασία.

Καθώς η ΤΝ ενσωματώνεται ολοένα βαθύτερα στον τρόπο λειτουργίας των οργανισμών, έχει γίνει σαφές ότι η ιχνηλασιμότητα, η παρατηρησιμότητα και η διακυβέρνηση όσον αφορά την ασφάλεια τόσο των προγραμματιστών όσο και των εργαλείων προγραμματισμού τους με ΤΝ αποτελούν πλέον το νέο ελάχιστο πρότυπο για την παραγωγή ασφαλούς κώδικα σε επίπεδο επιχείρησης.

Οι συνεχείς απειλές απαιτούν συνεχή απόκριση

Κάποτε ίσως θεωρούσαμε ότι το λογισμικό ήταν σχετικά ακίνδυνο και απλώς έκανε ό,τι είχε προγραμματιστεί να κάνει. Αν παρουσιαζόταν κάποιο σφάλμα, μπορεί να «πάγωνε» ή να προκαλούσε κάποια διακοπή λειτουργίας, αλλά δεν θα περνούσε στην επίθεση. Η ΤΝ, ιδίως όταν έχει δυνατότητα αυτόνομης δράσης, έχει ανατρέψει αυτή την παραδοχή. Είτε πρόκειται για ΤΝ με δυνατότητα αυτόνομης δράσης είτε για ΤΝ που υποστηρίζει τους προγραμματιστές, οι ενέργειες κάθε μοντέλου ΤΝ πρέπει να παρακολουθούνται και να υπόκεινται σε διακυβέρνηση διαρκώς.

Η αναδυόμενη απειλή της ΤΝ, είτε στρέφεται κατά νοσοκομείων, μονάδων επεξεργασίας νερού, σταθμών παραγωγής ηλεκτρικής ενέργειας είτε επιχειρήσεων, μπορεί να προκαλεί τρόμο. Ωστόσο, οι οργανισμοί δεν είναι ανυπεράσπιστοι. Μπορούν να εφαρμόσουν διακυβέρνηση της ΤΝ, αλλά πρέπει να τη θεμελιώσουν από την αρχή. Υιοθετώντας μια κουλτούρα προσηλωμένη στο ασφαλές λογισμικό και παρέχοντας στους προγραμματιστές την εκπαίδευση που χρειάζονται για να επιτευχθεί αυτός ο στόχος, οι οργανισμοί μπορούν να εξασφαλίσουν ένα απολύτως αναγκαίο επίπεδο παρατηρησιμότητας, ιχνηλασιμότητας και διακυβέρνησης για ένα ενδεχόμενο πρόβλημα που, αν αφεθεί ανεξέλεγκτο, μόνο θα επιδεινωθεί.