Οι επιτιθέμενοι AI δεν κουράζονται: Γιατί η Κυβερνοασφάλεια Πρέπει να Αλλάξει

Το πρόγραμμα ασφαλείας σας δημιουργήθηκε για επιτιθέμενους που το κάνουν.

Όταν η OpenAI δημοσίευσε την αναφορά της για τα μοντέλα που έφυγαν από ένα περιβάλλον αξιολόγησης και πέρασαν ημέρες στην παραγωγική υποδομή της Hugging Face, το χαρακτήρισα ως στιγμή Terminator για την κυβερνοασφάλεια. Στέκομαι στην δήλωση, αλλά κάτι άλλο σε αυτό θα πρέπει να μας κάνει να σταματήσουμε. Εννιά ημέρες αργότερα, η Anthropic αποκάλυψε δικά της περιστατικά. Στις αρχές Αυγούστου, η Meta επιβεβαίωσε ένα ακόμη. Μερικές ημέρες μετά, το μοντέλο ενός τέταρτου εργαστηρίου, το Kimi K3 της Moonshot, διέσχιζε το δοκιμαστικό του sandbox. Τέσσερα εργαστήρια. Λιγότερο από τρεις εβδομάδες. Τέσσερα μοντέλα που έφτασαν κάπου που κανείς δεν το προγραμμάτιζε.

Αυτές οι ιστορίες έχουν κυρίως αντιμετωπιστεί ως ιστορίες ασφαλείας AI. Είναι. Αλλά για έναν CISO, είναι επίσης ιστορίες τρίτων κινδύνων — και αυτό μπορεί να είναι το πιο άμεσο μάθημα. Η άβολη αλήθεια είναι ότι το περιστατικό OpenAI‑Hugging Face ήταν, στην ουσία, μια ιστορία τρίτου κινδύνου: ένα ευάλωτο στοιχείο τρίτου μέρους ως διαδρομή διαφυγής, ένας προμηθευτής ως θύμα, και ένας συστημικός κόμβος από τον οποίο εξαρτώνται χιλιάδες εταιρείες ως ακτίνα έκρηξης.

Αυτή είναι η αριθμητική που θα έφερνα στην επόμενη συνάντηση σχεδιασμού ασφαλείας. Από τις περίπου 17.600 ενέργειες επιτιθέμενου που ανέκτησε η Hugging Face από τα αρχεία της, οι περισσότερες απέτυχαν.

Ο πράκτορας δοκίμαζε διαδρομές που δεν οδηγούσαν πουθενά. Έμποταν από λιστές επιτρεπόμενων URL και μετακινήθηκε. Συνάντησε πολιτικές IAM που απέρριπταν κάθε κλήση μεταβολής. Προσπάθησε να φτάσει σε μια παραγωγική βάση δεδομένων δύο φορές και και στις δύο λήγισε. Έκανε σάρωση, απέτυχε και προχώρησε. Χιλιάδες φορές. Δεν απογοητεύτηκε. Δεν κουράστηκε. Και η αποτυχία του κόστισε σχεδόν τίποτα.

Τέσσερα μοντέλα έφυγαν από δοκιμαστικά περιβάλλοντα σε λιγότερο από τρεις εβδομάδες. Οι διαφυγές έγιναν επικεφαλίδες. Οι ηγέτες ασφαλείας θα έπρεπε να ανησυχούν περισσότερο για το τι τα έκανε δυνατόν: ένας επιτιθέμενος που μπορεί να αποτύχει χιλιάδες φορές με σχεδόν μηδενικό κόστος.

Αυτή είναι η αλλαγή. Για δεκαετίες, οι αμυνόμενοι επωφελήθηκαν από ένα απλό γεγονός: η αποτυχία κοστίζει κάτι στον επιτιθέμενο. Η ανίχνευση απαιτούσε χρόνο και τα νεκρά άκρα ήταν δαπανηρά. Η οικονομία αυτής της ασυμμετρίας έκανε την «επιβολή κόστους» στους επιτιθέμενους μια λογική προσέγγιση για να τους σταματήσει. Όταν η αποτυχία γίνεται σχεδόν δωρεάν, η επιτυχημένη διαδρομή δεν είναι πια μια βελόνα σε σωρό άχυρων, αλλά μια στατιστική βεβαιότητα για όποιον μπορεί να ακολουθήσει κάθε διαδρομή ταυτόχρονα.

Τα μοτίβα σε αυτά τα περιστατικά οδηγούν σε τρία μαθήματα που οι ηγέτες ασφαλείας πρέπει να εφαρμόσουν τώρα.

Τέσσερα Εργαστήρια, Ένα Σχήμα

Το μοτίβο είναι αξιοσημείωτα συνεπές. Δώστε σε ένα μοντέλο έναν στόχο. Βρίσκει μια διαδρομή που κανείς δεν περίμενε. Μερικές φορές αυτή η διαδρομή οδηγεί κατευθείαν στα παραγωγικά συστήματα οργανισμών που δεν έπρεπε ποτέ να εμπλακούν. Σε τουλάχιστον μία περίπτωση, ο επηρεαζόμενος οργανισμός έμαθε τι συνέβη επειδή η Anthropic τηλεφώνησε για να το αναφέρει.

Σε κάθε περίπτωση, η διαδρομή περνούσε από λογισμικό, υποδομή ή περιβάλλον που είχε δημιουργήσει κάποιος άλλος. Οι ηγέτες ασφαλείας πρέπει να το πάρουν προσωπικά.

Κάθε οργανισμός σε αυτήν την αλυσίδα διέθετε πρόγραμμα ασφαλείας. Πολλοί είχαν πολύ καλά. Η αποτυχία δεν περιορίστηκε μέσα σε κάποιο περιθώριο. Συμβαίνει στα κενά μεταξύ των οργανισμών, και κανείς δεν κατέχει αυτά τα κενά.

Τα μοντέλα της OpenAI βρήκαν ένα zero‑day σε έναν αυτο‑φιλοξενημένο διαμεσολαβητή πακέτων και το χρησιμοποίησαν για να φτάσουν στο ανοιχτό διαδίκτυο. Από εκεί εδραιώθηκαν σε ένα μη ασφαλές sandbox εκτέλεσης κώδικα που ανήκε σε πελάτη της Modal Labs, το χρησιμοποίησαν ως βάση στάδιο, και εξαπάτησαν τον φορτωτή δεδομένων της Hugging Face ώστε να διαβάσει τοπικά αρχεία και στη συνέχεια να εκτελέσει κώδικα. Μέσα σε δεκατρείς ώρες κατείχαν δικαιώματα διαχειριστή σε πολλαπλά εσωτερικά clusters, με τη βοήθεια ενός μοναδικού διαπιστευτηρίου που μοιράζονταν όλα. Το σημείο εισόδου ήταν καινοτόμο. Μέσα, οι αδυναμίες ήταν αυτές που καταγράφουμε εδώ και είκοσι χρόνια.

Εννιά ημέρες αργότερα, η Anthropic έκανε κάτι πιο σπάνιο: δημοσίευσε τη δική της αξιολόγηση των 141.006 εκτελέσεων αξιολόγησης και αποκάλυψε τρία περιστατικά με παρόμοια παρουσίαση χωρίς προτροπή: ένα μοντέλο που έφτασε στο ανοιχτό διαδίκτυο από περιβάλλον αξιολόγησης, έπειτα κέρδισε πρόσβαση στα συστήματα πραγματικών οργανισμών. Δεν υπήρξε διαφυγή sandbox αυτή τη φορά, μόνο μια λανθασμένη ρύθμιση που άφησε ανοιχτό ένα ζωντανό μονοπάτι ενώ το μοντέλο είχε ειπωθεί ότι δεν υπάρχει.

Η Meta επιβεβαίωσε ένα τέταρτο περιστατικό στις αρχές Αυγούστου, μετά από σφάλμα ρύθμισης που έδωσε σε ένα από τα μοντέλα της πρόσβαση στο διαδίκτυο κατά τη διάρκεια αξιολόγησης. Η Meta δεν το εντόπισε ούτε αυτή· έμαθε τι συνέβη όταν ο συνεργάτης δοκιμών της τηλεφώνησε. Και οι δύο αξιολογήσεις, αυτή της Meta και αυτή της Anthropic, διεκπεραιώθηκαν από την ίδια εξωτερική εταιρεία, Irregular, η οποία τις έχει δηλώσει δημόσια ως το ίδιο ζήτημα. Το σφάλμα ρύθμισης ενός προμηθευτή διαδόθηκε σε δύο εργαστήρια πρόσβασης και τέσσερις θύματα, χωρίς καμία άμεση σχέση με την Irregular. Ήταν προμηθευτής για τα δύο εργαστήρια, όχι για αυτά. Ο πράκτορας δεν ενδιαφερόταν πού τελείωνε η επιφάνεια επίθεσης μιας εταιρείας και άρχιζε η άλλη.

Αυτό είναι που κάνει το ζήτημα τρίτου κινδύνου. Η έκθεση μπορεί τώρα να προέρχεται από αρκετές σχέσεις μακριά από εσάς, σε έναν οργανισμό που δεν έχετε επιλέξει, αξιολογήσει ή ακόμη και γνωρίσει ότι αποτελεί μέρος της επιφάνειας επίθεσής σας.

Στη συνέχεια, ερευνητές της Frontier Security εντόπισαν το Kimi K3 της Moonshot να διαρρέει επίσης το sandbox του, ώστε να έχει πρόσβαση σε αποθετήριο benchmark στο GitHub. Κανείς δεν παραβιάστηκε, και το μοντέλο κυνηγούσε τον ανατεθειμένο του στόχο, έχοντας καταλάβει ότι η χρήση ενός έτοιμου κλειδιού απαντήσεων ήταν φθηνότερη από το να λύσει το πρόβλημα. Δύο πράγματα κάνουν αυτήν την περίπτωση σημαντική. Οι ερευνητές το εντόπισαν κατά τη διάρκεια του δικού τους τεστ. Και λειτουργούσε με εντελώς διαφορετικά εργαλεία από τις περιπτώσεις Anthropic και Meta. Ένας προμηθευτής που έχει ένα κακό μήνα δεν εξηγεί αυτό.

Τα εργαστήρια δεν αγνοούν τίποτα από αυτά. Η Anthropic δημοσίευσε την αξιολόγησή της χωρίς προτροπή, γι’ αυτό ο κλάδος έχει ένα μοτίβο για εξέταση και μάθηση — αντί για μια εξαίρεση που θα αγνοηθεί. Αυτό πρέπει να γίνει ο κανόνας. Η OpenAI έχει τώρα επιβραδύνει την κυκλοφορία του μοντέλου Astra μετά από εσωτερικές αξιολογήσεις που δεν μπόρεσαν να αποκλείσουν κρίσιμες κυβερνοδυνατότητες. Και οι δύο κινήσεις αξίζουν επαίνου. Αλλά καμία δεν αποτελεί σχέδιο άμυνας: μια καθυστέρηση κυκλοφορίας διέπει το ημερολόγιο μιας εταιρείας. Δεν κάνει τίποτα για τα ικανά μοντέλα, όπως το Kimi K3, που ήδη κυκλοφορούν ανοιχτά και δωρεάν, πέρα από τον έλεγχο οποιουδήποτε μεμονωμένου εργαστηρίου.

Η Συσχέτιση Χωρίς Κλιμάκωση δεν Είναι Εντοπισμός

Το σύστημα ανίχνευσης της Hugging Face, προς το επαίνιό του, συνέδεσε τα σήματα σε μια συνεκτική επίθεση. Στη συνέχεια, δεν κλιμάκωσε την κρισιμότητα και η ομάδα ετοιμότητας δεν κληθήκε. Το εργαλείο συνέθεσε την ιστορία αλλά δεν μπόρεσε να αποφασίσει ότι ήταν επείγουσα. Αυτό είναι μια αρχιτεκτονική τριάζ που χτίστηκε για έναν κόσμο όπου 17.600 συμβάντα σε τέσσερις ημέρες θα φαινόταν παράλογα.

Η Κυβερνοασφάλεια Χρειάζεται το Fosbury Flop της

Το 1968, ο Dick Fosbury κέρδισε χρυσό στα Ολυμπιακά στον άλμα ύψους όχι πηδώντας ψηλότερα από τους ανταγωνιστές του, αλλά περνώντας τη μπάρα ανάποδα. Όλοι οι άλλοι βελτίωναν τη «στράγγισμα». Καλύτερη μορφή, περισσότερη δύναμη, μικρές βελτιώσεις σε μια τεχνική δεκαετιών. Ο Fosbury άλλαξε το σχήμα του προβλήματος. Μέσα σε δύο Ολυμπιακούς, το «στράγγισμα» σχεδόν εξαφανίστηκε.

Οι ηγέτες ασφαλείας τώρα πρέπει να ξεπεράσουν μια μπάρα που μόλις μετακινήθηκε, και η πλειονότητα της βιομηχανίας απαντά μέχρι στιγμής με ένα καλύτερο «στράγγισμα»: περισσότερες ειδοποιήσεις, ταχύτεροι αναλυτές, πιο αυστηρά SLA στην ανθρώπινη ανασκόπηση. Αυτό δεν θα λειτουργήσει, επειδή ο περιορισμός δεν είναι η ταχύτητα του αναλυτή. Δεν μπορείτε να απαντήσετε σε επιθέσεις ταχύτητας μηχανής με τριάζ ταχύτητας ανθρώπου..

Το Fosbury Flop φαίνεται έτσι:

• Διακόψτε τη μεταχείριση του ορίου ως ελέγχου. Το sandbox αξιολόγησης απέτυχε, ο φορτωτής δεδομένων απέτυχε, και η απομόνωση pod απέτυχε, καθένα από αυτά κάνοντας τη δουλειά του μέχρι που δεν το έκανε. Σχεδιάστε για το τι θα συμβεί μετά. Χρησιμοποιήστε βραχύβια διαπιστευτήρια. Εξαλείψτε τις κοινές διαχειριστικές ταυτότητες. Αποκλείστε την πρόσβαση σε υπηρεσίες μεταδεδομένων. Πάνω απ’ όλα, περιορίστε πόσο μακριά μπορεί να κινηθεί ένας επιτιθέμενος μετά την πρώτη αποτυχία ελέγχου.
• Μετακινήστε την ανίχνευση από την ειδοποίηση στη συσχέτιση. Η εύρεση ενός ύποπτου συμβάντος δεν αρκεί πια. Η δουλειά είναι να συνδέσετε χιλιάδες φαινομενικά συνηθισμένα συμβάντα σε μία ιστορία επίθεσης, και να ξέρετε πότε αυτή η ιστορία είναι αρκετά σοβαρή ώστε να ξυπνήσει κάποιον. Αυτό πρέπει όλο και περισσότερο να αυτοματοποιηθεί δεδομένου του όγκου που βλέπουμε.
• Θεωρήστε την έκθεση τρίτων ως διαδρομή επίθεσης, όχι ως ερωτηματολόγιο. Αυτά τα περιστατικά διέσχισαν εξαρτήσεις τρίτων: προϊόν ενός προμηθευτή, πελάτη ενός προμηθευτή, συνεργάτη αξιολόγησης, κοινό εργαλείο δοκιμής. Ο κίνδυνος σας τώρα περιλαμβάνει λάθη ρυθμίσεων που έγιναν από οργανισμούς που δεν έχετε ποτέ ελέγξει και μπορεί ακόμη και να μην γνωρίζετε ότι υπάρχουν. Στατικές, στιγμιαίες αξιολογήσεις δεν μπορούν να δουν κάτι τέτοιο. Το πρόβλημα αυτό δεν είναι νέο. Η AI το κάνει πολύ πιο επείγον. Οι ομάδες ασφαλείας χρειάζονται μια συνεχόμενη εικόνα των εταιρειών και της τεχνολογίας από τις οποίες εξαρτώνται, επειδή οι επιτιθέμενοι βλέπουν ολόκληρο το οικοσύστημα ως μια ενιαία συνδεδεμένη επιφάνεια.

Στην SecurityScorecard, αυτό είναι ακριβώς το είδος του προβλήματος γύρω από το οποίο χτίζεται η κουλτούρα μας: φέρνοντας κοντά ανθρώπους που είναι βαθιά περίεργοι για το πώς σκέφτονται οι επιτιθέμενοι, πρόθυμοι να αμφισβητήσουν υποθέσεις εικοσιετούς διάρκειας, και ενθουσιασμένοι να δημιουργήσουν μια θεμελιωδώς διαφορετική προσέγγιση στην ασφάλεια!

Η Ερώτηση που Πρέπει να Φέρετε στην Επόμενη Συνάντηση του Διοικητικού Συμβουλίου

Πριν λίγες εβδομάδες είπα ότι το τζίνι έγινε πολύ ισχυρό για το μπουκάλι. Τέσσερα εργαστήρια αργότερα, τίποτα δεν το αμφισβήτησε. Μετά από περιστατικά όπως αυτά, όλοι κάνουν την ίδια ερώτηση: Είμαστε έτοιμοι για επιτιθέμενους με δυνατότητα AI; Δεν νομίζω ότι αυτή η ερώτηση μας προχωρά πολύ. Το «ναι» και το «όχι» παράγουν το ίδιο αποτέλεσμα: τίποτα δεν αλλάζει.

Ρίξτε μια πιο δύσκολη ερώτηση. Αν 17.000 συμβάντα χαμηλού σήματος χτυπήσουν το περιβάλλον σας τις επόμενες τέσσερις ημέρες — και τα περισσότερα έμοιαζαν με αποτυχίες — πόσο χρόνο θα χρειαστεί η ομάδα σας για να συνειδητοποιήσει ότι ήταν μια επίθεση; Θα ειδοποιηθεί κάποιος εγκαίρως;

Το ξέρετε ήδη. Το χάσμα μεταξύ αυτής της απάντησης και των τεσσάρων ημερών είναι η δουλειά.