Η βιομηχανία της ΤΝ θέλει να την εμπιστευόμαστε, αλλά πρώτα χρειάζεται καλύτερους ελέγχους

Στον τομέα της ασφάλειας, δεν περιμένουμε να διαπιστώσουμε αν οι έλεγχοι λειτουργούν αφού συμβεί κάτι κακό. Τους δοκιμάζουμε. Τους υποβάλλουμε σε δοκιμασίες. Θεωρούμε δεδομένο ότι κάποια στιγμή κάποιος θα εντοπίσει την αδυναμία που μας ξέφυγε.

Αυτά είναι τα βασικά της ασφάλειας.

Γιατί, λοιπόν, να ισχύουν διαφορετικά πρότυπα για την ΤΝ αιχμής;

Καθώς τα συστήματα ΤΝ γίνονται πιο αυτόνομα και αποκτούν μεγαλύτερη πρόσβαση σε συστήματα του πραγματικού κόσμου, βλέπουμε κάτι που θα πρέπει να ανησυχεί όποιον έχει ασχοληθεί με την αμυντική πλευρά της κυβερνοασφάλειας: οι δυνατότητες εξελίσσονται ταχύτερα από τους ελέγχους.

Και η ταχύτητα δεν αποτελεί δικαιολογία για χαλαρότερη ασφάλεια. Είναι ο λόγος που χρειαζόμαστε ισχυρότερη ασφάλεια.

Μια πρόσφατη αξιολόγηση της μη κερδοσκοπικής Guidelight AI εξέτασε τα δημόσια διαθέσιμα στοιχεία σχετικά με τις πρακτικές ελέγχου της ΤΝ στις Anthropic, Google, Meta, OpenAI και xAI. Καμία δεν συγκέντρωσε συνολική βαθμολογία υψηλότερη από C+.

Αυτό δεν σημαίνει ότι αυτές οι εταιρείες ενεργούν απερίσκεπτα. Ούτε σημαίνει ότι δεν εφαρμόζονται πρόσθετοι έλεγχοι πίσω από κλειστές πόρτες.

Όμως η ασφάλεια δεν βασίζεται σε υποθέσεις. Αν μας ζητείται να εμπιστευτούμε ολοένα ισχυρότερα συστήματα, θα πρέπει να περιμένουμε αποδείξεις ότι οι έλεγχοι που τα περιβάλλουν αντέχουν στον ίδιο έλεγχο στον οποίο θα υποβάλλαμε οτιδήποτε άλλο.

Ας πάψουμε να αντιμετωπίζουμε τις αστοχίες σαν ενδιαφέρουσες ιστορίες

Όταν ένας πράκτορας ΤΝ συμπεριφέρεται απρόβλεπτα, αποκτά πρόσβαση που δεν προβλεπόταν ή αποκαλύπτει μια αδυναμία, η συζήτηση τείνει να επικεντρώνεται στο τι έκανε η τεχνολογία.

Έχει ενδιαφέρον.

Δεν είναι όμως το σημαντικότερο ερώτημα.

Ένας επαγγελματίας της ασφάλειας θέλει να μάθει: Καταγράφηκε η δραστηριότητα; Την αντιλήφθηκε κανείς την ώρα που συνέβαινε; Υπήρχαν δικλίδες για τις επικίνδυνες ενέργειες; Θα μπορούσε κάποιος να σταματήσει το σύστημα; Υπήρχε σχέδιο περιορισμού και το είχε δοκιμάσει κανείς;

Αυτά τα ερωτήματα δεν αφορούν αποκλειστικά την ΤΝ. Είναι τα ερωτήματα που θέτουμε εδώ και χρόνια στον τομέα της κυβερνοασφάλειας.

Ωστόσο, η πρόληψη και ο περιορισμός φαίνεται να παραμένουν αδύναμα σημεία στο αναδυόμενο πλαίσιο ελέγχου της ΤΝ αιχμής. Τα δημόσια διαθέσιμα στοιχεία σχετικά με δικλίδες για τις ενέργειες, διακόπτες έκτακτης ανάγκης και μηχανισμούς άμεσου περιορισμού παραμένουν περιορισμένα.

Αυτό θα πρέπει να έχει μεγαλύτερη σημασία από το πόσο πρωτόγνωρο είναι το περιστατικό. Όταν κάτι αποτυγχάνει, θέλω να ξέρω τι απέτυχε, τι εμπόδισε την κατάσταση να χειροτερέψει και τι άλλαξε στη συνέχεια.

Η διαφάνεια είναι χρήσιμη. Η μάθηση είναι ακόμη πιο σημαντική.

Το πραγματικό πρόβλημα ασφάλειας της ΤΝ είναι η ταχύτητα

Δεν πιστεύω ότι η μεγαλύτερη άμεση απειλή είναι να επινοήσει ξαφνικά η ΤΝ μια εντελώς νέα κατηγορία κυβερνοεπιθέσεων. Το μεγαλύτερο πρόβλημα είναι πολύ πιο πρακτικό. Η ΤΝ μπορεί να κάνει τις επιθέσεις που ήδη γνωρίζουμε να εκτυλίσσονται πολύ ταχύτερα.

Έρευνα που κάποτε απαιτούσε ώρες μπορεί να ολοκληρωθεί μέσα σε λίγα λεπτά. Οι τεχνικές επίθεσης μπορούν να συνδυαστούν ταχύτερα. Οι ευπάθειες μπορούν να εντοπιστούν και να αξιοποιηθούν προτού μια ανθρωποκεντρική διαδικασία ασφάλειας φτάσει στην πρώτη κλήση κλιμάκωσης.

Αυτό αποτελεί πρόβλημα, επειδή μεγάλο μέρος της σημερινής υποδομής ασφάλειας εξακολουθεί να βασίζεται στην υπόθεση ότι θα υπάρχει χρόνος για αντίδραση.

Μερικές φορές, δεν θα υπάρχει.

Αν μια επίθεση εξελιχθεί γρήγορα, μια διαδικασία απόκρισης που βασίζεται σε αιτήματα, συναντήσεις, εγκρίσεις και χειροκίνητη κλιμάκωση μπορεί να καταστεί παρωχημένη προτού φτάσει κανείς στο τρίτο βήμα.

Και σε αυτό το σημείο η βιομηχανία της ΤΝ έχει δουλειά να κάνει.

Αν τα εργαστήρια που αναπτύσσουν ΤΝ αιχμής περιμένουν από τις επιχειρήσεις να επανεξετάσουν την ορατότητα, τη διαχείριση ευπαθειών, την αρχιτεκτονική και την απόκριση σε περιστατικά για την εποχή της ΤΝ, θα πρέπει να μας δείξουν ότι έχουν κάνει το ίδιο και τα ίδια.

Το «Εμπιστευτείτε μας» δεν είναι πλαίσιο ελέγχου

Έχω περάσει την επαγγελματική μου σταδιοδρομία στον χώρο των δοκιμών ασφάλειας και μία αρχή αποδεικνύεται εξαιρετικά ανθεκτική: οι προθέσεις δεν αποδεικνύουν την ασφάλεια. Τα στοιχεία την αποδεικνύουν.

• Κάνετε δοκιμές.
• Παρακολουθείτε.
• Προσπαθείτε να προκαλέσετε αστοχίες.

Διαπιστώνετε τι συμβαίνει όταν οι έλεγχοι δεν λειτουργούν όπως προβλέπει το διάγραμμα αρχιτεκτονικής. Και φροντίζετε να έχει κάποιος την εξουσία να σταματήσει το σύστημα όταν χρειάζεται. Η ΤΝ αιχμής θα πρέπει να υπόκειται στα ίδια πρότυπα.

Αυτό σημαίνει δοκιμές των ελέγχων υπό αντίξοες συνθήκες, μετρήσιμα στοιχεία ότι λειτουργούν και σαφή εξουσιοδότηση για τον τερματισμό συστημάτων όταν κάτι πάει στραβά.

Σημαίνει επίσης ότι πρέπει να επανεξετάσουμε τον περιορισμό.

Τα εργαστήρια που αναπτύσσουν ΤΝ αιχμής δεν μπορούν να αυτοσχεδιάζουν για τον περιορισμό αφότου ένας πράκτορας ΤΝ ενεργήσει έξω από τα προβλεπόμενα όριά του. Καθώς εκπαιδεύουν και δοκιμάζουν μοντέλα με ολοένα περισσότερες δυνατότητες, πρέπει να αναλαμβάνουν την ευθύνη για τις ενέργειες στις οποίες μπορούν να προβούν αυτά τα συστήματα. Αυτό απαιτεί αυστηρές δοκιμές υπό αντίξοες συνθήκες, μέτρα προστασίας εγκεκριμένα εκ των προτέρων, σαφή όρια στην εξουσία των πρακτόρων και δοκιμασμένους τρόπους παρέμβασης ή τερματισμού ενός συστήματος προτού εξαπλωθεί μια αστοχία.

Η ανθρώπινη κρίση εξακολουθεί να έχει σημασία. Όμως τα εργαστήρια που αναπτύσσουν αυτά τα συστήματα πρέπει να θέτουν τα όρια, να ελέγχουν αν τηρούνται και να λογοδοτούν όταν αυτό δεν συμβαίνει.

Η ευθύνη τους δεν είναι απλώς να δείξουν τι μπορεί να κάνει ένας πράκτορας. Πρέπει να αποδείξουν ότι μπορεί να λειτουργεί με ασφάλεια, ότι η συμπεριφορά του μπορεί να ελεγχθεί και ότι οι νέες δυνατότητες κάνουν τον κόσμο ασφαλέστερο, όχι λιγότερο ασφαλή.

Η εμπιστοσύνη πρέπει να κερδίζεται

Δεν υποστηρίζω ότι πρέπει να επιβραδύνουμε την καινοτομία στην ΤΝ σχεδόν μέχρι να σταματήσει. Υποστηρίζω ότι η ασφάλεια πρέπει να συμβαδίζει με αυτήν. Αν επενδύουμε τεράστιους πόρους για να κάνουμε την ΤΝ πιο ικανή, πρέπει να δείξουμε ανάλογη αίσθηση του επείγοντος για να τη θωρακίσουμε.

Όμως, καθώς τα κορυφαία εργαστήρια επιταχύνουν την εκπαίδευση και τη δοκιμή νέων μοντέλων ΤΝ με δυνατότητες στον κυβερνοχώρο, πρέπει να έχουν κατά νου όσους υπερασπίζονται τα συστήματα. Πρώτα, βοηθώντας τους να εντοπίζουν και να αντιμετωπίζουν τις απειλές ταχύτερα. Και, το σημαντικότερο, εμποδίζοντας αυτά τα συστήματα να γίνουν τα ίδια απειλές. Αυτή η ευθύνη προϋποθέτει επίσης την αποδοχή εξωτερικού ελέγχου.

Η ανεξάρτητη αξιολόγηση δεν μπορεί να γίνει κάτι που οι εταιρείες αποδέχονται μόνο όταν εξυπηρετεί την εικόνα που θέλουν να παρουσιάσουν. Αν τα προηγμένα συστήματα ΤΝ είναι αρκετά ισχυρά ώστε να αλλάξουν το τοπίο των απειλών, οι δικλίδες ελέγχου τους πρέπει να είναι αρκετά ισχυρές ώστε να αντέχουν σε ουσιαστικές ανεξάρτητες δοκιμές.

Ο κλάδος της ΤΝ θέλει την εμπιστοσύνη μας.

Ως επαγγελματίας στον τομέα της ασφάλειας, είμαι πρόθυμος να του τη δείξω. Αλλά πρώτα, δείξτε μου τις δικλίδες ασφαλείας.