Η επιτήρηση του AI έχει τρεις τυφλές κενές θέσεις — και οι περισσότερες εταιρείες δεν παρακολουθούν καμία από αυτές

Το μεγαλύτερο μέρος του διαλόγου για την ασφάλεια του AI εντός των εταιρειών στοχεύει στον λάθος στόχο. Οι ομάδες περνούν εβδομάδες συζητώντας ποιο μοντέλο να χρησιμοποιήσουν, και στη συνέχεια συνδέουν αυτό το μοντέλο με το email, τις πληρωμές, τη βάση δεδομένων πελατών και τον κώδικα τους, χωρίς να σταματήσουν να ρωτούν ένα πολύ απλούστερο ερώτημα: όταν αυτό το πράγμα κάνει κάτι, ποιος παρακολουθεί, και μπορεί κάποιος να το σταματήσει;

Τα νούμερα λένε ότι αυτό είναι πρόθυμο να γίνει ακριβό. Η Gartner υπολογίζει ότι τουλάχιστον το 15% των αποφάσεων εργασίας θα ληφθούν αυτόνομα από το AI το 2028, σε σύγκριση με σχεδόν κανένα το 2024. Στην ίδια έρευνα προειδοποιεί ότι περισσότερα από 40% των προτζεκτ AI με αυτονομία θα ακυρωθούν μέχρι το τέλος του 2027, και ένας από τους λόγους που δίνει είναι η αδύναμη έλεγχο ρίσκου. Διαβάστε αυτό ξανά. Τα προτζεκτ δεν πεθαίνουν επειδή τα μοντέλα είναι κακά. Πέθαιναν επειδή κανείς δεν έκτισε έναν τρόπο να τα κυβερνήσει.

Κατασκευάζω συστήματα διακυβέρνησης για το AI για ζωή, οπότε βλέπω τα ίδια κενά ξανά και ξανά. Υπάρχουν τρία από αυτά. Οι περισσότερες εταιρείες παρακολουθούν κανένα από αυτά σωστά, και πολλές παρακολουθούν κανένα.

Οι πράκτορες είναι ο θόρυβος

Όλοι ανησυχούν για τους αυτόνομους πράκτορες, και έχουν δίκιο να ανησυχούν. Αλλά οι περισσότεροι ανθρώποι ανησυχούν για το λάθος μέρος. Το ανησυχητικό πράγμα για έναν πράκτορα δεν είναι ότι συλλογίζεται. Είναι ότι ενεργεί. Δεν προτείνει την επιστροφή; την πληρώνει. Δεν καταρτίζει το email; το στέλνει. Δώστε σε ένα μοντέλο ένα σύνολο εργαλείων και σας έχει δώσει την ικανότητα να φτάσετε σε πραγματικά συστήματα και να τα αλλάξετε.

Παίξτε λάθος και η αποτυχία δεν είναι μια άκομψη πρόταση. Είναι χρήματα έξω από την πόρτα, ή ένα τραπέζι που πέφτει σιωπηλά από μια βάση δεδομένων. Και υπάρχει ένα πιο οξύ άκρο σε αυτό. Η ένεση προώθησης βρίσκεται ακριβώς στην κορυφή του καταλόγου κινδύνων της OWASP για εφαρμογές LLM, και για καλό λόγο: δώστε σε ένα μοντέλο το λάθος κείμενο και μπορεί να πειστεί να κάνει κάτι που κανείς δεν ζήτησε. Όταν το μοντέλο μπορεί μόνο να μιλήσει, αυτό είναι ένα ελάττωμα. Όταν το μοντέλο μπορεί να καλέσει εργαλεία, αυτό είναι ένας επιτιθέμενος που κρατάει τα κλειδιά API σας.

Η τυπική απάντηση είναι να καταγράψουν όλα όσα κάνει ο πράκτορας και να παρακολουθήσουν τις ιχνηλάσεις. Καλά. Αλλά μια ιχνηλάτηση είναι μια περιγραφή κάτι που έχει ήδη συμβεί. Είναι η κamera ασφαλείας μετά την κλοπή, χρήσιμη για την έρευνα, άχρηστη για το σταμάτημα της κλοπής.

Ο σιωπηλός που κανείς δεν αναφέρει

Η δεύτερη τυφλή κενή θέση δεν φαίνεται ποτέ σε μια διαφάνεια, γιατί είναι βαρετή. Είναι η απλή κλήση API. Δεν είναι ένας πράκτορας, δεν είναι ένα πλαίσιο, απλά ένα κομμάτι κώδικα κάπου σε μια υπηρεσία που συνθέτει μια πρόκληση και την πυροβολεί σε ένα μοντέλο.

Το περισσότερο AI στην παραγωγή μοιάζει με αυτό, και είναι το λιγότερο κυβερνώμενο μέρος του συνόλου ακριβώς επειδή είναι τόσο συνηθισμένο. Είναι μια αίτηση HTTP που είναι θαμμένη τρία επίπεδα βαθιά σε κάποια υπηρεσία, γραμμένη από έναν μηχανικό που δεν έχει ακούσει ποτέ για την πολιτική AI σας και δεν θα ήξερε πού να τη βρει. Αυτή η κλήση μπορεί να στείλει τα δεδομένα του πελάτη σε ένα τρίτο μοντέλο, ή να ξεκινήσει μια ενέργεια κάτω, και τίποτα δεν ελέγχει αν πρέπει, και τίποτα ανεξάρτητο δεν γράφει ότι το έκανε.

Ο ακατάστατος είναι οι άνθρωποι

Η τρίτη τυφλή κενή θέση είναι οι άνθρωποι, και αυτό είναι ο λόγος που είναι η χειρότερη. Το προσωπικό σας κατάφερε πριν από λίγους μήνες ότι η επικόλληση μιας εργασίας στο ChatGPT ή στο Claude το κάνει γρηγορότερα, οπότε το κάνουν όλη την ημέρα, συνήθως από προσωπικούς λογαριασμούς που δεν μπορείτε να δείτε. Αυτό δεν είναι υποθετικό. Η έρευνα της Cyberhaven για την πραγματική χρήση στην εργασία βρήκε ότι ένα πραγματικό μερίδιο των υπαλλήλων έχουν επικολλήσει εμπιστευτικά δεδομένα εταιρείας στο ChatGPT, πολλά από αυτά μέσω λογαριασμών που η εταιρεία δεν έχει κανένα παράθυρο.

Εάν θέλετε την ιστορία προειδοποίησης, είναι η Samsung. Το 2023 απαγόρευσε την εσωτερική χρήση γεννητικών AI μετά από μηχανικούς που επικόλλησαν ιδιόκτητο κώδικα πηγής στο ChatGPT, τρεις ξεχωριστές φορές σε λιγότερο από έναν μήνα. Αυτοί δεν ήταν κακοί ηθοποιοί. Ήταν καλοί μηχανικοί που προσπαθούσαν να αποσφαλματίσουν γρηγορότερα. Αυτό είναι ολόκληρος ο παγίδας: η διαρροή μοιάζει με την παραγωγικότητα. Και τα παλιά εργαλεία απώλειας δεδομένων σας δεν θα το πιάσουν, γιατί είναι μια επικόλληση σε μια καρτέλα του προγράμματος περιήγησης, όχι ένα αρχείο που εξέρχεται από το κτίριο.

Τι λειτουργεί πραγματικά

Συγκεντρώστε τα τρία και η διόρθωση σταματά να είναι για τους πράκτορες συγκεκριμένα και γίνεται μία μόνο ιδέα: κυβερνήστε τι κάνει το AI πριν το κάνει, όχι μετά. Λίγα πράγματα που πραγματικά μετράνε, μάθαμε κυρίως με τον σκληρό τρόπο.

Καθίστε μπροστά στην ενέργεια, όχι πίσω της. Αυτό είναι το ganze παιχνίδι, και είναι γιατί επιμένω ότι η παρατηρησιμότητα και η διακυβέρνηση δεν είναι η ίδια λέξη. Ένα πίνακας που σας λέει ότι ένας πράκτορας μετέφερε 40.000 λίρες χθες είναι μια αναφορά απώλειας. Κάτι που μπορεί να κρατήσει αυτή τη μεταφορά για έναν άνθρωπο να δει πριν φύγει είναι έλεγχος. Εάν η ρύθμιση σας μπορεί μόνο να σας πει τι συνέβη, δεν έχετε έλεγχο. Έχετε οπίσθια όραση.

Χρησιμοποιήστε ένα σημείο ελέγχου, όχι ένα ανά εργαλείο. Οι πράκτορες, οι κλήσεις API και το προσωπικό που επικολλάνε στο chatbot φαίνονται σαν τρία ξεχωριστά προβλήματα, οπότε οι εταιρείες αγοράζουν τρία ξεχωριστά εργαλεία και τελικά έχουν τρία σετ κενών μεταξύ τους. Τα κακά πράγματα ζουν στα κενά. Ό,τι κάνει το AI, όπου προέρχεται, πρέπει να περάσει από την ίδια πύλη.

Κρατήστε ένα αρχείο που το AI δεν μπορεί να ξαναγράψει. Εάν το σύστημα που κάνει το πράγμα είναι επίσης το μόνο που καταγράφει ότι το έκανε το πράγμα, δεν έχετε αρχείο. Έχετε ένα ημερολόγιο που του επιτρέπεται να επεξεργαστεί. Αυτό είναι ακριβώς όπου οι κανόνες πηγαίνουν. Η απαίτηση καταγραφής του νόμου AI της ΕΕ, άρθρο 12, υπάρχει ώστε να μπορεί να ανακατασκευαστεί τι έκανε ένα υψηλό κίνδυνο σύστημα από κάποιον άλλο εκτός από το σύστημα. Στην πράξη αυτό σημαίνει ένα αρχείο που κρατείται έξω από το πράγμα που καταγράφεται, ένα που δεν μπορεί να αλλάξει σιωπηλά μετά.

Βάλτε έναν άνθρωπο στις μεγάλες, μη αναστρέψιμες κλήσεις. Όχι όλα, κάντε αυτό και θα πνίγετε τους ανθρώπους σε εγκρίσεις μέχρι να εγκρίνουν όλα. Αλλά οι κλήσεις που δεν μπορείτε να πάρει πίσω, μετακινήστε τα χρήματα, εξαγάγετε τα δεδομένα, διαγράψτε τα αρχεία, πρέπει να σταματήσουν και να περιμένουν. Ο νόμος AI της ΕΕ ήδη καθιστά την εποπτεία ανθρώπων υποχρεωτική για υψηλό κίνδυνο συστήματα, άρθρο 14. Το κρίσιμο σημείο που αξίζει να θυμάστε είναι ότι η εποπτεία μετράει μόνο εάν ο άνθρωπος έχει τον χρόνο και το πλαίσιο να πει όχι πραγματικά. Μια έγκριση που κανείς δεν διαβάζει είναι απλά θέατρο.

Η ειλικρινής έλεγχος στομάχου

Κανένα από αυτά τα τρία δεν είναι μια περίπτωση γωνίας. Είναι ο συνηθισμένος τρόπος που οι περισσότερες εταιρείες τρέχουν το AI αυτή τη στιγμή, σιωπηλά, χωρίς πολλά δίχτυα. Οι ομάδες που θα περάσουν τα επόμενα δύο χρόνια χωρίς ένα άσχημο περιστατικό δεν θα είναι αυτοί με τα ωραία διαγράμματα. Θα είναι αυτοί που αποφάσισαν νωρίς ότι όλα όσα κάνει το AI τους, ο πράκτορας, η κλήση API, η παραγράφος που επικολλήθηκε, περνούν από μια πύλη πριν συμβεί, όχι μετά.

Εάν θέλετε έναν γρήγορο έλεγχο της δικής σας ρύθμισης, απαντήστε σε δύο ερωτήματα ειλικρινά. Από αυτές τις τρεις επιφάνειες, πόσες μπορείτε πραγματικά να δείτε; Και από αυτές που μπορείτε να δείτε, πόσες μπορείτε να σταματήσετε; Για πολλές εταιρείες η ειλικρινής απάντηση στο δεύτερο είναι μηδέν. Αυτό είναι ο αριθμός που πρέπει να διορθώσετε πρώτα.