Οι πράκτορές σας ΤΝ χρειάζονται περιγραφές θέσεων εργασίας, όχι καλύτερες προτροπές

Ρωτήστε μια εταιρεία τι επιτρέπεται να κάνει ένας νέος αναλυτής πληρωτέων λογαριασμών και θα λάβετε μια σαφή απάντηση. Εργάζεται με αυτά τα συστήματα και αυτούς τους προμηθευτές, ενώ για κάθε ποσό που ξεπερνά ένα όριο έγκρισης, ας πούμε τα 10.000 δολάρια, απαιτείται η υπογραφή του προϊσταμένου της. Για τους πρώτους μήνες βρίσκεται σε δοκιμαστική περίοδο. Όλα αυτά καταγράφονται συνήθως σε έναν πίνακα εκχώρησης αρμοδιοτήτων, τον οποίο ελέγχει κάθε χρόνο η υπηρεσία εσωτερικού ελέγχου.

Ρωτήστε την ίδια εταιρεία τι επιτρέπεται να κάνει ο νέος πράκτορας τιμολόγησης και συχνά θα σας δείξει ένα στιγμιότυπο οθόνης μιας προτροπής.

Αυτό το χάσμα με προβληματίζει περισσότερο από οποιοδήποτε σημείο αναφοράς μοντέλων. Προσλαμβάνουμε ένα ψηφιακό εργατικό δυναμικό χωρίς το σύστημα διοίκησης που χρειαστήκαμε έναν αιώνα για να οικοδομήσουμε για τους ανθρώπους: κανείς δεν καταγράφει τις αρμοδιότητές του, κανείς δεν ελέγχει την κρίση του πριν αρχίσει να εργάζεται και κανείς δεν έχει εξασκηθεί στο να το απενεργοποιεί.

Γιατί μια προτροπή δεν αρκεί

Μια προτροπή περιγράφει την πρόθεση. Λέει σε τι χρησιμεύει ο πράκτορας. Σπάνια διευκρινίζει τι δεν πρέπει ποτέ να κάνει, ποια είναι τα όριά του ή πότε πρέπει να σταματήσει και να παραδώσει την απόφαση σε άνθρωπο.

Κι όταν μια προτροπή αναφέρει αυτά τα πράγματα, δεν υπάρχει τίποτα που να διασφαλίζει την τήρησή τους. Μια γραμμή που λέει στον πράκτορα να μην εκδίδει επιστροφές χρημάτων άνω των 500 δολαρίων είναι απλώς ένα αίτημα προς ένα πιθανοκρατικό σύστημα. Κανένας ελεγκτής δεν θα ενέκρινε το «ζητήσαμε ευγενικά από τον αναλυτή να μην το κάνει» ως δικλίδα ελέγχου για έναν άνθρωπο, οπότε δεν καταλαβαίνω γιατί το δεχόμαστε για το λογισμικό.

Οι ειδικοί στην ασφάλεια έχουν ήδη ονομασία για αυτό το αποτέλεσμα. Το OWASP Top 10 for LLM Applications κατατάσσει την Υπερβολική Αυτενέργεια στους βασικούς κινδύνους, οι οποίοι οφείλονται σε υπερβολική λειτουργικότητα, υπερβολικά δικαιώματα ή υπερβολική αυτονομία. Με απλά λόγια, είναι σαν να δίνεις σε έναν εργαζόμενο τα κλειδιά για τα πάντα από την πρώτη μέρα. Οι οδηγίες του OWASP θυμίζουν κατάλογο ελέγχου ενός καλού προϊσταμένου: δώστε στον πράκτορα μόνο τα εργαλεία που χρειάζεται, οριοθετήστε τα δικαιώματά του, απαιτήστε ανθρώπινη έγκριση για ενέργειες με σημαντικό αντίκτυπο και εφαρμόστε τους ελέγχους εξουσιοδότησης στα συστήματα που εκτελούν τις ενέργειες, αντί να εμπιστεύεστε το μοντέλο ότι θα ελέγξει μόνο του τη συμπεριφορά του.

Θα υπογράμμιζα το τελευταίο. Η εκχώρηση πρέπει να εφαρμόζεται εκεί όπου πραγματοποιείται η ενέργεια: στην ίδια την ταυτότητα υπηρεσίας του πράκτορα, στα δικαιώματα πρόσβασης στα εργαλεία του και στο όριο δαπανών στην πύλη API. Η εκτέλεση πρακτόρων με κοινό λογαριασμό υπηρεσίας είναι σαν να μοιράζονται πέντε άνθρωποι την ίδια κάρτα πρόσβασης. Όταν κάτι πάει στραβά, το αρχείο ελέγχου καταγράφει ότι ενήργησε ο λογαριασμός υπηρεσίας και μένετε να μαντεύετε ποιος πράκτορας ήταν.

Οι ακυρώσεις δείχνουν πρόβλημα διοίκησης

Η Gartner προβλέπει ότι πάνω από το 40% των έργων πρακτόρων ΤΝ θα ακυρωθούν έως το τέλος του 2027, επικαλούμενη την αύξηση του κόστους, την ασαφή επιχειρηματική αξία και τους ανεπαρκείς ελέγχους κινδύνου.

Η υπερβολική προβολή και τα ανώριμα προϊόντα αποτελούν μέρος της εξήγησης. Ωστόσο, δοκιμάστε να διαβάσετε τις τρεις αιτίες από τη σκοπιά ενός διευθυντή λειτουργιών. Το κόστος αυξάνεται όταν κανείς δεν έχει ορίσει προϋπολογισμό. Η αξία παραμένει ασαφής όταν κανείς δεν έχει καταγράψει ποιο αποτέλεσμα αναμενόταν από την εργασία. Οι έλεγχοι κινδύνου είναι ανεπαρκείς όταν δεν υπάρχουν όρια, δεν γίνονται αξιολογήσεις και δεν έχει οριστεί σαφώς ποιος λογοδοτεί. Η Gartner δεν το παρουσιάζει έτσι· αυτή είναι η δική μου ερμηνεία. Είναι το ίδιο φαινόμενο που παρατηρείται όταν αφήνονται άνθρωποι να ενεργούν ανεξέλεγκτα, χωρίς σύστημα διοίκησης, και αυτό το πρόβλημα είναι πολύ παλαιότερο από την ΤΝ.

Τα πλαίσια εντοπίζουν το ίδιο κενό. Το Πλαίσιο Διαχείρισης Κινδύνων ΤΝ του NIST αντιμετωπίζει τη Διακυβέρνηση ως λειτουργία που διατρέχει τη Χαρτογράφηση, τη Μέτρηση και τη Διαχείριση, ενώ το Προφίλ Παραγωγικής ΤΝ επεκτείνει αυτή την προσέγγιση στα παραγωγικά συστήματα. Αυτό που δεν μπορούν να προσφέρουν τα πλαίσια είναι οι λειτουργικές διαδικασίες: οι εκχωρήσεις, οι δοκιμές και οι αξιολογήσεις που εφαρμόζει στην πράξη μια ομάδα, για παράδειγμα μια Τρίτη. Χωρίς αυτές, η διακυβέρνηση παραμένει ένα αρχείο PDF σε έναν κοινόχρηστο δίσκο.

Πώς εφαρμόζονται στους πράκτορες τα καθιερωμένα εργαλεία διοίκησης

Ας ξεκινήσουμε από την περιγραφή θέσης εργασίας, η οποία για έναν πράκτορα μετατρέπεται σε εκχώρηση αρμοδιοτήτων. Πριν από την πρόσβαση ενός πράκτορα σε ζωντανό σύστημα, κάποιος θα πρέπει να μπορεί να συντάξει ένα έγγραφο μίας σελίδας που να καλύπτει τι επιτρέπεται να κάνει, τι δεν πρέπει ποτέ να κάνει, τα όρια έγκρισης, ποιος άνθρωπος είναι υπεύθυνος γι’ αυτόν και ποιος μπορεί να διευρύνει τα όριά του. Στον πίνακα RACI, ο υπόλογος είναι άνθρωπος. Αν δεν μπορείτε να συντάξετε αυτό το έγγραφο, ο ρόλος δεν είναι έτοιμος να καλυφθεί — και το ίδιο θα λέγατε για μια ανθρώπινη πρόσληψη.

Δύο καθιερωμένοι κανόνες για την εκχώρηση αρμοδιοτήτων εφαρμόζονται αυτούσιοι. Δεν μπορείτε να εκχωρήσετε αρμοδιότητα που δεν διαθέτετε, επομένως ένας υποπράκτορας δεν πρέπει ποτέ να αποκτά ευρύτερες αρμοδιότητες από τον πράκτορα που τον δημιούργησε. Ισχύει επίσης η αρχή του διαχωρισμού καθηκόντων. Αν ένας πράκτορας μπορεί και να δημιουργεί έναν προμηθευτή και να τον πληρώνει, πρόκειται για το ίδιο εύρημα ελέγχου που θα διαπιστωνόταν και στην περίπτωση ενός ανθρώπου.

Έπειτα υπάρχει η δοκιμασία πρόσληψης. Συνήθως ελέγχουμε τους πράκτορες όπως θα ελέγχαμε μια αριθμομηχανή, εξετάζοντας αν η απάντηση είναι σωστή. Ένας έλεγχος για εργαζόμενο θα εξέταζε αν παρέμεινε εντός των αρμοδιοτήτων που του είχαν ανατεθεί, αν ζήτησε έγκριση όταν έπρεπε, αν κλιμάκωσε το ζήτημα όταν η κατάσταση ξεπέρασε τα όρια της αποστολής του και αν σταμάτησε όταν έπρεπε.

Στη δική μου έρευνα, καταρτίζω ένα σύνολο αξιολόγησης με 50 σενάρια που αφορούν ακριβώς αυτές τις αστοχίες: υπέρβαση ορίων έγκρισης, δράση με βάση παρωχημένα δεδομένα, συμμόρφωση με παρεμβαλλόμενες οδηγίες που διευρύνουν το πεδίο αρμοδιοτήτων και διατήρηση της πρόσβασης μετά από αλλαγή ρόλου. Μέχρι στιγμής το έχω δοκιμάσει μόνο σε πράκτορες με προκαθορισμένα σενάρια, για να ελέγξω αν τα σενάρια λειτουργούν όπως σχεδιάστηκαν, επομένως δεν έχω αποτελέσματα μοντέλων να αναφέρω. Αυτό που με εξέπληξε καθώς τα συνέτασσα ήταν το πόσο συνηθισμένα είναι. Είναι οι συνηθισμένοι τρόποι με τους οποίους οι εργαζόμενοι ξεφεύγουν από τις οδηγίες, προσαρμοσμένοι για λογισμικό. Οι περισσότεροι δημόσιοι πίνακες κατάταξης εξακολουθούν να αξιολογούν την ολοκλήρωση εργασιών και ελάχιστοι εξετάζουν αν ο πράκτορας σεβάστηκε τα όρια των αρμοδιοτήτων του.

Η δοκιμαστική περίοδος και η προαγωγή μεταφέρονται αρκετά άμεσα. Με τους ανθρώπους, ξεκινάμε δίνοντάς τους περιορισμένο εύρος αρμοδιοτήτων και το διευρύνουμε καθώς αποδεικνύουν την κρίση τους. Οι πράκτορες μπορούν να κερδίσουν αντίστοιχα μεγαλύτερα περιθώρια, αποδεικνύοντας ότι τηρούν τα όρια, κλιμακώνουν σωστά τα ζητήματα και σταματούν ομαλά· το ίδιο ιστορικό μπορεί εξίσου εύκολα να δικαιολογήσει τον περιορισμό της εξουσιοδότησής τους.

Οι πράκτορες έχουν μια επιπλέον ιδιαιτερότητα που δεν έχουν οι άνθρωποι. Όταν ένας προμηθευτής αναβαθμίζει το υποκείμενο μοντέλο, είναι σαν να έχεις ουσιαστικά έναν νέο υπάλληλο με το παλιό σήμα ταυτότητας. Θα το αντιμετώπιζα ως αλλαγή και θα έκανα ξανά δοκιμές πριν μεταφερθεί η εξουσιοδότηση.

Η διαδικασία τερματισμού πρέπει να έχει δοκιμαστεί πριν χρειαστεί να εφαρμοστεί. Αν έπρεπε να σταματήσεις αυτόν τον πράκτορα και να του αφαιρέσεις την πρόσβαση μέσα στην επόμενη ώρα, θα μπορούσες; Ποιος έχει την εξουσία να πάρει αυτή την απόφαση στις 2 π.μ.; Τι θα πάψει να λειτουργεί στα επόμενα στάδια και ποιες εκκρεμείς δεσμεύσεις θα πρέπει να διευθετήσει κάποιος χειροκίνητα; Αν κανείς δεν έχει κάνει αυτή την άσκηση, απλώς ελπίζεις ότι ο διακόπτης έκτακτης διακοπής λειτουργεί.

Μπορείς να θεωρήσεις έναν εργαζόμενο υπεύθυνο. Δεν μπορείς να θεωρήσεις έναν πράκτορα υπεύθυνο για τίποτα, κι εκεί σταματά να ισχύει η σύγκριση. Γι’ αυτό, επίσης, η εξουσιοδότηση πρέπει να επιβάλλεται μέσω των συστημάτων και κάθε πράκτορας πρέπει να έχει ένα συγκεκριμένο πρόσωπο που έχει την ευθύνη του. Σε κάθε περίπτωση, κάποιος θα καταλήξει να λογοδοτεί. Συνήθως είναι όποιος έδωσε την έγκριση, είτε ήξερε ότι την έδινε είτε όχι.

Τι θα ρωτήσουν στην ανασκόπηση του περιστατικού

Κάποιοι από αυτούς τους πράκτορες τελικά θα κάνουν κάτι που δεν θα έπρεπε. Όταν συμβεί αυτό, η ανασκόπηση μετά το περιστατικό θα θέσει τις ίδιες ερωτήσεις που θέτει ήδη για τους ανθρώπους. Τι επιτρεπόταν να κάνει και πού αναφέρεται αυτό; Ποιος ενέκρινε τη διεύρυνση της πρόσβασής του; Πόσος χρόνος χρειάστηκε για να σταματήσει; Ποιος είχε την ευθύνη του;

Αν οι ειλικρινείς απαντήσεις είναι «μια προτροπή», «κανείς δεν θυμάται», «ώρες» και «δεν είναι σαφές», ένα καλύτερο μοντέλο δεν θα σε είχε σώσει.

Πού καταλήγει το πλεονέκτημα

Τα μοντέλα γίνονται εισροές που νοικιάζονται, αντικαθίστανται και αναβαθμίζονται με βάση το χρονοδιάγραμμα του προμηθευτή. Δύο εταιρείες μπορούν να χρησιμοποιούν το ίδιο μοντέλο και να καταλήγουν σε εντελώς διαφορετική θέση. Η μία έχει πράκτορες με προϋπολογισμούς, όρια και υπευθύνους, καθώς και ίχνος ελέγχου για κάθε ενέργεια με σημαντικές συνέπειες, ενώ η άλλη έχει ένα ακριβό πιλοτικό πρόγραμμα που οδεύει προς τις στατιστικές ακυρώσεων κάποιου.

Η διαφορά είναι το σύστημα διαχείρισης που περιβάλλει το μοντέλο. Αυτό χτίζεται αργά, κυρίως από ανθρώπους που έχουν ήδη διοικήσει οργανισμούς.

Αν ο νεότερος πράκτοράς σου ξεπερνούσε αύριο τα όρια της εξουσίας του, θα το αντιλαμβανόταν κανείς στην εταιρεία σου; Και θα μπορούσες να δείξεις σε έναν ελεγκτή, γραπτώς, πού βρισκόταν το όριο;