Dhivya Nagasubramanian, Αντιπρόεδρος Μετασχηματισμού και Καινοτομίας του AI – Σειρά Συνεντεύξεων

Dhivya Nagasubramanian είναι Αντιπρόεδρος Μετασχηματισμού και Καινοτομίας του AI σε một μεγάλη αμερικανική χρηματοοικονομική εταιρεία, όπου ηγείται του σχεδιασμού, της ανάπτυξης και της διακυβέρνησης των παραγωγικών συστημάτων AI. Είναι η συγγραφέας του Agentic AI για Μηχανικούς (Apress/Springer Nature), ένα πρακτικό οδηγό για την κατασκευή αυτόνομων συστημάτων AI που μπορούν να εμπιστευτούνται στην παραγωγή. Από την κυκλοφορία του, το βιβλίο έχει καταγράψει περισσότερες από 6.000 θεσμικές προβολές στο SpringerLink, καταχωρήσεις σε πάνω από 260 βιβλιοθήκες παγκοσμίως και υιοθέτηση σε πανεπιστήμια. Είναι κάτοχος πατέντας του Γραφείου Ευρεσιτεχνιών και Εμπορικών Σημάτων των Ηνωμένων Πολιτειών σε εφαρμοσμένη μηχανική μάθηση. Τα ερευνητικά της ενδιαφέροντα περιλαμβάνουν την κατασκευή εφαρμογών που είναι ανθεκτικές σε επιθέσεις jailbreak και την συμβολή σε ευρύτερα βιομηχανικά προσπάθειες για την ανάπτυξη καλύτερων μοντέλων για την ασφάλεια και την ασφάλεια σε πολυπολιτισμικές περιπτώσεις. Είναι αναζητούμενος εμπειρογνώμονας ομιλητής και μετέχων σε πολλαπλά βιομηχανικά και ακαδημαϊκά συνέδρια.

Η καριέρα σας έχει προοδεύσει από την επιχειρηματική συμβουλευτική και την επιστήμη των δεδομένων στην ηγεσία της μετασχηματισμού του AI στις χρηματοοικονομικές υπηρεσίες. Πώς οι εμπειρίες αυτές σήμανε το Agentic AI για Μηχανικούς, και ποια επαναλαμβανόμενη διαφορά μεταξύ της έρευνας του AI και της επιχειρηματικής ανάπτυξης σας έπεισε ότι αυτό το βιβλίο χρειαζόταν να γραφτεί;

Ξεκίνησα το 2008 κατασκευάζοντας συστήματα λογιστικής χαρτοφυλακίων και μέτρησης επιδόσεων για τραπεζικές πλατφόρμες. Ένα από αυτά ήταν μια μηχανή υπολογισμού χρονικά σταθμισμένων αποδόσεων, συμβατή με τα πρότυπα GIPS, την οποία τελικά χρησιμοποίησαν χρηματοπιστωτικά ιδρύματα σε περισσότερες από 80 χώρες. Αυτή η δουλειά μού δίδαξε ένα μάθημα που διαμόρφωσε όλη την καριέρα μου. Στον ρυθμιζόμενο χρηματοπιστωτικό τομέα, η πιο επικίνδυνη αστοχία είναι ένας λανθασμένος αριθμός που φαίνεται σωστός. Έναν υπολογισμό με δυσδιάκριτο λάθος τον εμπιστεύονται, τον αναφέρουν και ενεργούν βάσει αυτού επί χρόνια, επειδή τίποτα δεν φαίνεται χαλασμένο.

Είδα το ίδιο πρότυπο ξανά αργότερα. Βρήκα ένα δομικό κενό στο μοντέλο Markov ενός ευρέως χρησιμοποιούμενου μοντέλου απόδοσης μάρκετινγκ. Το πλαίσιο χρησιμοποιούνταν από εκατοντάδες χιλιάδες χρήστες, και ο λάθος είχε επιβιώσει για χρόνια για ένα λόγο: οι έξοδοι φαίνονταν λογικές. Όταν μετακινήθηκα στον μετασχηματισμό του AI στις χρηματοοικονομικές υπηρεσίες, παρακολούθησα συστήματα που επαναλάμβαναν αυτό το πρότυπο με πολύ υψηλότερα στοιχήματα. Ένας πράκτορας δεν παράγει μόνο ένα λάθος αποτέλεσμα. Λαμβάνει δράση με βάση αυτό.

Το κενό που με έπεισε να γράψω το βιβλίο είναι ότι η έρευνα και η επιχειρησιακή εφαρμογή ενδιαφέρονται για διαφορετικά πράγματα. Η έρευνα μετρά τις ικανότητες σε δοκιμασίες αναφοράς. Οι επιχειρήσεις εξαρτώνται από το πώς συμπεριφέρεται ένα σύστημα υπό ασάφεια, μεταβαλλόμενα δεδομένα και εχθρική πίεση. Τα περισσότερα κείμενα για πράκτορες σταματούν στο στάδιο της επίδειξης. Έγραψα το Agentic AI for Engineers για τον μηχανικό που πρέπει να αναλάβει προσωπικά την ευθύνη ενός συστήματος το οποίο θα λειτουργεί με περιορισμένη επίβλεψη μέσα σε έναν ρυθμιζόμενο οργανισμό.

Το βιβλίο περιγράφει τη μετατόπιση από την αυτοματοποίηση στην αυτονομία ως μια νέα μηχανική στάση. Τι πραγματικά διακρίνει έναν αυτόνομο πράκτορα AI από một σοφιστικέυμενο αυτοματοποιημένο workflow, και όπου είναι πιθανό οι οργανισμοί να συγχέουν τα δύο;

Δίνω στις ομάδες ένα απλό τεστ. Μπορείτε να απαριθμήσετε κάθε διαδρομή που μπορεί να ακολουθήσει το σύστημα πριν το εκτελέσετε; Αν ναι, έχετε αυτοματοποίηση. Μπορεί να είναι ιδιαίτερα εξελιγμένη, με ένα γλωσσικό μοντέλο στο εσωτερικό της, αλλά παραμένει αυτοματοποίηση. Αν το σύστημα αναλύει τους στόχους, επιλέγει εργαλεία και αποφασίζει τη σειρά των ενεργειών κατά την εκτέλεση, βάσει συνθηκών που δεν έχετε προκαθορίσει σε σενάριο, έχετε αυτονομία. Η διαφορά δεν σχετίζεται με το μοντέλο που χρησιμοποιείτε, αλλά με το πού λαμβάνονται οι αποφάσεις.

Οι οργανισμοί συγχέουν τις δύο έννοιες και προς τις δύο κατευθύνσεις, αλλά μόνο η μία είναι δαπανηρή. Το να αποκαλείς μια προκαθορισμένη ροή εργασίας με LLM «πρακτορική» είναι κυρίως πρόβλημα μάρκετινγκ. Το ακριβό λάθος είναι το αντίστροφο: οι ομάδες αναπτύσσουν πραγματικά αυτόνομη λήψη αποφάσεων με πλαίσιο διακυβέρνησης σχεδιασμένο για ντετερμινιστική αυτοματοποίηση. Οι δοκιμές τους προϋποθέτουν επαναληψιμότητα, η παρακολούθηση γνωστά μοτίβα αστοχίας και το αρχείο ελέγχου έναν ανιχνεύσιμο κανόνα πίσω από κάθε ενέργεια. Καμία από αυτές τις παραδοχές δεν ισχύει για έναν πράκτορα.

Αυτή είναι η στάση που υποστηρίζω στο βιβλίο. Με την αυτοματοποίηση, η κύρια ερώτηση είναι αν το σύστημα εκτέλεσε σωστά. Με την αυτονομία, η ερώτηση γίνεται αν το σύστημα αποφάσισε σωστά. Απαντώντας σε αυτό απαιτεί διαφορετική οργάνωση, διαφορετικές μεθόδους αξιολόγησης και διαφορετικό επίπεδο προσοχής.

Πολλοί πράκτορες AI εκτελούν εντυπωσιακά σε επιδείξεις αλλά δυσκολεύονται όταν εκτίθενται σε πραγματικούς χρήστες, αλλαγμένα δεδομένα και απρόβλεπτα εργαλεία. Ποια στοιχεία πρέπει να θεωρούνται υποχρεωτικά σε μια αρχιτεκτονική πράκτορα που είναι έτοιμη για παραγωγή;

Η ειλικρινής απάντηση είναι ότι η παραγωγή χρειάζεται όλα όσα μια επίδειξη σας αφήνει να παραλείψετε. Μια επίδειξη δουλεύει επειδή κάποιος έλεγχε το περιβάλλον. Η παραγωγή παίρνει αυτόν τον έλεγχο μακριά.

Στο βιβλίο, περιγράφω μια αναφορά αρχιτεκτονικής επτά στρωμάτων, αλλά αυτά είναι τα στοιχεία που θεωρώ υποχρεωτικά. Συμβάσεις εργαλείων με τυποποιημένες εισόδους και ρητές άδειες, ώστε η φάσμα του πράκτορα να είναι περιορισμένο από το σχέδιο και όχι από την ελπίδα. Διαχείριση καταστάσεων που επιβίωνας διακοπές και αποτυχίες. Δομημένη αντιμετώπιση αποτυχίας με καθορισμένες διαδρομές ανόδου. Ένα κάλυμμα αξιολόγησης που τρέχει συνεχώς, όχι μόνο μια φορά πριν από την εκκίνηση. Και ένα ιχνηλασιακό που καταγράφει αποφάσεις και τη σκέψη πίσω από αυτές, όχι μόνο τις ενέργειες που αναλήφθηκαν.

Το στοιχείο που οι ομάδες παραλείπουν πιο συχνά είναι η επαλήθευση σε χρόνο εκτέλεσης. Αυτό είναι ένα στρώμα που ελέγχει κάθε ενέργεια ενάντια στο δηλωμένο στόχο του πράκτορα και τις πολιτικές που εφαρμόζονται σε αυτό. Τυπική υποδομή σας λέει αν μια κλήση πέτυχε. Η επαλήθευση ρωτάει αν η κλήση θα έπρεπε να γίνει καθόλου. Δεν αποδεικνύει την αξία του σε μια επίδειξη, επειδή τίποτα δεν χρειάζεται να πιαστεί. Σε παραγωγή, είναι το πρώτο που θα ευχηθείτε να είχατε.

Το βιβλίο σας καλύπτει την ασφάλεια, την ευθυγράμμιση, τους βρόχους ανατροφοδότησης, τις δοκιμές, την αποσφαλμάτωση, την αξιολόγηση και την ανάπτυξη. Πώς μπορούν οι ομάδες μηχανικών να συνδυάσουν αυτά τα στοιχεία σε μια διαδικασία συνεχούς διασφάλισης, αντί να αντιμετωπίζουν την ασφάλεια ως τελικό έλεγχο πριν από την κυκλοφορία;

Μια τελική αναθεώρηση βασίζεται στην υπόθεση ότι το σύστημα που αναθεωρήσατε είναι το σύστημα που θα τρέξει. Για τον πράκτορα AI, αυτή η υπόθεση αποτυγχάνει σε τρεις τρόπους. Τα υποκείμενα μοντέλα ενημερώνονται. Τα εργαλεία και οι API που ο πράκτορας εξαρτάται από αλλαγμένα. Και τα δεδομένα και το περιβάλλον που ο πράκτορας λειτουργεί συνεχώς μεταβάλλονται. Μια μια φορά αναθεώρηση ασφάλειας περιγράφει ένα σύστημα που δεν υπάρχει πλέον λίγους μήνες αργότερα.

Συνεχής εγγύηση σημαίνει κλείσιμο του κύκλου. Αξιολογήσεις συμπεριφοράς τρέχουν σε CI (συνεχής ολοκλήρωση) τον ίδιο τρόπο που τρέχουν οι μονάδες δοκιμών, και πυλώνουν κάθε αλλαγή σε προτροπές, εργαλεία και μοντέλα. Παρακολούθηση σε χρόνο εκτέλεσης τροφοδοτεί ιχνηλασίες παραγωγής πίσω στα σύνολα αξιολόγησης. Περιγράφω τέσσερις παρακολουθητικές τάσεις στο βιβλίο, επειδή κανένα μονό πρότυπο δεν καλύπτει την πλήρη επιφάνεια αποτυχίας. Κάθε περιστατικό παράγει ένα νέο έλεγχο, τον ίδιο τρόπο που κάθε σφάλμα θα πρέπει να παράγει μια δοκιμή αναδρομής. Και δοκιμές αντιπάλου τρέχουν σε τακτά χρονικά διαστήματα αντί για μια φορά πριν από την εκκίνηση.

Το οργανωτικό μέρος έχει την ίδια σημασία με το τεχνικό μέρος. Η ασφάλεια δεν μπορεί να είναι μια ξεχωριστή ομάδα που εμφανίζεται στο τέλος με μια λίστα ελέγχου. Οι μηχανικοί που κατασκευάζουν τον πράκτορα πρέπει να κατέχουν τις σουίτες αξιολόγησης, τις αναλλοίωτες και το σχέδιο ανόδου, επειδή γνωρίζουν καλύτερα από οποιονδήποτε άλλον πού η κρίση του συστήματος είναι πιο αδύναμη.

Έχετε τονίσει την σημασιολογική παρακολούθηση των κλήσεων εργαλείων του πράκτορα. Τι αποκαλύπτει η σημασιολογική παρακολούθηση που δεν μπορούν οι συμβατικές καταγραφές και εργαλεία παρατηρησιμότητας να κάνουν, και πώς μπορεί να ανιχνεύσει όταν ένας πράκτορας είναι τεχνικά λειτουργικός αλλά καταδιώκει τον λάθος στόχο;

Οι συμβατικές εργαλεία παρατηρησιμότητας απαντούν σε μια ερώτηση: πέτυχε η κλήση; Καλύπτει κωδικούς κατάστασης, σχήματα, καθυστέρηση και ποσοστά σφαλμάτων. Δεν μπορεί να απαντήσει στην ερώτηση που έχει σημασία περισσότερο για τους πράκτορες, η οποία είναι αν η κλήση θα έπρεπε να γίνει. Μια κλήση εργαλείου μπορεί να είναι τεχνικά τέλεια και ακόμα να είναι η λάθος ενέργεια. Σωστό μορφότυπο, έγκυρες πιστοποιήσεις, επιτυχημένη απόκριση, λάθος πράγμα να κάνεις.

Η σημασιολογική παρακολούθηση αξιολογεί κάθε ενέργεια ενάντια στο δηλωμένο στόχο του πράκτορα και τις πολιτικές που εφαρμόζονται σε αυτό. Στο βιβλίο, περιγράφω αυτό ως ορισμό σημασιολογικών αναλλοιώτων πάνω από κλήσεις εργαλείων του πράκτορα. Αυτά είναι ιδιότητες που πρέπει να ισχύουν ανεξάρτητα από το πού πηγαίνει ο πράκτορας. Ένας πράκτορας που ερευνά μια περίπτωση πελάτη δεν πρέπει ποτέ να πρόσβασε εγγραφές έξω από αυτήν την περίπτωση. Ένας πράκτορας πρέπει να σηματοδοτήσει μια ανωμαλία πάνω από ένα certain threshold, ποτέ δεν επιλύει μόνος του. Όταν μια αναλλοίωτη παραβιάζεται, πιάνετε το πρόβλημα στο σημείο της ενέργειας αντί να το κάνετε σε μια ετήσια ενημέρωση.

Έτσι ανιχνεύεται και η απόκλιση από τον στόχο, την οποία θεωρώ χαρακτηριστική αστοχία των πρακτορικών συστημάτων. Ο πράκτορας φαίνεται να ολοκληρώνει σωστά κάθε βήμα σύμφωνα με τα αρχεία καταγραφής, ενώ στην πραγματικότητα εργάζεται αθόρυβα προς λάθος στόχο. Αυτό δεν εμφανίζεται ποτέ ως σφάλμα σε μια καταγραφή, επειδή τεχνικά τίποτα δεν απέτυχε. Η σημασιολογική παρακολούθηση αντιμετωπίζει την πρόθεση ως κάτι που μετριέται άμεσα, και η πρόθεση είναι το σημείο στο οποίο οι πράκτορες εκτρέπονται.

Όταν ένας πράκτορας αντιμετωπίζει αμφίβολες οδηγίες, αντικρουόμενες πολιτικές, μη διαθέσιμα εργαλεία ή ανεπαρκή εμπιστοσύνη, τι πρέπει να μοιάζει η δομημένη αντιμετώπιση αποτυχίας; Πώς μπορούν οι développers να διασφαλίσουν ότι το σύστημα παύει, ανεβαίνει ή ανακτά αντί να εφευρίσκει;

Το πρόβλημα που πρέπει να σχεδιαστεί είναι ότι οι περισσότεροι πράκτορες έχουν μόνο ένας τρόπος να τελειώσουν μια εργασία, ο οποίος είναι να παράγουν μια απάντηση. Όταν οι οδηγίες είναι αμφίβολες ή οι πολιτικές αντικρούονται, ο πράκτορας εφευρίσκει. Όχι επειδή το μοντέλο είναι ασεβές, αλλά επειδή η εφεύρεση είναι η μόνη συμπεριφορά που η αρχιτεκτονική επιτρέπει. Δομημένη αντιμετώπιση αποτυχίας σημαίνει να δώσετε στο σύστημα καλύτερες επιλογές και να τις κάνετε πιο εύκολες να φτάσετε παρά μια φτιαγμένη απάντηση.

Στην πράξη, αυτό σημαίνει ότι η άρνηση και η παραπομπή σε άνθρωπο σχεδιάζονται και δοκιμάζονται με την ίδια προσοχή όπως η επιτυχία. Προτείνω να ορίζονται συγκεκριμένες κατηγορίες καταστάσεων αποτυχίας: ασαφής οδηγία, αντικρουόμενη πολιτική, μη διαθέσιμο εργαλείο, ανεπαρκής βεβαιότητα. Καθεμία αντιστοιχεί σε συγκεκριμένη συμπεριφορά: διευκρινιστική ερώτηση, ανάθεση σε άνθρωπο με όλες τις σχετικές πληροφορίες, μετάβαση σε λειτουργία μόνο ανάγνωσης, νέα προσπάθεια εντός στενότερων ορίων ή διακοπή. Τα όρια βεβαιότητας πρέπει να αντιστοιχούν στον κίνδυνο της συγκεκριμένης ενέργειας. Το όριο για τη σύνταξη μιας εσωτερικής περίληψης δεν πρέπει ποτέ να είναι ίδιο με εκείνο για μια ενέργεια σε λογαριασμό πελάτη.

Δύο πρακτικές το κάνουν αυτό εφαρμόσιμο. Πρώτον, σχεδιάστε τη διαδρομή παραπομπής πριν από τη διαδρομή ομαλής εκτέλεσης. Αν ένας άνθρωπος πρόκειται να αναλάβει, αποφασίστε ποιες πληροφορίες θα λάβει και ποια εξουσία θα έχει πριν γράψετε την πρώτη προτροπή. Δεύτερον, δοκιμάστε τις αστοχίες όπως δοκιμάζετε τις λειτουργίες: εισαγάγετε ασαφείς οδηγίες, απενεργοποιήστε εργαλεία στο δοκιμαστικό περιβάλλον και δώστε στον πράκτορα αντικρουόμενες πολιτικές. Ένα σύστημα που δεν έχει εξασκηθεί ποτέ στην αποτυχία θα ενεργήσει χωρίς καθοδήγηση την πρώτη φορά που αυτή θα συμβεί στην παραγωγή.

Οι χρηματοοικονομικές εταιρείες πρέπει να ισορροπήσουν την πειραματική με τις αυστηρές απαιτήσεις γύρω από την ιδιωτικότητα, την ιχνηλασιμότητα, τον κίνδυνο μοντέλου και τη συμμόρφωση με τους κανονισμούς. Πού πρέπει να παραμείνει η έγκριση του ανθρώπου υποχρεωτική, και πού μπορούν οι πράκτορες να λάβουν μεγαλύτερη αυτονομία;

Η κανόνα μου είναι ότι η έγκριση του ανθρώπου πρέπει να παραμείνει υποχρεωτική για οποιαδήποτε ενέργεια που είναι μη αναστρέψιμη, που μετακινεί χρήματα ή επηρεάζει το αποτέλεσμα ενός ασθενούς, που αφορά επικοινωνίες πελάτη που φέρουν κανονιστική βαρύτητα, που τροφοδοτεί κανονιστική αναφορά, ή που αλλάζει τα εργαλεία, τις πολιτικές ή τις άδειες του πράκτορα. Οι πράκτορες μπορούν να λάβουν περισσότερη αυτονομία σε ανάγνωση και λόγο εργασία: έρευνα, ανάκτηση, ανάλυση εγγράφου, τριτοβάθμια, σύνταξη, και συμφωνίες που σηματοδοτούν ανωμαλίες για αναθεώρηση ανθρώπου αντί να τις επιλύουν.

Το κοινό λάθος είναι να απαιτείται έγκριση του ανθρώπου σε κάθε βήμα. Αυτό δεν κάνει το σύστημα ασφαλέστερο. Αναδημιουργεί τη διαδικασία με επιπλέον βήματα και εκπαιδεύει τους αναθεωρητές να σφραγίσουν. Οι εγκρίσεις ανήκουν σε πραγματικά σημεία αποφάσεων. Θα πρέπει να υπάρχουν λίγες από αυτές, και κάθε eine πρέπει να είναι εξοπλισμένη με κάποιον με πραγματική εξουσία να πει όχι.

Η άλλη αρχή είναι ότι η αυτονομία πρέπει να κερδηθεί αντί να χορηγηθεί. Ξεκινήστε στενά. Επεκταθείτε καθώς το σύστημα αποδεικνύεται υπό παρακολούθηση. Κρατήστε τις αποδείξεις. Σε όρους κινδύνου μοντέλου, το περιβάλλον ελέγχου σας πρέπει να σας επιτρέψει να δείξετε σε einen ρυθμιστή όχι μόνο τι έκανε ο πράκτορας, αλλά γιατί δικαιολογούνταν να του δώσετε αυτό το επίπεδο ανεξαρτησίας. Αυτό το ρεκόρ είναι η πραγματική άδεια λειτουργίας.

Μέσα από τη δουλειά σας στις δικλίδες ασφαλείας και στα πρότυπα τεχνητής νοημοσύνης, συμβάλλετε στον ορισμό κανόνων για συστήματα των οποίων οι ικανότητες συνεχώς αλλάζουν. Ποιες δικλίδες μπορούν ρεαλιστικά να τυποποιηθούν σήμερα και ποιοι τομείς εξακολουθούν να εξαρτώνται υπερβολικά από το πλαίσιο, τον κλάδο ή την περίπτωση χρήσης;

Οι δικλίδες που μπορούμε να τυποποιήσουμε σήμερα είναι δομικές. Απαιτούν να υπάρχουν συγκεκριμένοι μηχανισμοί ελέγχου, να είναι τεκμηριωμένοι και να μπορούν να επιθεωρηθούν: τεκμηριωμένα όρια ικανοτήτων και δικαιωμάτων για αυτόνομα συστήματα, καθορισμένοι μηχανισμοί ανθρώπινης επίβλεψης και παραπομπής, υποχρεώσεις ανίχνευσης και αναφοράς περιστατικών, μέθοδοι αξιολόγησης και απαιτήσεις αποδεικτικών στοιχείων. Χρειάζεται επίσης σαφής λογοδοσία σε όλο τον κύκλο ζωής του συστήματος, ώστε όταν κάτι πάει στραβά, η απάντηση στο ποιος ευθύνεται να μην είναι ποτέ απλώς «η AI». Αυτά μπορούν να τυποποιηθούν επειδή αφορούν την ύπαρξη και την ποιότητα των ελέγχων, όχι τις συγκεκριμένες τιμές των ρυθμίσεών τους.

Αυτό που δεν μπορούμε ακόμη να τυποποιήσουμε είναι οι ίδιες οι ρυθμίσεις. Συγκεκριμένα όρια βεβαιότητας, ταξινομήσεις βλαβών και κατάλληλα επίπεδα αυτονομίας εξαρτώνται έντονα από το πλαίσιο. Η αποδεκτή ανοχή αστοχίας για έναν πράκτορα περιεχομένου μάρκετινγκ και για ένα σύστημα που επηρεάζει κλινικές ή χρηματοοικονομικές αποφάσεις δεν είναι δύο σημεία στην ίδια κλίμακα. Ανήκουν σε διαφορετικά καθεστώτα, τα οποία διαμορφώνονται από το πεδίο εφαρμογής, τη δικαιοδοσία και το ποιος υφίσταται τη βλάβη όταν κάτι αποτυγχάνει.

Οι χρηματοοικονομικοί έλεγχοι είναι ένα χρήσιμο μοντέλο εδώ. Απαιτήσεις ελέγχου είναι τυποποιημένες παγκοσμίως, αλλά η υλικότητα κρίνεται πάντα στο kontekστ. Πρότυπα που σέβονται αυτή τη διάκριση τείνουν να υιοθετούνται. Πρότυπα που προσπαθούν να ορίσουν kontekst-εξαρτώμενες τιμές τείνουν να αγνοούνται, και ένα πρότυπο ασφάλειας που κανείς δεν ακολουθεί προστατεύει κανένα.

Η πρόσφατη έρευνά σας έχει εξερευνήσει την πολυπολιτισμική και αντιπαλική αντοχή στο AI. Ποια είδη αποτυχιών μοντέλου είναι πιθανό να παραλειφθούν από δυτικοκεντρικές ή παγκοσμίως μέσες βάσεις, και πώς πρέπει οι εταιρείες να αξιολογήσουν συστήματα που προορίζονται για πολυπολιτισμική ανάπτυξη;

Αν εξετάζουμε μόνο μέσους όρους σε δοκιμασίες αναφοράς, μπορεί να μη δούμε τις σημαντικότερες αστοχίες. Ένα μοντέλο μπορεί να εμφανίζει υψηλή συνολική βαθμολογία ασφάλειας, αλλά να αποτυγχάνει σοβαρά σε συγκεκριμένη γλώσσα, διάλεκτο ή πολιτισμικό πλαίσιο, επειδή οι αστοχίες αυτές χάνονται στον μέσο όρο. Η δυτικοκεντρική αξιολόγηση δημιουργεί άλλο ένα τυφλό σημείο: παραβλέπει πολιτισμικά συγκεκριμένες βλάβες, όπως ιδιωματισμούς, χειρονομίες και θρησκευτικές ή τοπικές συνθήκες όπου το ίδιο αποτέλεσμα είναι αβλαβές σε έναν πολιτισμό και επιβλαβές σε άλλον. Επίσης, εξετάζει ανεπαρκώς την εναλλαγή γλωσσών, τη μεταγραφή και τα μη δυτικά ονόματα και οντότητες. Υπάρχει και η εχθρική διάσταση: οι επιτιθέμενοι δεν στοχεύουν τη μέση επίδοση, αλλά βρίσκουν το πιο αδύναμο τμήμα. Για τα περισσότερα μοντέλα, αυτό είναι μια γλώσσα με λιγότερους διαθέσιμους πόρους ή ένα πολιτισμικό πλαίσιο που δεν έχει αξιολογηθεί επαρκώς.

Αυτή είναι η κεντρική ανακάλυψη. Κρίνοντας την ασφάλεια σε διαφορετικές κουλτούρες απαιτεί δεδομένα αξιολόγησης και ανθρώπινη κρίση που προέρχεται από αυτές τις κουλτούρες. Δεν μπορείτε να αξιολογήσετε τη βλάβη από έξω από το kontekστ στο οποίο συμβαίνει.

Για τις εταιρείες, προτείνω τρεις κανόνες. Αξιολογήστε κάθε τμήμα που εξυπηρετείτε, και μην αποδεχτείτε μια μέση ως απόδειξη. Κτίστε ορίσματα αξιολόγησης από τις πραγματικές σας πληθυσμούς πελάτη. Τρέξτε αντιπαλικές δοκιμές στις γλώσσες που οι πελάτες σας χρησιμοποιούν. Αν εξυπηρετείτε πελάτες σε σαράντα χώρες και αξιολογείτε μόνο στα αγγλικά, έχετε μετρήσει το σύστημα σας για κάποιον άλλον που το αναπτύσσει.

Επίσης, κατέχετε μια χορηγημένη πατέντα του Γραφείου Ευρεσιτεχνιών και Εμπορικών Σημάτων των Ηνωμένων Πολιτειών σε εφαρμοσμένη AI. Ποιο πρόβλημα προσπαθούσατε να λύσετε, τι η διαδικασία σας δίδαξε για την μετατροπή της έρευνας του AI σε πρακτική καινοτομία, και ποιο ανεπίλυτο πρόβλημα του AI είναι το πιο ενδιαφέρον για να αντιμετωπίσω επόμενο;

Η πατέντα που εγκρίθηκε πρόσφατα αντιμετωπίζει ένα πρόβλημα κλίμακας και συνεχείας στην ποιότητα αναθεώρησης των χρηματοοικονομικών υπηρεσιών — η συμβατική αναθεώρηση κλήσεων είναι χειροκίνητη, οπότε οι ανθρώπινοι αναθεωρητές μπορούν μόνο να δείξουν ένα δείγμα κλήσεων, και οι αξιολογήσεις τους διαφέρουν από πρόσωπο σε πρόσωπο. Η προσέγγισή μου διανέμει κάθε ερώτηση ποιότητας και συμμόρφωσης στο καλύτερο μέσο που είναι κατάλληλο για να απαντήσει, με κάθε απόφαση καταγεγραμμένη και ανατρέψιμη για ελέγχους.

Μπορείτε να δείτε τα ίδια θέματα που έχω περιγράψει σε όλη αυτή τη συνέντευξη. Διοχετεύστε κάθε εργασία στο λιγότερο ισχυρό εργαλείο που μπορεί να το κάνει καλά. Κρατήστε τους ανθρώπους στη λούπα όπου η κρίση έχει σημασία. Και κάνετε κάθε αυτοματοποιημένη απόφαση ανατρέψιμη, επειδή σε μια ρυθμιζόμενη εταιρεία μια απάντηση χωρίς απόδειξη δεν είναι απάντηση.

Τι η διαδικασία της πατέντας με δίδαξε είναι ότι η πειθαρχία είναι στα συγκεκριμένα. Δεν μπορείτε να πατένταρετε μια αόριστη ιδέα. Πρέπει να δείξετε ακριβώς τι η μέθοδός σας κάνει διαφορετικά, και ακριβώς πού εφαρμόζεται. Αυτή η ακρίβεια έκανε τη βασική εργασία καλύτερη.

Το ανεπίλυτο πρόβλημα που με ενδιαφέρει τώρα είναι η επαλήθευση σε χρόνο εκτέλεσης για συστήματα πολλαπλών πρακτόρων. Ορίζοντας σημασιολογικές αναλλοίωτες για έναν μόνο πράκτορα είναι διαχειρίσιμο. Ξέρω, επειδή το κάνουμε στην παραγωγή. Όταν οι πράκτορες αναθέτουν εργασία σε άλλους πράκτορες, η συμπεριφορά γίνεται εμεργική, και οι αποτυχίες μετακινούνται στις χειρονομίες. Μια οδηγία λαμβάνει ελαφρά ερμηνεία σε κάθε βήμα. Μια πολιτική εφαρμόζεται σε einen πράκτορα αλλά όχι στον πράκτορα που τον προσλαμβάνει. Η επαλήθευση της αλληλεπίδρασης μεταξύ πρακτόρων, όχι μόνο των ενεργειών του καθενός, είναι όπου περιμένω να εμφανιστεί η επόμενη γενιά σιωπηλών αποτυχιών. Αυτό είναι το πρόβλημα που θέλω να δουλέψω επόμενο.

Ευχαριστώ για τη μεγάλη συνέντευξη, οι αναγνώστες μπορεί επίσης να παραγγείλουν το βιβλίο της Agentic AI για Μηχανικούς.