Dhivya Nagasubramanian, Αντιπρόεδρος Μετασχηματισμού και Καινοτομίας του AI – Σειρά Συνεντεύξεων

Dhivya Nagasubramanian είναι Αντιπρόεδρος Μετασχηματισμού και Καινοτομίας του AI σε một μεγάλη αμερικανική χρηματοοικονομική εταιρεία, όπου ηγείται του σχεδιασμού, της ανάπτυξης και της διακυβέρνησης των παραγωγικών συστημάτων AI. Είναι η συγγραφέας του Agentic AI για Μηχανικούς (Apress/Springer Nature), ένα πρακτικό οδηγό για την κατασκευή αυτόνομων συστημάτων AI που μπορούν να εμπιστευτούνται στην παραγωγή. Από την κυκλοφορία του, το βιβλίο έχει καταγράψει περισσότερες από 6.000 θεσμικές προβολές στο SpringerLink, καταχωρήσεις σε πάνω από 260 βιβλιοθήκες παγκοσμίως και υιοθέτηση σε πανεπιστήμια. Είναι κάτοχος πατέντας του Γραφείου Ευρεσιτεχνιών και Εμπορικών Σημάτων των Ηνωμένων Πολιτειών σε εφαρμοσμένη μηχανική μάθηση. Τα ερευνητικά της ενδιαφέροντα περιλαμβάνουν την κατασκευή εφαρμογών που είναι ανθεκτικές σε επιθέσεις jailbreak και την συμβολή σε ευρύτερα βιομηχανικά προσπάθειες για την ανάπτυξη καλύτερων μοντέλων για την ασφάλεια και την ασφάλεια σε πολυπολιτισμικές περιπτώσεις. Είναι αναζητούμενος εμπειρογνώμονας ομιλητής και μετέχων σε πολλαπλά βιομηχανικά και ακαδημαϊκά συνέδρια.

Η καριέρα σας έχει προοδεύσει από την επιχειρηματική συμβουλευτική και την επιστήμη των δεδομένων στην ηγεσία της μετασχηματισμού του AI στις χρηματοοικονομικές υπηρεσίες. Πώς οι εμπειρίες αυτές σήμανε το Agentic AI για Μηχανικούς, και ποια επαναλαμβανόμενη διαφορά μεταξύ της έρευνας του AI και της επιχειρηματικής ανάπτυξης σας έπεισε ότι αυτό το βιβλίο χρειαζόταν να γραφτεί;

Άρχισα το 2008 με την κατασκευή συστημάτων λογιστικής και μέτρησης επιδόσεων για τραπεζικά πλαίσια. Ένα από αυτά τα έργα ήταν ένας μηχανισμός GIPS που υπολογίζει τους χρονοβαρείς αποδόσεις, τον οποίο χρηματοοικονομικές εταιρείες σε πάνω από 80 χώρες τελικά χρησιμοποιούσαν. Αυτό το έργο με δίδαξε ένα μάθημα που έχει σχήμα τη整ή μου καριέρα. Σε ρυθμιζόμενη χρηματοδότηση, η πιο επικίνδυνη αποτυχία είναι ένας λάθος αριθμός που φαίνεται σωστός. Ένας υποψιασμένος λάθος υπολογισμού εμπιστεύεται, αναφέρεται και ενεργεί για χρόνια, επειδή τίποτα δεν φαίνεται κατεστραμμένο.

Είδα το ίδιο πρότυπο ξανά αργότερα. Βρήκα ένα δομικό κενό στο μοντέλο Markov ενός ευρέως χρησιμοποιούμενου μοντέλου απόδοσης μάρκετινγκ. Το πλαίσιο χρησιμοποιούνταν από εκατοντάδες χιλιάδες χρήστες, και ο λάθος είχε επιβιώσει για χρόνια για ένα λόγο: οι έξοδοι φαίνονταν λογικές. Όταν μετακινήθηκα στον μετασχηματισμό του AI στις χρηματοοικονομικές υπηρεσίες, παρακολούθησα συστήματα που επαναλάμβαναν αυτό το πρότυπο με πολύ υψηλότερα στοιχήματα. Ένας πράκτορας δεν παράγει μόνο ένα λάθος αποτέλεσμα. Λαμβάνει δράση με βάση αυτό.

Το κενό που με έπεισε να γράψω το βιβλίο είναι ότι η έρευνα και η επιχειρηματική ανάπτυξη ενδιαφέρονται για διαφορετικά πράγματα. Η έρευνα μετρά την ικανότητα στα βήματα. Οι επιχειρήσεις εξαρτώνται από το πώς μια система συμπεριφέρεται κάτω από αμφιβολία, αλλαγμένη δεδομένα και εχθρική πίεση. Τα περισσότερα γραπτά για πράκτορες σταματούν στο στάδιο της επίδειξης. Έγραψα το Agentic AI για Μηχανικούς για τον μηχανικό που πρέπει να βάλει το όνομά του σε ένα σύστημα που θα τρέξει με περιορισμένη επιτήρηση μέσα σε μια ρυθμιζόμενη εταιρεία.

Το βιβλίο περιγράφει τη μετατόπιση από την αυτοματοποίηση στην αυτονομία ως μια νέα μηχανική στάση. Τι πραγματικά διακρίνει έναν αυτόνομο πράκτορα AI από một σοφιστικέυμενο αυτοματοποιημένο workflow, και όπου είναι πιθανό οι οργανισμοί να συγχέουν τα δύο;

Δίνω στις ομάδες ένα απλό τεστ. Μπορείτε να καταγράψετε κάθε διαδρομή που μπορεί να πάρει το σύστημα πριν το τρέξετε; Αν ναι, έχετε αυτοματοποίηση. Μπορεί να είναι πολύ σοφιστικέυμενη αυτοματοποίηση με ένα μοντέλο γλώσσας μέσα σε αυτό, αλλά είναι ακόμα αυτοματοποίηση. Αν το σύστημα διασπάει τους στόχους, επιλέγει εργαλεία και quyết định την σειρά των ενεργειών σε χρόνο εκτέλεσης με βάση το контекスト που δεν έγραψατε, έχετε αυτονομία. Η διαφορά δεν έχει να κάνει με το ποιο μοντέλο χρησιμοποιείτε. Έρχεται κάτω από το πού λαμβάνονται οι αποφάσεις.

Οι οργανισμοί συγχέουν τα δύο και στις δύο κατευθύνσεις, αλλά μόνο μια κατεύθυνση είναι δαπανηρή. Το να καλείτε ένα σεναριογραφημένο workflow LLM agentic είναι κυρίως ένα μάρκετινγκ πρόβλημα. Το κοστολογικό λάθος είναι το αντίστροφο. Οι ομάδες αναπτύσσουν πραγματικά αυτόνομα συστήματα λήψης αποφάσεων κάτω από διακυβέρνηση που σχεδιάστηκε για детερμινιστική αυτοματοποίηση. Το τεστ τους υποθέτει επαναλαμβανόμενη. Η παρακολούθησή τους υποθέτει γνωστά πρότυπα αποτυχίας. Η ιχνηλασία τους υποθέτει ότι υπάρχει μια αναγνωρίσιμη κανόνας πίσω από κάθε ενέργεια. Κανένα από αυτά τα υποθέσεις δεν ισχύει για έναν πράκτορα.

Αυτή είναι η στάση που υποστηρίζω στο βιβλίο. Με την αυτοματοποίηση, η κύρια ερώτηση είναι αν το σύστημα εκτέλεσε σωστά. Με την αυτονομία, η ερώτηση γίνεται αν το σύστημα αποφάσισε σωστά. Απαντώντας σε αυτό απαιτεί διαφορετική οργάνωση, διαφορετικές μεθόδους αξιολόγησης και διαφορετικό επίπεδο προσοχής.

Πολλοί πράκτορες AI εκτελούν εντυπωσιακά σε επιδείξεις αλλά δυσκολεύονται όταν εκτίθενται σε πραγματικούς χρήστες, αλλαγμένα δεδομένα και απρόβλεπτα εργαλεία. Ποια στοιχεία πρέπει να θεωρούνται υποχρεωτικά σε μια αρχιτεκτονική πράκτορα που είναι έτοιμη για παραγωγή;

Η ειλικρινής απάντηση είναι ότι η παραγωγή χρειάζεται όλα όσα μια επίδειξη σας αφήνει να παραλείψετε. Μια επίδειξη δουλεύει επειδή κάποιος έλεγχε το περιβάλλον. Η παραγωγή παίρνει αυτόν τον έλεγχο μακριά.

Στο βιβλίο, περιγράφω μια αναφορά αρχιτεκτονικής επτά στρωμάτων, αλλά αυτά είναι τα στοιχεία που θεωρώ υποχρεωτικά. Συμβάσεις εργαλείων με τυποποιημένες εισόδους και ρητές άδειες, ώστε η φάσμα του πράκτορα να είναι περιορισμένο από το σχέδιο και όχι από την ελπίδα. Διαχείριση καταστάσεων που επιβίωνας διακοπές και αποτυχίες. Δομημένη αντιμετώπιση αποτυχίας με καθορισμένες διαδρομές ανόδου. Ένα κάλυμμα αξιολόγησης που τρέχει συνεχώς, όχι μόνο μια φορά πριν από την εκκίνηση. Και ένα ιχνηλασιακό που καταγράφει αποφάσεις και τη σκέψη πίσω από αυτές, όχι μόνο τις ενέργειες που αναλήφθηκαν.

Το στοιχείο που οι ομάδες παραλείπουν πιο συχνά είναι η επαλήθευση σε χρόνο εκτέλεσης. Αυτό είναι ένα στρώμα που ελέγχει κάθε ενέργεια ενάντια στο δηλωμένο στόχο του πράκτορα και τις πολιτικές που εφαρμόζονται σε αυτό. Τυπική υποδομή σας λέει αν μια κλήση πέτυχε. Η επαλήθευση ρωτάει αν η κλήση θα έπρεπε να γίνει καθόλου. Δεν αποδεικνύει την αξία του σε μια επίδειξη, επειδή τίποτα δεν χρειάζεται να πιαστεί. Σε παραγωγή, είναι το πρώτο που θα ευχηθείτε να είχατε.

Η книγή σας καλύπτει ασφάλεια, ευθυγράμμιση, βρόχους ανατροφοδότησης, δοκιμή, αποσφαλμάτωση, αξιολόγηση και ανάπτυξη. Πώς πρέπει οι ομάδες μηχανικών να συνδυάσουν αυτά τα στοιχεία σε μια διαδικασία συνεχούς εγγύησης αντί να αντιμετωπίζουν την ασφάλεια ως μια τελική προ-εκκίνηση αναθεώρηση;

Μια τελική αναθεώρηση βασίζεται στην υπόθεση ότι το σύστημα που αναθεωρήσατε είναι το σύστημα που θα τρέξει. Για τον πράκτορα AI, αυτή η υπόθεση αποτυγχάνει σε τρεις τρόπους. Τα υποκείμενα μοντέλα ενημερώνονται. Τα εργαλεία και οι API που ο πράκτορας εξαρτάται από αλλαγμένα. Και τα δεδομένα και το περιβάλλον που ο πράκτορας λειτουργεί συνεχώς μεταβάλλονται. Μια μια φορά αναθεώρηση ασφάλειας περιγράφει ένα σύστημα που δεν υπάρχει πλέον λίγους μήνες αργότερα.

Συνεχής εγγύηση σημαίνει κλείσιμο του κύκλου. Αξιολογήσεις συμπεριφοράς τρέχουν σε CI (συνεχής ολοκλήρωση) τον ίδιο τρόπο που τρέχουν οι μονάδες δοκιμών, και πυλώνουν κάθε αλλαγή σε προτροπές, εργαλεία και μοντέλα. Παρακολούθηση σε χρόνο εκτέλεσης τροφοδοτεί ιχνηλασίες παραγωγής πίσω στα σύνολα αξιολόγησης. Περιγράφω τέσσερις παρακολουθητικές τάσεις στο βιβλίο, επειδή κανένα μονό πρότυπο δεν καλύπτει την πλήρη επιφάνεια αποτυχίας. Κάθε περιστατικό παράγει ένα νέο έλεγχο, τον ίδιο τρόπο που κάθε σφάλμα θα πρέπει να παράγει μια δοκιμή αναδρομής. Και δοκιμές αντιπάλου τρέχουν σε τακτά χρονικά διαστήματα αντί για μια φορά πριν από την εκκίνηση.

Το οργανωτικό μέρος έχει την ίδια σημασία με το τεχνικό μέρος. Η ασφάλεια δεν μπορεί να είναι μια ξεχωριστή ομάδα που εμφανίζεται στο τέλος με μια λίστα ελέγχου. Οι μηχανικοί που κατασκευάζουν τον πράκτορα πρέπει να κατέχουν τις σουίτες αξιολόγησης, τις αναλλοίωτες και το σχέδιο ανόδου, επειδή γνωρίζουν καλύτερα από οποιονδήποτε άλλον πού η κρίση του συστήματος είναι πιο αδύναμη.

Έχετε τονίσει την σημασιολογική παρακολούθηση των κλήσεων εργαλείων του πράκτορα. Τι αποκαλύπτει η σημασιολογική παρακολούθηση που δεν μπορούν οι συμβατικές καταγραφές και εργαλεία παρατηρησιμότητας να κάνουν, και πώς μπορεί να ανιχνεύσει όταν ένας πράκτορας είναι τεχνικά λειτουργικός αλλά καταδιώκει τον λάθος στόχο;

Οι συμβατικές εργαλεία παρατηρησιμότητας απαντούν σε μια ερώτηση: πέτυχε η κλήση; Καλύπτει κωδικούς κατάστασης, σχήματα, καθυστέρηση και ποσοστά σφαλμάτων. Δεν μπορεί να απαντήσει στην ερώτηση που έχει σημασία περισσότερο για τους πράκτορες, η οποία είναι αν η κλήση θα έπρεπε να γίνει. Μια κλήση εργαλείου μπορεί να είναι τεχνικά τέλεια και ακόμα να είναι η λάθος ενέργεια. Σωστό μορφότυπο, έγκυρες πιστοποιήσεις, επιτυχημένη απόκριση, λάθος πράγμα να κάνεις.

Η σημασιολογική παρακολούθηση αξιολογεί κάθε ενέργεια ενάντια στο δηλωμένο στόχο του πράκτορα και τις πολιτικές που εφαρμόζονται σε αυτό. Στο βιβλίο, περιγράφω αυτό ως ορισμό σημασιολογικών αναλλοιώτων πάνω από κλήσεις εργαλείων του πράκτορα. Αυτά είναι ιδιότητες που πρέπει να ισχύουν ανεξάρτητα από το πού πηγαίνει ο πράκτορας. Ένας πράκτορας που ερευνά μια περίπτωση πελάτη δεν πρέπει ποτέ να πρόσβασε εγγραφές έξω από αυτήν την περίπτωση. Ένας πράκτορας πρέπει να σηματοδοτήσει μια ανωμαλία πάνω από ένα certain threshold, ποτέ δεν επιλύει μόνος του. Όταν μια αναλλοίωτη παραβιάζεται, πιάνετε το πρόβλημα στο σημείο της ενέργειας αντί να το κάνετε σε μια ετήσια ενημέρωση.

Αυτό είναι επίσης πώς ανιχνεύετε την ολίσθηση του στόχου, η οποία θεωρώ την οριστική αποτυχία των συστημάτων πράκτορα. Η ολίσθηση του στόχου φαίνεται σαν ένας πράκτορας που ολοκληρώνει κάθε βήμα σωστά σύμφωνα με τις καταγραφές ενώ ήσυχα εργάζεται για τον λάθος στόχο. Δεν εμφανίζεται σε μια καταγραφή, επειδή τίποτα δεν απέτυχε. Η σημασιολογική παρακολούθηση αντιμετωπίζει την πρόθεση ως κάτι που μετράτε直接, και η πρόθεση είναι όπου οι πράκτορες πηγαίνουν λάθος.

Όταν ένας πράκτορας αντιμετωπίζει αμφίβολες οδηγίες, αντικρουόμενες πολιτικές, μη διαθέσιμα εργαλεία ή ανεπαρκή εμπιστοσύνη, τι πρέπει να μοιάζει η δομημένη αντιμετώπιση αποτυχίας; Πώς μπορούν οι développers να διασφαλίσουν ότι το σύστημα παύει, ανεβαίνει ή ανακτά αντί να εφευρίσκει;

Το πρόβλημα που πρέπει να σχεδιαστεί είναι ότι οι περισσότεροι πράκτορες έχουν μόνο ένας τρόπος να τελειώσουν μια εργασία, ο οποίος είναι να παράγουν μια απάντηση. Όταν οι οδηγίες είναι αμφίβολες ή οι πολιτικές αντικρούονται, ο πράκτορας εφευρίσκει. Όχι επειδή το μοντέλο είναι ασεβές, αλλά επειδή η εφεύρεση είναι η μόνη συμπεριφορά που η αρχιτεκτονική επιτρέπει. Δομημένη αντιμετώπιση αποτυχίας σημαίνει να δώσετε στο σύστημα καλύτερες επιλογές και να τις κάνετε πιο εύκολες να φτάσετε παρά μια φτιαγμένη απάντηση.

Στην πράξη, αυτό σημαίνει ότι η άρνηση και η ανύψωση σχεδιάζονται και δοκιμάζονται με την ίδια φροντίδα που γίνεται για την επιτυχία. Συνιστώ να ορίσετε τυποποιημένες καταστάσεις αποτυχίας: αμφίβολη οδηγία, αντικρουόμενη πολιτική, μη διαθέσιμο εργαλείο, ανεπαρκής εμπιστοσύνη. Κάθε μια αντιστοιχεί σε μια συγκεκριμένη συμπεριφορά. Ρωτήστε μια διευκρινιστική ερώτηση. Παράδοση σε ένα άνθρωπο με πλήρη контек스트. Πτώση σε μόνο ανάγνωση λειτουργία. Ξαναδοκιμάστε μέσα σε στενότερα όρια. Ή σταματήστε. Οι κατώτατοι όροι της εμπιστοσύνης πρέπει να ταιριάζουν με τον κίνδυνο της συγκεκριμένης ενέργειας. Η μπάρα για την κατασκευή ενός εσωτερικού περίπτωσης και η μπάρα για άγγιξη ενός λογαριασμού πελάτη δεν πρέπει ποτέ να είναι το ίδιο νούμερο.

Δύο πρακτικές κάνουν αυτό πραγματικό. Πρώτον, σχεδιάστε τη διαδρομή ανόδου πριν από τη διαδρομή ευτυχίας. Αν ένας άνθρωπος θα λάβει την παράδοση, αποφασίστε τι контек스트 θα πάρει και ποια εξουσία θα έχει πριν γράψετε την πρώτη προτροπή. Δεύτερον, δοκιμάστε την αποτυχία τον ίδιο τρόπο που δοκιμάζετε τις λειτουργίες. Εισαγάγετε αμφίβολες οδηγίες. Απενεργοποιήστε εργαλεία στη σκηνή. Κормίσετε τον πράκτορα αντικρουόμενες πολιτικές. Ένα σύστημα που δεν έχει ποτέ ασκηθεί να αποτυγχάνει θα ενεργεί χωρίς καθοδήγηση την πρώτη φορά που συμβαίνει στην παραγωγή.

Οι χρηματοοικονομικές εταιρείες πρέπει να ισορροπήσουν την πειραματική με τις αυστηρές απαιτήσεις γύρω από την ιδιωτικότητα, την ιχνηλασιμότητα, τον κίνδυνο μοντέλου και τη συμμόρφωση με τους κανονισμούς. Πού πρέπει να παραμείνει η έγκριση του ανθρώπου υποχρεωτική, και πού μπορούν οι πράκτορες να λάβουν μεγαλύτερη αυτονομία;

Η κανόνα μου είναι ότι η έγκριση του ανθρώπου πρέπει να παραμείνει υποχρεωτική για οποιαδήποτε ενέργεια που είναι μη αναστρέψιμη, που μετακινεί χρήματα ή επηρεάζει το αποτέλεσμα ενός ασθενούς, που αφορά επικοινωνίες πελάτη που φέρουν κανονιστική βαρύτητα, που τροφοδοτεί κανονιστική αναφορά, ή που αλλάζει τα εργαλεία, τις πολιτικές ή τις άδειες του πράκτορα. Οι πράκτορες μπορούν να λάβουν περισσότερη αυτονομία σε ανάγνωση και λόγο εργασία: έρευνα, ανάκτηση, ανάλυση εγγράφου, τριτοβάθμια, σύνταξη, και συμφωνίες που σηματοδοτούν ανωμαλίες για αναθεώρηση ανθρώπου αντί να τις επιλύουν.

Το κοινό λάθος είναι να απαιτείται έγκριση του ανθρώπου σε κάθε βήμα. Αυτό δεν κάνει το σύστημα ασφαλέστερο. Αναδημιουργεί τη διαδικασία με επιπλέον βήματα και εκπαιδεύει τους αναθεωρητές να σφραγίσουν. Οι εγκρίσεις ανήκουν σε πραγματικά σημεία αποφάσεων. Θα πρέπει να υπάρχουν λίγες από αυτές, και κάθε eine πρέπει να είναι εξοπλισμένη με κάποιον με πραγματική εξουσία να πει όχι.

Η άλλη αρχή είναι ότι η αυτονομία πρέπει να κερδηθεί αντί να χορηγηθεί. Ξεκινήστε στενά. Επεκταθείτε καθώς το σύστημα αποδεικνύεται υπό παρακολούθηση. Κρατήστε τις αποδείξεις. Σε όρους κινδύνου μοντέλου, το περιβάλλον ελέγχου σας πρέπει να σας επιτρέψει να δείξετε σε einen ρυθμιστή όχι μόνο τι έκανε ο πράκτορας, αλλά γιατί δικαιολογούνταν να του δώσετε αυτό το επίπεδο ανεξαρτησίας. Αυτό το ρεκόρ είναι η πραγματική άδεια λειτουργίας.

Μέσω της εργασίας σας στα φραγμό του AI και τα πρότυπα, βοηθάτε να ορίσετε κανόνες για συστήματα των οποίων οι ικανότητες συνεχίζουν να αλλάζουν. Ποια φραγμάτα μπορούν να τυποποιηθούν σήμερα, και ποια περιοχές παραμένουν πολύ εξαρτημένες από το контекスト, την βιομηχανία ή την περίπτωση χρήσης;

Τα φραγμάτα που μπορούμε να τυποποιηθούν σήμερα είναι δομικά. Απαιτούν ότι bestimmtes ελέγχοι υπάρχουν, είναι τεκμηριωμένα και μπορούν να ελεγχθούν. Τεκμηριωμένες ικανότητες και άδειες ορίων για αυτόνομους πράκτορες. Καθορизμένες μηχανισμοί εποπτείας και ανόδου. Υποχρεώσεις ανίχνευσης και αναφοράς περιστατικών. Μέθοδοι αξιολόγησης και απαιτήσεις αποδείξεων. Σαφής ευθύνη σε όλη τη διάρκεια ζωής του συστήματος, ώστε όταν κάτι πάει λάθος, η απάντηση στο ποιος είναι υπεύθυνος δεν είναι ποτέ μόνο το AI. Αυτά μπορούν να τυποποιηθούν επειδή αφορούν αν οι ελέγχοι υπάρχουν και πόσο καλοί είναι, όχι τις συγκεκριμένες τιμές που λαμβάνουν.

Τι δεν μπορούμε ακόμα να τυποποιηθούμε είναι οι ρυθμίσεις themselves. Συγκεκριμένες κατώτατοι όροι εμπιστοσύνης, ταξινομήσεις βλάβης και κατάλληλες επίπεδα αυτονομίας εξαρτώνται βαθιά από το контек스트. Η αποδεκτή ανεκτικότητα αποτυχίας για einen πράκτορα μάρκετινγκ και για ένα σύστημα που αγγίζει κλινικές ή χρηματοοικονομικές αποφάσεις δεν είναι δύο σημεία στην ίδια κλίμακα. Ανήκουν σε διαφορετικές κατηγορίες, διαμορφωμένες από το domaine, τη δικαιοδοσία και ποιος φέρει τη βλάβη όταν κάτι αποτυγχάνει.

Οι χρηματοοικονομικοί έλεγχοι είναι ένα χρήσιμο μοντέλο εδώ. Απαιτήσεις ελέγχου είναι τυποποιημένες παγκοσμίως, αλλά η υλικότητα κρίνεται πάντα στο kontekστ. Πρότυπα που σέβονται αυτή τη διάκριση τείνουν να υιοθετούνται. Πρότυπα που προσπαθούν να ορίσουν kontekst-εξαρτώμενες τιμές τείνουν να αγνοούνται, και ένα πρότυπο ασφάλειας που κανείς δεν ακολουθεί προστατεύει κανένα.

Η πρόσφατη έρευνά σας έχει εξερευνήσει την πολυπολιτισμική και αντιπαλική αντοχή στο AI. Ποια είδη αποτυχιών μοντέλου είναι πιθανό να παραλειφθούν από δυτικοκεντρικές ή παγκοσμίως μέσες βάσεις, και πώς πρέπει οι εταιρείες να αξιολογήσουν συστήματα που προορίζονται για πολυπολιτισμική ανάπτυξη;

Το να κοιτάτε μόνο τις μέσες βάσεις μπορεί να παραλείψει τις αποτυχίες που έχουν σημασία. Ένα μοντέλο μπορεί να αναφέρει μια ισχυρή συνολική βαθμολογία ασφάλειας ενώ αποτυγχάνει καλά για μια συγκεκριμένη γλώσσα, διάλεκτο ή πολιτιστικό контекスト, επειδή αυτές οι αποτυχίες εξαφανίζονται στην μέση. Η δυτικοκεντρική αξιολόγηση προσθέτει ένα άλλο τυφλό σημείο. Παραλείπει τις βλάβες που είναι πολιτιστικά συγκεκριμένες, όπως ιδιώματα, χειρονομίες και θρησκευτικές ή περιφερειακές контекστ όπου η ίδια έξοδος είναι αβλαβής σε μια κουλτούρα και βλαβερή σε μια άλλη. Επίσης, υπο-δοκιμάζει την αλλαγή κώδικα, τη μεταγραφή και τα ονόματα και οντότητες που δεν είναι δυτικά. Υπάρχει επίσης ένας αντιπαλικός γωνία. Οι επιθέσεις δεν στοχεύουν την μέση σας απόδοση. Βρίσκουν το πιο αδύνατο σημείο σας, και για τα περισσότερα μοντέλα αυτό το σημείο είναι μια γλώσσα με χαμηλότερες πόρους ή ένας πολιτιστικός контекστ που δεν αξιολογήθηκε.

Αυτή είναι η κεντρική ανακάλυψη. Κρίνοντας την ασφάλεια σε διαφορετικές κουλτούρες απαιτεί δεδομένα αξιολόγησης και ανθρώπινη κρίση που προέρχεται από αυτές τις κουλτούρες. Δεν μπορείτε να αξιολογήσετε τη βλάβη από έξω από το kontekστ στο οποίο συμβαίνει.

Για τις εταιρείες, προτείνω τρεις κανόνες. Αξιολογήστε κάθε τμήμα που εξυπηρετείτε, και μην αποδεχτείτε μια μέση ως απόδειξη. Κτίστε ορίσματα αξιολόγησης από τις πραγματικές σας πληθυσμούς πελάτη. Τρέξτε αντιπαλικές δοκιμές στις γλώσσες που οι πελάτες σας χρησιμοποιούν. Αν εξυπηρετείτε πελάτες σε σαράντα χώρες και αξιολογείτε μόνο στα αγγλικά, έχετε μετρήσει το σύστημα σας για κάποιον άλλον που το αναπτύσσει.

Επίσης, κατέχετε μια χορηγημένη πατέντα του Γραφείου Ευρεσιτεχνιών και Εμπορικών Σημάτων των Ηνωμένων Πολιτειών σε εφαρμοσμένη AI. Ποιο πρόβλημα προσπαθούσατε να λύσετε, τι η διαδικασία σας δίδαξε για την μετατροπή της έρευνας του AI σε πρακτική καινοτομία, και ποιο ανεπίλυτο πρόβλημα του AI είναι το πιο ενδιαφέρον για να αντιμετωπίσω επόμενο;

Η πατέντα που εγκρίθηκε πρόσφατα αντιμετωπίζει ένα πρόβλημα κλίμακας και συνεχείας στην ποιότητα αναθεώρησης των χρηματοοικονομικών υπηρεσιών — η συμβατική αναθεώρηση κλήσεων είναι χειροκίνητη, οπότε οι ανθρώπινοι αναθεωρητές μπορούν μόνο να δείξουν ένα δείγμα κλήσεων, και οι αξιολογήσεις τους διαφέρουν από πρόσωπο σε πρόσωπο. Η προσέγγισή μου διανέμει κάθε ερώτηση ποιότητας και συμμόρφωσης στο καλύτερο μέσο που είναι κατάλληλο για να απαντήσει, με κάθε απόφαση καταγεγραμμένη και ανατρέψιμη για ελέγχους.

Μπορείτε να δείτε τα ίδια θέματα που έχω περιγράψει σε όλη αυτή τη συνέντευξη. Διοχετεύστε κάθε εργασία στο λιγότερο ισχυρό εργαλείο που μπορεί να το κάνει καλά. Κρατήστε τους ανθρώπους στη λούπα όπου η κρίση έχει σημασία. Και κάνετε κάθε αυτοματοποιημένη απόφαση ανατρέψιμη, επειδή σε μια ρυθμιζόμενη εταιρεία μια απάντηση χωρίς απόδειξη δεν είναι απάντηση.

Τι η διαδικασία της πατέντας με δίδαξε είναι ότι η πειθαρχία είναι στα συγκεκριμένα. Δεν μπορείτε να πατένταρετε μια αόριστη ιδέα. Πρέπει να δείξετε ακριβώς τι η μέθοδός σας κάνει διαφορετικά, και ακριβώς πού εφαρμόζεται. Αυτή η ακρίβεια έκανε τη βασική εργασία καλύτερη.

Το ανεπίλυτο πρόβλημα που με ενδιαφέρει τώρα είναι η επαλήθευση σε χρόνο εκτέλεσης για συστήματα πολλαπλών πρακτόρων. Ορίζοντας σημασιολογικές αναλλοίωτες για έναν μόνο πράκτορα είναι διαχειρίσιμο. Ξέρω, επειδή το κάνουμε στην παραγωγή. Όταν οι πράκτορες αναθέτουν εργασία σε άλλους πράκτορες, η συμπεριφορά γίνεται εμεργική, και οι αποτυχίες μετακινούνται στις χειρονομίες. Μια οδηγία λαμβάνει ελαφρά ερμηνεία σε κάθε βήμα. Μια πολιτική εφαρμόζεται σε einen πράκτορα αλλά όχι στον πράκτορα που τον προσλαμβάνει. Η επαλήθευση της αλληλεπίδρασης μεταξύ πρακτόρων, όχι μόνο των ενεργειών του καθενός, είναι όπου περιμένω να εμφανιστεί η επόμενη γενιά σιωπηλών αποτυχιών. Αυτό είναι το πρόβλημα που θέλω να δουλέψω επόμενο.

Ευχαριστώ για τη μεγάλη συνέντευξη, οι αναγνώστες μπορεί επίσης να παραγγείλουν το βιβλίο της Agentic AI για Μηχανικούς.