Ρεμπέκα Κιάν, Συνιδρυτής και Διευθύνων Σύμβουλος της Patronus AI – Σειρά Συνεντεύξεων

Ρεμπέκα Κιάν είναι ο Συνιδρυτής και Διευθύνων Σύμβουλος της Patronus AI, με σχεδόν μια δεκαετία εμπειρίας στην κατασκευή συστημάτων μηχανικής μάθησης παραγωγής στο σημείο τομής της NLP, της ενσωματωμένης AI και της υποδομής. Στο Facebook AI, εργάστηκε σε έρευνα και ανάπτυξη, εκπαιδεύοντας το FairBERTa, ένα μεγάλο μοντέλο γλώσσας που σχεδιάστηκε με στόχους ισότητας, αναπτύσσοντας ένα μοντέλο perturbation δημογραφικών για να ξαναγράψει το περιεχόμενο της Βικιπαίδειας και ηγώντας την σεμαντική ανάλυση για βοηθούς ρομπότ. Επίσης, κατασκεύασε διαδικασίες ανθρώπινου-στο-βρόχο για ενσωματωμένους πράκτορες και δημιούργησε εργαλεία υποδομής όπως η Συνεχής Εξόρυξη Αντιθέσεων, η οποία υιοθετήθηκε σε όλα τα τμήματα υποδομής του Facebook και παρουσιάστηκε στο ICSE. Έχει συμβάλλει σε ανοιχτά προγράμματα όπως το FacebookResearch/fairo και τα σημειωματάρια σεμαντικής ανάλυσης Droidlet. Ως ιδρυτής, τώρα επικεντρώνεται στην κλιμάκωση εποπτείας, την ενίσχυση μάθησης και την ανάπτυξη ασφαλών, περιβαλλοντικά-ειδημένων πρακτόρων AI.

Patronus AI είναι μια εταιρεία με έδρα το Σαν Φρανσίσκο που παρέχει μια πλατφόρμα έρευνας για την αξιολόγηση, την παρακολούθηση και την βελτίωση μεγάλων μοντελών γλώσσας (LLM) και πρακτόρων AI, για να βοηθήσει τους dévelopers να αναπτύξουν αξιόπιστα προϊόντα γεννήτριας AI με εμπιστοσύνη. Η πλατφόρμα προσφέρει αυτόματους εργαλεία αξιολόγησης, αναλυτικά, προσαρμοσμένα σύνολα δεδομένων και περιβάλλοντα πρακτόρων που αναγνωρίζουν προβλήματα απόδοσης όπως ψευδείς εντυπώσεις, κίνδυνοι ασφαλείας ή αποτυχίες λογικής, επιτρέποντας στις ομάδες να βελτιώσουν και να διορθώσουν τα συστήματα AI σε πραγματικές περιπτώσεις χρήσης. Η Patronus εξυπηρετεί πελάτες επιχειρήσεων και τεχνολογικούς συνεργάτες, ενδυναμώνοντας τους να αξιολογήσουν τη συμπεριφορά μοντέλων, να ανιχνεύσουν σφάλματα σε κλίμακα και να ενισχύσουν την αξιοπιστία και την απόδοση στις εφαρμογές AI παραγωγής.

Έχετε ένα βαθύ υπόβαθρο στην κατασκευή συστημάτων ML στο Facebook AI, συμπεριλαμβανομένης της εργασίας σας στο FairBERTa και στις διαδικασίες ανθρώπινου-στο-βρόχο. Πώς αυτή η εμπειρία σχήμασε την προοπτική σας για την ανάπτυξη και την ασφάλεια της AI στον πραγματικό κόσμο;

Η εργασία μου στο Meta AI με έκανε να επικεντρωθώ στο τι χρειάζεται για να κάνει τα μοντέλα αξιόπιστα στην πράξη—ειδικά γύρω από την υπεύθυνη NLP. Εργάστηκα στη γλώσσα μοντελοποίηση με στόχους ισότητας, και είδα από πρώτο χέρι πόσο δύσκολο είναι να αξιολογήσετε και να ερμηνεύσετε τις εξόδους του μοντέλου. Αυτό σχήμασε τον τρόπο που σκέφτομαι για την ασφάλεια. Αν δεν μπορείτε να μετρήσετε και να κατανοήσετε τη συμπεριφορά του μοντέλου, είναι δύσκολο να αναπτύξετε την AI με εμπιστοσύνη στον πραγματικό κόσμο.

Τι σας ώθησε να μεταβείτε από την έρευνα μηχανικής σε επιχειρηματικότητα, συνιδρύοντας την Patronus AI, και ποιο πρόβλημα ένιωθε πιο επείγον να λυθεί εκείνη την εποχή;

Η αξιολόγηση έγινε εμπόδιο στην AI εκείνη την εποχή. Έφυγα από το Meta AI τον Απρίλιο για να ξεκινήσω την Patronus με τον Anand, γιατί είχα δει από πρώτο χέρι πόσο δύσκολο είναι να αξιολογήσετε και να ερμηνεύσετε την έξοδο της AI. Και όταν η γεννήτρια AI άρχισε να εισέρχεται στις ροές εργασίας των επιχειρήσεων, ήταν σαφές ότι αυτό δεν ήταν πλέον μόνο ένα πρόβλημα του εργαστηρίου. 

Ακούγαμε το ίδιο πράγμα από τις επιχειρήσεις. Ήθελαν να υιοθετήσουν τα LLM, αλλά δεν μπορούσαν να τα δοκιμάσουν αξιόπιστα, να τα παρακολουθήσουν ή να κατανοήσουν τους τρόπους αποτυχίας, όπως οι ψευδείς εντυπώσεις, ιδιαίτερα σε ρυθμιζόμενες βιομηχανίες όπου υπάρχει πολύ μικρή ανεκτικότητα για σφάλματα. 

Έτσι, το επείγον πρόβλημα, στην αρχή, ήταν η κατασκευή ενός τρόπου για την αυτοματοποίηση και την κλιμάκωση της αξιολόγησης μοντέλων—αξιολογώντας μοντέλα σε πραγματικές σκηνές, δημιουργώντας αντιπαραδείγματα δοκιμών και αναλυτικά—ώστε οι ομάδες να μπορέσουν να αναπτύξουν με εμπιστοσύνη αντί για τυχαία.

Η Patronus εισήγαγε πρόσφατα γεννήτριες προσομοιωτές ως προσαρμοσμένα περιβάλλοντα για τους πράκτορες AI. Ποια όρια στις υφιστάμενες προσεγγίσεις αξιολόγησης ή εκπαίδευσης οδήγησαν σε αυτή την κατεύθυνση;

Συνεχώς βλέπαμε μια αυξανόμενη ασυμφωνία μεταξύ του τρόπου με τον οποίο αξιολογούνται οι πράκτορες AI και του τρόπου με τον οποίο αναμένεται να λειτουργούν στον πραγματικό κόσμο. Οι παραδοσιακές βάσεις δεδομένων μετρούν απομονωμένες ικανότητες σε ένα σταθερό σημείο του χρόνου, αλλά η πραγματική δουλειά είναι δυναμική. Οι εργασίες διακόπτονται, οι απαιτήσεις αλλάζουν στη μέση της εκτέλεσης και οι αποφάσεις συσσωρεύονται σε μακρά ορίζοντα. Οι πράκτορες μπορούν να φαίνονται ισχυροί σε στατικές δοκιμές και να αποτυγχάνουν κακό όταν αναπτύσσονται. Όσο οι πράκτορες βελτιώνονται, επίσης κορυφώνονται στα στατικά βάσεις δεδομένων, που προκαλεί την μάθηση να πιεζεται. Οι γεννήτριες προσομοιωτές εμφανίστηκαν ως ένας τρόπος για να αντικαταστήσουν τις στατικές δοκιμές με ζωντανούς χώρους που προσαρμόζονται καθώς ο πράκτορας μαθαίνει.

Πώς βλέπετε τις γεννήτριες προσομοιωτές να αλλάζουν τον τρόπο με τον οποίο εκπαιδεύονται και αξιολογούνται οι πράκτορες AI, σε σύγκριση με τις στατικές βάσεις δεδομένων ή τα σταθερά σύνολα δεδομένων;

Η μετατόπιση είναι ότι οι βάσεις δεδομένων παύουν να είναι δοκιμές και αρχίζουν να γίνονται περιβάλλοντα. Αντί να παρουσιάζουν ένα σταθερό σύνολο ερωτημάτων, ο προσομοιωτής δημιουργεί την αναθέτηση, τις περιβάλλουσες συνθήκες και τη λογική αξιολόγησης στο στόχο. Όσο ο πράκτορας συμπεριφέρεται και βελτιώνεται, το περιβάλλον προσαρμόζεται. Αυτό συρρικνώνει το παραδοσιακό όριο μεταξύ εκπαίδευσης και αξιολόγησης. Δεν ρωτάτε πλέον αν ένας πράκτορας περνάει μια βάση δεδομένων, αλλά αν μπορεί να λειτουργήσει αξιόπιστα με τον καιρό σε ένα δυναμικό σύστημα.

Από τεχνικής πλευράς, ποια είναι οι βασικές αρχιτεκτονικές ιδέες πίσω από τις γεννήτριες προσομοιωτές, ιδιαίτερα γύρω από τη δημιουργία εργασιών, τη δυναμική του περιβάλλοντος και τις δομές ανταμοιβής;

Σε υψηλό επίπεδο, οι γεννήτριες προσομοιωτές συνδυάζουν την ενίσχυση μάθησης με την προσαρμοστική γεννήτρια περιβάλλοντος. Ο προσομοιωτής μπορεί να δημιουργήσει νέες εργασίες, να ενημερώσει τους κανόνες του κόσμου δυναμικά και να αξιολογήσει τις ενέργειες του πρακτόρα σε πραγματικό χρόνο. Ένα βασικό στοιχείο είναι αυτό που ονομάζουμε προσαρμογέα πρόγραμμα, που αναλύει τη συμπεριφορά του πρακτόρα και τροποποιεί τη δυσκολία και τη δομή των σενάριων για να διατηρήσει την παραγωγική μάθηση. Οι δομές ανταμοιβής σχεδιάζονται για να είναι επαλήθευτες και ειδικές για το domaine, ώστε οι πράκτορες να κατευθύνονται προς τη σωστή συμπεριφορά αντί για επιφανειακές συντομεύσεις.

Όσο ο χώρος αξιολόγησης και εργαλείων πρακτόρων AI γίνεται πιο πυκνοκατοικημένος, τι διαφοροποιεί πιο σαφώς την προσέγγιση της Patronus;

Η εστίασή μας είναι στην οικολογική εγκυρότητα. Σχεδιάζουμε περιβάλλοντα που αντανακλούν τις πραγματικές ροές εργασίας ανθρώπων, συμπεριλαμβανομένων διακοπών, αλλαγών контекστού, χρήσης εργαλείων και πολυστάθμης λογικής. Αντί να βελτιώνουμε τους πράκτορες για να φαίνονται καλοί σε προκαθορισμένες δοκιμές, επικεντρωνόμαστε στην έκθεση των τύπων αποτυχίας που έχουν σημασία στην παραγωγή. Ο προσομοιωτής αξιολογεί τη συμπεριφορά με τον καιρό, όχι μόνο τις εξόδους σε απομόνωση.

Ποιοι τύποι εργασιών ή τρόπων αποτυχίας επωφελούνται περισσότερο από την αξιολόγηση με βάση τον προσομοιωτή σε σύγκριση με τις συμβατικές δοκιμές;

Οι εργασίες μακράς διάρκειας, πολλαπλών βημάτων επωφελούνται περισσότερο. Ακόμη και μικρές ποσοστιαίες ταχύτητες σφαλμάτων ανά βήμα possono συσσωρευτεί σε μεγάλες ταχύτητες αποτυχίας σε σύνθετες εργασίες, τις οποίες οι στατικές βάσεις δεδομένων δεν μπορούν να καταγράψουν. Η αξιολόγηση με βάση τον προσομοιωτή κάνει δυνατή την εμφάνιση αποτυχιών που σχετίζονται με τη διατήρηση της πορείας με τον καιρό, την αντιμετώπιση διακοπών, τη συντονισμένη χρήση εργαλείων και την προσαρμογή όταν οι συνθήκες αλλάζουν στη μέση της εργασίας.

Πώς η μάθηση με βάση το περιβάλλον αλλάζει τον τρόπο που σκέφτεστε για την ασφάλεια της AI, και οι γεννήτριες προσομοιωτές εισάγουν νέους κινδύνους όπως η ανταμοιβή hacking ή οι εμφανιζόμενοι τρόποι αποτυχίας;

Η μάθηση με βάση το περιβάλλον κάνει στην πραγματικότητα πολλά προβλήματα ασφάλειας πιο εύκολα να ανιχνευθούν. Η ανταμοιβή hacking τείνει να ευδοκιμεί σε στατικά περιβάλλοντα όπου οι πράκτορες μπορούν να εκμεταλλευτούν σταθερές επωφελείς. Σε γεννήτριες προσομοιωτές, το ίδιο το περιβάλλον είναι ένα κινούμενο στόχο, που κάνει τις συντομεύσεις πιο δύσκολο να διατηρηθούν. Αυτό που λέει, προσεκτική σχεδίαση είναι ακόμα απαραίτητη γύρω από τις ανταμοιβές και την εποπτεία. Το πλεονέκτημα των περιβαλλόντων είναι ότι σας δίνουν πολύ περισσότερο έλεγχο και ορατότητα στην συμπεριφορά του πρακτόρα από ότι οι στατικές βάσεις δεδομένων θα μπορούσαν ποτέ.

Κοιτάζοντας πέντε χρόνια μπροστά, πού βλέπετε την Patronus AI σε όρους τεχνικής φιλοδοξίας και επιπτώσεων στην βιομηχανία;

Πιστεύουμε ότι τα περιβάλλοντα γίνονται θεμελιώδεις υποδομές για την AI. Όσο οι πράκτορες μετακινούνται από την απάντηση σε ερωτήσεις στην εκτέλεση πραγματικής δουλειάς, τα περιβάλλοντα όπου μαθαίνουν θα διαμορφώσουν πόσο ικανοί και αξιόπιστοι θα γίνουν. Η μακροπρόθεσμη φιλοδοξία μας είναι να μετατρέψουμε τις πραγματικές ροές εργασίας σε δομημένα περιβάλλοντα που οι πράκτορες μπορούν να μαθαίνουν συνεχώς. Η παραδοσιακή διάκριση μεταξύ αξιολόγησης και εκπαίδευσης συρρικνώνεται, και πιστεύουμε ότι αυτή η μετατόπιση θα ορίσει την επόμενη κυμαία των συστημάτων AI.

Ευχαριστούμε για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα μπορούν να επισκεφθούν Patronus AI.