Ανάντ Κανναπάν, Διευθύνων Σύμβουλος και Συνιδρυτής της Patronus AI – Σειρά Συνεντεύξεων

Ο Ανάντ Κανναπάν είναι Συνιδρυτής και Διευθύνων Σύμβουλος της Patronus AI, της πρώτης αυτοματοποιημένης πλατφόρμας αξιολόγησης και ασφάλειας AI για να βοηθήσει τις επιχειρήσεις να πιάσουν λάθη LLM σε κλίμακα.. Προηγουμένως, ο Ανάντ ηγήθηκε των προσπαθειών εξηγήσιμης μηχανικής μάθησης και προηγμένης πειραματικής έρευνας στα Meta Reality Labs.

Τι σας έκανε να ενδιαφερθείτε αρχικά για την επιστήμη των υπολογιστών;

Ενώ μεγάλωνα, ήμουν πάντα ενθουσιασμένος με την τεχνολογία και τον τρόπο με τον οποίο μπορούσε να χρησιμοποιηθεί για την επίλυση πραγματικών προβλημάτων. Η ιδέα ότι θα μπορούσα να δημιουργήσω κάτι από το μηδέν χρησιμοποιώντας μόνο έναν υπολογιστή και κώδικα με ενθάρρυνε. Όσο εμβάθυνα περισσότερο στην επιστήμη των υπολογιστών, συνειδητοποίησα το τεράστιο δυναμικό που έχει για καινοτομία και μετασχηματισμό σε διάφορους τομείς. Αυτή η ορμή για καινοτομία και τη δημιουργία μιας διαφοράς είναι αυτό που με έκανε να ενδιαφερθώ αρχικά για την επιστήμη των υπολογιστών.

Μπορείτε να μοιραστείτε την ιστορία της Patronus AI;

Η γέννηση της Patronus AI είναι ένα πολύ ενδιαφέρον ταξίδι. Όταν η OpenAI κυκλοφόρησε το ChatGPT, έγινε το γρήγορο σε ανάπτυξη καταναλωτικό προϊόν, με περισσότερους από 100 εκατομμύρια χρήστες σε μόλις δύο μήνες. Αυτή η τεράστια υιοθέτηση τόνισε το δυναμικό της γενετικής AI, αλλά cũng έφερε στο φως την διστακτικότητα των επιχειρήσεων να αναπτύξουν την AI σε τέτοιο γρήγορο ρυθμό. Πολλές επιχειρήσεις ανησυχούσαν για τα πιθανά λάθη και την απρόβλεπτη συμπεριφορά των μεγάλων γλωσσικών μοντέλων (LLM).

Η Ρεμπέκα και εγώ γνωριζόμαστε για χρόνια, έχοντας σπουδάσει επιστήμη των υπολογιστών μαζί στο Πανεπιστήμιο του Σικάγου. Στα Meta, και οι δύο αντιμετωπίσαμε προκλήσεις στην αξιολόγηση και ερμηνεία των εξόδων της μηχανικής μάθησης—η Ρεμπέκα από μια ερευνητική σκοπιά και εγώ από μια εφαρμοσμένη προοπτική. Όταν ανακοινώθηκε το ChatGPT, και οι δύο είδαμε το μετασχηματιστικό δυναμικό των LLM, αλλά και κατανόησαμε την προφύλαξη που άσκησαν οι επιχειρήσεις.

Ο σταθμός έγινε όταν η τράπεζα επενδύσεων του αδελφού μου, Piper Sandler, αποφάσισε να απαγορεύσει την πρόσβαση στην OpenAI εσωτερικά. Αυτό μας έκανε να συνειδητοποιήσουμε ότι ενώ η AI είχε προοδεύσει σημαντικά, υπήρχε ακόμη ένα κενό στην υιοθέτηση επιχειρήσεων λόγω ανησυχιών για την αξιοπιστία και την ασφάλεια. Ιδρύσαμε την Patronus AI για να διευθυνθούμε σε αυτό το κενό και να ενισχύσουμε την εμπιστοσύνη των επιχειρήσεων στη γενετική AI, παρέχοντας ένα επίπεδο αξιολόγησης και ασφάλειας για τα LLM.

Μπορείτε να περιγράψετε τη βασική λειτουργικότητα της πλατφόρμας της Patronus AI για την αξιολόγηση και την ασφάλεια των LLM;

Η αποστολή μας είναι να ενισχύσουμε την εμπιστοσύνη των επιχειρήσεων στη γενετική AI. Έχουμε αναπτύξει την πρώτη αυτοματοποιημένη πλατφόρμα αξιολόγησης και ασφάλειας ειδικά για τα LLM. Η πλατφόρμα μας βοηθά τις επιχειρήσεις να ανιχνεύουν λάθη στις εξόδους των LLM σε κλίμακα, επιτρέποντάς τους να αναπτύξουν προϊόντα AI με ασφάλεια και εμπιστοσύνη.

Η πλατφόρμα μας αυτοματοποιεί plusieurs βασικές διαδικασίες:

• Βαθμολογία: Αξιολογούμε την απόδοση του μοντέλου σε πραγματικές σκηνές, εστιάζοντας σε σημαντικά κριτήρια όπως οι ψευδαισθήσεις και η ασφάλεια.
• Γενεσιουργός Τεστ: Αυτοματοποιούμε τη δημιουργία αντιπαλών τεστ σε κλίμακα για να αξιολογήσουμε σκληρά τις ικανότητες του μοντέλου.
• Σύγκριση: Συγκρίνουμε διαφορετικά μοντέλα για να βοηθήσουμε τους πελάτες να ανακαλύψουν το καλύτερο για τις συγκεκριμένες περιπτώσεις χρήσης τους.

Οι επιχειρήσεις προτιμούν τις συχνές αξιολογήσεις για να προσαρμοστούν στις εξελισσόμενες μοντέλα, δεδομένα και ανάγκες των χρηστών. Η πλατφόρμα μας λειτουργεί ως एक αξιόπιστος τρίτος αξιολογητής, παρέχοντας μια αντικειμενική προοπτική παρόμοια με αυτή της Moody’s στον χώρο της AI. Οι πρώτοι μας συνεργάτες περιλαμβάνουν κορυφαίες εταιρείες AI όπως η MongoDB (MDB ), Databricks, Cohere και Nomic AI, και είμαστε σε συζητήσεις με αρκετές εταιρείες υψηλού προφίλ σε παραδοσιακούς τομείς για να δοκιμάσουμε την πλατφόρμα μας.

Τι είδους λάθη ή “ψευδαισθήσεις” ανιχνεύει το μοντέλο Lynx της Patronus AI στις εξόδους των LLM και πώς αντιμετωπίζει αυτά τα ζητήματα για τις επιχειρήσεις;

Τα LLM είναι πράγματι शकτικά εργαλεία, αλλά η πιθανοτική φύση τους τα καθιστά ευάλωτα σε “ψευδαισθήσεις”, ή λάθη όπου το μοντέλο παράγει ανακριβείς ή άσχετες πληροφορίες. Αυτές οι ψευδαισθήσεις είναι προβληματικές, ιδιαίτερα σε υψηλού κινδύνου επιχειρηματικά περιβάλλοντα όπου η ακρίβεια είναι κρίσιμη.

Παραδοσιακά, οι επιχειρήσεις έχουν βασιστεί στην εμπόρευση για να αξιολογήσουν τις εξόδους των LLM, μια διαδικασία που δεν είναι μόνο χρονοβόρα αλλά και μη κλιμακωτή. Για να ροηματοποιήσουμε αυτή τη διαδικασία, η Patronus AI ανέπτυξε το Lynx, ένα εξειδικευμένο μοντέλο που ενισχύει την ικανότητα της πλατφόρμας μας αυτοματοποιώντας την ανίχνευση ψευδαισθήσεων. Το Lynx, ενσωματωμένο στην πλατφόρμα μας, παρέχει πλήρη κάλυψη τεστ και ισχυρές εγγυήσεις απόδοσης, εστιάζοντας στην ταυτοποίηση κρίσιμων λαθών που θα μπορούσαν να επηρεάσουν σημαντικά τις επιχειρηματικές λειτουργίες, όπως λάθη σε οικονομικές υπολογισμούς ή λάθη σε αναθεωρήσεις νομικών εγγράφων.

Με το Lynx, μετριάζουμε τις περιορισμούς της εμπόρευσης μέσω της αυτοματοποιημένης αντιπαλής δοκιμής, εξερευνώντας ένα ευρύ φάσμα πιθανών σεναρίων αποτυχίας. Αυτό μας επιτρέπει να ανιχνεύσουμε ζητήματα που θα μπορούσαν να ξεφύγουν από τους ανθρώπινους αξιολογητές, προσφέροντας στις επιχειρήσεις ενισχυμένη αξιοπιστία και την εμπιστοσύνη να αναπτύξουν LLM σε κρίσιμες εφαρμογές.

Το FinanceBench περιγράφεται ως το πρώτο βENCHMARK για την αξιολόγηση της απόδοσης των LLM σε οικονομικά ερωτήματα. Ποια προκλήματα στον οικονομικό τομέα προκάλεσαν την ανάπτυξη του FinanceBench;

FinanceBench αναπτύχθηκε ως απάντηση στα μοναδικά προκλήματα που αντιμετωπίζουν οι επιχειρήσεις στον οικονομικό τομέα κατά την υιοθέτηση των LLM. Οι οικονομικές εφαρμογές απαιτούν υψηλό βαθμό ακρίβειας και αξιοπιστίας, καθώς τα λάθη μπορούν να οδηγήσουν σε σημαντικές οικονομικές απώλειες ή προβλήματα συμμόρφωσης.尽管 η υπόσχεση των LLM στην αντιμετώπιση μεγάλων όγκων οικονομικών δεδομένων, η έρευνά μας έδειξε ότι τα state-of-the-art μοντέλα όπως το GPT-4 και το Llama 2 δυσκολεύτηκαν με οικονομικά ερωτήματα, συχνά αποτυγχάνοντας να ανακτήσουν ακριβείς πληροφορίες.

Το FinanceBench δημιουργήθηκε ως μια ολοκληρωμένη βάση για την αξιολόγηση της απόδοσης των LLM σε οικονομικούς контекστ. Περιλαμβάνει 10.000 ζευγάρια ερωτήσεων και απαντήσεων βασισμένων σε δημόσια διαθέσιμα οικονομικά έγγραφα, καλύπτοντας περιοχές όπως η αριθμητική λογική, η ανάκτηση πληροφοριών, η λογική λογική και η γνώση του κόσμου. Παρέχοντας αυτή τη βάση, στοχεύουμε να βοηθήσουμε τις επιχειρήσεις να κατανοήσουν καλύτερα τις περιορισμούς των τρεχόμενων μοντέλων και να ανακαλύψουν περιοχές για βελτίωση.

Η αρχική μας ανάλυση αποκάλυψε ότι πολλά LLM αποτυγχάνουν να ικανοποιήσουν τις υψηλές προδιαγραφές που απαιτούνται για οικονομικές εφαρμογές, υπογραμμίζοντας την ανάγκη για περαιτέρω εξέλιξη και στοχευμένη αξιολόγηση. Με το FinanceBench, παρέχουμε ένα πολύτιμο εργαλείο για τις επιχειρήσεις να αξιολογήσουν και να βελτιώσουν την απόδοση των LLM στον οικονομικό τομέα.

Η έρευνά σας τόνισε ότι τα leading μοντέλα AI, ιδιαίτερα το GPT-4 της OpenAI, παρήγαγαν πνευματικά δικαιώματα περιεχομένου σε σημαντικούς ρυθμούς όταν προκλήθηκαν με αποσπάσματα από δημοφιλή βιβλία. Ποια είναι οι μακροπρόθεσμες επιπτώσεις αυτών των ευρημάτων για την ανάπτυξη AI και τον ευρύτερο τεχνολογικό τομέα, ιδιαίτερα λαμβάνοντας υπόψη τις συνεχιζόμενες συζητήσεις γύρω από την AI και το δίκαιο πνευματικής ιδιοκτησίας;

Το ζήτημα των μοντέλων AI που παράγουν πνευματικά δικαιώματα περιεχομένου είναι ένα σύνθετο και επείγον ζήτημα στον τομέα της AI. Η έρευνά μας έδειξε ότι μοντέλα όπως το GPT-4, όταν προκλήθηκαν με αποσπάσματα από δημοφιλή βιβλία, συχνά αναπαράγουν πνευματικά δικαιώματα υλικό. Αυτό θέτει σημαντικά ερωτήματα σχετικά με τα δικαιώματα πνευματικής ιδιοκτησίας και τις νομικές επιπτώσεις της χρήσης AI-παραγόμενου περιεχομένου.

Μακροπρόθεσμα, αυτά τα ευρήματα υπογραμμίζουν την ανάγκη για σαφείς οδηγίες και κανονισμούς γύρω από την AI και το δίκαιο πνευματικής ιδιοκτησίας. Ο τομέας πρέπει να εργαστεί για την ανάπτυξη μοντέλων AI που σέβονται τα δικαιώματα πνευματικής ιδιοκτησίας ενώ διατηρούν τις δημιουργικές τους ικανότητες. Αυτό μπορεί να涉αίνει την εξέλιξη των συνόλων δεδομένων εκπαίδευσης για να αποκλείσουν πνευματικά δικαιώματα υλικό, εκτός εάν ληφθούν οι κατάλληλες άδειες. Επίσης, η διεξαγωγή συνεχών συζητήσεων με νομικούς εμπειρογνώμονες, πολιτικούς και ενδιαφερόμενα μέρη για να καθορίσουν ένα πλαίσιο που ισορροπεί την καινοτομία με το σεβασμό των υφιστάμενων νόμων.

Δεδομένου του αλαρμωτικού ρυθμού με τον οποίο τα state-of-the-art LLMs αναπαράγουν πνευματικά δικαιώματα περιεχομένου, όπως αποδείχθηκε από την μελέτη σας, ποια βήματα πρέπει να ληφθούν από τους développers AI και τον τομέα ως σύνολο για να αντιμετωπίσουν αυτές τις ανησυχίες; Επιπλέον, πώς προγραμματίζει η Patronus AI να συμβάλλει στην δημιουργία πιο υπεύθυνων και νομικά συμμορφωμένων μοντέλων AI υπό το πρίσμα αυτών των ευρημάτων;

Η αντιμετώπιση του ζητήματος των μοντέλων AI που παράγουν πνευματικά δικαιώματα περιεχομένου απαιτεί μια πολυμερή προσέγγιση. Οι développers AI και ο τομέας ως σύνολο πρέπει να προτεραιοποιήσουν τη διαφάνεια και την ευθύνη στην ανάπτυξη μοντέλων AI. Αυτό περιλαμβάνει:

• Βελτίωση της Επιλογής Δεδομένων: Διασφαλίζοντας ότι τα σύνολα δεδομένων εκπαίδευσης είναι προσεκτικά επιλεγμένα για να αποφευχθεί πνευματικά δικαιώματα υλικό, εκτός εάν ληφθούν οι κατάλληλες άδειες.
• Ανάπτυξη Μηχανισμών Ανίχνευσης: Υλοποίηση συστημάτων που μπορούν να αναγνωρίσουν όταν ένα μοντέλο AI παράγει πιθανώς πνευματικά δικαιώματα περιεχομένου και να παρέχουν στους χρήστες επιλογές για να τροποποιήσουν ή να αφαιρέσουν τέτοιο περιεχόμενο.
• Καθιέρωση Βιομηχανικών Προτύπων: Συνεργασία με νομικούς εμπειρογνώμονες και βιομηχανικούς ενδιαφερόμενους για να δημιουργηθούν οδηγίες και πρότυπα για την ανάπτυξη AI που σέβονται τα δικαιώματα πνευματικής ιδιοκτησίας.

Στην Patronus AI, είμαστε δεσμευμένοι να συμβάλλουμε στην υπεύθυνη ανάπτυξη AI, εστιάζοντας στην αξιολόγηση και τη συμμόρφωση. Η πλατφόρμα μας περιλαμβάνει προϊόντα όπως το EnterprisePII, τα οποία βοηθούν τις επιχειρήσεις να ανιχνεύουν και να διαχειρίζονται πιθανές προβλήματα ιδιωτικότητας στις εξόδους AI. Παρέχοντας αυτές τις λύσεις, στοχεύουμε να ενδυναμώσουμε τις επιχειρήσεις να χρησιμοποιούν την AI υπεύθυνα και ηθικά, ελαχιστοποιώντας τους νομικούς κινδύνους.

Με εργαλεία όπως το EnterprisePII και το FinanceBench, ποια μετατοπίσεις αναμένετε στην υιοθέτηση AI από τις επιχειρήσεις, ιδιαίτερα σε ευαίσθητες περιοχές όπως η οικονομία και τα προσωπικά δεδομένα;

Αυτά τα εργαλεία παρέχουν στις επιχειρήσεις την ικανότητα να αξιολογήσουν και να διαχειριστούν τις εξόδους AI πιο αποτελεσματικά, ιδιαίτερα σε ευαίσθητες περιοχές όπως η οικονομία και τα προσωπικά δεδομένα.

Στον οικονομικό τομέα, το FinanceBench επιτρέπει στις επιχειρήσεις να αξιολογήσουν την απόδοση των LLM με υψηλό βαθμό ακρίβειας, διασφαλίζοντας ότι τα μοντέλα ανταποκρίνονται στις αυστηρές απαιτήσεις των οικονομικών εφαρμογών. Αυτό ενδυναμώνει τις επιχειρήσεις να αξιοποιήσουν την AI για εργασίες όπως η ανάλυση δεδομένων και η λήψη αποφάσεων με μεγαλύτερη εμπιστοσύνη και αξιοπιστία.

Ομοίως, εργαλεία όπως το EnterprisePII βοηθούν τις επιχειρήσεις να πλοηγηθούν τις複잡ότητες της προστασίας δεδομένων. Παρέχοντας ενημερώσεις για πιθανούς κινδύνους και προσφέροντας λύσεις για να τους μετριάσει, αυτά τα εργαλεία επιτρέπουν στις επιχειρήσεις να αναπτύξουν την AI με μεγαλύτερη ασφάλεια και υπεύθυνα.

Συνολικά, αυτά τα εργαλεία ανοίγουν το δρόμο για μια πιο ενημερωμένη και στρατηγική προσέγγιση στην υιοθέτηση AI, βοηθώντας τις επιχειρήσεις να αξιοποιήσουν τα οφέλη της AI ενώ ελαχιστοποιούν τους συνδεόμενους κινδύνους.

Πώς η Patronus AI συνεργάζεται με τις εταιρείες για την ενσωμάτωση αυτών των εργαλείων στις υφιστάμενες αναπτύξεις και ροές εργασιών LLM;

Στην Patronus AI, κατανοούμε τη σημασία της ομαλής ενσωμάτωσης όταν πρόκειται για την υιοθέτηση AI. Συνεργαζόμαστε στενά με τους πελάτες μας για να διασφαλίσουμε ότι τα εργαλεία μας ενσωματώνονται εύκολα στις υφιστάμενες αναπτύξεις και ροές εργασιών LLM. Αυτό περιλαμβάνει:

• Προσαρμοσμένα Σχέδια Ενσωμάτωσης: Συνεργαζόμαστε με κάθε πελάτη για να αναπτύξουμε προσεκτικά σχεδιασμένα σχέδια ενσωμάτωσης που ταιριάζουν στις συγκεκριμένες ανάγκες και στόχους τους.
• Πλήρης Υποστήριξη: Η ομάδα μας παρέχει συνεχής υποστήριξη καθ’ όλη τη διάρκεια της διαδικασίας ενσωμάτωσης, προσφέροντας οδηγίες και βοήθεια για να διασφαλίσουμε μια ομαλή μετάβαση.
• Εκπαίδευση και Εκπαίδευση: Προσφέρουμε συνεδρίες εκπαίδευσης και εκπαιδευτικά υλικά για να βοηθήσουμε τους πελάτες να κατανοήσουν πλήρως και να χρησιμοποιήσουν τα εργαλεία μας, ενδυναμώνοντάς τους να αξιοποιήσουν στο έπακρο τις επενδύσεις τους σε AI.

Δεδομένου των phứcικότητων που σχετίζονται με την διασφάλιση ότι οι εξόδους AI είναι ασφαλείς, ακριβείς και συμμορφωμένες με διάφορους νόμους, ποια συμβουλή θα προσφέρατε τόσο στους développers LLM όσο και στις εταιρείες που επιθυμούν να τις χρησιμοποιήσουν;

Βάσει της συνεργασίας και της υποστήριξης, στοχεύουμε να κάνουμε τη διαδικασία ενσωμάτωσης όσο το δυνατόν πιο απλή και αποτελεσματική, επιτρέποντας στις επιχειρήσεις να ξεκλειδώνουν το πλήρες δυναμικό των λύσεων AI μας.

Οι phứcικότητες που σχετίζονται με την διασφάλιση ότι οι εξόδους AI είναι ασφαλείς, ακριβείς και συμμορφωμένες με διάφορους νόμους, παρουσιάζουν σημαντικές προκλήσεις. Για τους développers LLM, το κλειδί είναι να προτεραιοποιήσουν τη διαφάνεια και την ευθύνη καθ’ όλη τη διάρκεια της διαδικασίας ανάπτυξης.

Ένα από τα θεμελιώδη στοιχεία είναι η ποιότητα των δεδομένων. Οι développers πρέπει να διασφαλίσουν ότι τα σύνολα δεδομένων εκπαίδευσης είναι καλά επιλεγμένα και απαλλαγμένα από πνευματικά δικαιώματα υλικό, εκτός εάν ληφθούν οι κατάλληλες άδειες. Αυτό όχι μόνο βοηθά στην πρόληψη πιθανών νομικών ζητημάτων, αλλά επίσης διασφαλίζει ότι το AI παράγει αξιόπιστες εξόδους. Επιπλέον, η αντιμετώπιση της προκατάληψης και της ισότητας είναι κρίσιμη. Με την ενεργό εργασία για την αναγνώριση και την μείωση των προκαταλήψεων, και με την ανάπτυξη ποικίλων και αντιπροσωπευτικών συνόλων δεδομένων εκπαίδευσης, οι développers μπορούν να μειώσουν την προκατάληψη και να διασφαλίσουν δίκαιες εξόδους για όλους τους χρήστες.

Ρομποτικές διαδικασίες αξιολόγησης είναι απαραίτητες. Η υλοποίηση αυστηρών δοκιμών και η χρήση βεντσών όπως το FinanceBench μπορούν να βοηθήσουν στην αξιολόγηση της απόδοσης και της αξιοπιστίας των μοντέλων AI, διασφαλίζοντας ότι ανταποκρίνονται στις απαιτήσεις συγκεκριμένων περιπτώσεων χρήσης. Επιπλέον, οι ηθικές σκέψεις πρέπει να είναι στην πρώτη γραμμή. Η εμπλοκή με ηθικές οδηγίες και πλαισιά είναι απαραίτητη για να διασφαλίσουμε ότι τα συστήματα AI αναπτύσσονται υπεύθυνα και συμμορφώνονται με τις κοινωνικές αξίες.

Για τις εταιρείες που επιθυμούν να αξιοποιήσουν τα LLM, η κατανόηση των ικανοτήτων της AI είναι κρίσιμη. Είναι σημαντικό να θέτουν ρεαλιστικές προσδοκίες και να διασφαλίσουν ότι η AI χρησιμοποιείται αποτελεσματικά εντός της οργάνωσης. Η ομαλή ενσωμάτωση και η υποστήριξη είναι επίσης ζωτικής σημασίας. Συνεργαζόμενοι με αξιόπιστους συνεργάτες, οι εταιρείες μπορούν να ενσωματώσουν λύσεις AI στις υφιστάμενες ροές εργασιών και να διασφαλίσουν ότι οι ομάδες τους είναι εκπαιδευμένες και υποστηριζόμενες για να αξιοποιήσουν την AI αποτελεσματικά.

Η συμμόρφωση και η ασφάλεια πρέπει να προτεραιοποιηθούν, με εστίαση στην τήρηση των σχετικών κανονισμών και των νόμων προστασίας δεδομένων. Εργαλεία όπως το EnterprisePII μπορούν να βοηθήσουν στην παρακολούθηση και τη διαχείριση πιθανών κινδύνων. Η συνεχής παρακολούθηση και η τακτική αξιολόγηση της απόδοσης AI είναι επίσης απαραίτητες για τη διατήρηση της ακρίβειας και της αξιοπιστίας, επιτρέποντας τις αναγκαίες προσαρμογές.

Ευχαριστούμε για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα μπορούν να επισκεφθούν την Patronus AI.