Alex Ratner, CEO & Co-Founder of Snorkel AI – Interview Series

Ο Alex Ratner είναι ο CEO & Co-Founder της Snorkel AI, μια εταιρεία που γεννήθηκε από το Stanford AI lab.

Snorkel AI καάνει την ανάπτυξη του AI γρήγορη και πρακτική, μετατρέποντας τις χειροκίνητες διαδικασίες ανάπτυξης του AI σε προγραμματικές λύσεις. Η Snorkel AI επιτρέπει στις επιχειρήσεις να αναπτύξουν AI που λειτουργεί για τις μοναδικές τους εργασίες, χρησιμοποιώντας τα ιδιαίτερα δεδομένα και τη γνώση τους 10-100x πιο γρήγορα.

Τι σας έκανε να ενδιαφερθείτε αρχικά για την επιστήμη των υπολογιστών;

Υπάρχουν δύο πολύ ενθουσιώδεις аспектς της επιστήμης των υπολογιστών όταν είσαι νέος. Ένας, μπορείτε να μάθετε όσο γρήγορα θέλετε από το πειραματισμό και την κατασκευή, δεδομένου του άμεσου反馈, αντί να πρέπει να περιμένετε έναν δάσκαλο. Δύο, μπορείτε να κατασκευάσετε πολλά χωρίς να πρέπει να ζητήσετε άδεια από κανέναν!

Εγώ ξεκίνησα την προγραμματισμό όταν ήμουν μικρό παιδί για αυτούς τους λόγους. Επίσης, μου άρεσε η ακρίβεια που απαιτούσε. Απόλαυσα τη διαδικασία της αφαίρεσης των σύνθετων διαδικασιών και των ρουτινών και στη συνέχεια την κωδικοποίησή τους με einen modulaire τρόπο.

Αργότερα, ως ενήλικας, επέστρεψα στην επιστήμη των υπολογιστών επαγγελματικά μέσω ενός εργασίας σε μια εταιρεία συμβούλων όπου μου ζητήθηκε να γράψω scripts για να κάνω κάποιες βασικές αναλύσεις του σώματος των πατεντών. Ήμουν ενθουσιασμένος από το πόσο ανθρώπινη γνώση – οτιδήποτε είχε θεωρηθεί πατέντα – ήταν διαθέσιμο, αλλά ήταν τόσο khó να κάνεις ακόμη και τις πιο απλές αναλύσεις σε σύνθετο τεχνικό κείμενο και πολυμεσικά δεδομένα.

Αυτό με οδήγησε πίσω στο ραβδί, και τελικά πίσω στο μεταπτυχιακό στο Stanford, με επίκεντρο την NLP, η οποία είναι το πεδίο της χρήσης του ML/AI σε φυσική γλώσσα.

Ξεκινήσατε και ηγηθήκατε το ανοικτό project Snorkel ενώ βρισκόσασταν στο Stanford, μπορείτε να μας οδηγήσετε μέσα από το ταξίδι των πρώτων ημερών;

Τότε ήμασταν, όπως και πολλοί στην βιομηχανία, επικεντρωμένοι στην ανάπτυξη νέων αλγορίθμων και – δηλαδή όλα τα “εlegant” πράγματα του machine learning που οι άνθρωποι στην κοινότητα έκαναν έρευνα και δημοσίευαν εργασίες.

Ωστόσο, ήμασταν πάντα πολύ δεσμευμένοι να εδραιώσουμε αυτό σε πραγματικά προβλήματα – κυρίως με γιατρούς και επιστήμονες στο Stanford. Αλλά κάθε φορά που προτείναμε ένα νέο μοντέλο ή αλγόριθμο, η απάντηση γινόταν “βέβαια, θα το δοκιμάσουμε, αλλά θα χρειαζόμαστε όλα αυτά τα δεδομένα εκπαίδευσης που δεν έχουμε χρόνο να δημιουργήσουμε!”

Είδαμε ότι το μεγάλο ανείπωτο πρόβλημα ήταν γύρω από τη διαδικασία της επισήμανσης και της επιμέλειας αυτών των δεδομένων εκπαίδευσης – έτσι μεταφέραμε όλη την προσοχή μας σε αυτό, και αυτό είναι πώς ξεκίνησε το project Snorkel και η ιδέα του “data-centric AI”.

Η Snorkel έχει μια data-centric AI προσέγγιση, μπορείτε να ορίσετε τι σημαίνει αυτό και πώς διαφέρει από το model-centric AI development;

Data-centric AI σημαίνει εστίαση στην κατασκευή καλύτερων δεδομένων για να κατασκευάσετε καλύτερα μοντέλα.

Αυτό αντιτίθεται – αλλά συνεργάζεται με – το model-centric AI. Στο model-centric AI, οι επιστήμονες δεδομένων ή οι ερευνητές υποθέτουν ότι τα δεδομένα είναι στατικά και βάζουν όλη την ενέργειά τους στην προσαρμογή των αρχιτεκτονικών μοντέλων και των παραμέτρων για να επιτύχουν καλύτερα αποτελέσματα.

Οι ερευνητές vẫn κάνουν εξαιρετική δουλειά στο model-centric AI, αλλά τα off-the-shelf μοντέλα και οι τεχνικές auto ML έχουν βελτιωθεί τόσο πολύ που η επιλογή του μοντέλου έχει γίνει εμπορεύματα στην παραγωγή. Όταν είναι così, ο καλύτερος τρόπος για να βελτιώσετε αυτά τα μοντέλα είναι να τους παρέχετε περισσότερα και καλύτερα δεδομένα.

Τι είναι τα βασικά principia ενός data-centric AI approach;

Το βασικό principium του data-centric AI είναι απλό: καλύτερα δεδομένα κατασκευάζουν καλύτερα μοντέλα.

Στη διδακτορική μας εργασία, abbiamo ονομάσει αυτό “data programming”. Η ιδέα είναι ότι αν παρέχετε ένα robust enough μοντέλο αρκετά παραδείγματα εισόδων και αναμενόμενων εξόδων, το μοντέλο μαθαίνει πώς να αναπαράγει αυτά τα πρότυπα.

Αυτό παρουσιάζει μια μεγαλύτερη πρόκληση από ότι θα περιμένατε. Η μεγαλύτερη parte των δεδομένων δεν έχει ετικέτες – ή, τουλάχιστον, δεν έχει χρήσιμες ετικέτες για την εφαρμογή σας. Η ετικέτηση αυτών των δεδομένων με το χέρι απαιτεί単調τητα, χρόνο και ανθρώπινη προσπάθεια.

Η διαθεσιμότητα ενός συνόλου δεδομένων με ετικέτες δεν εγγυάται την ποιότητα. Ο ανθρώπινος λάθος εισέρχεται παντού. Κάθε λάθος παράδειγμα στο σύνολό σας θα μειώσει την απόδοση του τελικού μοντέλου. Καμία ποσότητα ρύθμισης παραμέτρων δεν μπορεί να καλύψει αυτή την πραγματικότητα. Οι ερευνητές έχουν ακόμη βρει λανθασμένα ετικετεμένα ρεκόρ σε ανοιχτά δεδομένα sets.

Μπορείτε να επεκτείνετε τι σημαίνει για το Data-Centric AI να είναι προγραμματικό;

Η χειροκίνητη ετικέτηση των δεδομένων παρουσιάζει σοβαρές προκλήσεις. Αυτό απαιτεί πολλές ανθρώπινες ώρες, και μερικές φορές αυτές οι ανθρώπινες ώρες possono essere ακριβές. Τα ιατρικά έγγραφα, για παράδειγμα, μπορούν να ετικετεθούν μόνο από γιατρούς.

Επιπλέον, οι χειροκίνητες ετικέτες σπρίντ συχνά αντιστοιχούν σε proyectos μιας χρήσης. Οι ετικετετές ετικετοποιούν τα δεδομένα σύμφωνα με einem rigid σχήμα. Αν οι ανάγκες της επιχείρησης αλλάξουν και απαιτούν ένα διαφορετικό σύνολο ετικετών, οι ετικετετές πρέπει να ξεκινήσουν από την αρχή.

Οι προγραμματικές προσεγγίσεις στο data-centric AI ελαχιστοποιούν και τα δύο προβλήματα. Το προγραμματικό σύστημα ετικέτειας της Snorkel AI ενσωματώνει διάφορες σημαίες – από legacy μοντέλα σε υπάρχουσες ετικέτες σε εξωτερικές βάσεις γνώσης – για να αναπτύξει πιθανοτικές ετικέτες σε κλίμακα. Η основная πηγή σημάτων μας προέρχεται από ειδικούς που συνεργάζονται με επιστήμονες δεδομένων για να κατασκευάσουν συναρτήσεις ετικέτειας. Αυτές κωδικοποιούν την εμπειρία τους σε κανόνες που μπορούν να κλιμακωθούν, επιτρέποντας στην προσπάθεια που επενδύεται σε μια απόφαση να επηρεάσει δεκάδες ή εκατοντάδες δεδομένα.

Αυτό το πλαίσιο είναι επίσης ευέλικτο. Αντί να ξεκινήσετε από την αρχή όταν οι ανάγκες της επιχείρησης αλλάξουν, οι χρήστες μπορούν να προσθέσουν, να αφαιρέσουν και να điều chỉnh τις συναρτήσεις ετικέτειας για να εφαρμόσουν νέες ετικέτες σε λίγες ώρες αντί σε ημέρες.

Πώς αυτή η data-centric προσέγγιση ermögίζει τη γρήγορη κλιμάκωση των μη ετικετεμένων δεδομένων;

Η προγραμματική μας προσέγγιση στο data-centric AI ermögίζει τη γρήγορη κλιμάκωση των μη ετικετεμένων δεδομένων, ενισχύοντας την επίδραση κάθε επιλογής. Μόλις οι ειδικοί θέσουν ένα αρχικό, μικρό σύνολο ground truth, αρχίζουν να συνεργάζονται με επιστήμονες δεδομένων για γρήγορη επανάληψη. Ορίζουν μερικές συναρτήσεις ετικέτειας, εκπαιδεύουν ένα γρήγορο μοντέλο, αναλύουν την επίδραση των συναρτήσεων ετικέτειας και στη συνέχεια προσθέτουν, αφαιρούν ή調整ουν τις συναρτήσεις ετικέτειας según χρειάζεται.

Κάθε κύκλος βελτιώνει την απόδοση του μοντέλου μέχρι να ικανοποιήσει ή να υπερβεί τους στόχους του project. Αυτό μπορεί να μειώσει τους μήνες εργασίας ετικέτειας σε λίγες ώρες. Σε ένα project έρευνας της Snorkel, δύο από τους ερευνητές μας ετικέτεψαν 20.000 έγγραφα σε μια μέρα – ένα όγκο που θα μπορούσε να πάρει στους χειροκίνητους ετικετετές δέκα εβδομάδες ή περισσότερο.

Η Snorkel προσφέρει πολλαπλά AI λύσεις, συμπεριλαμβανομένων Snorkel Flow, Snorkel GenGlow και Snorkel Foundry. Ποιά είναι οι διαφορές μεταξύ αυτών των προσφόρησεων;

Το σύνολο Snorkel AI ermögίζει στους χρήστες να κατασκευάσουν συναρτήσεις ετικέτειας (π.χ. αναζήτηση λέξεων-κλειδιών ή προτύπων σε έγγραφα) για να ετικετεψουν προγραμματικά εκατομμύρια δεδομένα σε λεπτά, αντί να ετικετεψουν χειροκίνητα ένα δεδομένο σε μια φορά.

Συμπιέζει τον χρόνο που απαιτείται για τις εταιρείες να μεταφράσουν τα ιδιαίτερα δεδομένα τους σε μοντέλα παραγωγής και να ξεκινήσουν να εξάγουν αξία από αυτά. Η Snorkel AI ermögίζει στις επιχειρήσεις να κλιμακώσουν προσεγγίσεις με ανθρώπινη επέμβαση, ενσωματώνοντας αποτελεσματικά την ανθρώπινη κρίση και την γνώση των ειδικών.

Αυτό οδηγεί σε πιο διαφανή και εξηγημένα AI, εξοπλίζοντας τις επιχειρήσεις να διαχειριστούν την προκατάληψη και να παραδώσουν υπεύθυνες εξετάσεις.

Για να πάρουμε τα πράγματα στο σημείο, η Snorkel AI ermögίζει στις εταιρείες Fortune 500:

• Αναπτύξτε υψηλής ποιότητας ετικετεμένα δεδομένα για να εκπαιδεύσετε μοντέλα ή να βελτιώσετε RAG;
• Προσαρμόστε LLMs με fine-tuning;
• Αποσταθεροποιήστε LLMs σε ειδικά μοντέλα που είναι πολύ μικρότερα και φθηνότερα να λειτουργούν;
• Κατασκευάστε domain και task-ειδικά LLMs με pre-εκπαίδευση.

Έχετε γράψει κάποια πρωτοποριακά έγγραφα, κατά την γνώμη σας ποιο είναι το πιο σημαντικό έγγραφό σας;

Ένα από τα βασικά έγγραφα ήταν το αρχικό για το data programming (ετικέτηση δεδομένων εκπαίδευσης προγραμματικά) και για το Snorkel.

Τι είναι η ορασή σας για το μέλλον της Snorkel;

Βλέπω την Snorkel να γίνεται ένα αξιόπιστο συνεργάτη για όλες τις μεγάλες επιχειρήσεις που είναι σοβαρές για το AI.

Η Snorkel Flow πρέπει να γίνει ένα πανταχού παρόν εργαλείο για τις ομάδες επιστημών δεδομένων στις μεγάλες επιχειρήσεις – είτε είναι να προσαρμόσουν τα custom large language μοντέλα για τις οργανώσεις τους, είτε να κατασκευάσουν μοντέλα ταξινόμησης εικόνων, είτε να κατασκευάσουν απλά, deployable logistic regression μοντέλα.

Ανεξάρτητα από το είδος μοντέλου που χρειάζεται μια επιχείρηση, θα χρειαστούν υψηλής ποιότητας ετικετεμένα δεδομένα για να το εκπαιδεύσουν.

Ευχαριστώ για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν Snorkel AI,