Ο Julien Salinas, Ιδρυτής & CTO της NLP Cloud – Σειρά Συνεντεύξεων

Ο Julien Salinas είναι ο Ιδρυτής & CTO της NLP Cloud. Η πλατφόρμα NLP Cloud παρέχει υψηλής απόδοσης μοντέλα NLP που είναι έτοιμα για παραγωγή, βασισμένα σε spaCy και HuggingFace transformers, για πολλές περιπτώσεις χρήσης, συμπεριλαμβανομένων NER, ανάλυσης συναισθήματος, ταξινόμησης κειμένου, περίληψης, απάντησης σε ερωτήσεις, γεννήτρια κειμένου, μετάφρασης, ανίχνευσης γλώσσας, διόρθωσης γραμματικών και ορθογραφικών λαθών, ταξινόμησης προθέσεων και σεμαντικής ομοιότητας.

Τι σας ενδιέφερε αρχικά στην επιστήμη των υπολογιστών;

Άρχισα να προγραμματίζω στη… σχολή επιχειρήσεων! Ξέρω ότι αυτό ακούγεται περίεργο. Στην πραγματικότητα, γρήγορα συνειδητοποίησα ότι η επιχείρηση ήταν βαρετή και ότι θα ήμουν γρήγορα περιορισμένος αν δεν είχα τις τεχνικές δεξιότητες για να επιτύχω τους στόχους μου.

Το πρώτο έργο εκείνη την εποχή ήταν μια μικρή ιστοσελίδα για τον δάσκαλό μου μουσικής, μετά μια άλλη για την οικογένειά μου, και στη συνέχεια άρχισα να μαθαίνω Python… και così κ.λπ. Τώρα είμαι προγραμματιστής Python/Go και DevOps για 15 χρόνια.

Μπορείτε να μοιραστείτε την ιστορία της NLP Cloud;

Άρχισε πριν από 2 χρόνια, όταν συνειδητοποίησα ότι, ως προγραμματιστής, ήταν κάπως δύσκολο να αναπτύξω μοντέλα μηχανικής μάθησης σε παραγωγή.

Ηταν εκπληκτικός ο προγραμματισμός που έγινε από πλαίσια όπως Hugging Face Transformers και spaCy, και μπόρεσα να αξιοποιήσω πολύ προηγμένα μοντέλα NLP στα έργα μου. Αλλά η χρήση αυτών των μοντέλων σε παραγωγή ήταν ένα άλλο ζήτημα και, προς έκπληξή μου, δεν μπόρεσα να βρω κανένα ενδιαφέρον No-Ops cloud για NLP στην αγορά.

Έτσι, αποφάσισα να ξεκινήσω τη δική μου πλατφόρμα για την ανάπτυξη μοντέλων NLP. Πολύ γρήγορα είχαμε εξαιρετικές ανατροφοδοτήσεις από τους πελάτες και προσθέσαμε πολλές λειτουργίες με βάση αυτές τις ανατροφοδοτήσεις (προ-εκπαιδευμένα μοντέλα, fine-tuning, playground…).

Η πλατφόρμα NLP Cloud υποστηρίζει την ανοιχτή πηγή GPT-3, GPT-J. Τι είναι το GPT-J;

Το GPT-J έχει κυκλοφορήσει από μια ομάδα ερευνητών που ονομάζεται EleutherAI τον Ιούνιο αυτό το χρόνο. Πιστεύουν ότι το GPT-3 πρέπει να είναι ένα ανοιχτό μοντέλο, όπως και οι προκάτοχοι του (GPT και GPT-2). Λένε ότι, ακόμη και αν πρέπει να ανησυχούμε για την πιθανή κακοποίηση ισχυρών μοντέλων AI όπως το GPT, δεν είναι καλό λόγο για να μην κάνουμε αυτά τα μοντέλα ανοιχτά. Αντίθετα, πιστεύουν ότι αν τα μοντέλα AI παραμείνουν ανοιχτά, είναι ο καλύτερος τρόπος για την κοινότητα να κατανοήσει πώς λειτουργούν αυτά τα μοντέλα κάτω από το καπό, και στη συνέχεια να βεβαιωθεί ότι αυτά τα μοντέλα δεν συμπεριφέρονται λάθος (μισογυνισμός, ρατσισμός, …).

Το GPT-J είναι ένα άμεσο ισοδύναμο του GPT-3 Curie, καθώς και τα δύο έχουν εκπαιδευτεί σε περίπου 6 δισεκατομμύρια παραμέτρους.

Και τα δύο μπορούν σχεδόν να χρησιμοποιηθούν ανταλλακτικά.

Γιατί το GPT-J είναι μια υπεροχή εναλλακτική λύση για το GPT-3;

Το GPT-3 ανήκει στη Microsoft (MSFT ) και ο唯一 τρόπος για τους ανθρώπους να το χρησιμοποιήσουν είναι να περάσουν από το επίσημο API του GPT-3.

Αλλά αυτό το API είναι πολύ ακριβό και εξαιρετικά περιοριστικό: πρέπει να ζητήσετε πρόσβαση στο API και, ακόμη και αν η εφαρμογή σας γίνει αποδεκτή, η πρόσβασή σας μπορεί να σταματήσει ανά πάσα στιγμή αν θεωρήσουν ότι το μοντέλο kinh doanh σας δεν συμμορφώνεται με τις οδηγίες τους. Για παράδειγμα, δεν μπορείτε να δημιουργήσετε “ανοιχτό” κείμενο (μακρύ κείμενο που αποτελείται από πολλά παραγράφους) επειδή είναι ενάντια στην πολιτική τους.

Δεν υπάρχουν τέτοιες περιορισμοί με το GPT-J, καθώς είναι ανοιχτό και οποιοςδήποτε μπορεί να το εγκαταστήσει και να το χρησιμοποιήσει.

Τι ήταν κάποια από τα τεχνικά προβλήματα με την ενσωμάτωση του GPT-J στη NLP Cloud;

Το GPT-J είναι複雑 να εγκατασταθεί λόγω της υψηλής κατανάλωσης πόρων (RAM, CPU, GPU…). Λειτουργεί χωρίς GPU, αλλά είναι τόσο αργό που είναι πολύ ακαδημαϊκό.

Τελικά, ο υλικός εξοπλισμός που απαιτείται για να τρέξει το GPT-J είναι πολύ ακριβός, οπότε για να μειώσουμε το κόστος, πρέπει να δουλέψουμε σε πολλά λεπτά της υλοποίησης.

Επίσης, για να διασφαλίσουμε την υψηλή διαθεσιμότητα του GPT-J στη NLP Cloud και να το κάνουμε κατάλληλο για παραγωγή, πρέπει να δουλέψουμε σε στρατηγικές αναπαραγωγής και αποτυχίας για το GPT-J, οι οποίες possono να είναι αρκετά προκλητικές.

Μπορείτε να συζητήσετε κάποια από τα προ-εκπαιδευμένα μοντέλα AI που προσφέρονται;

Κάνουμε το καλύτερο μας για να επιλέξουμε το καλύτερο προ-εκπαιδευμένο μοντέλο AI ανά περίπτωση χρήσης.

Για την περίληψη κειμένου, το καλύτερο – κατά την άποψή μας – είναι το Facebook’s Bart Large CNN, το οποίο δίνει πολύ καλά αποτελέσματα, αλλά μπορεί να είναι αρκετά αργό χωρίς GPU.

Για την ταξινόμηση κειμένου, υλοποιήσαμε το Facebook’s Bart Large MNLI (για την αγγλική ταξινόμηση) και το Joe Davison’s XLM Roberta Large XLNI (για τις μη αγγλικές γλώσσες). Και τα δύο είναι γρήγορα και πολύ ακριβή.

Για την απάντηση σε ερωτήσεις, χρησιμοποιούμε το Deepset’s Roberta Base Squad 2. Είναι γρήγορο και ακριβές, αλλά για πιο προηγμένα ερωτήματα μπορείτε να χρησιμοποιήσετε το GPT-J.

Και πολλά άλλα!

Τι είναι κάποιες από τις καλύτερες περιπτώσεις χρήσης για την NLP Cloud;

Οι περιπτώσεις χρήσης που φαίνεται να χρησιμοποιούνται περισσότερο είναι η περίληψη κειμένου, η ταξινόμηση κειμένου και η γεννήτρια κειμένου με το GPT-J για την παραγωγή περιγραφών προϊόντων, παραφράσεων, γεννήτριας άρθρων…

Αλλά οι περιπτώσεις χρήσης που βλέπουμε μεταξύ των πελατών μας είναι εξαιρετικά ποικίλες και είναι πραγματικά εντυπωσιακό να δούμε τόσες πολλές υπέροχες ιδέες!

Υπάρχει κάτι άλλο που θα ήθελε να μοιραστεί σχετικά με την NLP Cloud;

Φαίνεται ότι η τεχνητή νοημοσύνη για την κατανόηση και τη γεννήτρια κειμένου χρησιμοποιείται τελικά “για πραγματικά” σε πραγματικά προϊόντα ή εσωτερικές διαδικασίες, από ολοένα και περισσότερες εταιρείες.

Αυτό είναι ωραίο να δούμε ότι η NLP δεν είναι πλέον μόνο ένα πεδίο έρευνας, αλλά ότι υπάρχουν πραγματικές επιχειρηματικές περιπτώσεις χρήσης που μπορούν να αξιοποιήσουν την NLP.

Στη NLP Cloud, θα συνεχίσουμε να κάνουμε το καλύτερο μας για να κάνουμε εύκολη για οποιονδήποτε να δοκιμάσει και να χρησιμοποιήσει την NLP σε παραγωγή.

Ευχαριστώ για τη μεγάλη συνέντευξη, οι αναγνώστες που θέλουν να μάθουν περισσότερα πρέπει να επισκεφθούν NLP Cloud.