Julien Salinas, Fondateur & CTO de NLP Cloud – Série d’entretiens

Julien Salinas est le Fondateur & CTO de NLP Cloud. La plateforme NLP Cloud propose des modèles NLP de haute performance prêts pour la production basés sur spaCy et HuggingFace transformers, pour de multiples cas d’utilisation, notamment la reconnaissance d’entités nommées (NER), l’analyse de sentiments, la classification de texte, la synthèse, la réponse à des questions, la génération de texte, la traduction, la détection de langue, la correction de grammaire et d’orthographe, la classification d’intention et la similarité sémantique.

Qu’est-ce qui vous a initialement intéressé à l’informatique ?

J’ai commencé à programmer en… école de commerce ! Je sais que cela peut sembler surprenant. En fait, j’ai rapidement réalisé que le commerce lui-même était ennuyeux et que je serais rapidement limité si je n’avais pas les compétences techniques pour réaliser mes projets.

Le premier projet à l’époque était un petit site Web pour mon professeur de musique, puis un autre pour ma famille, puis j’ai commencé à apprendre Python… et ainsi de suite. Maintenant, je suis développeur Python/Go et DevOps depuis 15 ans.

Pouvez-vous partager l’histoire de la création de NLP Cloud ?

Cela a commencé il y a 2 ans, lorsque j’ai réalisé que, en tant que développeur, il était assez difficile de déployer correctement les modèles d’apprentissage automatique en production.

J’étais impressionné par les progrès réalisés par des frameworks comme Hugging Face Transformers et spaCy, et j’ai pu exploiter des modèles NLP très avancés dans mes projets. Mais utiliser ces modèles en production était une autre histoire et, étonnamment, je n’ai pas trouvé de cloud No-Ops intéressant sur le marché pour le NLP.

Alors, j’ai décidé de créer ma propre plateforme pour le déploiement de modèles NLP. Très rapidement, nous avons reçu des retours de clients très positifs et nous avons ajouté de nombreuses fonctionnalités en fonction de ces retours (modèles pré-entraînés, fine-tuning, playground…).

La plateforme NLP Cloud prend en charge l’alternative open-source GPT-3, GPT-J. Qu’est-ce que GPT-J spécifiquement ?

GPT-J a été publié par une équipe de chercheurs appelée EleutherAI en juin de cette année. Ils estiment que GPT-3 devrait être un modèle open-source, comme ses prédécesseurs (GPT et GPT-2). Ils affirment que, même si nous devons tous nous soucier d’une utilisation potentielle abusive de modèles d’IA puissants comme GPT, ce n’est pas une bonne raison pour ne pas rendre ces modèles open-source. Au contraire : ils estiment que si les modèles d’IA restent open-source, c’est la meilleure façon pour la communauté de comprendre comment ces modèles fonctionnent sous le capot, et de s’assurer que ces modèles ne se comportent pas de manière incorrecte (misogynie, racisme, …).

GPT-J est un équivalent direct de GPT-3 Curie, car les deux sont formés sur plus ou moins 6 milliards de paramètres.

Les deux peuvent presque être utilisés de manière interchangeable.

Pourquoi GPT-J est-il une alternative supérieure à GPT-3 ?

GPT-3 appartient à Microsoft et la seule façon pour les gens de l’utiliser est de passer par l’API officielle GPT-3.

Mais cette API est très coûteuse et extrêmement restrictive : vous devez demander l’accès à l’API et, même si votre application est acceptée, votre accès peut être fermé à tout moment si ils estiment que votre modèle d’entreprise ne correspond pas à leurs directives. Par exemple, vous ne pouvez pas générer de texte “ouvert” (long texte composé de plusieurs paragraphes) car cela va à l’encontre de leur politique.

Il n’y a pas de telles restrictions avec GPT-J car il est open-source et que n’importe qui peut l’installer et l’utiliser.

Quels ont été les défis techniques pour intégrer GPT-J sur NLP Cloud ?

GPT-J est complexe à installer en raison de sa forte consommation de ressources (RAM, CPU, GPU…). Il fonctionne sans GPU, mais c’est si lent que c’est très peu pratique.

Pour finir, le matériel nécessaire pour exécuter GPT-J est très coûteux, nous avons donc dû travailler sur de nombreux détails d’implémentation pour réduire les coûts.

De plus, pour assurer une haute disponibilité de GPT-J sur NLP Cloud et le rendre adapté à la production, nous avons dû travailler sur des stratégies de redondance et de basculement pour GPT-J qui peuvent être assez difficiles.

Pouvez-vous discuter des modèles d’IA pré-entraînés proposés ?

Nous faisons de notre mieux pour sélectionner le meilleur modèle d’IA pré-entraîné par cas d’utilisation.

Pour la synthèse de texte, le meilleur – à notre avis – est Facebook’s Bart Large CNN qui donne de très bons résultats, mais qui peut être assez lent sans un GPU.

Pour la classification de texte, nous avons mis en œuvre Facebook’s Bart Large MNLI (pour la classification en anglais) et Joe Davison’s XLM Roberta Large XLNI (pour les langues non anglaises). Les deux sont rapides et très précis.

Pour la réponse à des questions, nous utilisons Deepset’s Roberta Base Squad 2. Il est rapide et précis, mais pour une réponse à des questions plus avancée, vous pouvez vouloir utiliser GPT-J.

Et beaucoup d’autres !

Quels sont les meilleurs cas d’utilisation pour NLP Cloud ?

Les cas d’utilisation qui semblent être les plus utilisés sont la synthèse de texte, la classification de texte et la génération de texte avec GPT-J pour la génération de descriptions de produits, la paraphrase, la génération d’articles…

Mais les cas d’utilisation que nous voyons parmi nos clients sont extrêmement diversifiés, et c’est impressionnant de voir autant d’idées géniales !

Y a-t-il autre chose que vous aimeriez partager sur NLP Cloud ?

Il nous semble que l’IA pour la compréhension et la génération de texte est enfin utilisée “pour de vrai” dans des produits ou des flux de travail internes, par de plus en plus d’entreprises.

C’est formidable de voir que le NLP n’est plus seulement un domaine de recherche pur, mais qu’il y a de véritables cas d’utilisation commerciaux qui peuvent exploiter le NLP.

Chez NLP Cloud, nous allons continuer à faire de notre mieux pour rendre facile pour tous de tester et d’utiliser le NLP en production.

Je vous remercie pour cette grande interview, les lecteurs qui souhaitent en savoir plus devraient visiter NLP Cloud.