Julien Salinas, Fondateur & CTO de NLP Cloud – Série d’entretiens

Julien Salinas est le fondateur et le CTO de NLP Cloud. La plateforme NLP Cloud propose des modèles de NLP de haute performance et prêts à la production basés sur spaCy et HuggingFace transformers, pour de multiples cas d’utilisation, notamment la reconnaissance d’entités nommées, l’analyse de sentiments, la classification de texte, la résumé, la réponse à des questions, la génération de texte, la traduction, la détection de langues, la correction de grammaire et d’orthographe, la classification d’intention et la similarité sémantique.

Qu’est-ce qui vous a initialement intéressé à l’informatique ?

J’ai commencé à programmer en… école de commerce ! Je sais que cela peut sembler surprenant. En fait, j’ai rapidement réalisé que le commerce lui-même était ennuyeux et que je serais rapidement limité si je n’avais pas les compétences techniques pour réaliser mes projets.

Le premier projet à l’époque était un petit site Web pour mon professeur de musique, puis un autre pour ma famille, puis j’ai commencé à apprendre Python… et ainsi de suite. Maintenant, je suis développeur Python/Go et DevOps depuis 15 ans.

Pouvez-vous partager l’histoire de la création de NLP Cloud ?

Cela a commencé il y a 2 ans, lorsque j’ai réalisé que, en tant que développeur, il était assez difficile de déployer correctement des modèles de machine learning en production.

J’étais impressionné par les progrès réalisés par des frameworks tels que Hugging Face Transformers et spaCy, et j’ai pu utiliser des modèles de NLP très avancés dans mes projets. Mais utiliser ces modèles en production était une autre histoire et, à ma grande surprise, je n’ai pas trouvé de cloud No-Ops intéressant pour NLP sur le marché.

Alors, j’ai décidé de créer ma propre plateforme pour le déploiement de modèles de NLP. Très rapidement, nous avons reçu des retours de clients très positifs et nous avons ajouté de nombreuses fonctionnalités en fonction de ces retours (modèles pré-entraînés, fine-tuning, playground…).

La plateforme NLP Cloud prend en charge GPT-J, l’alternative open-source à GPT-3. Qu’est-ce que GPT-J spécifiquement ?

GPT-J a été publié par une équipe de chercheurs appelée EleutherAI en juin de cette année. Ils pensent que GPT-3 devrait être un modèle open-source, comme ses prédécesseurs (GPT et GPT-2). Ils affirment que, même si nous devrions tous nous soucier d’une utilisation potentielle abusive de modèles d’IA puissants comme GPT, ce n’est pas une bonne raison pour ne pas rendre ces modèles open-source. Au contraire : ils pensent que si les modèles d’IA restent open-source, c’est la meilleure façon pour la communauté de comprendre comment ces modèles fonctionnent sous le capot, et de s’assurer que ces modèles ne se comportent pas de manière incorrecte (misogynie, racisme, …).

GPT-J est un équivalent direct de GPT-3 Curie, car les deux sont formés sur environ 6 milliards de paramètres.

Les deux peuvent presque être utilisés de manière interchangeable.

Pourquoi GPT-J est-il une alternative supérieure à GPT-3 ?

GPT-3 appartient à Microsoft (MSFT ) et la seule façon pour les gens de l’utiliser est de passer par l’API officielle GPT-3.

Mais cette API est très coûteuse et extrêmement restrictive : vous devez demander l’accès à l’API et, même si votre application est acceptée, votre accès peut être interrompu à tout moment si Microsoft considère que votre modèle d’entreprise ne correspond pas à ses directives. Par exemple, vous ne pouvez pas générer du texte “ouvert” (long texte composé de plusieurs paragraphes) car cela va à l’encontre de leur politique.

Il n’y a pas de telles restrictions avec GPT-J, car il est open-source et que n’importe qui peut l’installer et l’utiliser.

Quels ont été les défis techniques pour intégrer GPT-J sur NLP Cloud ?

GPT-J est complexe à installer en raison de sa consommation élevée de ressources (RAM, CPU, GPU…). Il fonctionne sans GPU, mais c’est si lent que c’est très peu pratique.

À la fin, le matériel nécessaire pour exécuter GPT-J est très coûteux, nous avons donc dû travailler sur de nombreux détails d’implémentation pour réduire les coûts.

De plus, pour assurer une haute disponibilité de GPT-J sur NLP Cloud et le rendre adapté à la production, nous avons dû travailler sur des stratégies de redondance et de basculement pour GPT-J, ce qui peut être assez difficile.

Pouvez-vous discuter des modèles d’IA pré-entraînés proposés ?

Nous faisons de notre mieux pour sélectionner le meilleur modèle d’IA pré-entraîné par cas d’utilisation.

Pour la résumé de texte, le meilleur – à notre avis – est Facebook’s Bart Large CNN, qui donne de très bons résultats, mais qui peut être assez lent sans GPU.

Pour la classification de texte, nous avons mis en œuvre Facebook’s Bart Large MNLI (pour la classification en anglais) et Joe Davison’s XLM Roberta Large XLNI (pour les langues non anglaises). Les deux sont rapides et très précis.

Pour la réponse à des questions, nous utilisons Deepset’s Roberta Base Squad 2. Il est rapide et précis, mais pour une réponse à des questions plus avancée, vous pouvez vouloir utiliser GPT-J.

Et beaucoup d’autres !

Quels sont les meilleurs cas d’utilisation pour NLP Cloud ?

Les cas d’utilisation qui semblent être les plus utilisés sont la résumé de texte, la classification de texte et la génération de texte avec GPT-J pour la génération de descriptions de produits, la paraphrase, la génération d’articles…

Mais les cas d’utilisation que nous voyons parmi nos clients sont extrêmement diversifiés, et c’est impressionnant de voir autant d’idées géniales émerger !

Y a-t-il autre chose que vous aimeriez partager sur NLP Cloud ?

Il nous semble que l’IA pour la compréhension de texte et la génération de texte est enfin utilisée “pour de vrai” dans des produits ou des flux de travail internes, par de plus en plus d’entreprises.

C’est génial de voir que NLP n’est plus seulement un domaine de recherche pur, mais qu’il existe de véritables cas d’utilisation commerciaux qui peuvent tirer parti de NLP.

Chez NLP Cloud, nous allons continuer à faire de notre mieux pour rendre facile pour quiconque de tester et d’utiliser NLP en production.

Merci pour cette grande interview, les lecteurs qui souhaitent en savoir plus devraient visiter NLP Cloud.