Julien Salinas, Fondateur & CTO de NLP Cloud – Série d'interviews

Julien Salinas est le Fondateur & CTO de Nuage PNL. La plate-forme NLP Cloud sert des modèles NLP hautes performances prêts pour la production basés sur des transformateurs spaCy et HuggingFace, pour de multiples cas d'utilisation, y compris NER, analyse des sentiments, classification de texte, résumé, réponse aux questions, génération de texte, traduction, détection de langue, correction de la grammaire et de l'orthographe, la classification des intentions et la similarité sémantique.

Qu'est-ce qui vous a initialement intéressé à l'informatique ?

J'ai commencé à programmer en… école de commerce ! Je sais que cela semble surprenant. En fait, j'ai vite réalisé que le business en lui-même était ennuyeux et que je serais vite limité si je n'avais pas les compétences techniques pour réaliser mes projets.

Le premier projet à l'époque était un petit site web pour mon professeur de musique, puis un autre pour ma famille, puis j'ai commencé à apprendre Python… et ainsi de suite. Maintenant, je suis développeur Python/Go et DevOps depuis 15 ans.

Pourriez-vous partager l'histoire de la genèse derrière NLP Cloud ?

Cela a commencé il y a 2 ans lorsque j'ai réalisé qu'en tant que développeur, il était assez difficile de déployer correctement des modèles d'apprentissage automatique en production.

J'ai été étonné par les progrès réalisés par des frameworks comme Hugging Face Transformers et spaCy, et j'ai pu tirer parti de modèles de PNL très avancés dans mes projets. Mais l'utilisation de ces modèles en production était une autre bête et, étonnamment, je n'ai trouvé aucun cloud No-Ops intéressant sur le marché pour le NLP.

J'ai donc décidé de lancer ma propre plateforme pour le déploiement de modèles NLP. Très vite nous avons eu de supers retours clients et nous avons ajouté de nombreuses fonctionnalités basées sur ces retours (modèles pré-entraînés, réglages fins, aire de jeux…).

La plate-forme NLP Cloud prend en charge l'alternative open source GPT-3 GPT-J. Qu'est-ce que GPT-J précisément ?

GPT-J a été publié par une équipe de chercheurs appelée EleutherAI en juin de cette année. Ils pensent que GPT-3 devrait être un modèle open-source, comme ses prédécesseurs (GPT et GPT-2). Ils affirment que, même si nous devrions tous nous inquiéter de l'utilisation abusive potentielle de puissants modèles d'IA comme GPT, ce n'est pas une bonne raison de ne pas rendre ces modèles open source. Bien au contraire : ils pensent que si les modèles d'IA restent open-source, c'est le meilleur moyen pour la communauté de comprendre comment ces modèles fonctionnent sous le capot, puis de s'assurer que ces modèles ne se comportent pas de la mauvaise façon (misogynie, racisme, …).

GPT-J est un équivalent direct de GPT-3 Curie car les deux sont entraînés sur plus ou moins 6 milliards de paramètres.

Les deux peuvent presque être utilisés de manière interchangeable.

Pourquoi GPT-J est-il une alternative supérieure à GPT-3 ?

GPT-3 appartient à Microsoft et la seule façon pour les gens de l'utiliser est de passer par l'API GPT-3 officielle.

Mais cette API est très coûteuse et extrêmement restrictive : vous devez demander l'accès à l'API et, même si votre candidature est acceptée, votre accès peut être fermé à tout moment s'ils considèrent que votre modèle commercial n'est pas conforme à leurs directives. Par exemple, vous ne pouvez pas générer de texte "ouvert" (texte long composé de plusieurs paragraphes) car cela va à l'encontre de leur politique.

Il n'y a pas de telles restrictions avec GPT-J car il est open-source et n'importe qui peut l'installer et l'utiliser.

Quels ont été certains des défis techniques liés à l'intégration de GPT-J sur NLP Cloud ?

GPT-J est complexe à installer du fait de sa forte consommation de ressources (RAM, CPU, GPU…). Cela fonctionne sans GPU mais c'est tellement lent que c'est très peu pratique.

Au final, le matériel nécessaire pour faire fonctionner GPT-J est très cher donc, afin de réduire les coûts, nous avons dû travailler sur de nombreux détails d'implémentation.

De plus, afin d'assurer la haute disponibilité de GPT-J sur NLP Cloud et de le rendre adapté à la production, nous avons dû travailler sur des stratégies de redondance et de basculement pour GPT-J qui peuvent être assez difficiles.

Pourriez-vous discuter de certains des modèles d'IA pré-formés qui sont proposés ?

Nous faisons de notre mieux pour sélectionner le meilleur modèle d'IA pré-formé par cas d'utilisation.

Pour le résumé de texte, le meilleur – à notre avis – est Bart Large CNN de Facebook qui donne de très bons résultats mais qui peut être assez lent sans GPU.

Pour la classification de texte, nous avons implémenté Bart Large MNLI de Facebook (pour la classification en anglais) et XLM Roberta Large XLNI de Joe Davison (pour les langues autres que l'anglais). Les deux sont rapides et très précis.

Pour répondre aux questions, nous utilisons Roberta Base Squad 2 de Deepset. Il est rapide et précis, mais pour des questions plus avancées, vous pouvez utiliser GPT-J.

Et plein d'autres!

Quels sont certains des meilleurs cas d'utilisation de NLP Cloud ?

Les cas d'usage qui semblent les plus utilisés sont le résumé de texte, la classification de texte et la génération de texte avec GPT-J pour les générations de descriptions de produits, la paraphrase, la génération d'articles…

Mais les cas d'utilisation que nous pouvons voir parmi nos clients sont extrêmement divers, et c'est assez impressionnant de voir tant d'idées géniales émerger !

Y a-t-il autre chose que vous aimeriez partager à propos de NLP Cloud ?

Il nous semble que l'IA pour la compréhension et la génération de texte est enfin utilisée "pour de vrai" dans des produits réels ou des flux de travail internes, par de plus en plus d'entreprises.

C'est formidable de voir que la PNL n'est plus seulement un domaine de recherche pure, mais qu'il existe de véritables cas d'utilisation commerciale qui peuvent tirer parti de la PNL.

Chez NLP Cloud, nous continuerons à faire de notre mieux pour faciliter le test et l'utilisation de la PNL en production.

Merci pour cette excellente interview, les lecteurs qui souhaitent en savoir plus devraient visiter Nuage PNL.