Ricky Costa, PDG de Quantum Stat – Série d’entretiens

Ricky Costa est le PDG de Quantum Stat, une entreprise qui propose des solutions commerciales pour NLP et les initiatives d’IA

Qu’est-ce qui vous a initialement intéressé à l’intelligence artificielle ?

Le hasard. Je lisais un livre sur la probabilité lorsque je suis tombé sur un théorème célèbre. À l’époque, j’ai naïvement pensé que je pourrais appliquer ce théorème à un problème de langage naturel que j’essayais de résoudre au travail. Il s’est avéré que l’algorithme existait déjà, sans que je le sache, il s’appelait Naïve Bayes, un modèle génératif très simple et célèbre utilisé dans l’apprentissage automatique classique. Ce théorème était le théorème de Bayes. J’ai senti que cette coïncidence était un indice et a planté une graine de curiosité pour continuer à apprendre.

Vous êtes le PDG de Quantum Stat, une entreprise qui propose des solutions pour le traitement automatique des langues naturelles. Comment vous êtes-vous retrouvé à ce poste ?

Lorsqu’il y a une révolution dans une nouvelle technologie, certaines entreprises sont plus hésitantes que d’autres face à l’inconnu. J’ai créé mon entreprise parce que poursuivre l’inconnu est amusant pour moi. J’ai également senti que c’était le bon moment pour se lancer dans le domaine du traitement automatique des langues naturelles, compte tenu de toutes les recherches incroyables qui ont émergé au cours des deux dernières années. La communauté du traitement automatique des langues naturelles a la capacité de réaliser beaucoup plus avec beaucoup moins, grâce à l’avènement de nouvelles techniques de traitement automatique des langues naturelles qui nécessitent moins de données pour améliorer les performances.

Pour les lecteurs qui ne sont peut-être pas familiers avec ce domaine, pourriez-vous nous expliquer ce que le traitement automatique des langues naturelles fait ?

Le traitement automatique des langues naturelles est un sous-domaine de l’IA et de l’analyse qui tente de comprendre le langage naturel dans le texte, la parole ou l’apprentissage multimodal (texte et images/vidéo) et de le calculer pour arriver à un point où vous dirigez des connaissances et/ou fournissez un service précieux. La valeur peut provenir de plusieurs angles, de la recherche d’informations dans le système de fichiers interne d’une entreprise, à la classification des sentiments dans les actualités, ou un bot Twitter GPT-2 qui aide avec votre marketing sur les médias sociaux (comme celui que nous avons construit il y a quelques semaines).

Vous avez un baccalauréat en arts du Hunter College en psychologie expérimentale. Pensez-vous que la compréhension du cerveau humain et de la psychologie humaine est un atout pour comprendre et développer le domaine du traitement automatique des langues naturelles ?

C’est contraire, mais malheureusement, non. L’analogie des neurones et des réseaux de neurones profonds est simplement pour l’illustration et l’instillation de l’intuition. On peut probablement apprendre beaucoup plus de la science de la complexité et de l’ingénierie. La difficulté de comprendre comment fonctionne le cerveau est que nous traitons d’un système complexe. « L’intelligence » est un phénomène émergent de la complexité du cerveau qui interagit avec son environnement, et très difficile à définir. La psychologie et les autres sciences sociales, qui dépendent du « réductionnisme » (de haut en bas), ne fonctionnent pas sous ce paradigme complexe. Voici l’intuition : imaginez quelqu’un qui tente de réduire la chanson des Beatles « Let it Be » à la gamme de C majeur. Il n’y a rien dans cette gamme qui prédit que « Let it Be » émergera de celle-ci. La même chose s’applique à quelqu’un qui tente de réduire le comportement à l’activité neuronale dans le cerveau.

Pouvez-vous nous expliquer pourquoi les Big Data sont si importants lorsqu’il s’agit de l’apprentissage profond et, plus précisément, du traitement automatique des langues naturelles ?

Comme cela se présente, parce que les modèles d’apprentissage profond interpolent les données, plus vous alimentez le modèle avec des données, moins il verra de cas limites lorsqu’il fera une inférence dans la vie réelle. Cette architecture « incite » les grands ensembles de données à être calculés par les modèles afin d’augmenter la précision de la sortie. Cependant, si nous voulons atteindre un comportement plus intelligent des modèles d’IA, nous devons regarder au-delà de la quantité de données que nous avons et plus vers la façon dont nous pouvons améliorer la capacité du modèle à raisonner de manière plus efficace, ce qui, intuitivement, ne devrait pas nécessiter beaucoup de données. D’un point de vue de complexité, les expériences d’automates cellulaires menées au cours du siècle dernier par les physiciens John von Neumann et Stephen Wolfram montrent que la complexité peut émerger de conditions et de règles initiales simples. Ce que ces conditions/règles devraient être en ce qui concerne l’IA, c’est ce que tout le monde recherche.

Vous avez récemment lancé la « Big Bad NLP Database ». Qu’est-ce que cette base de données et pourquoi est-elle importante pour ceux de l’industrie de l’IA ?

Cette base de données a été créée pour que les développeurs de traitement automatique des langues naturelles aient un accès sans entrave à tous les ensembles de données pertinents de l’industrie. Cette base de données aide à indexer les ensembles de données qui a un joli effet secondaire d’être en mesure d’être interrogée par les utilisateurs. Le prétraitement des données prend la majeure partie du temps dans le pipeline de déploiement, et cette base de données tente de mitiger ce problème autant que possible. En outre, c’est une plate-forme gratuite pour quiconque, qu’il s’agisse d’un chercheur universitaire, d’un praticien ou d’un guru indépendant en IA qui souhaite se mettre à jour avec les données de traitement automatique des langues naturelles. Lien

Quantum Stat propose actuellement des solutions de bout en bout. Quelles sont certaines de ces solutions ?

Nous aidons les entreprises à faciliter leur pipeline de modélisation de traitement automatique des langues naturelles en offrant un développement à chaque étape. Nous pouvons couvrir un large éventail de services, allant du nettoyage des données à l’étape de prétraitement jusqu’au déploiement du serveur de modèle en production (ces services sont également mis en évidence sur notre page d’accueil). Tous les projets d’IA ne aboutissent pas en raison de la nature inconnue de la façon dont vos données spécifiques/projet d’architecture fonctionnent avec un modèle d’état de l’art. Compte tenu de cette incertitude, nos services donnent aux entreprises une chance d’itérer sur leur projet à une fraction du coût de l’embauche d’un ingénieur en apprentissage automatique à temps plein.

Quelle est la récente avancée de l’IA que vous trouvez la plus intéressante ?

La plus importante avancée récente est le modèle de transformateur, vous avez peut-être entendu parler de lui : BERT, RoBERTa, ALBERT, T5, etc. Ces modèles de transformateurs sont très attrayants parce qu’ils permettent au chercheur d’atteindre des performances de pointe avec des ensembles de données plus petits. Avant les transformateurs, un développeur devait nécessiter un très grand ensemble de données pour former un modèle à partir de zéro. Puisque ces transformateurs sont formés à l’avance sur des milliards de mots, cela permet une itération plus rapide des projets d’IA et c’est ce avec quoi nous sommes principalement impliqués en ce moment.

Y a-t-il autre chose que vous aimeriez partager à propos de Quantum Stat ?

Nous travaillons sur un nouveau projet lié à l’analyse des sentiments du marché financier qui sera bientôt publié. Nous avons utilisé plusieurs transformateurs pour donner une idée sans précédent de la façon dont les actualités financières se déroulent en temps réel. Restez à l’écoute !

Pour en savoir plus, visitez Quantum Stat ou lisez notre article sur la Big Bad NLP Database.