Ricky Costa, PDG de Quantum Stat – Série d’entretiens

Ricky Costa est le PDG de Quantum Stat, une entreprise qui propose des solutions pour les initiatives de traitement automatique des langues (NLP) et d’intelligence artificielle (IA) NLP

Qu’est-ce qui vous a initialement intéressé dans l’intelligence artificielle ?

Le hasard. Je lisais un livre sur la probabilité lorsque je suis tombé sur un théorème célèbre. À l’époque, je me demandais naïvement si je pouvais appliquer ce théorème à un problème de langage naturel que j’essayais de résoudre au travail. Il s’avère que l’algorithme existait déjà, sans que je le sache, il s’appelait le Naïve Bayes, un modèle génératif très célèbre et simple utilisé dans l’apprentissage automatique classique. Ce théorème était le théorème de Bayes. Je sentais que cette coïncidence était un indice et a planté une graine de curiosité pour continuer à apprendre.

Vous êtes le PDG de Quantum Stat, une entreprise qui propose des solutions pour le traitement automatique des langues. Comment êtes-vous arrivé à ce poste ?

Lorsqu’il y a une révolution dans une nouvelle technologie, certaines entreprises sont plus hésitantes que d’autres face à l’inconnu. J’ai créé mon entreprise parce que poursuivre l’inconnu est amusant pour moi. Je sentais également que c’était le bon moment pour se lancer dans le domaine du NLP, compte tenu de toutes les recherches incroyables qui ont émergé au cours des deux dernières années. La communauté NLP a maintenant la capacité d’accomplir beaucoup plus avec beaucoup moins, grâce à l’avènement de nouvelles techniques NLP qui nécessitent moins de données pour améliorer les performances.

Pour les lecteurs qui ne sont peut-être pas familiers avec ce domaine, pourriez-vous nous expliquer ce qu’est le traitement automatique des langues ?

Le NLP est un sous-domaine de l’IA et de l’analyse qui tente de comprendre le langage naturel dans le texte, la parole ou l’apprentissage multimodal (texte et images/vidéo) et de le calculer pour arriver à un point où vous conduisez une compréhension et/ou fournissez un service précieux. La valeur peut provenir de plusieurs angles, de la recherche d’informations dans le système de fichiers interne d’une entreprise, à la classification des sentiments dans les actualités, ou un bot Twitter GPT-2 qui aide avec votre marketing sur les réseaux sociaux (comme celui que nous avons construit il y a quelques semaines).

Vous avez un baccalauréat en arts de Hunter College en psychologie expérimentale. Pensez-vous que la compréhension du cerveau humain et de la psychologie humaine est un atout pour comprendre et développer le domaine du traitement automatique des langues ?

Ceci est contraire, mais malheureusement, non. L’analogie des neurones et des réseaux de neurones profonds est simplement pour l’illustration et l’instillation de l’intuition. On peut probablement apprendre beaucoup plus de la science de la complexité et de l’ingénierie. La difficulté de comprendre comment fonctionne le cerveau est que nous traitons d’un système complexe. « L’intelligence » est un phénomène émergent du cerveau qui interagit avec son environnement, et il est très difficile de le définir. La psychologie et les autres sciences sociales, qui dépendent du « réductionnisme » (de haut en bas), ne fonctionnent pas sous ce paradigme complexe. Voici l’intuition : imaginez quelqu’un qui essaie de réduire la chanson des Beatles « Let it Be » à la gamme de do majeur. Il n’y a rien dans cette gamme qui prédit que « Let it Be » émergera de celle-ci. La même chose s’applique à quelqu’un qui essaie de réduire le comportement à l’activité neuronale dans le cerveau.

Pourriez-vous nous expliquer pourquoi les Big Data sont si importants lorsqu’il s’agit de l’apprentissage profond et, plus précisément, du traitement automatique des langues ?

Comme cela se présente, parce que les modèles d’apprentissage profond interpolent les données, plus vous alimentez de données dans le modèle, moins il verra de cas de bord lorsqu’il fera une inférence dans la nature. Cette architecture « incite » les grands ensembles de données à être calculés par les modèles pour augmenter la précision de la sortie. Cependant, si nous voulons atteindre un comportement plus intelligent des modèles d’IA, nous devons regarder au-delà de la quantité de données que nous avons et plus vers la façon dont nous pouvons améliorer la capacité du modèle à raisonner de manière plus efficace, ce qui, intuitivement, ne devrait pas nécessiter beaucoup de données. D’un point de vue de complexité, les expériences d’automates cellulaires menées dans le passé par les physiciens John von Neumann et Stephen Wolfram montrent que la complexité peut émerger de conditions et de règles simples. Ce que ces conditions/règles devraient être en ce qui concerne l’IA, c’est ce que tout le monde recherche.

Vous avez récemment lancé la « Big Bad NLP Database ». Qu’est-ce que cette base de données et pourquoi est-elle importante pour ceux de l’industrie de l’IA ?

Cette base de données a été créée pour que les développeurs NLP aient un accès sans problème à toutes les données pertinentes de l’industrie. Cette base de données aide à indexer les ensembles de données, ce qui a un effet secondaire agréable de pouvoir être interrogé par les utilisateurs. Le prétraitement des données prend la majeure partie du temps dans le pipeline de déploiement, et cette base de données tente de mitiger ce problème autant que possible. De plus, c’est une plate-forme gratuite pour quiconque, qu’il s’agisse d’un chercheur universitaire, d’un praticien ou d’un guru indépendant en IA qui souhaite se mettre à jour avec les données NLP. Lien

Quantum Stat propose actuellement des solutions de bout en bout. Quelles sont certaines de ces solutions ?

Nous aidons les entreprises à faciliter leur pipeline de modélisation NLP en offrant un développement à chaque étape. Nous pouvons couvrir une large gamme de services, allant du nettoyage des données à l’étape de prétraitement jusqu’au déploiement du serveur de modèle en production (ces services sont également mis en évidence sur notre page d’accueil). Tous les projets d’IA ne aboutissent pas en raison de la nature inconnue de la façon dont vos données/spécifications de projet fonctionnent avec un modèle d’état de l’art. Compte tenu de cette incertitude, nos services donnent aux entreprises la possibilité d’itérer sur leur projet à une fraction du coût de l’embauche d’un ingénieur en apprentissage automatique à plein temps.

Quelle est la récente avancée de l’IA que vous trouvez la plus intéressante ?

La plus importante avancée récente est le modèle de transformateur, vous avez peut-être entendu parler de lui : BERT, RoBERTa, ALBERT, T5, etc. Ces modèles de transformateurs sont très attrayants car ils permettent au chercheur d’atteindre des performances de pointe avec des ensembles de données plus petits. Avant les transformateurs, un développeur devait avoir un très grand ensemble de données pour former un modèle à partir de zéro. Puisque ces transformateurs sont pré-entraînés sur des milliards de mots, cela permet une itération plus rapide des projets d’IA et c’est ce avec quoi nous sommes principalement impliqués en ce moment.

Y a-t-il autre chose que vous aimeriez partager à propos de Quantum Stat ?

Nous travaillons sur un nouveau projet lié à l’analyse des sentiments du marché financier qui sera bientôt publié. Nous avons utilisé plusieurs transformateurs pour offrir une compréhension sans précédent de la façon dont les actualités financières se déroulent en temps réel. Restez à l’écoute !

Pour en savoir plus, visitez Quantum Stat ou lisez notre article sur la Big Bad NLP Database.