Noah Schwartz, Co-Fondateur & PDG de Quorum AI – Série d’entretiens

Noah est un architecte de systèmes d’IA. Avant de fonder Quorum AI, Noah a passé 12 ans dans la recherche académique, d’abord à l’Université de Californie du Sud et plus récemment à Northwestern en tant que président adjoint de neurobiologie. Ses travaux se sont concentrés sur le traitement de l’information dans le cerveau et il a traduit ses recherches en produits dans la réalité augmentée, les interfaces cerveau-ordinateur, la vision par ordinateur et les systèmes de contrôle de robots intégrés.

Votre intérêt pour l’IA et la robotique a commencé lorsque vous étiez petit. Comment avez-vous été introduit à ces technologies pour la première fois ?

L’étincelle initiale est venue des films de science-fiction et d’un amour pour l’électronique. Je me souviens avoir regardé le film Tron, à l’âge de 8 ans, suivi de Rêves électriques, Short Circuit, DARYL, War Games, et d’autres au cours des quelques années suivantes. Même si c’était présenté à travers la fiction, l’idée même de l’intelligence artificielle m’a bluffé. Et même si j’avais seulement 8 ans, j’ai ressenti une connexion immédiate et une attirance intense pour l’IA qui n’a jamais diminué depuis.

Comment vos passions pour les deux ont-elles évolué ?

Mon intérêt pour l’IA et la robotique s’est développé en parallèle avec une passion pour le cerveau. Mon père était un professeur de biologie et me enseignait comment fonctionnait le corps, comment tout était connecté. Regarder l’IA et regarder le cerveau ressemblait au même problème pour moi – ou du moins, ils avaient la même question ultime, qui était : Comment ça marche ? J’étais intéressé par les deux, mais je n’ai pas eu beaucoup d’exposition à l’IA ou à la robotique à l’école. Pour cette raison, j’ai poursuivi l’IA pendant mon temps libre et j’ai étudié la biologie et la psychologie à l’école.

Lorsque je suis allé à l’université, j’ai découvert les livres sur le traitement distribué en parallèle (PDP), qui a été énorme pour moi. C’était ma première introduction à l’IA réelle, ce qui m’a ensuite conduit aux classiques tels que Hebb, Rosenblatt, et même McCulloch et Pitts. J’ai commencé à construire des réseaux de neurones basés sur la neuroanatomie et ce que j’ai appris des cours de biologie et de psychologie à l’école. Après avoir obtenu mon diplôme, j’ai travaillé en tant qu’ingénieur de réseau informatique, en construisant des réseaux étendus complexes et en écrivant des logiciels pour automatiser et gérer le flux de trafic sur ces réseaux – un peu comme construire de grands cerveaux. Le travail a ravivé ma passion pour l’IA et m’a motivé à aller à la faculté de médecine pour étudier l’IA et les neurosciences, et le reste est histoire.

Avant de fonder Quorum AI, vous avez passé 12 ans dans la recherche académique, d’abord à l’Université de Californie du Sud et plus récemment à Northwestern en tant que président adjoint de neurobiologie. À l’époque, vos travaux se sont concentrés sur le traitement de l’information dans le cerveau. Pouvez-vous nous guider à travers certaines de ces recherches ?

Dans un sens large, mes recherches essayaient de comprendre la question : Comment le cerveau fait-il ce qu’il fait en utilisant uniquement ce qui est disponible ? Pour commencer, je ne souscris pas à l’idée que le cerveau est un type d’ordinateur (dans le sens de von Neumann). Je le vois comme un réseau massif qui effectue principalement des opérations de stimulus-réponse et de codage de signaux. Dans ce réseau massif, il y a des modèles de connectivité clairs entre les domaines spécialisés en fonction. Lorsque nous zoomons, nous voyons que les neurones ne se soucient pas du signal qu’ils transportent ou de la partie du cerveau dans laquelle ils se trouvent – ils fonctionnent selon des règles très prévisibles. Donc, si nous voulons comprendre la fonction de ces domaines spécialisés, nous devons poser quelques questions : (1) Lorsqu’une entrée se propage dans le réseau, comment cette entrée converge-t-elle avec d’autres entrées pour produire une décision ? (2) Comment la structure de ces domaines spécialisés se forme-t-elle à la suite de l’expérience ? Et (3) comment continuent-ils à changer à mesure que nous utilisons notre cerveau et apprenons au fil du temps ? Mes recherches ont essayé de répondre à ces questions en utilisant un mélange de recherche expérimentale combinée à la théorie de l’information et à la modélisation et à la simulation – quelque chose qui pourrait nous permettre de construire des systèmes de décision artificiels et d’IA. En termes de neurobiologie, j’ai étudié la neuroplasticité et la microanatomie de domaines spécialisés comme le cortex visuel.

Vous avez ensuite traduit vos travaux en réalité augmentée et en interfaces cerveau-ordinateur. Quels étaient certains des produits sur lesquels vous avez travaillé ?

Vers 2008, je travaillais sur un projet que nous appellerions aujourd’hui réalité augmentée, mais à l’époque, c’était juste un système pour suivre et prédire les mouvements des yeux, puis utiliser ces prédictions pour mettre à jour quelque chose sur l’écran. Pour faire fonctionner le système en temps réel, j’ai construit un modèle biologiquement inspiré qui prédit où le spectateur regarderait en fonction de ses microsaccades – de petits mouvements des yeux qui se produisent juste avant que vous déplaciez votre œil. En utilisant ce modèle, je pouvais prédire où le spectateur regarderait, puis mettre à jour le tampon de trame de la carte graphique pendant que ses yeux étaient encore en mouvement. Lorsque ses yeux atteignaient cette nouvelle position sur l’écran, l’image était déjà mise à jour. Cela fonctionnait sur un ordinateur de bureau ordinaire en 2008, sans aucun retard. La technologie était plutôt incroyable, mais le projet n’a pas réussi à passer à l’étape suivante de financement, donc il est mort.

En 2011, j’ai fait un effort plus ciblé pour le développement de produits et j’ai construit un réseau de neurones qui pouvait effectuer la découverte de fonctionnalités sur des données EEG en continu que nous mesurions à partir du scalp. C’est la fonction principale de la plupart des systèmes d’interface cerveau-ordinateur. Le projet était également une expérience sur quelle empreinte la plus petite pouvions-nous obtenir pour que cela fonctionne ? Nous avions un casque qui lisait quelques canaux de données EEG à 400 Hz qui étaient envoyés via Bluetooth à un téléphone Android pour la découverte de fonctionnalités et la classification, puis envoyés à un contrôleur alimenté par Arduino que nous avions réaménagé dans une voiture télécommandée tout-terrain. Lorsqu’il était utilisé, une personne qui portait le casque EEG pouvait conduire et diriger la voiture en changeant ses pensées de faire des mathématiques mentales à chanter une chanson. L’algorithme fonctionnait sur le téléphone et créait une empreinte cérébrale « personnelle » pour chaque utilisateur, lui permettant de basculer entre différents appareils robotiques sans avoir à se réentraîner sur chaque appareil. Le slogan que nous avons créé était « Le contrôle cérébral rencontre le plug-and-play ».

En 2012, nous avons étendu le système pour qu’il fonctionne de manière beaucoup plus distribuée sur un matériel plus petit. Nous l’avons utilisé pour contrôler un bras robotique multi-segments, multi-articulations dans lequel chaque segment était contrôlé par un processeur indépendant qui exécutait une version intégrée de l’IA. Au lieu d’utiliser un contrôleur centralisé pour manipuler le bras, nous avons permis aux segments de s’auto-organiser et d’atteindre leur cible de manière distribuée, comme des fourmis formant un pont de fourmis. Le bras segments coopéraient pour atteindre une cible dans l’espace.

Nous avons continué à avancer dans la même direction lorsque nous avons lancé Quorum AI – à l’origine connu sous le nom de Quorum Robotics – en 2013. Nous nous sommes rapidement rendu compte que le système était incroyable en raison de l’algorithme et de l’architecture, et non du matériel, donc en fin d’année 2014, nous nous sommes entièrement tournés vers le logiciel. Maintenant, 8 ans plus tard, Quorum AI fait le tour du monde, revenant à ces racines de la robotique en appliquant notre cadre au Défi de robotique spatiale de la NASA.

Quitter votre poste de professeur pour lancer une start-up a dû être une décision difficile. Qu’est-ce qui vous a inspiré à le faire ?

C’était un saut énorme pour moi de beaucoup de manières, mais une fois que l’opportunité s’est présentée et que le chemin est devenu clair, c’était une décision facile. Lorsque vous êtes professeur, vous pensez en termes de plusieurs années et vous travaillez sur des objectifs de recherche à long terme. Lancer une start-up est l’opposé exact de cela. Cependant, une chose que la vie académique et la vie de start-up ont en commun est qu’elles nécessitent toutes deux d’apprendre et de résoudre des problèmes constamment. Dans une start-up, cela peut signifier essayer de réingénierier une solution pour réduire les risques de développement de produits ou peut-être étudier un nouveau secteur qui pourrait bénéficier de notre technologie. Travailler dans l’IA est la chose la plus proche d’un « appel » que j’aie jamais ressenti, donc malgré tous les défis et les hauts et les bas, je me sens incroyablement chanceux de faire le travail que je fais.

Vous avez depuis développé Quorum AI, qui développe une intelligence artificielle distribuée en temps réel pour tous les appareils et plateformes. Pouvez-vous élaborer sur ce que fait exactement cette plateforme d’IA ?

La plateforme s’appelle Environment for Virtual Agents (EVA), et elle permet aux utilisateurs de construire, de former et de déployer des modèles en utilisant notre moteur d’IA Engram. Engram est un wrapper flexible et portable que nous avons construit autour de nos algorithmes d’apprentissage non supervisé. Les algorithmes sont si efficaces qu’ils peuvent apprendre en temps réel, pendant que le modèle génère des prédictions. Puisque les algorithmes sont agnostiques de tâche, il n’y a pas d’entrée ou de sortie explicite au modèle, donc les prédictions peuvent être faites de manière bayésienne pour n’importe quelle dimension sans réentraînement et sans subir d’oubli catastrophique. Les modèles sont également transparents et décomposables, ce qui signifie qu’ils peuvent être examinés et décomposés en dimensions individuelles sans perdre ce qui a été appris.

Une fois construits, les modèles peuvent être déployés via EVA sur n’importe quel type de plateforme, allant du matériel intégré personnalisé à l’informatique en nuage. EVA (et le logiciel hôte intégré) contiennent également plusieurs outils pour étendre la fonctionnalité de chaque modèle. Quelques exemples rapides : les modèles peuvent être partagés entre les systèmes via un système de publication/abonnement, permettant aux systèmes distribués d’atteindre un apprentissage fédéré dans le temps et l’espace. Les modèles peuvent également être déployés comme des agents autonomes pour effectuer des tâches arbitraires, et puisque le modèle est agnostique de tâche, la tâche peut être modifiée pendant l’exécution sans réentraînement. Chaque agent individuel peut être étendu avec un EVA « virtuel » privé, permettant à l’agent de simuler des modèles d’autres agents de manière sans échelle. Enfin, nous avons créé des wrappers pour les systèmes d’apprentissage profond et de renforcement (basés sur Keras) pour permettre à ces modèles de fonctionner sur la plateforme, en concert avec des systèmes plus flexibles basés sur Engram.

Vous avez précédemment décrit les algorithmes Quorum AI comme de la « poésie mathématique ». Que vouliez-vous dire par là ?

Lorsque vous construisez un modèle, que vous modélisiez le cerveau ou que vous modélisiez des données de vente pour votre entreprise, vous commencez par prendre un inventaire de vos données, puis vous essayez des classes de modèles connues pour essayer d’approximer le système. En essence, vous créez des esquisses grossières du système pour voir ce qui ressemble le plus. Vous ne vous attendez pas à ce que les choses s’adaptent bien aux données, et il y a un peu d’essais et d’erreurs à mesure que vous testez différentes hypothèses sur la façon dont le système fonctionne, mais avec un peu de finesse, vous pouvez capturer les données assez bien.

Lorsque j’ai modélisé la neuroplasticité dans le cerveau, j’ai commencé par l’approche habituelle consistant à cartographier tous les voies moléculaires, les états de transition et la dynamique que je pensais être importantes. Mais j’ai constaté que lorsque je réduisais le système à ses composants les plus basiques et que je les arrangeais d’une certaine manière, le modèle devenait de plus en plus précis jusqu’à ce qu’il corresponde presque parfaitement aux données. C’était comme si chaque opérateur et chaque variable dans les équations étaient exactement ce dont ils avaient besoin, il n’y avait rien de superflu, et tout était essentiel pour correspondre aux données.

Lorsque j’ai connecté le modèle à des simulations plus grandes, comme le développement du système visuel ou la reconnaissance faciale, par exemple, il a été capable de former des modèles de connectivité très compliqués qui correspondaient à ce que nous voyons dans le cerveau. Puisque le modèle était mathématique, ces modèles de cerveau pouvaient être compris grâce à l’analyse mathématique, donnant de nouvelles perspectives sur ce que le cerveau apprend. Depuis, nous avons résolu et simplifié les équations différentielles qui composent le modèle, améliorant l’efficacité computationnelle de plusieurs ordres de grandeur. Ce n’est peut-être pas de la vraie poésie, mais ça ressemblait à ça !

La plateforme d’outils Quorum AI permet aux appareils de se connecter les uns aux autres pour apprendre et partager des données sans avoir besoin de communiquer via des serveurs basés sur le nuage. Quels sont les avantages de le faire de cette façon par rapport à l’utilisation du nuage ?

Nous donnons aux utilisateurs la possibilité de mettre leur IA n’importe où ils le souhaitent, sans compromettre la fonctionnalité de l’IA. Le statu quo dans le développement de l’IA est que les entreprises sont généralement obligées de compromettre la sécurité, la confidentialité ou la fonctionnalité parce que leur seule option est d’utiliser des services d’IA basés sur le nuage. Si les entreprises essaient de construire leur propre IA en interne, cela nécessite souvent beaucoup d’argent et de temps, et le retour sur investissement est rarement à la hauteur du risque. Si les entreprises veulent déployer l’IA sur des appareils qui ne sont pas connectés au nuage, le projet devient rapidement impossible. Par conséquent, l’adoption de l’IA devient un fantasme.

Notre plateforme rend l’IA accessible et abordable, offrant aux entreprises un moyen d’explorer le développement et l’adoption de l’IA sans les frais généraux techniques ou financiers. Et en outre, notre plateforme permet aux utilisateurs d’aller de la phase de développement à la phase de déploiement en une seule étape.

Notre plateforme intègre également et prolonge la durée de vie de autres « modèles hérités » comme l’apprentissage profond ou l’apprentissage par renforcement, aidant les entreprises à réutiliser et à intégrer les systèmes existants dans de nouvelles applications. De même, puisque nos algorithmes et architectures sont uniques, nos modèles ne sont pas des boîtes noires, donc tout ce que le système apprend peut être exploré et interprété par les humains, puis étendu à d’autres domaines d’activité.

Il est cru par certains que l’Intelligence Artificielle Distribuée (DAI) pourrait ouvrir la voie à l’Intelligence Artificielle Générale (AGI). Êtes-vous d’accord avec cette théorie ?

Oui, et pas seulement parce que c’est le chemin que nous nous sommes tracés ! Lorsque vous regardez le cerveau, ce n’est pas un système monolithique. Il est composé de systèmes distribués distincts qui se spécialisent chacun dans une gamme étroite de fonctions cérébrales. Nous ne savons peut-être pas ce qu’un système particulier fait, mais nous savons que ses décisions dépendent considérablement du type d’informations qu’il reçoit et de la façon dont ces informations changent au fil du temps. (C’est pourquoi les sujets de neurosciences comme le connectome sont si populaires.)

À mon avis, si nous voulons construire une IA qui soit flexible et qui se comporte et fonctionne comme le cerveau, alors il est logique de considérer des architectures distribuées comme celles que l’on voit dans le cerveau. On pourrait soutenir que les architectures d’apprentissage profond comme les réseaux multi-couches ou les CNN peuvent être trouvées dans le cerveau, et c’est vrai, mais ces architectures sont basées sur ce que nous savions sur le cerveau il y a 50 ans.

L’alternative à la DAI est de continuer à itérer sur des architectures monolithiques et inflexibles qui sont étroitement couplées à un seul espace de décision, comme celles que nous voyons dans l’apprentissage profond ou le renforcement de l’apprentissage (ou toute méthode d’apprentissage supervisé, pour ce qui est). Je suggérerais que ces limitations ne sont pas seulement une question de réglage de paramètres ou d’ajout de couches ou de conditionnement de données – ces problèmes sont fondamentaux pour l’apprentissage profond et le renforcement de l’apprentissage, du moins tels que nous les définissons aujourd’hui, donc de nouvelles approches sont nécessaires si nous voulons continuer à innover et à construire l’IA de demain.

Croyez-vous que l’atteinte de l’AGI en utilisant la DAI est plus probable que les méthodes d’apprentissage par renforcement et/ou d’apprentissage profond qui sont actuellement poursuivies par des sociétés comme OpenAI et DeepMind ?

Oui, même si d’après ce qu’ils bloguent, je soupçonne que OpenAI et DeepMind utilisent des architectures plus distribuées qu’ils ne le laissent paraître. Nous commençons à entendre davantage sur des défis multi-systèmes comme l’apprentissage de transfert ou l’apprentissage fédéré/distribué, et par coïncidence, sur la façon dont les approches d’apprentissage profond et de renforcement de l’apprentissage ne fonctionneront pas pour ces défis. Nous commençons également à entendre des pionniers comme Yoshua Bengio sur la façon dont les architectures inspirées de la biologie pourraient combler le fossé ! J’ai travaillé sur l’IA inspirée de la biologie pendant presque 20 ans, donc je me sens très bien à l’aise avec ce que nous avons appris chez Quorum AI et comment nous l’utilisons pour construire ce que nous croyons être la prochaine génération d’IA qui surmontera ces limitations.

Y a-t-il autre chose que vous aimeriez partager sur Quorum AI ?

Nous allons prévisualiser notre nouvelle plateforme pour l’IA distribuée et basée sur les agents à la Conférence sur l’apprentissage automatique fédéré et distribué en juin 2020. Lors de la conférence, je prévois de présenter des données récentes sur plusieurs sujets, notamment l’analyse des sentiments comme un pont vers la réalisation d’une IA empathique.

Je tiens à remercier Noah pour ces réponses incroyables, et je vous recommande de visiter Quorum pour en savoir plus.