Noah Schwartz, Co-fondateur et PDG de Quorum AI – Série d’entretiens

Noah est un architecte de systèmes d’intelligence artificielle. Avant de fonder Quorum AI, Noah a passé 12 ans dans la recherche académique, d’abord à l’Université de Californie du Sud et plus récemment à Northwestern en tant que vice-président de neurobiologie. Ses travaux se sont concentrés sur le traitement de l’information dans le cerveau et il a traduit ses recherches en produits dans la réalité augmentée, les interfaces cerveau-ordinateur, la vision par ordinateur et les systèmes de contrôle de robots intégrés.

Votre intérêt pour l’IA et la robotique a commencé lorsque vous étiez petit. Comment avez-vous été introduit à ces technologies pour la première fois ?

L’étincelle initiale est venue des films de science-fiction et d’un amour pour l’électronique. Je me souviens avoir regardé le film Tron à l’âge de 8 ans, suivi de Electric Dreams, Short Circuit, DARYL, War Games et d’autres au cours des quelques années suivantes. Même si c’était présenté à travers la fiction, l’idée d’intelligence artificielle m’a littéralement bouleversé. Et même si j’avais seulement 8 ans, j’ai ressenti une connexion immédiate et une attirance intense pour l’IA qui n’a jamais diminué depuis.

Comment vos passions pour l’IA et la robotique ont-elles évolué ?

Mes intérêts pour l’IA et la robotique se sont développés en parallèle avec une passion pour le cerveau. Mon père était un professeur de biologie et me enseignait sur le corps, sur la façon dont tout fonctionnait et sur la façon dont tout était connecté. Regarder l’IA et regarder le cerveau me semblait être le même problème – ou du moins, ils avaient la même question ultime, qui était : Comment ça fonctionne ? J’étais intéressé par les deux, mais je n’ai pas eu beaucoup d’exposition à l’IA ou à la robotique à l’école. Pour cette raison, j’ai poursuivi l’IA pendant mon temps libre et j’ai étudié la biologie et la psychologie à l’école.

Lorsque je suis allé à l’université, j’ai découvert les livres sur le traitement distribué en parallèle (PDP), qui ont été énormes pour moi. C’était ma première introduction à l’IA réelle, ce qui m’a ensuite ramené aux classiques tels que Hebb, Rosenblatt et même McCulloch et Pitts. J’ai commencé à construire des réseaux de neurones basés sur la neuroanatomie et sur ce que j’ai appris en biologie et en psychologie à l’école. Après avoir obtenu mon diplôme, j’ai travaillé en tant qu’ingénieur réseau informatique, en construisant des réseaux étendus et en écrivant des logiciels pour automatiser et gérer le trafic sur ces réseaux – un peu comme construire de grands cerveaux. Le travail a ravivé ma passion pour l’IA et m’a motivé à aller à l’école de troisième cycle pour étudier l’IA et les neurosciences, et le reste est histoire.

Avant de fonder Quorum AI, vous avez passé 12 ans dans la recherche académique, d’abord à l’Université de Californie du Sud et plus récemment à Northwestern en tant que vice-président de neurobiologie. À l’époque, vos travaux se sont concentrés sur le traitement de l’information dans le cerveau. Pouvez-vous nous faire part de certains de ces travaux de recherche ?

Dans un sens large, mes recherches essayaient de comprendre la question : Comment le cerveau fait-il ce qu’il fait en utilisant uniquement ce qui est disponible ? Pour commencer, je ne souscris pas à l’idée que le cerveau est un type d’ordinateur (dans le sens de von Neumann). Je le vois comme un réseau massif qui effectue principalement des opérations de stimulus-réponse et de codage de signaux. Dans ce réseau massif, il y a des modèles clairs de connectivité entre des zones spécialisées. Lorsque nous zoomons, nous voyons que les neurones ne se soucient pas du signal qu’ils transportent ou de la partie du cerveau dans laquelle ils se trouvent – ils opèrent en fonction de règles très prévisibles. Donc, si nous voulons comprendre la fonction de ces zones spécialisées, nous devons poser quelques questions : (1) Lorsqu’un signal se déplace à travers le réseau, comment converge-t-il avec d’autres signaux pour produire une décision ? (2) Comment la structure de ces zones spécialisées se forme-t-elle en fonction de l’expérience ? Et (3) comment continuent-elles à changer à mesure que nous utilisons notre cerveau et apprenons avec le temps ? Mes recherches ont essayé de répondre à ces questions en utilisant un mélange de recherche expérimentale combinée avec la théorie de l’information et la modélisation et la simulation – quelque chose qui pourrait nous permettre de construire des systèmes de décision artificiels et de l’IA. En termes de neurobiologie, j’ai étudié la neuroplasticité et la microanatomie de zones spécialisées comme le cortex visuel.

Vous avez ensuite traduit vos travaux en réalité augmentée et en interfaces cerveau-ordinateur. Quels étaient certains des produits sur lesquels vous avez travaillé ?

En 2008, j’ai travaillé sur un projet que nous appellerions aujourd’hui réalité augmentée, mais à l’époque, c’était juste un système pour suivre et prédire les mouvements des yeux, puis utiliser ces prédictions pour mettre à jour quelque chose sur l’écran. Pour faire fonctionner le système en temps réel, j’ai construit un modèle biologiquement inspiré qui prédisait où le spectateur regarderait en fonction de ses microsaccades – de petits mouvements des yeux qui se produisent juste avant que vous déplaciez votre œil. En utilisant ce modèle, je pouvais prédire où le spectateur regarderait, puis mettre à jour le tampon de trame de la carte graphique pendant que ses yeux étaient encore en mouvement. Lorsque ses yeux atteignaient cette nouvelle position sur l’écran, l’image était déjà mise à jour. Cela fonctionnait sur un ordinateur de bureau ordinaire en 2008, sans aucun retard. La technologie était assez incroyable, mais le projet n’a pas réussi à passer au tour de financement suivant, donc il est mort.

En 2011, j’ai fait un effort plus ciblé de développement de produits et j’ai construit un réseau de neurones qui pouvait effectuer la découverte de fonctionnalités sur des données EEG en streaming que nous mesurions à partir du scalp. C’est la fonction principale de la plupart des systèmes d’interface cerveau-ordinateur. Le projet était également une expérience pour savoir quelle empreinte pourrait-on obtenir avec ce système ? Nous avions un casque qui lisait quelques canaux de données EEG à 400 Hz qui étaient envoyés via Bluetooth à un téléphone Android pour la découverte de fonctionnalités et la classification, puis envoyés à un contrôleur alimenté par Arduino que nous avions réaménagé dans une voiture télécommandée de série. Lorsqu’il était utilisé, une personne qui portait le casque EEG pouvait conduire et diriger la voiture en changeant ses pensées, passant de la résolution de problèmes mathématiques à chanter une chanson. L’algorithme fonctionnait sur le téléphone et créait une « empreinte cérébrale » personnalisée pour chaque utilisateur, lui permettant de passer d’un appareil robotique à l’autre sans avoir à se réentraîner sur chaque appareil. Le slogan que nous avons trouvé était « Contrôle cérébral rencontre Plug-and-Play ».

En 2012, nous avons étendu le système pour qu’il fonctionne de manière plus distribuée sur un matériel plus petit. Nous l’avons utilisé pour contrôler un bras robotique multi-segments, multi-joints dans lequel chaque segment était contrôlé par un processeur indépendant qui exécutait une version intégrée de l’IA. Au lieu d’utiliser un contrôleur centralisé pour manipuler le bras, nous avons permis aux segments de s’auto-organiser et d’atteindre leur cible de manière distribuée, comme des fourmis formant un pont de fourmis. Les segments du bras coopéraient pour atteindre une cible dans l’espace.

Nous avons continué dans la même direction lorsque nous avons lancé Quorum AI – à l’origine connu sous le nom de Quorum Robotics – en 2013. Nous nous sommes rapidement rendu compte que le système était incroyable en raison de l’algorithme et de l’architecture, et non à cause du matériel, donc en fin d’année 2014, nous nous sommes entièrement tournés vers le logiciel. Maintenant, 8 ans plus tard, Quorum AI revient à ses racines de robotique en appliquant notre cadre au Défi de robotique spatiale de la NASA.

Quitter votre poste de professeur pour lancer une start-up a dû être une décision difficile. Qu’est-ce qui vous a inspiré à le faire ?

C’était un énorme saut pour moi de beaucoup de manières, mais une fois que l’opportunité s’est présentée et que le chemin est devenu clair, c’était une décision facile. Lorsque vous êtes professeur, vous pensez en termes de plusieurs années et vous travaillez sur des objectifs de recherche à long terme. Lancer une start-up est l’opposé exact de cela. Cependant, une chose que la vie académique et la vie de start-up ont en commun est qu’elles nécessitent toutes deux d’apprendre et de résoudre des problèmes constamment. Dans une start-up, cela peut signifier essayer de réingénierier une solution pour réduire les risques de développement de produits ou peut-être étudier un nouveau secteur qui pourrait bénéficier de notre technologie. Travailler dans l’IA est la chose la plus proche d’un « appel » que j’aie jamais ressenti, donc malgré tous les défis et les hauts et les bas, je me sens incroyablement chanceux de faire le travail que je fais.

Vous avez depuis développé Quorum AI, qui développe une intelligence artificielle distribuée et en temps réel pour tous les appareils et plateformes. Pouvez-vous élaborer sur ce que fait exactement cette plateforme d’IA ?

La plateforme s’appelle l’Environnement pour les agents virtuels (EVA), et elle permet aux utilisateurs de construire, de former et de déployer des modèles à l’aide de notre moteur d’apprentissage automatique Engram. Engram est un wrapper flexible et portable que nous avons construit autour de nos algorithmes d’apprentissage non supervisé. Les algorithmes sont si efficaces qu’ils peuvent apprendre en temps réel, tandis que le modèle génère des prédictions. Puisque les algorithmes sont agnostiques aux tâches, il n’y a pas d’entrée ou de sortie explicite pour le modèle, donc les prédictions peuvent être faites de manière bayésienne pour n’importe quelle dimension sans réentraînement et sans souffrir d’oubli catastrophique. Les modèles sont également transparents et décomposables, ce qui signifie qu’ils peuvent être examinés et décomposés en dimensions individuelles sans perdre ce qui a été appris.

Une fois construits, les modèles peuvent être déployés via EVA sur n’importe quel type de plateforme, allant du matériel intégré personnalisé à l’informatique en nuage. EVA (et le logiciel hôte intégré) contiennent également plusieurs outils pour étendre la fonctionnalité de chaque modèle. Quelques exemples rapides : les modèles peuvent être partagés entre les systèmes via un système de publication/abonnement, permettant aux systèmes distribués d’atteindre l’apprentissage fédéré dans le temps et l’espace. Les modèles peuvent également être déployés comme des agents autonomes pour effectuer des tâches arbitraires, et puisque le modèle est agnostique aux tâches, la tâche peut être modifiée pendant l’exécution sans réentraînement. Chaque agent individuel peut être étendu avec un EVA « virtuel » privé, permettant à l’agent de simuler des modèles d’autres agents de manière sans échelle. Enfin, nous avons créé des wrappers pour les systèmes d’apprentissage automatique profond et de renforcement (basés sur Keras) pour permettre à ces modèles de fonctionner sur la plateforme, en concert avec des systèmes Engram plus flexibles.

Vous avez décrit les algorithmes Quorum AI comme de la « poésie mathématique ». Qu’avez-vous voulu dire par là ?

Lorsque vous construisez un modèle, que vous modélisiez le cerveau ou que vous modélisiez des données de vente pour votre entreprise, vous commencez par prendre un inventaire de vos données, puis vous essayez des classes de modèles connues pour essayer d’approximer le système. En essence, vous créez des esquisses grossières du système pour voir ce qui ressemble le mieux. Vous ne vous attendez pas à ce que les choses correspondent parfaitement aux données, et il y a un peu d’essais et d’erreurs lorsque vous testez différentes hypothèses sur la façon dont le système fonctionne, mais avec un peu de finesse, vous pouvez capturer les données assez bien.

Lorsque j’ai modélisé la neuroplasticité dans le cerveau, j’ai commencé par l’approche habituelle consistant à cartographier tous les voies moléculaires, les états de transition et la dynamique que je pensais être importantes. Mais j’ai découvert que lorsque je réduisais le système à ses composants les plus basiques et que je les arrangeais d’une certaine manière, le modèle devenait de plus en plus précis jusqu’à ce qu’il corresponde presque parfaitement aux données. C’était comme si chaque opérateur et chaque variable dans les équations étaient exactement ce qu’ils devaient être, il n’y avait rien de superflu, et tout était essentiel pour correspondre aux données.

Lorsque j’ai connecté le modèle à des simulations plus grandes, comme le développement du système visuel ou la reconnaissance faciale, par exemple, il a pu former des modèles de connectivité très compliqués qui correspondaient à ce que nous voyons dans le cerveau. Puisque le modèle était mathématique, ces modèles cérébraux pouvaient être compris grâce à l’analyse mathématique, fournissant de nouvelles perspectives sur ce que le cerveau apprend. Depuis, nous avons résolu et simplifié les équations différentielles qui constituent le modèle, améliorant l’efficacité computationnelle de plusieurs ordres de grandeur. Ce n’est peut-être pas de la vraie poésie, mais ça en a l’air !

La plateforme d’outils Quorum AI permet aux appareils de se connecter les uns aux autres pour apprendre et partager des données sans avoir besoin de communiquer via des serveurs basés sur le cloud. Quels sont les avantages de procéder ainsi par rapport à l’utilisation du cloud ?

Nous offrons aux utilisateurs la possibilité de placer leur IA où ils le souhaitent, sans compromettre la fonctionnalité de l’IA. Le statu quo dans le développement de l’IA est que les entreprises sont généralement contraintes de compromettre la sécurité, la confidentialité ou la fonctionnalité parce que leur seule option est d’utiliser des services d’IA basés sur le cloud. Si les entreprises essaient de construire leur propre IA en interne, cela nécessite souvent beaucoup d’argent et de temps, et le retour sur investissement est rarement à la hauteur du risque. Si les entreprises veulent déployer l’IA sur des appareils qui ne sont pas connectés au cloud, le projet devient rapidement impossible. En conséquence, l’adoption de l’IA devient un fantasme.

<p Notre plateforme rend l'IA accessible et abordable, offrant aux entreprises un moyen d'explorer le développement et l'adoption de l'IA sans les surcoûts techniques ou financiers. Et de plus, notre plateforme permet aux utilisateurs de passer de la phase de développement à la phase de déploiement en une seule étape.

<p Notre plateforme s'intègre également et prolonge la durée de vie d'autres modèles « hérités » comme l'apprentissage profond ou l'apprentissage par renforcement, aidant les entreprises à réutiliser et à intégrer les systèmes existants dans de nouvelles applications. De même, puisque nos algorithmes et architectures sont uniques, nos modèles ne sont pas des boîtes noires, donc tout ce que le système apprend peut être exploré et interprété par les humains, puis étendu à d'autres domaines de l'entreprise.

Il est pensé par certains que l’intelligence artificielle distribuée (DAI) pourrait ouvrir la voie à l’intelligence artificielle générale (AGI). Êtes-vous d’accord avec cette théorie ?

Oui, et pas seulement parce que c’est le chemin que nous nous sommes tracés ! Lorsque vous regardez le cerveau, ce n’est pas un système monolithique. C’est composé de systèmes distribués distincts qui se spécialisent chacun dans une gamme étroite de fonctions cérébrales. Nous ne savons peut-être pas ce qu’un système particulier fait, mais nous savons que ses décisions dépendent considérablement du type d’informations qu’il reçoit et de la façon dont ces informations changent avec le temps. (C’est pourquoi les sujets de neurosciences comme le connectome sont si populaires.)

À mon avis, si nous voulons construire une IA qui soit flexible et qui se comporte et se performe comme le cerveau, alors il est logique de considérer des architectures distribuées comme celles que nous voyons dans le cerveau. On pourrait soutenir que les architectures d’apprentissage profond comme les réseaux multi-couches ou les CNN peuvent être trouvées dans le cerveau, et c’est vrai, mais ces architectures sont basées sur ce que nous savions sur le cerveau il y a 50 ans.

L’alternative à la DAI est de continuer à itérer sur des architectures monolithiques et inflexibles qui sont étroitement couplées à un seul espace de décision, comme celles que nous voyons dans l’apprentissage profond ou l’apprentissage par renforcement (ou toute méthode d’apprentissage supervisé, d’ailleurs). Je suggérerais que ces limitations ne sont pas seulement une question de réglage de paramètres ou d’ajout de couches ou de conditionnement de données – ces problèmes sont fondamentaux pour l’apprentissage profond et l’apprentissage par renforcement, du moins tels que nous les définissons aujourd’hui, donc de nouvelles approches sont nécessaires si nous voulons continuer à innover et à construire l’IA de demain.

Croyez-vous que l’AGI est plus susceptible d’être atteinte en utilisant la DAI que les méthodes d’apprentissage par renforcement et/ou d’apprentissage profond actuellement poursuivies par des entreprises comme OpenAI et DeepMind ?

Oui, même si d’après ce qu’ils bloguent, je soupçonne que OpenAI et DeepMind utilisent des architectures plus distribuées qu’ils ne le laissent paraître. Nous commençons à entendre davantage sur les défis de systèmes multiples comme l’apprentissage de transfert ou l’apprentissage fédéré/distribué, et par coïncidence, sur la façon dont les approches d’apprentissage profond et d’apprentissage par renforcement ne fonctionneront pas pour ces défis. Nous commençons également à entendre des pionniers comme Yoshua Bengio sur la façon dont les architectures inspirées de la biologie pourraient combler le fossé ! J’ai travaillé sur l’IA inspirée de la biologie pendant presque 20 ans, donc je me sens très bien à l’aise avec ce que nous avons appris chez Quorum AI et avec la façon dont nous l’utilisons pour construire ce que nous croyons être la prochaine génération d’IA qui surmontera ces limitations.

Y a-t-il autre chose que vous aimeriez partager sur Quorum AI ?

Nous allons prévisualiser notre nouvelle plateforme pour l’IA distribuée et basée sur des agents au Conférence de machine learning fédérée et distribuée en juin 2020. Lors de la conférence, je prévois de présenter des données récentes sur plusieurs sujets, notamment l’analyse des sentiments en tant que pont vers l’IA empathique.

Je tiens à remercier spécialement Noah pour ces réponses incroyables, et je vous recommande de visiter le Quorum pour en savoir plus.