Entretiens
Yubei Chen, Co-Fondateur d’Aizip Inc – Série d’entretiens
Yubei Chen est co-fondateur d’Aizip inc., une entreprise qui crée les plus petits et les plus efficaces modèles d’IA au monde. Il est également professeur adjoint au département d’électrotechnique et d’informatique de l’Université de Californie, Davis. Les recherches de Chen se situent à l’intersection de la neurosciences computationnelles et de l’apprentissage auto-supervisé (self-supervised), améliorant notre compréhension des principes computationnels qui régissent l’apprentissage de représentations non supervisées dans les cerveaux et les machines, et réinventant nos connaissances sur les statistiques des signaux naturels.
Avant de rejoindre UC Davis, Chen a effectué ses études postdoctorales avec le professeur Yann LeCun au NYU Center for Data Science (CDS) et Meta Fundamental AI Research (FAIR). Il a obtenu son doctorat au Redwood Center for Theoretical Neuroscience et Berkeley AI Research (BAIR), UC Berkeley, sous la direction du professeur Bruno Olshausen.
Aizip développe des solutions d’IA ultra-efficaces optimisées pour les appareils de bord, offrant des modèles compacts pour les applications de vision, audio, série temporelle, langage et fusion de capteurs. Ses produits permettent des tâches telles que la reconnaissance de visages et d’objets, la détection de mots clés, l’analyse ECG/EEG et les chatbots sur appareil, le tout alimenté par TinyML. Grâce à sa plate-forme d’usine d’IA, Aizipline, l’entreprise accélère le développement de modèles en utilisant des modèles de base et des modèles génératifs pour pousser vers une automatisation complète de la conception d’IA. La série de petits modèles de langage (300M-2B paramètres) d’Aizip, appelée Gizmo, prend en charge une large gamme d’appareils, apportant des capacités intelligentes au bord.
Vous avez effectué vos études postdoctorales avec Yann LeCun à NYU et Meta FAIR. Comment votre travail avec lui et vos recherches à UC Berkeley ont-ils façonné votre approche de construction de solutions d’IA pour le monde réel ?
À Berkeley, mon travail était profondément enraciné dans la recherche scientifique et la rigueur mathématique. Mes recherches de doctorat, qui combinaient l’électrotechnique, l’informatique et la neurosciences computationnelles, se sont concentrées sur la compréhension des systèmes d’IA d’un point de vue “white-box”, ou sur le développement de méthodes pour révéler les structures sous-jacentes des données et des modèles d’apprentissage. J’ai travaillé sur la construction de modèles d’IA interprétables et à haute performance, ainsi que sur des techniques de visualisation qui ont aidé à ouvrir les systèmes d’IA noirs.
À Meta FAIR, l’accent a été mis sur l’ingénierie des systèmes d’IA pour atteindre des performances de pointe à grande échelle. Avec l’accès à des ressources computationnelles de classe mondiale, j’ai exploré les limites de l’apprentissage auto-supervisé et contribué à ce que nous appelons maintenant des “modèles de monde” – des systèmes d’IA qui apprennent à partir de données et imaginent des environnements possibles. Cette double expérience – compréhension scientifique à Berkeley et mise à l’échelle de l’ingénierie à Meta – m’a donné une perspective complète sur le développement d’IA. Elle a mis en évidence l’importance que la compréhension théorique et la mise en œuvre pratique ont lors du développement de solutions d’IA pour des applications réelles.
Votre travail combine la neurosciences computationnelles et l’IA. Comment les connaissances issues de la neurosciences influencent-elles la façon dont vous développez les modèles d’IA ?
Dans les neurosciences computationnelles, nous étudions la façon dont le cerveau traite l’information en mesurant ses réponses à divers stimuli, tout comme nous testons les modèles d’IA pour comprendre leurs mécanismes internes. Tôt dans ma carrière, j’ai développé des techniques de visualisation pour analyser les embeddings de mots – en décomposant des mots comme “pomme” en leurs éléments sémantiques constitutifs, tels que “fruit” et “technologie”. Plus tard, cette approche s’est étendue à des modèles d’IA plus complexes, comme les transformateurs et les grands modèles de langage, ce qui a aidé à révéler comment ils traitent et stockent les connaissances.
Ces méthodes sont en fait parallèles aux techniques utilisées en neurosciences, telles que l’utilisation d’électrodes ou de l’imagerie par résonance magnétique fonctionnelle (IRMf) pour étudier l’activité cérébrale. Sonder les représentations internes d’un modèle d’IA nous permet de comprendre ses stratégies de raisonnement et de détecter les propriétés émergentes, comme les neurones de concept qui s’activent pour des idées spécifiques (comme la fonctionnalité du Golden Gate Bridge que Anthropic a trouvé lors de la cartographie de Claude). Cette ligne de recherche est maintenant largement adoptée dans l’industrie car elle s’est avérée permettre à la fois l’interprétabilité et les interventions pratiques, en éliminant les biais des modèles. Ainsi, les approches inspirées de la neurosciences nous aident à rendre l’IA plus explicite, fiable et efficace.
Qu’est-ce qui vous a inspiré pour co-fonder Aizip ? Pouvez-vous partager le parcours de la conception à la sortie de l’entreprise ?
En tant que chercheur fondamental en IA, la majeure partie de mon travail était théorique, mais je voulais combler le fossé entre la recherche et les applications réelles. J’ai co-fondé Aizip pour apporter les innovations d’IA de pointe dans des utilisations pratiques, en particulier dans des environnements à ressources limitées. Au lieu de construire de grands modèles de base, nous nous sommes concentrés sur le développement des plus petits et des plus efficaces modèles d’IA qui seraient optimisés pour les appareils de bord.
Le parcours a commencé avec une observation clé : alors que les progrès de l’IA étaient en train de s’accélérer rapidement, les applications réelles nécessitaient souvent des modèles légers et très efficaces. Nous avons vu une opportunité de pionnier une nouvelle direction qui équilibre la rigueur scientifique et la mise en œuvre pratique. En exploitant les connaissances issues de l’apprentissage auto-supervisé et des architectures de modèles compacts, Aizip a pu livrer des solutions d’IA qui fonctionnent efficacement au bord et ouvrent de nouvelles possibilités pour l’IA dans les systèmes intégrés, l’Internet des objets (IoT) et au-delà.
Aizip se spécialise dans les petits modèles d’IA pour les appareils de bord. Quel est le fossé du marché que vous avez vu qui a conduit à cette focalisation ?
L’industrie de l’IA s’est largement concentrée sur la mise à l’échelle des modèles, mais les applications réelles nécessitent souvent le contraire – une grande efficacité, une faible consommation d’énergie et une latence minimale. De nombreux modèles d’IA d’aujourd’hui sont trop coûteux en termes de calcul pour être déployés sur de petits appareils intégrés. Nous avons vu un fossé dans le marché pour des solutions d’IA qui pourraient offrir de solides performances tout en fonctionnant dans des contraintes de ressources extrêmes.
Nous avons reconnu qu’il n’est pas nécessaire que chaque application d’IA s’exécute sur des modèles massifs, et qu’il ne serait pas non plus évolutif de compter sur des modèles de cette taille pour tout. Au lieu de cela, nous nous concentrons sur l’optimisation des algorithmes pour atteindre une efficacité maximale tout en maintenant la précision. En concevant des modèles d’IA adaptés aux applications de bord – que ce soit dans les capteurs intelligents, les accessoires ou l’automatisation industrielle – nous permettons à l’IA de fonctionner dans des endroits où les modèles traditionnels seraient impraticables. Notre approche rend l’IA plus accessible, plus évolutivité et plus économe en énergie, débloquant de nouvelles possibilités d’innovation d’IA au-delà du cloud.
Aizip est à la pointe du développement de petits modèles de langage (SLM). Comment voyez-vous les SLM en compétition ou en complémentarité avec les plus grands modèles comme GPT-4 ?
Les SLM et les plus grands modèles comme GPT-4 ne sont pas nécessairement en concurrence directe car ils répondent à des besoins différents. Les plus grands modèles sont puissants en termes de généralisation et de raisonnement profond, mais nécessitent des ressources computationnelles substantielles. Les SLM sont conçus pour l’efficacité et le déploiement sur des appareils de bord à faible puissance. Ils complètent les grands modèles en permettant des capacités d’IA dans des applications réelles où la puissance de calcul, la latence et les contraintes de coût sont importantes – comme dans les appareils IoT, les accessoires et l’automatisation industrielle. À mesure que l’adoption de l’IA augmente, nous voyons une approche hybride émerger, où les grands modèles basés sur le cloud gèrent des requêtes complexes tandis que les SLM fournissent une intelligence en temps réel et localisée au bord.
Quels sont les plus grands défis techniques pour rendre les modèles d’IA suffisamment efficaces pour les appareils de bord à faible puissance ?
L’un des défis fondamentaux est le manque d’une compréhension théorique complète de la façon dont les modèles d’IA fonctionnent. Sans une base théorique claire, les efforts d’optimisation sont souvent empiriques, limitant les gains d’efficacité. De plus, l’apprentissage humain se produit de diverses manières que les paradigmes d’apprentissage automatique actuels ne capturent pas entièrement, ce qui rend difficile la conception de modèles qui imitent l’efficacité humaine.
D’un point de vue ingénierie, pousser l’IA pour qu’elle fonctionne dans des contraintes extrêmes nécessite des solutions innovantes en termes de compression de modèles, de quantification et de conception d’architecture. Un autre défi est de créer des modèles d’IA qui peuvent s’adapter à une variété d’appareils et d’environnements tout en maintenant la robustesse. À mesure que l’IA interagit de plus en plus avec le monde physique à travers l’IoT et les capteurs, le besoin d’interfaces naturelles et efficaces – telles que la voix, les gestes et d’autres entrées non traditionnelles – devient critique. L’IA au bord est à propos de la redéfinition de la façon dont les utilisateurs interagissent avec le monde numérique de manière fluide.
Pouvez-vous partager certains détails sur le travail d’Aizip avec des entreprises comme Softbank ?
Nous avons récemment collaboré avec SoftBank sur un projet d’aquaculture qui a remporté un prix d’innovation CES – un prix dont nous sommes particulièrement fiers. Nous avons développé un modèle d’IA efficace et basé sur le bord pour une application de comptage de poissons qui peut être utilisée par les exploitants d’aquaculture pour les fermes de poissons. Cette solution répond à un défi crucial dans l’aquaculture qui peut créer des problèmes de durabilité, de gaspillage alimentaire et de rentabilité. L’industrie a été lente à adopter l’IA comme solution en raison de la fiabilité de l’alimentation et de la connectivité en mer, ce qui rend les solutions d’IA basées sur le cloud impraticables.
Pour résoudre ce problème, nous avons développé une solution basée sur l’appareil. Nous avons combiné les simulations graphiques informatiques de SoftBank pour les données de formation avec nos modèles d’IA compacts et créé un système très précis qui fonctionne sur les smartphones. Dans les tests de terrain sous-marins, il a atteint un taux de reconnaissance de 95 %, améliorant considérablement la précision du comptage des poissons. Cela a permis aux agriculteurs d’optimiser les conditions de stockage, de déterminer si les poissons devaient être transportés vivants ou congelés et de détecter les maladies ou problèmes de santé potentiels chez les poissons.
Cette percée améliore l’efficacité, réduit les coûts et diminue la dépendance à la main-d’œuvre manuelle. Plus largement, cela montre comment l’IA peut avoir un impact tangible sur les problèmes réels du monde.
Aizip a introduit le concept d'”usine d’IA nanométrique”. Pouvez-vous expliquer ce que cela signifie et comment cela automatise le développement de modèles d’IA ?
L’usine d’IA nanométrique est notre pipeline d’automatisation de conception d’IA interne, inspiré de l’automatisation de la conception électronique (EDA) dans la fabrication de semi-conducteurs. Les premiers développements dans tout domaine émergent impliquent beaucoup d’efforts manuels, donc l’automatisation devient clé pour accélérer les progrès et mettre à l’échelle les solutions à mesure que le domaine mûrit.
Au lieu d’utiliser simplement l’IA pour accélérer d’autres industries, nous nous sommes demandé : peut-on utiliser l’IA pour accélérer son propre développement ? L’usine d’IA nanométrique automatise chaque étape du développement de modèles d’IA, de la préparation des données à la conception d’architecture, à la sélection de modèles, à la formation, à la quantification, au déploiement et au débogage. En exploitant l’IA pour optimiser l’IA elle-même, nous avons pu réduire le temps de développement de nouveaux modèles d’un facteur moyen de 10. Dans certains cas, de plus de 1 000 fois. Cela signifie qu’un modèle qui prenait auparavant plus d’un an à développer peut maintenant être créé en quelques heures.
Un autre avantage est que cette automatisation garantit également que les solutions d’IA sont viables sur le plan économique pour une large gamme d’applications, rendant le déploiement d’IA réel plus accessible et évolutif.
Comment voyez-vous le rôle de l’IA de bord évoluer dans les cinq prochaines années ?
L’IA de bord promet de transformer la façon dont nous interagissons avec la technologie, à l’instar de la façon dont les smartphones ont révolutionné l’accès à Internet. La plupart des applications d’IA d’aujourd’hui sont basées sur le cloud, mais cela commence à changer à mesure que l’IA se rapproche des capteurs et des appareils qui interagissent avec le monde physique. Ce déplacement met l’accent sur un besoin critique de traitement efficace et en temps réel au bord.
Dans les cinq prochaines années, nous nous attendons à ce que l’IA de bord permette des interactions homme-ordinateur plus naturelles, telles que la reconnaissance vocale et gestuelle et d’autres interfaces intuitives, qui élimineront la dépendance à l’égard des barrières traditionnelles comme les claviers et les écrans tactiles. L’IA devrait également devenir plus intégrée dans les environnements quotidiens, tels que les foyers intelligents ou l’automatisation industrielle, pour permettre une prise de décision en temps réel avec une latence minimale.
Une autre tendance clé sera l’autonomie croissante des systèmes d’IA de bord. Les modèles d’IA deviendront plus auto-optimisés et adaptables grâce aux progrès de l’automatisation de type usine d’IA nanométrique, ils réduiront donc le besoin d’intervention humaine dans le déploiement et la maintenance. Cela ouvrira de nouvelles opportunités dans diverses industries, telles que les soins de santé, l’automobile et l’agriculture.
Quels sont les appareils alimentés par l’IA que vous attendez avec impatience de voir Aizip sortir ?
Nous travaillons à étendre les cas d’utilisation de nos modèles dans de nouvelles industries, et l’une de celles qui nous passionne particulièrement est un agent d’IA pour le secteur automobile. Il y a une dynamique croissante, en particulier parmi les constructeurs automobiles chinois, pour développer des assistants vocaux alimentés par des modèles de langage qui ressemblent plus à ChatGPT à l’intérieur de l’habitacle. Le défi est que la plupart des assistants actuels dépendent encore du cloud, en particulier pour des dialogues naturels et flexibles. Seules les tâches de commande et de contrôle de base (comme “allumez la climatisation” ou “ouvrir le coffre”) fonctionnent généralement en local sur le véhicule, et la nature rigide de ces commandes peut devenir une distraction pour les conducteurs s’ils ne les ont pas mémorisées avec une précision totale.
Nous avons développé une série d’agents d’IA ultra-efficaces et alimentés par des petits modèles de langage (SLM) appelés Gizmo, qui sont actuellement utilisés dans diverses applications pour différentes industries, et nous travaillons à les déployer en tant qu'”co-pilotes” dans les véhicules. Gizmo est formé pour comprendre l’intention de manière plus nuancée, et lorsqu’il sert d’agent d’IA pour un véhicule, il pourrait exécuter des commandes par le biais d’un langage conversationnel et libre. Par exemple, l’agent pourrait ajuster la température de l’habitacle si un conducteur disait simplement “J’ai froid”, ou répondre à une invite comme “Je conduis à Boston demain, qu’est-ce que je devrais porter ?” en vérifiant la météo et en offrant une suggestion.
Puisqu’ils fonctionnent en local et ne dépendent pas du cloud, ces agents continuent de fonctionner dans les zones mortes ou les zones à connectivité faible, comme les tunnels, les montagnes ou les routes rurales. Ils améliorent également la sécurité en offrant aux conducteurs un contrôle vocal complet sans détourner leur attention de la route. Et, sur une note légère et distincte, je voulais mentionner que nous sommes également actuellement en train de mettre en production un modèle de karaoké alimenté par l’IA pour les véhicules et les haut-parleurs Bluetooth, qui fonctionne en local comme le co-pilote. Fondamentalement, il prend n’importe quel signal audio et supprime les voix humaines, ce qui permet de créer une version karaoké de n’importe quelle chanson en temps réel. Donc, en plus d’aider les clients à gérer plus en toute sécurité les commandes dans la voiture, nous recherchons également des moyens de rendre l’expérience plus amusante.
Ces types de solutions, celles qui font une différence significative dans la vie quotidienne des gens, sont celles dont nous sommes les plus fiers.
Aizip développe des solutions d’IA ultra-efficaces optimisées pour les appareils de bord, offrant des modèles compacts pour les applications de vision, audio, série temporelle, langage et fusion de capteurs. Ses produits permettent des tâches telles que la reconnaissance de visages et d’objets, la détection de mots clés, l’analyse ECG/EEG et les chatbots sur appareil, le tout alimenté par TinyML. Grâce à sa plate-forme d’usine d’IA, Aizipline, l’entreprise accélère le développement de modèles en utilisant des modèles de base et des modèles génératifs pour pousser vers une automatisation complète de la conception d’IA. La série de petits modèles de langage (300M-2B paramètres) d’Aizip, appelée Gizmo, prend en charge une large gamme d’appareils, apportant des capacités intelligentes au bord.
Merci pour cette grande interview, les lecteurs qui souhaitent en savoir plus devraient visiter Aizip.
