Kirill Solodskih, Co-Fondateur et PDG de TheStage AI – Série d’entretiens

Kirill Solodskih, PhD, est le co-fondateur et PDG de TheStage AI, ainsi qu’un chercheur expérimenté en intelligence artificielle et entrepreneur avec plus d’une décennie d’expérience dans l’optimisation de réseaux neuronaux pour des applications commerciales réelles. En 2024, il a co-fondé TheStage AI, qui a obtenu 4,5 millions de dollars de financement pour automatiser entièrement l’accélération des réseaux neuronaux sur toutes les plateformes matérielles.

Auparavant, en tant que responsable d’équipe chez Huawei, Kirill a dirigé l’accélération des applications de caméra d’intelligence artificielle pour les NPU Qualcomm (QCOM ), contribuant ainsi aux performances des smartphones P50 et P60 et obtenant plusieurs brevets pour ses innovations. Ses recherches ont été présentées dans des conférences de premier plan telles que CVPR et ECCV , où elles ont reçu des prix et une reconnaissance de l’industrie. Il anime également un podcast sur l’optimisation et l’inférence d’intelligence artificielle.

Qu’est-ce qui vous a inspiré pour co-fonder TheStage AI, et comment êtes-vous passé de l’académie et de la recherche à la fondation d’une entreprise de optimisation d’inférence ?

Les fondements de ce qui est finalement devenu TheStage AI ont commencé avec mon travail chez Huawei, où j’étais profondément impliqué dans l’automatisation des déploiements et l’optimisation des réseaux neuronaux. Ces initiatives sont devenues la base de certaines de nos innovations révolutionnaires, et c’est là que j’ai vu le véritable défi. Former un modèle est une chose, mais le faire fonctionner efficacement dans le monde réel et le rendre accessible aux utilisateurs en est une autre. Le déploiement est le goulet d’étranglement qui retarde de nombreuses idées prometteuses. Pour rendre quelque chose d’aussi facile à utiliser que ChatGPT, il y a de nombreux défis techniques impliqués. Du point de vue technique, l’optimisation des réseaux neuronaux consiste à minimiser les paramètres tout en maintenant les performances élevées. C’est un problème mathématique difficile avec beaucoup de place pour l’innovation.

L’optimisation manuelle de l’inférence a longtemps été un goulet d’étranglement dans l’intelligence artificielle. Pouvez-vous expliquer comment TheStage AI automatise ce processus et pourquoi c’est un changement de jeu ?

TheStage AI s’attaque à un goulet d’étranglement majeur dans l’intelligence artificielle : la compression et l’accélération manuelles des réseaux neuronaux. Les réseaux neuronaux ont des milliards de paramètres, et déterminer lesquels supprimer pour améliorer les performances est presque impossible à la main. ANNA (Automated Neural Networks Analyzer) automatise ce processus, en identifiant les couches à exclure de l’optimisation, similaire à la façon dont la compression ZIP a été automatisée pour la première fois.

Cela change la donne en rendant l’adoption de l’intelligence artificielle plus rapide et plus abordable. Au lieu de s’appuyer sur des processus manuels coûteux, les startups peuvent optimiser les modèles automatiquement. La technologie donne aux entreprises une vue claire des performances et des coûts, garantissant l’efficacité et la scalabilité sans deviner.

TheStage AI affirme réduire les coûts d’inférence de jusqu’à 5 fois — qu’est-ce qui rend votre technologie d’optimisation si efficace par rapport aux méthodes traditionnelles ?

TheStage AI réduit les coûts de sortie de jusqu’à 5 fois avec une approche d’optimisation qui va au-delà des méthodes traditionnelles. Au lieu d’appliquer le même algorithme à l’ensemble du réseau neuronal, ANNA le divise en couches plus petites et décide quel algorithme appliquer à chaque partie pour livrer la compression souhaitée tout en maximisant la qualité du modèle. En combinant des heuristiques mathématiques intelligentes avec des approximations efficaces, notre approche est très scalable et facilite l’adoption de l’intelligence artificielle pour les entreprises de toutes tailles. Nous intégrons également des paramètres de compilateur flexibles pour optimiser les réseaux pour un matériel spécifique comme les iPhones ou les GPU NVIDIA. Cela nous donne plus de contrôle pour affiner les performances, augmentant la vitesse sans perdre de qualité.

Comment l’accélération d’inférence de TheStage AI se compare-t-elle au compilateur natif de PyTorch, et quels avantages offre-t-elle aux développeurs d’intelligence artificielle ?

TheStage AI accélère la sortie bien au-delà du compilateur natif de PyTorch. PyTorch utilise une méthode de compilation “juste-à-temps”, qui compile le modèle chaque fois qu’il s’exécute. Cela conduit à de longs temps de démarrage, parfois prenant des minutes ou même plus. Dans des environnements évolutifs, cela peut créer des inefficacités, en particulier lorsque de nouveaux GPU doivent être mis en ligne pour gérer la charge utilisateur accrue, causant des retards qui affectent l’expérience utilisateur.

En revanche, TheStage AI permet aux modèles d’être précompilés, de sorte qu’une fois qu’un modèle est prêt, il peut être déployé instantanément. Cela conduit à des déploiements plus rapides, à une meilleure efficacité du service et à des économies de coûts. Les développeurs peuvent déployer et mettre à l’échelle des modèles d’intelligence artificielle plus rapidement, sans les goulets d’étranglement de la compilation traditionnelle, la rendant plus efficace et plus réactive pour les cas d’utilisation à forte demande.

Pouvez-vous partager plus d’informations sur le kit d’outils QLIP de TheStage AI et sur la façon dont il améliore les performances du modèle tout en maintenant la qualité ?

QLIP, le kit d’outils de TheStage AI, est une bibliothèque Python qui fournit un ensemble essentiel de primitives pour construire rapidement de nouveaux algorithmes d’optimisation adaptés à différents matériels, comme les GPU et les NPU. Le kit d’outils comprend des composants tels que la quantification, la suppression, la spécification, la compilation et la mise en service, tous critiques pour le développement de systèmes d’intelligence artificielle efficaces et évolutifs.

Ce qui distingue QLIP, c’est sa flexibilité. Il permet aux ingénieurs en intelligence artificielle de prototyper et de mettre en œuvre de nouveaux algorithmes avec seulement quelques lignes de code. Par exemple, un article de conférence récent sur les réseaux neuronaux quantifiés peut être converti en un algorithme fonctionnel en utilisant les primitives de QLIP en quelques minutes. Cela facilite l’intégration des dernières recherches dans leurs modèles sans être freinés par des cadres rigides.

Contrairement aux cadres open source traditionnels qui vous limitent à un ensemble fixe d’algorithmes, QLIP permet à quiconque d’ajouter de nouvelles techniques d’optimisation. Cette adaptabilité aide les équipes à rester à la pointe de l’évolution rapide du paysage de l’intelligence artificielle, améliorant les performances tout en garantissant la flexibilité pour les innovations futures.

Vous avez contribué à des cadres de quantification d’intelligence artificielle utilisés dans les caméras P50 et P60 de Huawei. Comment cette expérience a-t-elle façonné votre approche de l’optimisation d’intelligence artificielle ?

Mon expérience de travail sur les cadres de quantification d’intelligence artificielle pour les caméras P50 et P60 de Huawei m’a donné des connaissances précieuses sur la façon dont l’optimisation peut être rationalisée et mise à l’échelle. Lorsque j’ai commencé avec PyTorch, travailler avec le graphique d’exécution complet des réseaux neuronaux était rigide, et les algorithmes de quantification devaient être implémentés manuellement, couche par couche. Chez Huawei, j’ai construit un cadre qui a automatisé le processus. Vous entrez simplement le modèle, et il génère automatiquement le code pour la quantification, éliminant le travail manuel.

Cela m’a conduit à réaliser que l’automatisation de l’optimisation d’intelligence artificielle est à propos de permettre la vitesse sans sacrifier la qualité. L’un des algorithmes que j’ai développés et brevetés est devenu essentiel pour Huawei, en particulier lorsqu’ils ont dû passer des processeurs Kirin aux processeurs Qualcomm en raison des sanctions. Cela a permis à l’équipe de s’adapter rapidement aux réseaux neuronaux à l’architecture Qualcomm sans perdre de performances ou de précision.

En rationalisant et en automatisant le processus, nous avons réduit le temps de développement d’une année à quelques mois. Cela a eu un impact énorme sur un produit utilisé par des millions et a façonné mon approche de l’optimisation, en mettant l’accent sur la vitesse, l’efficacité et la perte minimale de qualité. C’est l’état d’esprit que j’apporte à ANNA aujourd’hui.

Vos recherches ont été présentées à CVPR et ECCV — quels sont certains des principaux progrès dans l’efficacité de l’intelligence artificielle dont vous êtes le plus fier ?

Lorsque l’on me demande de mes réalisations dans l’efficacité de l’intelligence artificielle, je repense toujours à notre article qui a été sélectionné pour une présentation orale à CVPR 2023. Être choisi pour une présentation orale dans une telle conférence est rare, car seuls 12 articles sont sélectionnés. Cela s’ajoute au fait que l’intelligence artificielle générative domine généralement l’actualité, et notre article a adopté une approche différente, en se concentrant sur l’aspect mathématique, en particulier l’analyse et la compression des réseaux neuronaux.

Nous avons développé une méthode qui nous a aidés à comprendre combien de paramètres un réseau neuronal a vraiment besoin pour fonctionner efficacement. En appliquant des techniques d’analyse fonctionnelle et en passant d’une formulation discrète à une formulation continue, nous avons pu obtenir de bons résultats de compression tout en conservant la capacité d’intégrer ces changements dans le modèle. L’article a également introduit plusieurs algorithmes novateurs qui n’avaient pas été utilisés par la communauté et ont trouvé une application ultérieure.

C’était l’un de mes premiers articles dans le domaine de l’intelligence artificielle, et surtout, c’était le résultat de l’effort collectif de notre équipe, y compris mes co-fondateurs. C’était un jalon important pour nous tous.

Pouvez-vous expliquer comment fonctionnent les réseaux neuronaux intégraux (INN) et pourquoi ils constituent une innovation importante dans l’apprentissage profond ?

Les réseaux neuronaux traditionnels utilisent des matrices fixes, similaires à des tableaux Excel, où la taille et les paramètres sont prédéterminés. Les INN, cependant, décrivent les réseaux comme des fonctions continues, offrant beaucoup plus de flexibilité. Pensez-y comme à une couverture avec des épingles à différentes hauteurs, et cela représente l’onde continue.

Ce qui rend les INN excitants, c’est leur capacité à se “compresser” ou “étendre” dynamiquement en fonction des ressources disponibles, similaire à la façon dont un signal analogique est numérisé en son. Vous pouvez réduire le réseau sans sacrifier la qualité, et lorsque nécessaire, le réétendre sans réentraîner.

Nous avons testé cela, et tandis que les méthodes de compression traditionnelles entraînent une perte de qualité significative, les INN maintiennent une qualité proche de l’originale même sous une compression extrême. Les mathématiques derrière cela sont plus non conventionnelles pour la communauté de l’intelligence artificielle, mais la véritable valeur réside dans sa capacité à livrer des résultats pratiques solides avec un minimum d’effort.

TheStage AI a travaillé sur des algorithmes de recuit simulé quantique — comment voyez-vous l’informatique quantique jouer un rôle dans l’optimisation d’intelligence artificielle dans un avenir proche ?

Lorsqu’il s’agit de l’informatique quantique et de son rôle dans l’optimisation d’intelligence artificielle, la conclusion clé est que les systèmes quantiques offrent une approche complètement différente pour résoudre des problèmes comme l’optimisation. Même si nous n’avons pas inventé les algorithmes de recuit simulé quantique à partir de zéro, des entreprises comme D-Wave fournissent des bibliothèques Python pour construire des algorithmes quantiques spécifiquement pour les tâches d’optimisation discrète, qui sont idéales pour les ordinateurs quantiques.

L’idée ici est que nous ne chargeons pas directement un réseau neuronal dans un ordinateur quantique. Cela n’est pas possible avec l’architecture actuelle. Au lieu de cela, nous approximons la façon dont les réseaux neuronaux se comportent sous différents types de dégradation, les rendant adaptés à un système que une puce quantique peut traiter.

À l’avenir, les systèmes quantiques pourraient optimiser et mettre à l’échelle des réseaux avec une précision que les systèmes classiques ont du mal à égaler. L’avantage des systèmes quantiques réside dans leur parallélisme intégré, que les systèmes classiques ne peuvent simuler qu’en utilisant des ressources supplémentaires. Cela signifie que l’informatique quantique pourrait accélérer considérablement le processus d’optimisation, en particulier à mesure que nous apprenons à modéliser des réseaux plus grands et plus complexes de manière efficace.

Le véritable potentiel réside dans l’utilisation de l’informatique quantique pour résoudre des tâches d’optimisation massives et complexes et pour diviser les paramètres en groupes plus petits et plus gérables. Avec des technologies comme le quantique et l’informatique optique, il existe d’immenses possibilités pour optimiser l’intelligence artificielle qui vont bien au-delà de ce que l’informatique traditionnelle peut offrir.

Quelle est votre vision à long terme pour TheStage AI ? Où voyez-vous l’optimisation d’inférence allant dans les 5-10 prochaines années ?

À long terme, TheStage AI vise à devenir un Model Hub global où quiconque peut facilement accéder à un réseau neuronal optimisé avec les caractéristiques souhaitées, que ce soit pour un smartphone ou tout autre appareil. L’objectif est d’offrir une expérience de glisser-déposer, où les utilisateurs saisissent leurs paramètres et le système génère automatiquement le réseau. Si le réseau n’existe pas déjà, il sera créé automatiquement à l’aide d’ANNA.

Notre objectif est de faire fonctionner les réseaux neuronaux directement sur les appareils des utilisateurs, réduisant ainsi les coûts de 20 à 30 fois. À l’avenir, cela pourrait presque éliminer les coûts complètement, car l’appareil de l’utilisateur gérerait les calculs au lieu de s’appuyer sur des serveurs cloud. Cela, combiné aux progrès de la compression de modèle et de l’accélération matérielle, pourrait rendre le déploiement de l’intelligence artificielle beaucoup plus efficace.

Nous prévoyons également d’intégrer notre technologie avec des solutions matérielles, telles que des capteurs, des puces et des robots, pour des applications dans des domaines tels que la conduite autonome et la robotique. Par exemple, nous visons à construire des caméras d’intelligence artificielle capables de fonctionner dans n’importe quel environnement, que ce soit dans l’espace ou dans des conditions extrêmes comme l’obscurité ou la poussière. Cela rendrait l’intelligence artificielle utilisable dans une large gamme d’applications et nous permettrait de créer des solutions personnalisées pour des matériels et des cas d’utilisation spécifiques.

Merci pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter TheStage AI.