Bing Xu, fondateur et PDG d’INT21 – Série d’interviews

Bing Xu, fondateur et PDG d’INT21, est un ingénieur en infrastructure IA et entrepreneur doté d’une vaste expérience couvrant l’optimisation GPU, les systèmes d’apprentissage automatique et les agents IA autonomes. Avant de fonder INT21 en 2026, Xu était Distinguished Engineer chez NVIDIA, où il travaillait sur le développement logiciel piloté par des agents et a créé plusieurs générations d’agents de codage, y compris les travaux derrière VibeTensor et AVO. Il a rejoint NVIDIA après son acquisition de HippoML, la startup d’inférence GPU qu’il a fondée et dirigée en tant que PDG. Auparavant, Xu a occupé le poste de Senior Staff Software Engineer chez Meta, où il a créé AITemplate et contribué à améliorer l’efficacité de l’inférence GPU sur les charges de travail de production, et a occupé des fonctions d’ingénierie et de recherche chez OctoML, Facebook AI, Apple et Turi. Sa carrière s’est constamment concentrée sur l’amélioration des logiciels et de l’infrastructure sous‑jacent aux systèmes IA modernes.

INT21 construit une infrastructure IA auto‑améliorante conçue pour exploiter des essaims d’agents autonomes afin de développer, tester, benchmarker et optimiser en continu le logiciel qui alimente les charges de travail IA. Son focus actuel est le Inference Engine Factory, qui utilise des agents spécialisés pour explorer en parallèle des stratégies d’optimisation et créer des moteurs d’inférence complets couvrant les kernels CUDA et PTX, les pilotes et l’infrastructure de service, avec des performances validées directement sur le matériel cible. La technologie de l’entreprise repose sur SwarmOS, une plateforme cloud‑native qui permet à un grand nombre d’agents de se coordonner autour d’objectifs d’ingénierie mesurables tout en conservant les preuves et les leçons entre les générations. INT21 a d’abord démontré cette approche via son PTX Kernel Factory, qui a produit et benchmarké des kernels GPU sur le matériel NVIDIA Hopper et Blackwell ; l’entreprise a depuis réorienté ses ressources de calcul vers l’optimisation de moteurs d’inférence complets.

Vous avez fondé INT21 après avoir constamment rencontré la difficulté de recruter rapidement des ingénieurs spécialisés en infrastructure capables de construire et d’optimiser les systèmes IA. Qu’est-ce qui vous a convaincu que la solution n’était pas simplement de meilleurs outils de développement, mais des essaims d’agents autonomes et auto‑améliorants capables de prendre en charge ce travail eux‑mêmes ?

C’est un problème bien connu que la demande de talents spécialisés en infrastructure IA, à travers différentes spécialités, dépasse largement l’offre, et c’est un défi que j’ai vécu personnellement. C’est ce qui m’a poussé à envisager les essaims d’agents auto‑améliorants comme une option. Au cours des dernières années, j’ai travaillé sur des solutions IA auto‑améliorantes, et la technologie progresse aujourd’hui à un rythme tel que ces systèmes sont désormais réellement capables de construire, d’exécuter et d’optimiser l’infrastructure de façon autonome.

La philosophie centrale d’INT21 est que, à l’instar des humains, les agents deviennent plus intelligents grâce à la connaissance accumulée. Cela diffère fondamentalement des outils de développement traditionnels, qui restent limités par le nombre d’heures qu’une personne peut travailler et les problèmes qu’elle peut résoudre physiquement. Utiliser des essaims d’agents auto‑améliorants signifie que nous sommes plus rapides, plus précis et plus efficaces à chaque cycle de production. Parce que nos agents sont capables et ne sont pas contraints par les cadres existants, nous pouvons concevoir des solutions directement à la base pour chaque charge de travail spécifique.

Avant INT21, vous avez fondé HippoML, qui a été acquis par NVIDIA seulement 14 mois après son lancement, et vous êtes ensuite devenu Distinguished Engineer chez NVIDIA. Quelles leçons ces expériences vous ont‑elles apportées sur les goulets d’étranglement de l’infrastructure IA qui ont finalement façonné l’architecture et la mission d’INT21 ?

Chez HippoML, nous nous spécialisions dans l’inférence IA générative haute performance, en construisant des outils d’optimisation logicielle pour exécuter les grands modèles de langage plus rapidement et plus efficacement. Nous avons réalisé que nous ne pouvions pas évoluer sans compter sur des contractuels talentueux d’Europe de l’Est et d’ailleurs, simplement pour suivre le rythme de la demande d’optimisation d’inférence IA.

Après que NVIDIA nous a acquis, j’ai commencé à développer une approche de développement basée sur des agents au sein de l’entreprise. Nous published research prouvant que le harnais (la couche d’infrastructure autour d’un modèle) est ce qui détermine réellement les performances d’un agent, et non le modèle lui‑même. Cela a montré que le vrai goulet d’étranglement de l’infrastructure IA n’est pas de trouver de meilleurs modèles, mais d’optimiser les systèmes qui les exécutent.

À mesure que les modèles s’améliorent, l’infrastructure qui les entoure doit évoluer en conséquence. Mais les cycles d’optimisation pilotés par l’homme peinent à suivre. Vous optimisez une boucle d’entraînement pour une architecture de modèle, vous la déployez, puis si l’architecture du modèle change ou qu’une nouvelle génération de GPU apparaît, vous devez repartir de zéro. Aujourd’hui, il semble y avoir une mise à jour de modèle chaque semaine ; cette approche ancienne est insoutenable. Cette prise de conscience m’a convaincu que la prochaine percée réside dans l’infrastructure auto‑améliorante, ce qui m’a conduit à fonder INT21.

INT21 décrit son approche comme une « infrastructure auto‑améliorante », ce qui diffère nettement de l’auto‑amélioration récursive où les chercheurs tentent de rendre le modèle IA sous‑jacent plus performant. Comment fonctionne votre approche, et pourquoi pensez‑vous que l’amélioration des systèmes entourant les modèles existants peut apporter des gains significatifs beaucoup plus tôt ?

L’approche d’auto‑amélioration récursive se concentre sur la formation de modèles propriétaires, la constitution d’équipes de recherche et la levée de capitaux massifs. C’est un parcours de plusieurs décennies, coûteux, car il s’agit de demander au modèle de raisonner sur son propre processus d’entraînement.

Notre approche est différente. Chez INT21, nous ne cherchons pas à améliorer les modèles de pointe eux‑mêmes, ce qui prendrait des années et des milliards de dollars. Nous construisons plutôt des essaims d’agents qui optimisent le harnais, la couche d’infrastructure qui se situe entre le modèle et les performances. C’est ce que mes recherches chez Nvidia ont démontré : c’est le harnais, et non le modèle, qui détermine les performances de l’agent sur des tâches complexes. Un agent n’a pas besoin de comprendre les capacités du modèle de pointe pour obtenir un gain d’efficacité de 10 %. Il suffit qu’il explore l’espace de conception, mesure, valide et conserve ce qui fonctionne.

Une façon de concevoir les deux approches est que l’une consiste à construire une centrale électrique tandis que l’autre utilise l’électricité déjà existante. Nous pouvons ainsi avancer plus rapidement et répondre à une demande réelle et immédiate. Et cela signifie que nous observons déjà aujourd’hui des gains significatifs et mesurables grâce à l’infrastructure auto‑améliorante.

INT21 a récemment lancé l’Inference Engine Factory, étendant le concept au-delà des kernels GPU individuels vers des moteurs d’inférence complets. Que signifie concrètement pour un essaim d’agents de construire et d’optimiser de façon autonome un moteur d’inférence, et quelles parties de ce processus ont traditionnellement nécessité l’expertise humaine la plus spécialisée ?

Un moteur d’inférence est le logiciel qui exécute un modèle sur du matériel. C’est un système complexe qui prend simultanément des dizaines de décisions de conception, comme quelles opérations s’exécutent ensemble dans un même kernel, ou comment les plannings de travail sont répartis entre les cœurs. Ces décisions sont interconnectées, de sorte que modifier l’une implique de retester tout le reste.

Traditionnellement, un ingénieur ajuste manuellement tout cela pour chaque modèle. Pour la génération de vidéo, de musique et de parole, c’est un défi car il s’agit d’architectures multistades et multiscales sans cadre prêt à l’emploi. Les essaims d’agents d’INT21 construisent l’ensemble complet, du kernel individuel jusqu’au moteur d’inférence complet. Nos piles de génération vidéo et audio ne nécessitent aucune révision de code humaine et surpassent les solutions d’inférence de pointe dans les mêmes conditions de concurrence.

Votre PTX Kernel Factory a produit des implémentations qui surpassent les références existantes jusqu’à 59 % sur certaines charges de travail. Sur le plan technique, où les agents trouvent‑ils les améliorations de performances que les implémentations humaines hautement optimisées ou les compilateurs classiques ne détectent pas ?

Notre PTX Kernel Factory a surpassé la meilleure référence disponible de jusqu’à 59 % face à KDA (Kimi Linear Attention). Cela s’explique par le fait que nos essaims d’agents auto‑améliorants peuvent explorer des milliers de variantes en une fraction du temps, un processus trop ardu et coûteux pour des ingénieurs humains.

La différence réside dans le fait que les kernels écrits par des humains reposent sur des langages spécifiques au domaine (DSL), des modèles et des compilateurs préconstruits pour les GPU. Un DSL fonctionne bien pour les schémas courants, mais lorsqu’on rencontre une nouvelle charge de travail, comme KDA, le compilateur généraliste ne parvient souvent pas à optimiser de façon optimale. Nos agents contournent entièrement ces abstractions, ce qui signifie qu’ils ne sont pas limités par les hypothèses des DSL ou des compilateurs. Cette liberté d’explorer l’ensemble de l’espace de conception sans être enfermé dans des modèles prédéfinis est à l’origine de l’amélioration.

L’infrastructure générée par l’IA crée un problème de vérification inhabituel : une optimisation n’est pas utile si elle est plus rapide mais subtilement incorrecte. Comment vos essaims d’agents testent‑ils, benchmarkent‑ils, rejettent‑ils les échecs et conservent‑ils les découvertes réussies, et à quel point cette boucle de rétroaction est‑elle cruciale pour rendre le système réellement auto‑améliorant plutôt qu’un simple agent de codage IA ?

La boucle de rétroaction est cruciale, car une optimisation ne vaut rien si elle n’est correcte que sous des hypothèses spécifiques ou uniquement pour une distribution d’entrées donnée. Chez INT21, nous veillons à ce que la boucle de rétroaction soit rigoureuse.

Nous partons du modèle, des contraintes de déploiement et de la métrique de service qui compte. Ensuite, les essaims d’agents auto‑améliorants explorent simultanément les configurations et les chemins d’optimisation, et évaluent chaque candidat selon des critères de correction et de performance. Seules les implémentations qui fonctionnent sont conservées.

Ce qui rend cela réellement auto‑améliorant, c’est que les données de validation s’améliorent elles‑mêmes. Ces données sont réinjectées dans les essaims d’agents, qui affinent ainsi leur compréhension de ce qui fonctionne, fermant continuellement la boucle de rétroaction. Sans cette rigueur, on aurait simplement un système produisant du code IA qui semble plausible, pouvant être déployé plus rapidement, mais accumulant une dette technique invisible qui érode la confiance dans ce qui est construit.

Chez NVIDIA, vous avez travaillé sur des projets tels que VibeTensor et Agentic Variation Operators, où les agents ont généré d’importantes quantités de logiciels système et ont recherché de façon autonome des optimisations GPU. Qu’est‑ce que ces projets ont révélé sur les types de problèmes d’ingénierie que les agents IA sont déjà capables de résoudre, alors que de nombreux développeurs supposent encore qu’ils nécessitent des experts humains ?

VibeTensor m’a enseigné ce que j’appelle l’« effet Frankenstein ». L’IA accomplissait correctement chaque tâche individuellement, mais lorsqu’on assemblait toutes ces pièces en un système, le résultat restait en deçà de ce que des experts humains pouvaient construire.

Le travail sur les Agentic Variation Operators était à l’inverse. Il a montré que l’IA peut surpasser les experts humains sur des problèmes très ciblés. La génération de kernels en est un bon exemple, car le problème est étroit, mesurable et possède un objectif unique.

L’« effet Frankenstein » est exactement ce que INT21 résout. Les échantillons d’ingénierie de notre Inference Engine Factory surpassent les moteurs d’inférence open‑source haute performance tels que SGLang et vLLM, car nous avons appris à structurer correctement le problème. Nous donnons aux agents des contraintes claires, des objectifs mesurables et des boucles de rétroaction serrées. Les experts humains restent essentiels, mais au lieu d’effectuer le travail d’optimisation, ils fournissent des orientations précieuses et interprètent les résultats. L’IA amplifie l’impact de l’expert en exécutant plus rapidement et de façon plus systématique que tout humain ne le peut.

INT21 utilise plusieurs agents spécialisés plutôt que de se reposer sur un seul agent avec une fenêtre de contexte de plus en plus grande. Pourquoi considérez‑vous l’orchestration multi‑agents comme une approche plus évolutive pour les problèmes d’ingénierie complexes, et comment les agents répartissent‑ils le travail, partagent‑ils les découvertes et évitent‑ils les duplications ou les conflits entre eux ?

Une fenêtre de contexte plus grande vous permet de retenir davantage d’informations à la fois, mais cela n’aide pas à résoudre des problèmes multidimensionnels où tout est interconnecté. Nous utilisons une plateforme cloud‑native pour exécuter des agents spécialisés, tous travaillant vers le même objectif mesurable. Les agents explorent en parallèle et convergent continuellement vers des solutions plus fortes.

Cela est plus évolutif pour plusieurs raisons. Premièrement, chaque agent reste concentré. Deuxièmement, on ne demande pas à un seul agent de raisonner sur tout à la fois, ce qui rend le processus plus efficace. Enfin, cela reflète la façon dont les équipes d’infrastructure fonctionnent réellement, chaque équipe possédant son domaine, mais se synchronisant lorsque les décisions affectent les autres.

Si les essaims d’agents deviennent capables d’optimiser en continu les kernels, les moteurs d’inférence, les compilateurs et les autres couches de la pile IA, comment le rôle de l’ingénieur infrastructure évoluera‑t‑il ? Pensez‑vous que ces systèmes viseront principalement à pallier la pénurie d’ingénieurs spécialisés, ou finiront par automatiser une part substantielle du développement d’infrastructure lui‑même ?

Le travail d’un ingénieur infrastructure est sur le point de changer radicalement. Il ne passera plus son temps à peaufiner le code des kernels et à régler la mémoire. À la place, il définira les objectifs, le domaine de conception, les contraintes et interprétera les résultats.

Au fil du temps, moins d’ingénieurs infrastructure seront nécessaires pour maintenir les systèmes en fonctionnement et les améliorer. Mais le travail stratégique qui restera deviendra plus précieux, pas moins. Concrètement, cela signifie que les organisations pourront exploiter une infrastructure IA complexe avec beaucoup moins d’ingénieurs spécialisés qu’aujourd’hui. C’est un enjeu majeur pour chaque entreprise qui cherche à déployer des systèmes IA en production.

Votre vision à long terme est que les essaims d’agents auto‑améliorants opèrent à travers chaque couche de l’infrastructure IA. À quoi ressemble cette pile si cette vision se réalise, et pourrons‑nous éventuellement atteindre un point où l’infrastructure IA se réécrit et s’optimise continuellement à mesure que les modèles, les charges de travail et le matériel évoluent ?

À l’heure actuelle, chaque couche de la pile IA s’optimise de façon indépendante, des kernels bas‑niveau aux frameworks fondamentaux, en passant par les interfaces. Mais elles ne se coordonnent pas entre elles. Ainsi, on peut optimiser une couche, mais risquer de casser accidentellement quelque chose en aval.

Chez INT21, la vision est que les essaims d’agents puissent se coordonner de façon autonome à travers toutes ces couches, en s’ajustant et en s’adaptant constamment. Lorsqu’un nouveau modèle apparaît, l’ensemble de la pile se réoptimise pour celui‑ci, de sorte que l’infrastructure ne prenne jamais de retard par rapport à ce qui tourne dessus.

Ce n’était pas réalisable, car les ingénieurs humains ne peuvent pas évoluer assez rapidement. Mais avec des essaims d’agents qui optimisent en continu, l’infrastructure auto‑améliorante émerge comme une catégorie informatique distincte. L’infrastructure qui peut s’adapter aussi vite que les modèles et le matériel évoluent l’emportera. Tout le reste devient une charge.

Merci pour cette excellente interview, les lecteurs qui souhaitent en savoir plus devraient visiter INT21.