Bing Xu, oprichter en CEO van INT21 – Interviewreeks

Bing Xu, oprichter en CEO van INT21, is een AI‑infrastructuur‑engineer en ondernemer met diepgaande ervaring op het gebied van GPU‑optimalisatie, machine‑learning‑systemen en autonome AI‑agenten. Voor hij INT21 oprichtte in 2026, was Xu Distinguished Engineer bij NVIDIA, waar hij werkte aan agent‑gedreven software‑ontwikkeling en meerdere generaties codeer‑agenten creëerde, waaronder werk achter VibeTensor en AVO. Hij kwam bij NVIDIA nadat het bedrijf HippoML, de GPU‑inference‑startup die hij oprichtte en als CEO leidde, was overgenomen. Eerder was Xu Senior Staff Software Engineer bij Meta, waar hij AITemplate ontwikkelde en hielp de GPU‑inference‑efficiëntie te verbeteren voor productie‑workloads, en bekleedde hij technische en onderzoeksrollen bij OctoML, Facebook AI, Apple en Turi. Zijn loopbaan is consequent gericht op het verbeteren van de software en infrastructuur die ten grondslag liggen aan moderne AI‑systemen.

INT21 bouwt zelfverbeterende AI‑infrastructuur die autonome agentzwermen gebruikt om continu de software die AI‑workloads aandrijft te ontwikkelen, testen, benchmarken en optimaliseren. De huidige focus ligt op de Inference Engine Factory, die gespecialiseerde agenten inzet om optimalisatiestrategieën parallel te verkennen en volledige inference‑engines te bouwen die CUDA‑ en PTX‑kernels, drivers en serving‑infrastructuur omvatten, met prestaties die direct op de doelh hardware worden gevalideerd. De technologie van het bedrijf is gebouwd op SwarmOS, een cloud‑native platform dat een groot aantal agenten laat coördineren rond meetbare technische doelstellingen, terwijl bewijs en lessen tussen generaties worden bewaard. INT21 toonde dit concept aanvankelijk aan met de PTX Kernel Factory, die GPU‑kernels produceerde en benchmarkte op NVIDIA Hopper‑ en Blackwell‑hardware; sindsdien heeft het bedrijf zijn rekenmiddelen verlegd naar het optimaliseren van volledige inference‑engines.

U hebt INT21 opgericht nadat u herhaaldelijk de moeilijkheid ondervond om gespecialiseerde infrastructuur‑engineers snel genoeg aan te nemen om AI‑systemen te bouwen en te optimaliseren. Wat overtuigde u ervan dat de oplossing niet simpelweg betere ontwikkelaarstools waren, maar autonome, zelfverbeterende agentzwermen die dit werk zelf kunnen uitvoeren?

Het is een bekend probleem dat de vraag naar talent op het gebied van AI‑infrastructuur, over verschillende specialisaties heen, de aanbod ver overtreft, en ik heb dit zelf ervaren. Dat motiveerde mij om zelfverbeterende agentzwermen als optie te onderzoeken. De afgelopen jaren heb ik gewerkt aan zelfverbeterende AI‑oplossingen, en de technologie beweegt zich nu zo snel dat deze systemen daadwerkelijk in staat zijn om infrastructuur autonoom te bouwen, uit te voeren en te optimaliseren.

De kernfilosofie van INT21 is dat, net als mensen, agenten slimmer worden door opeengehoopt kennis. Dit verschilt fundamenteel van legacy‑ontwikkelaarstools, die nog steeds beperkt worden door hoeveel uren iemand kan werken en welke problemen hij fysiek kan oplossen. Met zelfverbeterende agentzwermen worden we bij elke productiecircuit sneller, nauwkeuriger en efficiënter. Omdat onze agenten capabel zijn en niet beperkt worden door bestaande frameworks, kunnen we oplossingen direct vanaf de basis bouwen voor elke specifieke workload.

Voor INT21 richtte u HippoML op, dat 14 maanden na de lancering door NVIDIA werd overgenomen, en later werd u Distinguished Engineer bij NVIDIA. Welke lessen leerde u uit die ervaringen over de knelpunten in AI‑infrastructuur die uiteindelijk de architectuur en missie van INT21 vormgaven?

Bij HippoML specialiseerden we ons in high‑performance generatieve AI‑inference, en bouwden we software‑optimalisatietools om grote taalmodellen sneller en efficiënter te laten draaien. We realiseerden ons dat we niet konden opschalen zonder te vertrouwen op getalenteerde contractanten uit Oost‑Europa en andere regio’s, alleen om het tempo van AI‑inference‑optimalisatie bij te houden.

Nadat NVIDIA ons had overgenomen, begon ik binnen het bedrijf een agent‑gebaseerde ontwikkelingsaanpak te bouwen. We publiceerden onderzoek waaruit bleek dat de harness (de infrastructuurlaag rond een model) daadwerkelijk de agent‑prestaties bepaalt, niet het model zelf. Dat leverde bewijs dat de echte bottleneck in AI‑infrastructuur niet beter model‑onderzoek is, maar het optimaliseren van de systemen die ze draaien.

Naarmate modellen verbeteren, moet de infrastructuur eromheen evenredig opschalen. Menselijke optimalisatie‑cycli kunnen dat tempo echter niet bijhouden. Je optimaliseert een trainingslus voor één modelarchitectuur, implementeert die, en als de architectuur verandert of er een nieuwe GPU‑generatie verschijnt, moet je opnieuw beginnen. Tegenwoordig lijkt er wekelijks een nieuwe modelupdate te verschijnen; deze oude aanpak is onhoudbaar. Die realisatie overtuigde mij dat de volgende doorbraak ligt in zelfverbeterende infrastructuur, wat mij ertoe bracht INT21 op te richten.

INT21 omschrijft haar aanpak als “self‑improving infrastructure”, wat sterk verschilt van recursive self‑improvement waarbij onderzoekers proberen het onderliggende AI‑model zelf capabeler te maken. Hoe werkt uw aanpak, en waarom gelooft u dat het verbeteren van de systemen rond bestaande modellen veel sneller betekenisvolle winst kan opleveren?

De recursive self‑improvement‑aanpak richt zich op het trainen van propriëtaire modellen, het samenstellen van onderzoeksteams en het aantrekken van enorme kapitaalstromen. Het is een traject van jaren en hoge kosten, omdat je het model vraagt om na te denken over zijn eigen trainingsproces.

Onze aanpak is anders. Bij INT21 proberen we de frontier‑modellen zelf niet te verbeteren, wat jaren en miljarden aan kapitaal zou kosten. In plaats daarvan bouwen we agentzwermen die de harness optimaliseren, de infrastructuurlaag die tussen het model en de prestaties zit. Dat is wat mijn onderzoek bij Nvidia aantoonde: dat de harness, niet het model, de agent‑prestaties op complexe taken bepaalt. Een agent hoeft de mogelijkheden van een frontier‑model niet te begrijpen om een efficiëntiewinst van 10 % te vinden. Hij hoeft alleen de ontwerpruimte te verkennen, te meten, te valideren en wat werkt te behouden.

Een manier om de twee benaderingen te vergelijken is: de ene bouwt een energiecentrale, de andere maakt gebruik van reeds bestaande elektriciteit. We kunnen sneller bewegen en inspelen op directe, reële vraag. En we zien vandaag al significante, meetbare winsten in zelfverbeterende infrastructuur.

INT21 lanceerde recentelijk de Inference Engine Factory, waarmee het concept wordt uitgebreid van individuele GPU‑kernels naar volledige inference‑engines. Wat betekent het concreet dat een agentzwerm autonoom een inference‑engine bouwt en optimaliseert, en welke onderdelen van dat proces vereisten traditioneel de meest gespecialiseerde menselijke expertise?

Een inference‑engine is de software die een model op hardware uitvoert. Het is een complex systeem dat in één keer tientallen ontwerpbeslissingen moet nemen, zoals welke bewerkingen samen in één kernel draaien, of hoe werkroosters over cores worden verdeeld. Deze beslissingen zijn onderling afhankelijk, dus als je er één wijzigt, moet je alles opnieuw testen.

Traditioneel stemt een engineer al deze zaken handmatig af voor elk model. Voor video‑, muziek‑ en spraakgeneratie is dat een uitdaging omdat het multistage, multiscale architecturen betreft zonder kant‑en‑klare frameworks. De agentzwermen van INT21 bouwen de volledige stack end‑to‑end, van individuele kernels tot de volledige inference‑engine. Onze video‑ en audio‑generatiestacks vereisen geen menselijke code‑review en overtreffen state‑of‑the‑art inference‑oplossingen onder dezelfde gelijktijdigheidsinstellingen.

Uw PTX Kernel Factory heeft implementaties opgeleverd die bestaande baselines op bepaalde workloads tot wel 59 % overtreffen. Op technisch niveau, waar vinden de agenten prestatieverbeteringen die sterk geoptimaliseerde, door mensen geschreven implementaties of conventionele compilers missen?

Onze PTX Kernel Factory presteerde tot 59 % beter dan de best beschikbare baseline tegen KDA (Kimi Linear Attention). Dit komt doordat onze zelfverbeterende agentzwermen in staat zijn om duizenden variaties te genereren in een fractie van de tijd – een proces dat voor menselijke engineers te arbeidsintensief en duur is.

Het verschil is dat door mensen geschreven kernels afhankelijk zijn van domeinspecifieke talen (DSL’s), templates en compilers die vooraf voor GPU’s zijn gebouwd. Een DSL werkt goed voor gangbare patronen, maar bij een nieuwe workload zoals KDA kan de algemene compiler vaak niet optimaal presteren. Onze agenten omzeilen die abstracties volledig, waardoor ze niet beperkt worden door DSL‑ of compiler‑aannames. Die vrijheid om de volledige ontwerpruimte te verkennen zonder vast te zitten aan vooraf gedefinieerde patronen is de bron van de verbetering.

AI‑gegenereerde infrastructuur creëert een ongewoon verificatie‑probleem: een optimalisatie is niet bruikbaar als deze sneller is maar subtiel onjuist. Hoe testen, benchmarken en verwerpen uw agentzwermen falende resultaten, en hoe belangrijk is die feedback‑lus om het systeem echt zelfverbeterend te maken in plaats van slechts een AI‑code‑agent?

De feedback‑lus is cruciaal, want een optimalisatie is waardeloos als deze alleen correct is onder specifieke aannames of alleen voor een bepaalde invoerverdeling. Bij INT21 zorgen we ervoor dat de feedback‑lus streng is.

We beginnen bij het model, de implementatie‑beperkingen en de service‑metric die er toe doet. Vervolgens verkennen de zelfverbeterende agentzwermen configuratie‑ en optimalisatiepaden gelijktijdig, en evalueren ze elke kandidaat op juistheid en prestatie‑doelstellingen. Alleen implementaties die werken, worden bewaard.

Wat dit echt zelfverbeterend maakt, is dat de validatiedata zelf verbetert. Die data stroomt terug naar de agentzwermen, zodat ze hun begrip van wat werkt verfijnen en de feedback‑lus continu sluiten. Zonder die strengheid zou je alleen een systeem hebben met plausibel ogende, AI‑gegenereerde code die sneller kan worden geleverd, maar met technische schuld die onzichtbaar ophoopt en het vertrouwen in wat er wordt gebouwd ondermijnt.

Bij NVIDIA werkte u aan projecten waaronder VibeTensor en Agentic Variation Operators, waarbij agenten aanzienlijke hoeveelheden systeemsoftware genereerden en autonoom GPU‑optimalisaties zochten. Welke inzichten leverden die projecten op over de soorten technische problemen die AI‑agenten al kunnen oplossen, terwijl veel ontwikkelaars nog steeds denken dat dit menselijke expertise vereist?

VibeTensor leerde mij wat ik de “Frankenstein‑effect” noem. De AI leverde correct werk op elk niveau, maar wanneer je al die onderdelen samenvoegt tot een systeem, blijft het achter bij wat menselijke experts kunnen bouwen.

Het werk rond Agentic Variation Operators was het tegenovergestelde. Het toonde aan dat AI menselijke experts kan overtreffen bij strak afgebakende problemen. Kernel‑generatie is een goed voorbeeld, omdat het probleem smal, meetbaar en met één doelstelling is.

Het “Frankenstein‑effect” is precies wat INT21 oplost. De engineering‑samples van onze Inference Engine Factory overtreffen high‑performance, open‑source inference‑engines zoals SGLang en vLLM, omdat we hebben geleerd het probleem correct te structureren. We geven agenten duidelijke beperkingen, meetbare doelstellingen en strakke feedback‑lussen. Menselijke experts blijven essentieel, maar in plaats van zelf optimalisaties uit te voeren, geven ze richting en interpreteren ze de resultaten. AI vergroot de impact van de expert door sneller en systematischer te werken dan elke mens kan.

INT21 gebruikt meerdere gespecialiseerde agenten in plaats van één agent met een steeds groter wordend context‑venster. Waarom ziet u multi‑agent‑orchestratie als een schaalbaardere aanpak voor complexe technische problemen, en hoe verdelen de agenten het werk, delen ze ontdekkingen en vermijden ze duplicatie of conflicten?

Een groter context‑venster laat je meer informatie tegelijk vasthouden, maar helpt je niet bij het oplossen van multidimensionale problemen waarbij alles onderling verbonden is. Wij gebruiken een cloud‑native platform voor het draaien van gespecialiseerde agenten, die allemaal naar hetzelfde meetbare doel toewerken. De agenten verkennen parallel en convergeren continu naar sterkere oplossingen.

Dat is om verschillende redenen schaalbaarder. Ten eerste blijft elke agent gefocust. Ten tweede vraag je niet één agent om alles tegelijk te overzien, waardoor het proces efficiënter wordt. En ten derde weerspiegelt het hoe infrastructuur‑teams in de praktijk werken: elk team bezit zijn eigen domein, maar synchroniseert wanneer beslissingen elkaar beïnvloeden.

Als agentzwermen in staat worden om continu kernels, inference‑engines, compilers en andere lagen van de AI‑stack te optimaliseren, hoe verandert dan de rol van de infrastructuur‑engineer? Verwacht u dat deze systemen primair het tekort aan gespecialiseerde engineers verhelpen, of uiteindelijk een substantieel deel van de infrastructuur‑ontwikkeling zelf automatiseren?

De taak van een infrastructuur‑engineer zal volledig veranderen. Ze hoeven niet langer handmatig kernel‑code en geheugen‑afstemming te doen. In plaats daarvan stellen ze doelstellingen, definiëren ze de ontwerpruimte, stellen ze beperkingen en interpreteren ze de resultaten.

Na verloop van tijd zal er minder behoefte zijn aan infrastructuur‑engineers om systemen draaiende en verbeterend te houden. Maar het strategische werk dat overblijft wordt waardevoller, niet minder. In de praktijk betekent dit dat organisaties complexe AI‑infrastructuur kunnen exploiteren met veel minder gespecialiseerde engineers dan nu nodig is. Dat is van groot belang voor elk bedrijf dat productie‑AI‑systemen wil bouwen.

Uw lange‑termijnvisie is dat zelfverbeterende agentzwermen over elke laag van AI‑infrastructuur opereren. Hoe ziet die stack eruit als die visie slaagt, en zouden we uiteindelijk kunnen bereiken dat AI‑infrastructuur zichzelf continu herschrijft en optimaliseert terwijl modellen, workloads en hardware veranderen?

Op dit moment optimaliseert elke laag van de AI‑stack onafhankelijk, van de low‑level kernels tot de fundamentele frameworks en interfaces. Ze coördineren echter niet met elkaar. Je kunt dus één laag optimaliseren, maar per ongeluk iets anders stroomafwaarts breken.

Bij INT21 is de visie dat agentzwermen autonoom over al deze lagen kunnen coördineren, continu aanpassen en evolueren. Wanneer er een nieuw model verschijnt, reoptimaliseert de volledige stack zich voor dat model, zodat de infrastructuur nooit achterloopt op wat erop draait.

Dit was tot nu toe niet haalbaar, omdat menselijke engineers niet snel genoeg kunnen bewegen. Met agentzwermen die continu optimaliseren, ontstaat zelfverbeterende infrastructuur als een eigen computercategorie. De infrastructuur die zich even snel kan aanpassen als modellen en hardware veranderen, zal winnen. Alles daarbuiten wordt een last.

Dank u voor het geweldige interview; lezers die meer willen weten, kunnen INT21 bezoeken.