Bing Xu, grundlægger og administrerende direktør for INT21 – Interviewserie

Bing Xu, grundlægger og administrerende direktør for INT21, er en AI‑infrastrukturingeniør og iværksætter med dyb erfaring inden for GPU‑optimering, maskinlæringssystemer og autonome AI‑agenter. Før han grundlagde INT21 i 2026, var Xu Distinguished Engineer hos NVIDIA, hvor han arbejdede med agent‑drevet softwareudvikling og skabte flere generationer af kodningsagenter, herunder arbejdet bag VibeTensor og AVO. Han sluttede sig til NVIDIA efter deres overtagelse af HippoML, GPU‑inference‑startup’en han grundlagde og ledede som administrerende direktør. Tidligere var Xu Senior Staff Software Engineer hos Meta, hvor han skabte AITemplate og hjalp med at forbedre GPU‑inference‑effektiviteten på tværs af produktions‑arbejdsbelastninger, samt havde ingeniør‑ og forskningsroller hos OctoML, Facebook AI, Apple og Turi. Hans karriere har konsekvent fokuseret på at forbedre softwaren og infrastrukturen bag moderne AI‑systemer.

INT21 bygger selvforbedrende AI‑infrastruktur designet til at bruge autonome agent‑sværme til løbende at udvikle, teste, benchmarke og optimere den software, der driver AI‑arbejdsbelastninger. Fokus er i øjeblikket på Inference Engine Factory, som bruger specialiserede agenter til at udforske optimeringsstrategier parallelt og bygge komplette inference‑motorer, der spænder over CUDA‑ og PTX‑kerner, drivere og serving‑infrastruktur, med ydeevne valideret direkte på mål‑hardware. Virksomhedens teknologi er bygget på SwarmOS, en cloud‑native platform der tillader store mængder af agenter at koordinere omkring målbare ingeniør‑mål, mens de bevarer beviser og erfaringer mellem generationer. INT21 demonstrerede først denne tilgang gennem sin PTX Kernel Factory, som producerede og benchmarkede GPU‑kerner på NVIDIA Hopper‑ og Blackwell‑hardware; siden har virksomheden flyttet sine beregningsressourcer mod at optimere komplette inference‑motorer.

Du grundlagde INT21 efter gentagne gange at støde på vanskeligheden ved at ansætte specialiserede infrastruktur‑ingeniører hurtigt nok til at bygge og optimere AI‑systemer. Hvad overbeviste dig om, at løsningen ikke blot var bedre udviklingsværktøjer, men autonome, selvforbedrende agent‑sværme, der kan påtage sig dette arbejde selv?

Det er et velkendt problem, at efterspørgslen efter AI‑infrastruktur‑fokuseret talent på tværs af forskellige specialiseringer langt overstiger udbuddet, og det er en udfordring, jeg har oplevet på egen hånd. Det var det, der motiverede mig til at se på selvforbedrende agent‑sværme som en mulighed. I de sidste par år har jeg arbejdet på selvforbedrende AI‑løsninger, og teknologien bevæger sig nu så hurtigt, at disse systemer nu virkelig er i stand til at bygge, køre og optimere infrastruktur autonomt.

Den grundlæggende filosofi bag INT21 er, at ligesom mennesker bliver agenterne klogere gennem akkumuleret viden. Dette er fundamentalt anderledes end ældre udviklingsværktøjer, som stadig er begrænset af, hvor mange timer en person kan arbejde, og hvilke problemer de fysisk kan løse. Ved at bruge selvforbedrende agent‑sværme bliver vi hurtigere, mere præcise og mere effektive for hver produktionscyklus. Da vores agenter er kapable og ikke er begrænset af eksisterende rammer, kan vi bygge løsninger direkte fra bunden for hver specifik arbejdsbelastning.

Før INT21 grundlagde du HippoML, som blev opkøbt af NVIDIA kun 14 måneder efter lanceringen, og du blev senere Distinguished Engineer hos NVIDIA. Hvad lærte du af disse oplevelser om flaskehalse i AI‑infrastruktur, som i sidste ende formede INT21’s arkitektur og mission?

Hos HippoML specialiserede vi os i højtydende generativ AI‑inference, og byggede software‑optimeringsværktøjer til at køre store sprogmodeller hurtigere og mere effektivt. Vi indså, at vi ikke kunne skalere uden at stole på dygtige kontraktører fra Østeuropa og andre steder, blot for at holde trit med efterspørgslen efter AI‑inference‑optimering.

Efter at NVIDIA havde opkøbt os, begyndte jeg at bygge en agent‑baseret udviklingsmetode internt i virksomheden. Vi publicerede forskning der beviste, at harness (infrastruktur‑laget omkring en model) faktisk bestemmer agentens ydeevne, ikke selve modellen. Det var beviset på, at den reelle flaskehals i AI‑infrastruktur ikke er at finde bedre modeller. Det er at optimere de systemer, der kører dem.

Efterhånden som modellerne forbedres, skal infrastrukturen omkring dem også skaleres. Men menneskestyrede optimeringscyklusser har svært ved at følge med. Du optimerer en trænings‑loop for en modelarkitektur, implementerer den, og så, hvis modelarkitekturen ændrer sig eller en ny GPU‑generation kommer, skal du starte forfra. Når der i dag ser ud til at komme en ny modelopdatering hver uge, er denne gamle tilgang uholdbar. Den erkendelse overbeviste mig om, at det næste gennembrud ligger i selvforbedrende infrastruktur, hvilket førte til, at jeg grundlagde INT21.

INT21 beskriver sin tilgang som “selvforbedrende infrastruktur”, hvilket er ganske forskelligt fra rekursiv selvforbedring, hvor forskere forsøger at gøre den underliggende AI‑model mere kapabel. Hvordan fungerer jeres tilgang, og hvorfor mener du, at forbedring af systemerne omkring eksisterende modeller kan levere meningsfulde gevinster meget hurtigere?

Den rekursive selvforbedrings‑tilgang fokuserer på at træne proprietære modeller, samle forskerhold og rejse massive kapitalbeløb. Det er en årti‑lang, dyr rejse, fordi du beder modellen om at ræsonnere om sin egen træningsproces.

Vores tilgang er anderledes. Hos INT21 forsøger vi ikke at forbedre front‑modellerne selv, hvilket ville tage år og milliarder i kapital. I stedet bygger vi agent‑sværme, der optimerer harness, infrastrukturniveauet mellem modellen og ydeevnen. Det er, hvad min forskning hos Nvidia beviste: at harness, ikke modellen, bestemmer agentens ydeevne på komplekse opgaver. En agent behøver ikke forstå front‑modellens kapabiliteter for at finde en 10 % effektiviseringsgevinst. Den skal blot udforske designrummet, måle, validere og beholde det, der virker.

En måde at tænke på de to tilgange er, at den ene bygger et kraftværk, mens den anden bygger med den elektricitet, der allerede findes. Vi kan bevæge os hurtigere og imødekomme efterspørgslen, som er reel og umiddelbar. Og det betyder, at vi allerede i dag ser betydelige, målbare gevinster i selvforbedrende infrastruktur.

INT21 lancerede for nylig Inference Engine Factory, som udvider konceptet ud over individuelle GPU‑kerner til komplette inference‑motorer. Hvad betyder det konkret, at en agent‑sværm autonomt bygger og optimerer en inference‑motor, og hvilke dele af processen har traditionelt krævet mest specialiseret menneskelig ekspertise?

En inference‑motor er den software, der kører en model på hardware. Det er et komplekst system, der træffer dusinvis af designbeslutninger på én gang, såsom hvilke operationer der kører sammen i en enkelt kernel, eller hvordan arbejdsplaner fordeles på kerner. Disse beslutninger er indbyrdes forbundne, så hvis du ændrer én, skal du teste alt andet igen.

Traditionelt finjusterer en ingeniør alt dette for hver model. For video, musik og tale‑generering er det en udfordring, fordi de er multistadie‑, multiskala‑arkitekturer uden et færdigt framework. INT21’s agent‑sværme bygger den komplette stack fra ende til anden, fra individuelle kerner til den fulde inference‑motor. Vores video‑ og lydgenererings‑stack kræver ingen menneskelig kodegennemgang og overgår state‑of‑the‑art inference‑løsninger under de samme samtidighedsindstillinger.

Din PTX Kernel Factory har produceret implementeringer, der overgår eksisterende baselines med op til 59 % på visse arbejdsbelastninger. På teknisk niveau, hvor finder agenterne præstationsforbedringer, som højt optimerede menneskeskrevne implementeringer eller konventionelle compilere overser?

Vores PTX Kernel Factory overgik den bedste tilgængelige baseline med op til 59 % mod KDA (Kimi Linear Attention). Det skyldes, at vores selvforbedrende agent‑sværme kan skalere til tusindvis af variationer på en brøkdel af den tid, en proces der er for krævende og dyr for menneskelige ingeniører.

Forskellen er, at menneskeskrevne kerner er afhængige af domænespecifikke sprog (DSL’er), skabeloner og compilere, der er forudbygget til GPU’er. En DSL fungerer godt for almindelige mønstre, men når du støder på en ny arbejdsbelastning, som KDA, kan den generelle compiler ofte ikke yde optimalt. Vores agenter omgår disse abstraktioner fuldstændigt, så de er ikke begrænset af DSL‑ eller compiler‑antagelser. Den frihed til at udforske hele designrummet uden at være låst fast i foruddefinerede mønstre er, hvor forbedringen kommer fra.

AI‑genereret infrastruktur skaber et usædvanligt verifikationsproblem: en optimering er ikke nyttig, hvis den er hurtigere men subtilt forkert. Hvordan tester, benchmarker og afviser jeres agent‑sværme fejl, og bevarer succesfulde opdagelser, og hvor vigtigt er dette feedback‑loop for at gøre systemet ægte selvforbedrende i stedet for blot en AI‑kodnings‑agent?

Feedback‑loopet er kritisk, fordi en optimering er værdiløs, hvis den kun er korrekt under specifikke antagelser eller kun for en bestemt inputfordeling. Hos INT21 sikrer vi, at feedback‑loopet er stringent.

Vi starter fra modellen, deployments‑restriktioner og den betjening‑metrik, der betyder noget. Så udforsker de selvforbedrende agent‑sværme konfigurationer og optimeringsveje samtidigt, og evaluerer hver kandidat mod korrektheds‑ og ydelsesmål. Kun implementeringer, der fungerer, bevares.

Det, der gør dette ægte selvforbedrende, er, at valideringsdataene selv forbedres. Disse data føres tilbage til agent‑sværmene, så de forfiner deres forståelse af, hvad der virker, og løbende lukker feedback‑loopet. Uden denne stringens ville du kun have et system med tilsyneladende AI‑genereret kode, der kan leveres hurtigere, men med teknisk gæld, der usynligt akkumuleres og underminerer tilliden til det, der bygges.

Hos NVIDIA arbejdede du på projekter inklusiv VibeTensor og Agentic Variation Operators, hvor agenter genererede betydelige mængder systemsoftware og autonomt søgte GPU‑optimeringer. Hvad afslørede de projekter om de typer af ingeniørproblemer, AI‑agenter allerede kan løse, som mange udviklere måske stadig antager kræver menneskelige eksperter?

VibeTensor lærte mig noget, jeg kalder “Frankenstein‑effekten”. AI’en udførte korrekt arbejde på alle niveauer, men når du samlede alle dele til et system, faldt den kortere end hvad menneskelige eksperter kunne bygge.

Agentic Variation Operators‑arbejdet var det modsatte. Det viste, at AI kan overgå menneskelige eksperter i snævert afgrænsede problemer. Kernel‑generering er et godt eksempel, fordi problemet er smalt, målbart og har et enkelt mål.

“Frankenstein‑effekten” er præcis, hvad INT21 løser. De ingeniør‑prøver fra vores Inference Engine Factory overgår højtydende, open‑source inference‑motorer som SGLang og vLLM, fordi vi har lært at strukturere problemet korrekt. Vi giver agenter klare begrænsninger, målbare mål og tætte feedback‑loops. Menneskelige eksperter er stadig essentielle, men i stedet for at udføre optimeringsarbejdet, giver de værdifuld retning og fortolker resultaterne. AI forstærker ekspertens indflydelse ved at udføre hurtigere og mere systematisk, end hvad nogen menneske kan.

INT21 bruger flere specialiserede agenter i stedet for at stole på en enkelt agent med et stadigt større kontekstvindue. Hvorfor ser du multi‑agent‑orchestration som en mere skalerbar tilgang til komplekse ingeniørproblemer, og hvordan deler agenterne arbejde, udveksler opdagelser og undgår at duplikere eller komme i konflikt med hinanden?

Et større kontekstvindue lader dig holde mere information på én gang, men hjælper dig ikke med at løse multidimensionelle problemer, hvor alt er indbyrdes forbundet. Vi bruger en cloud‑native platform til at køre specialiserede agenter, alle arbejdende mod det samme målbare mål. Agenterne udforsker parallelt og konvergerer løbende mod stærkere løsninger.

Det er mere skalerbart af flere grunde. For det første forbliver hver agent fokuseret. For det andet beder du ikke én agent om at ræsonnere om alt på én gang, så processen er mere effektiv. Endelig spejler det, hvordan infrastruktur‑teams faktisk arbejder, hvor hvert team ejer deres domæne, men synkroniserer, når beslutninger påvirker hinanden.

Hvis agent‑sværme bliver i stand til løbende at optimere kerner, inference‑motorer, compilere og andre lag i AI‑stacken, hvordan ændrer rollen som infrastruktur‑ingeniør sig? Forventer du, at disse systemer primært adresserer manglen på specialiserede ingeniører, eller at de på sigt automatiserer en væsentlig del af infrastruktur‑udviklingen selv?

En infrastruktur‑ingeniørs job vil ændre sig fuldstændigt. De grinder ikke længere igennem kernel‑kode og hukommelses‑tuning. I stedet sætter de mål, definerer designrummet, fastlægger begrænsninger og fortolker resultater.

Over tid vil færre infrastruktur‑ingeniører være nødvendige for at holde systemerne kørende og forbedre dem. Men det strategiske arbejde, der bliver tilbage, bliver mere værdifuldt, ikke mindre. Praktisk betyder det, at organisationer kan drive kompleks AI‑infrastruktur med langt færre specialiserede ingeniører, end de har brug for i dag. Det er betydningsfuldt for enhver virksomhed, der forsøger at bygge produktions‑AI‑systemer.

Din langsigtede vision er, at selvforbedrende agent‑sværme opererer på tværs af alle lag i AI‑infrastruktur. Hvordan ser den stack ud, hvis denne vision lykkes, og kan vi på et tidspunkt nå et punkt, hvor AI‑infrastruktur kontinuerligt omskriver og optimerer sig selv, efterhånden som modeller, arbejdsbelastninger og hardware ændrer sig?

Lige nu optimeres hvert lag af AI‑stacken uafhængigt, fra de lav‑niveau kerner til de grundlæggende frameworks til grænsefladerne. Men de koordinerer ikke med hinanden. Så du kan optimere ét lag, men så ved et uheld bryde noget andet længere nede.

Hos INT21 er visionen, at agent‑sværme kan koordinere autonomt på tværs af alle disse lag, konstant justere og tilpasse sig. Når en ny model ankommer, re‑optimerer hele stacken for den, så infrastrukturen aldrig falder bagud i forhold til, hvad der kører på den.

Dette har ikke været muligt, fordi menneskelige ingeniører ikke kan bevæge sig hurtigt nok. Men med agent‑sværme, der løbende optimerer, fremstår selvforbedrende infrastruktur som en særskilt beregningskategori. Den infrastruktur, der kan tilpasse sig lige så hurtigt som modeller og hardware ændrer sig, vil vinde. Alt andet bliver en forpligtelse.

Tak for det fantastiske interview, læsere der ønsker at lære mere bør besøge INT21.