Bing Xu, grunnlegger og administrerende direktør i INT21 – Intervjuserie

Bing Xu, grunnlegger og administrerende direktør i INT21, er en AI‑infrastruktur‑ingeniør og entreprenør med dyp erfaring innen GPU‑optimalisering, maskinlæringssystemer og autonome AI‑agenter. Før han grunnla INT21 i 2026, var Xu Distinguished Engineer hos NVIDIA, hvor han arbeidet med agent‑drevet programvareutvikling og skapte flere generasjoner av kode‑agenter, inkludert arbeidet bak VibeTensor og AVO. Han ble med i NVIDIA etter oppkjøpet av HippoML, GPU‑inferenz‑oppstarten han grunnla og ledet som administrerende direktør. Tidligere var Xu Senior Staff Software Engineer hos Meta, hvor han opprettet AITemplate og bidro til å forbedre GPU‑inferenz‑effektiviteten i produksjonsarbeidsbelastninger, samt hadde ingeniør‑ og forskningsroller hos OctoML, Facebook AI, Apple og Turi. Karrieren hans har konsekvent fokusert på å forbedre programvaren og infrastrukturen som ligger til grunn for moderne AI‑systemer.

INT21 bygger selvforbedrende AI‑infrastruktur designet for å bruke autonome agent‑sværmer til kontinuerlig å utvikle, teste, benchmarke og optimalisere programvaren som driver AI‑arbeidsbelastninger. Fokus er nå Inference Engine Factory, som bruker spesialiserte agenter til å utforske optimaliseringsstrategier parallelt og bygge komplette inferensmotorer som dekker CUDA‑ og PTX‑kjerner, drivere og tjenesteinfrastruktur, med ytelse validert direkte på mål‑maskinvare. Selskapets teknologi er bygget på SwarmOS, en sky‑native plattform som gjør det mulig for store antall agenter å koordinere rundt målbare ingeniørmål samtidig som bevis og lærdom beholdes mellom generasjoner. INT21 demonstrerte først dette gjennom sin PTX Kernel Factory, som produserte og benchmarket GPU‑kjerner på NVIDIA Hopper‑ og Blackwell‑maskinvare; selskapet har siden flyttet beregningsressursene mot optimalisering av komplette inferensmotorer.

Du grunnla INT21 etter gjentatte ganger å ha støtt på vanskeligheten med å ansette spesialiserte infrastruktur‑ingeniører raskt nok til å bygge og optimalisere AI‑systemer. Hva overbeviste deg om at løsningen ikke bare var bedre utviklerverktøy, men autonome, selvforbedrende agent‑sværmer som kunne ta på seg dette arbeidet selv?

Det er et velkjent problem at etterspørselen etter AI‑infrastruktur‑spesialister på tvers av ulike fagområder langt overstiger tilbudet, og det er en utfordring jeg selv har erfart. Det var dette som fikk meg til å se på selvforbedrende agent‑sværmer som en mulighet. De siste årene har jeg jobbet med selvforbedrende AI‑løsninger, og teknologien beveger seg nå så raskt at disse systemene faktisk er i stand til å bygge, kjøre og optimalisere infrastruktur autonomt.

Kjernen i INT21‑filosofien er at, likt mennesker, blir agentene smartere gjennom akkumulert kunnskap. Dette er fundamentalt forskjellig fra tradisjonelle utviklerverktøy, som fortsatt er begrenset av hvor mange timer noen kan jobbe og hvilke problemer de fysisk kan løse. Ved å bruke selvforbedrende agent‑sværmer blir vi raskere, mer presise og mer effektive for hver produksjonssyklus. Fordi våre agenter er kapable og ikke er bundet av eksisterende rammeverk, kan vi bygge løsninger direkte fra bunnen av for hver enkelt arbeidsbelastning.

Før INT21 grunnla du HippoML, som ble kjøpt opp av NVIDIA bare 14 måneder etter lansering, og du ble senere Distinguished Engineer hos NVIDIA. Hva lærte du av disse erfaringene om flaskehalser i AI‑infrastruktur som til slutt formet arkitekturen og oppdraget til INT21?

I HippoML spesialiserte vi oss på høy‑ytelses generativ AI‑inferenz, og bygde programvare‑optimaliseringsverktøy for å kjøre store språkmodeller raskere og mer effektivt. Vi innså at vi ikke kunne skalere uten å stole på dyktige konsulenter fra Øst‑Europa og andre steder, bare for å holde tritt med etterspørselen etter AI‑inferenz‑optimalisering.

Etter at NVIDIA kjøpte oss, begynte jeg å bygge en agent‑basert utviklingsmetode internt i selskapet. Vi publiserte forskning som viser at “harness” (infrastruktur‑laget rundt en modell) er det som faktisk bestemmer agentens ytelse, ikke selve modellen. Det var bevis på at den egentlige flaskehalsen i AI‑infrastruktur ikke er å finne bedre modeller, men å optimalisere systemene som kjører dem.

Når modellene blir bedre, må infrastrukturen rundt dem skaleres tilsvarende. Men menneskestyrte optimaliseringssykluser klarer ikke å holde tritt. Du optimaliserer en treningsløype for én modellarkitektur, distribuerer den, og så snart modellarkitekturen endres eller en ny GPU‑generasjon kommer, må du starte på nytt. Når det i dag ser ut til å komme en ny modelloppdatering hver uke, er denne gamle tilnærmingen uholdbar. Denne erkjennelsen overbeviste meg om at neste gjennombrudd ligger i selvforbedrende infrastruktur, noe som førte til at jeg grunnla INT21.

INT21 beskriver sin tilnærming som «selvforbedrende infrastruktur», noe som er ganske forskjellig fra rekursiv selvforbedring hvor forskere prøver å gjøre den underliggende AI‑modellen selv mer kapabel. Hvordan fungerer deres tilnærming, og hvorfor tror du at forbedring av systemene rundt eksisterende modeller kan gi meningsfulle gevinster mye tidligere?

Den rekursive selvforbedrings‑tilnærmingen fokuserer på å trene proprietære modeller, sette sammen forskningsgrupper og hente inn massive kapitalmengder. Det er en tiårig, kostbar reise, fordi du ber modellen om å resonere rundt sin egen treningsprosess.

Vår tilnærming er annerledes. Hos INT21 prøver vi ikke å forbedre front‑modellene selv, noe som ville tatt år og milliarder i kapital. I stedet bygger vi agent‑sværmer som optimaliserer “harness”, infrastrukturnivået som ligger mellom modellen og ytelsen. Det er det min forskning hos Nvidia beviste: at “harness”, ikke modellen, bestemmer agentens ytelse på komplekse oppgaver. En agent trenger ikke å forstå front‑modellens evner for å finne en 10 % effektivitetsgevinst. Den trenger bare å utforske designrommet, måle, validere og beholde det som fungerer.

En måte å tenke på de to tilnærmingene er at den ene bygger et kraftverk, mens den andre bygger med den elektrisiteten som allerede finnes. Vi kan bevege oss raskere og møte etterspørselen som er reell og umiddelbar. Og det betyr at vi allerede i dag ser betydelige, målbare gevinster i selvforbedrende infrastruktur.

INT21 lanserte nylig Inference Engine Factory, som utvider konseptet fra individuelle GPU‑kjerner til komplette inferensmotorer. Hva betyr det egentlig at en agent‑sværm autonomt bygger og optimaliserer en inferensmotor, og hvilke deler av prosessen har tradisjonelt krevd mest spesialisert menneskelig ekspertise?

En inferensmotor er programvaren som kjører en modell på maskinvare. Det er et komplekst system som gjør dusinvis av designbeslutninger på én gang, for eksempel hvilke operasjoner som skal kjøres sammen i én kjerne, eller hvordan arbeidsplaner fordeles på kjerner. Disse beslutningene er sammenkoblede, så hvis du endrer én, må du teste alt annet på nytt.

Tradisjonelt finjusterer en ingeniør alt dette for hver modell. For video-, musikk‑ og tale‑generering er det en utfordring fordi de er flerstegs‑, flerskala‑arkitekturer uten et ferdig rammeverk. INT21‑s agent‑sværmer bygger hele stakken fra ende til ende, fra individuelle kjerner til den komplette inferensmotoren. Våre video‑ og lyd‑generasjons‑stakker krever ingen menneskelig kodegjennomgang og overgår state‑of‑the‑art inferensløsninger under samme samtidighetsinnstillinger.

Deres PTX Kernel Factory har levert implementasjoner som overgår eksisterende referanser med opptil 59 % på visse arbeidsbelastninger. På et teknisk nivå, hvor finner agentene ytelsesforbedringer som høyt optimaliserte menneskeskrevne implementasjoner eller konvensjonelle kompilatorer går glipp av?

Vår PTX Kernel Factory overgikk den beste tilgjengelige referansen med opptil 59 % mot KDA (Kimi Linear Attention). Dette skyldes at våre selvforbedrende agent‑sværmer kan skalere til tusenvis av varianter på en brøkdel av tiden, en prosess som er altfor arbeidskrevende og kostbar for menneskelige ingeniører.

Det som er forskjellig er at menneskeskrevne kjerner er avhengige av domenespesifikke språk (DSL‑er), maler og kompilatorer som er forhåndsbygget for GPU‑er. Et DSL fungerer bra for vanlige mønstre, men når du treffer en ny arbeidsbelastning, som KDA, kan den generelle kompilatoren ofte ikke prestere optimalt. Våre agenter omgår disse abstraksjonene helt, noe som betyr at de ikke er begrenset av DSL‑ eller kompilator‑forutsetninger. Friheten til å utforske hele designrommet uten å være låst til forhåndsdefinerte mønstre er hvor forbedringen kommer fra.

AI‑generert infrastruktur skaper et uvanlig verifiseringsproblem: en optimalisering er ikke nyttig hvis den er raskere, men subtilt feilaktig. Hvordan tester, benchmarker og forkaster agent‑sværmer feil, og hvordan beholder de vellykkede funnene, og hvor viktig er denne tilbakemeldingssløyfen for at systemet virkelig skal være selvforbedrende i stedet for bare en AI‑koding‑agent?

Tilbakemeldingssløyfen er kritisk, fordi en optimalisering er verdiløs dersom den kun er korrekt under spesifikke forutsetninger eller kun for en bestemt inndatafordeling. Hos INT21 sørger vi for at sløyfen er grundig.

Vi starter fra modellen, distribusjons‑restriksjoner og den tjenestemetrikken som betyr noe. Deretter utforsker de selvforbedrende agent‑sværmene konfigurasjons‑ og optimaliseringsveier samtidig, og evaluerer hver kandidat mot korrekthets‑ og ytelsesmål. Kun implementasjoner som fungerer blir beholdt.

Det som gjør dette genuint selvforbedrende er at valideringsdataene selv forbedres. Disse dataene mates tilbake til agent‑sværmene, slik at de finjusterer sin forståelse av hva som fungerer, og kontinuerlig lukker tilbakemeldingssløyfen. Uten denne grundigheten ville du bare ha et system med tilsynelatende AI‑generert kode som kan leveres raskere, men med teknisk gjeld som usynlig akkumuleres og undergraver tilliten til det som bygges.

Hos NVIDIA jobbet du med prosjekter inkludert VibeTensor og Agentic Variation Operators, hvor agenter genererte betydelige mengder systemprogramvare og autonomt søkte etter GPU‑optimaliseringer. Hva avslørte disse prosjektene om hvilke typer ingeniørproblemer AI‑agenter allerede kan løse, som mange utviklere fortsatt antar krever menneskelige eksperter?

VibeTensor lærte meg noe jeg kaller «Frankenstein‑effekten». AI‑en gjorde korrekt arbeid på hvert nivå, men når du satte alle delene sammen som et system, falt den kort av det menneskelige ekspertene kunne bygge.

Agentic Variation Operators‑arbeidet var det motsatte. Det viste at AI kan overgå menneskelige eksperter i stramt avgrensede problemer. Kjerne‑generering er et godt eksempel, fordi problemet er smalt, målbart og har ett enkelt mål.

«Frankenstein‑effekten» er akkurat det INT21 løser. Ingeniør‑prøvene fra vår Inference Engine Factory overgår høy‑ytelses, åpen‑kilde‑inferensmotorer som SGLang og vLLM, fordi vi har lært å strukturere problemet riktig. Vi gir agenter klare begrensninger, målbare mål og stramme tilbakemeldingssløyfer. Menneskelige eksperter er fortsatt essensielle, men i stedet for å utføre optimaliseringsarbeid gir de verdifull retning og tolker resultatene. AI forsterker ekspertens påvirkning ved å utføre oppgaver raskere og mer systematisk enn noen menneske kan.

INT21 bruker flere spesialiserte agenter i stedet for å stole på én agent med stadig større kontekstvindu. Hvorfor ser du på multi‑agent‑orkestrering som en mer skalerbar tilnærming til komplekse ingeniørproblemer, og hvordan deler agentene arbeid, deler oppdagelser og unngår duplisering eller konflikt med hverandre?

Et større kontekstvindu lar deg holde mer informasjon på én gang, men det hjelper deg ikke med å løse flerdimensjonale problemer der alt henger sammen. Vi bruker en sky‑native plattform for å kjøre spesialiserte agenter, alle arbeider mot samme målbare mål. Agentene utforsker parallelt og konvergerer kontinuerlig mot sterkere løsninger.

Det er mer skalerbart av flere grunner. For det første holder hver agent seg fokusert. For det andre ber du ikke én agent om å resonere om alt på én gang, så prosessen blir mer effektiv. Og til slutt speiler det hvordan infrastruktur‑team faktisk jobber, der hvert team eier sitt domene, men synkroniserer når beslutninger påvirker hverandre.

Hvis agent‑sværmer blir i stand til kontinuerlig å optimalisere kjerner, inferensmotorer, kompilatorer og andre lag i AI‑stakken, hvordan endrer rollen til infrastruktur‑ingeniøren seg? Forventer du at disse systemene først og fremst adresserer mangelen på spesialiserte ingeniører, eller etter hvert vil de automatisere en betydelig del av infrastruktur‑utviklingen selv?

En infrastruktur‑ingeniørs jobb vil endre seg fullstendig. De sliter ikke lenger med å finjustere kjerne‑kode og minnetuning. I stedet setter de mål, definerer designrommet, fastsetter begrensninger og tolker resultater.

Over tid vil færre infrastruktur‑ingeniører være nødvendige for å holde systemene i drift og i forbedring. Men det strategiske arbeidet som gjenstår blir mer verdifullt, ikke mindre. Praktisk betyr det at organisasjoner kan drive kompleks AI‑infrastruktur med langt færre spesialiserte ingeniører enn de trenger i dag. Det er betydningsfullt for enhver bedrift som prøver å bygge produksjons‑AI‑systemer.

Din langsiktige visjon er at selvforbedrende agent‑sværmer skal operere på alle lag i AI‑infrastruktur. Hvordan ser den stakken ut hvis denne visjonen lykkes, og kan vi etter hvert nå et punkt hvor AI‑infrastruktur kontinuerlig omskriver og optimaliserer seg selv etter hvert som modeller, arbeidsbelastninger og maskinvare endres?

Akkurat nå optimaliseres hvert lag i AI‑stakken uavhengig, fra lavnivå‑kjerner til de grunnleggende rammeverkene og grensesnittene. Men de koordinerer ikke med hverandre. Så du kan optimalisere ett lag, men ved et uhell bryte noe annet nedstrøms.

Hos INT21 er visjonen at agent‑sværmer kan koordinere autonomt på tvers av alle disse lagene, og stadig justere og tilpasse seg. Når en ny modell kommer, re‑optimaliserer hele stakken for den, slik at infrastrukturen aldri faller bakpå det som kjører på den.

Dette har ikke vært mulig, fordi menneskelige ingeniører ikke kan bevege seg raskt nok. Men med agent‑sværmer som kontinuerlig optimaliserer, fremstår selvforbedrende infrastruktur som en egen datakategori. Infrastrukturen som kan tilpasse seg like raskt som modeller og maskinvare endres, vil vinne. Alt annet blir en forpliktelse.

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke INT21.