Bing Xu, grundare och VD för INT21 – Intervjuserie

Bing Xu, grundare och VD för INT21, är en AI‑infrastrukturingenjör och entreprenör med djup erfarenhet inom GPU‑optimering, maskininlärningssystem och autonoma AI‑agenter. Innan han grundade INT21 2026 var Xu en Distinguished Engineer på NVIDIA, där han arbetade med agent‑driven mjukvaruutveckling och skapade flera generationer av kodningsagenter, inklusive arbete bakom VibeTensor och AVO. Han gick med i NVIDIA efter deras förvärv av HippoML, GPU‑inference‑startupen som han grundade och ledde som VD. Tidigare tjänstgjorde Xu som Senior Staff Software Engineer på Meta, där han skapade AITemplate och hjälpte till att förbättra GPU‑inference‑effektiviteten i produktionsarbetsbelastningar, samt hade ingenjörs‑ och forskningsroller på OctoML, Facebook AI, Apple och Turi. Hans karriär har konsekvent fokuserat på att förbättra mjukvaran och infrastrukturen som ligger till grund för moderna AI‑system.

INT21 bygger självförbättrande AI‑infrastruktur avsedd att använda autonoma agent‑svärmar för att kontinuerligt utveckla, testa, benchmarka och optimera mjukvaran som driver AI‑arbetsbelastningar. Dess nuvarande fokus är Inference Engine Factory, som använder specialiserade agenter för att parallellt utforska optimeringsstrategier och bygga kompletta inferensmotorer som omfattar CUDA‑ och PTX‑kärnor, drivrutiner och serveringsinfrastruktur, med prestanda validerad direkt på mål‑hardware. Företagets teknik är byggd på SwarmOS, en molnnativ plattform som låter stora mängder agenter samordna kring mätbara ingenjörsmål samtidigt som bevis och lärdomar bevaras mellan generationer. INT21 demonstrerade först detta tillvägagångssätt genom sin PTX Kernel Factory, som producerade och benchmarkade GPU‑kärnor på NVIDIA Hopper‑ och Blackwell‑hardware; företaget har sedan dess omdirigerat sina beräkningsresurser mot optimering av kompletta inferensmotorer.

Du grundade INT21 efter att upprepade gånger ha stött på svårigheten att anställa specialiserade infrastrukturingenjörer tillräckligt snabbt för att bygga och optimera AI‑system. Vad övertygade dig om att lösningen inte bara var bättre utvecklingsverktyg, utan autonoma, självförbättrande agent‑svärmar som kan utföra detta arbete själva?

Det är ett välkänt problem att efterfrågan på AI‑infrastruktur‑fokuserad kompetens inom olika specialiseringar vida överstiger tillgången, och det är en utmaning jag själv har upplevt. Det var det som motiverade mig att betrakta självförbättrande agent‑svärmar som ett alternativ. Under de senaste åren har jag arbetat med självförbättrande AI‑lösningar, och teknologin rör sig nu i en så snabb takt att dessa system verkligen är tillräckliga för att bygga, köra och optimera infrastruktur autonomt.

Den grundläggande filosofin bakom INT21 är att, precis som människor, blir agenterna smartare genom ackumulerad kunskap. Detta skiljer sig fundamentalt från äldre utvecklingsverktyg, som fortfarande begränsas av hur många timmar någon kan arbeta och vilka problem de fysiskt kan lösa. Att använda självförbättrande agent‑svärmar innebär att vi blir snabbare, mer exakta och mer effektiva för varje produktionscykel. Eftersom våra agenter är kapabla och inte begränsade av befintliga ramverk kan vi bygga lösningar direkt från grunden för varje specifik arbetsbelastning.

Innan INT21 grundade du HippoML, som förvärvades av NVIDIA bara 14 månader efter lanseringen, och du blev senare en Distinguished Engineer på NVIDIA. Vad lärde dig dessa erfarenheter om flaskhalsarna i AI‑infrastruktur som slutligen formade INT21:s arkitektur och uppdrag?

På HippoML specialiserade vi oss på högpresterande generativ AI‑inference, och byggde mjukvaruoptimeringsverktyg för att köra stora språkmodeller snabbare och mer effektivt. Vi insåg att vi inte kunde skala utan att förlita oss på talangfulla entreprenörer från Östeuropa och andra regioner, bara för att hålla jämna steg med efterfrågan på AI‑inference‑optimering.

Efter att NVIDIA förvärvade oss började jag bygga ett agent‑baserat utvecklingssätt inom företaget. Vi publicerade forskning som bevisade att harness (infrastrukturlagret runt en modell) faktiskt avgör agentens prestanda, inte själva modellen. Det var bevis på att den verkliga flaskhalsen i AI‑infrastruktur inte är att hitta bättre modeller. Det handlar om att optimera systemen som kör dem.

Allt eftersom modeller förbättras måste infrastrukturen runt dem skala i motsvarande takt. Men mänskligt drivna optimeringscykler har svårt att hålla jämna steg. Du optimerar en träningsloop för en modellarkitektur, distribuerar den, och om modellarkitekturen förändras eller en ny GPU‑generation anländer, måste du börja om. När det idag verkar finnas en ny modelluppdatering varje vecka är detta gamla tillvägagångssätt ohållbart. Den insikten övertygade mig om att nästa genombrott ligger i självförbättrande infrastruktur, vilket ledde till att jag grundade INT21.

INT21 beskriver sitt tillvägagångssätt som ”självförbättrande infrastruktur”, vilket skiljer sig markant från rekursiv självförbättring där forskare försöker göra den underliggande AI‑modellen mer kapabel. Hur fungerar ert tillvägagångssätt, och varför tror du att förbättring av systemen kring befintliga modeller kan ge betydande vinster mycket tidigare?

Det rekursiva självförbättringstillvägagångssättet fokuserar på att träna proprietära modeller, bygga forskarlag och samla in enormt kapital. Det är en årtionden lång, kostsam resa, eftersom du ber modellen resonera kring sin egen träningsprocess.

Vårt tillvägagångssätt är annorlunda. På INT21 försöker vi inte förbättra frontier‑modellerna själva, vilket skulle ta år och miljarder i kapital. Istället bygger vi agent‑svärmar som optimerar harness, infrastrukturlagret som ligger mellan modellen och prestanda. Det är vad min forskning på Nvidia bevisade: att harness, inte modellen, avgör agentens prestanda på komplexa uppgifter. En agent behöver inte förstå frontier‑modellens kapabiliteter för att hitta en 10 % effektivitetsökning. Den behöver bara utforska designrummet, mäta, validera och behålla det som fungerar.

Ett sätt att tänka på de två olika tillvägagångssätten är att det ena bygger ett kraftverk medan det andra bygger med den elektricitet som redan finns. Vi kan röra oss snabbare och möta en efterfrågan som är verklig och omedelbar. Och det betyder att vi redan idag ser betydande, mätbara vinster i självförbättrande infrastruktur.

INT21 lanserade nyligen Inference Engine Factory, vilket utvidgar konceptet bortom enskilda GPU‑kärnor till kompletta inferensmotorer. Vad innebär det egentligen att en agent‑svärm autonomt bygger och optimerar en inferensmotor, och vilka delar av den processen har traditionellt krävt mest specialiserad mänsklig expertis?

En inferensmotor är den mjukvara som kör en modell på hårdvara. Det är ett komplext system som fattar dussintals designbeslut samtidigt, såsom vilka operationer som körs tillsammans i en enda kärna, eller hur arbetsplanering sker över kärnor. Dessa beslut är sammankopplade, så om du ändrar ett måste du testa om allt annat igen.

Traditionellt finjusterar en ingenjör allt detta för varje modell. För video-, musik- och talgenerering är det en utmaning eftersom de är flerstegs, flerskalaarkitekturer utan ett färdigt ramverk. INT21:s agent‑svärmar bygger hela stacken från enskilda kärnor till hela inferensmotorn. Våra video‑ och ljudgenereringsstackar kräver ingen mänsklig kodgranskning och överträffar state‑of‑the‑art‑inferenslösningar under samma samtidighetsinställningar.

Din PTX Kernel Factory har producerat implementationer som överträffar befintliga referenser med upp till 59 % på vissa arbetsbelastningar. På en teknisk nivå, var hittar agenterna prestandaförbättringar som starkt optimerade, mänskligt skrivna implementationer eller konventionella kompilatorer missar?

Vår PTX Kernel Factory överträffade den bästa tillgängliga referensen med upp till 59 % mot KDA (Kimi Linear Attention). Detta beror på att våra självförbättrande agent‑svärmar kan skala till tusentals variationer på en bråkdel av tiden, en process som är för arbetsam och dyr för mänskliga ingenjörer.

Det som är annorlunda är att mänskligt skrivna kärnor förlitar sig på domänspecifika språk (DSL), mallar och kompilatorer som förbyggts för GPU:er. Ett DSL fungerar bra för vanliga mönster, men när du stöter på en ny arbetsbelastning, såsom KDA, kan den generella kompilatorn ofta inte prestera optimalt. Våra agenter kringgår dessa abstraktioner helt, vilket betyder att de inte är begränsade av DSL‑ eller kompilatorantaganden. Den friheten att utforska hela designrummet utan att låsas till fördefinierade mönster är var förbättringen kommer ifrån.

AI‑genererad infrastruktur skapar ett ovanligt verifieringsproblem: en optimering är inte användbar om den är snabbare men subtilt felaktig. Hur testar, benchmarkar och avvisar era agent‑svärmar misslyckanden, och hur behåller de lyckade upptäckter, och hur viktig är denna återkopplingsslinga för att göra systemet genuint självförbättrande snarare än bara en AI‑kodningsagent?

Återkopplingsslingan är kritisk, eftersom en optimering är värdelös om den bara är korrekt under specifika antaganden eller bara för en viss indatafördelning. På INT21 ser vi till att återkopplingsslingan är rigorös.

Vi börjar från modellen, driftsättningsbegränsningar och den serveringsmetrik som är viktig. Sedan utforskar de självförbättrande agent‑svärmarna konfigurationer och optimeringsvägar samtidigt, och utvärderar varje kandidat mot korrekthets‑ och prestandamål. Endast implementationer som fungerar behålls.

Det som gör detta genuint självförbättrande är att valideringsdata själva förbättras. Denna data matas tillbaka till agent‑svärmarna, så att de förfinar sin förståelse för vad som fungerar och kontinuerligt stänger återkopplingsslingan. Utan denna rigorositet skulle du bara ha ett system med plausibelt AI‑genererad kod som kan levereras snabbare, men med teknisk skuld som osynligt ackumuleras och urholkar förtroendet för det som byggs.

På NVIDIA arbetade du med projekt som VibeTensor och Agentic Variation Operators, där agenter genererade stora mängder systemprogramvara och autonomt sökte efter GPU‑optimeringar. Vad avslöjade dessa projekt om vilka typer av ingenjörsproblem AI‑agenter redan kan lösa, som många utvecklare fortfarande tror kräver mänskliga experter?

VibeTensor lärde mig något jag kallar ”Frankenstein‑effekten”. AI:n gjorde korrekt arbete på varje nivå, men när du sätter ihop alla dessa delar till ett system föll den kort för vad mänskliga experter kunde bygga.

Agentic Variation Operators‑arbetet var motsatsen. Det visade att AI kan överträffa mänskliga experter i snävt avgränsade problem. Kernel‑generering är ett bra exempel, eftersom problemet är smalt, mätbart och har ett enda mål.

”Frankenstein‑effekten” är exakt vad INT21 löser. Ingenjörsproverna från vår Inference Engine Factory överträffar högpresterande, öppen källkod‑inferensmotorer såsom SGLang och vLLM, eftersom vi har lärt oss att strukturera problemet korrekt. Vi ger agenter tydliga begränsningar, mätbara mål och täta återkopplingsslingor. Mänskliga experter är fortfarande viktiga, men istället för att utföra optimeringsarbetet ger de värdefull riktning och tolkar resultaten. AI förstärker expertens påverkan genom att exekvera snabbare och mer systematiskt än vad någon människa kan göra.

INT21 använder flera specialiserade agenter istället för att förlita sig på en enda agent med ett allt större kontextfönster. Varför ser du multi‑agent‑orkestrering som ett mer skalbart tillvägagångssätt för komplexa ingenjörsproblem, och hur delar agenterna arbete, delar upptäckter och undviker att duplicera eller konflikta med varandra?

Ett större kontextfönster låter dig hålla mer information på en gång, men det hjälper dig inte att lösa multidimensionella problem där allt är sammankopplat. Vi använder en molnnativ plattform för att köra specialiserade agenter, alla arbetar mot samma mätbara mål. Agenterna utforskar parallellt och konvergerar kontinuerligt mot starkare lösningar.

Det är mer skalbart av flera skäl. För det första håller varje agent sig fokuserad. För det andra ber du inte en enda agent resonera om allt på en gång, så processen blir mer effektiv. Och slutligen speglar det hur infrastrukturteam faktiskt arbetar, där varje team äger sitt domän, men synkroniseras när beslut påverkar varandra.

Om agent‑svärmar blir kapabla att kontinuerligt optimera kärnor, inferensmotorer, kompilatorer och andra lager i AI‑stacken, hur förändras rollen för infrastrukturingenjören? Förväntar du dig att dessa system främst ska lösa bristen på specialiserade ingenjörer, eller så småningom automatisera en betydande del av infrastrukturutvecklingen själv?

En infrastrukturingenjörs arbete kommer att förändras fullständigt. De slipar inte längre kod för kärnor och minnestuning. Istället sätter de mål, definierar designrummet, fastställer begränsningar och tolkar resultat.

Med tiden kommer färre infrastrukturingenjörer att behövas för att hålla systemen igång och förbättra dem. Men det strategiska arbete som återstår blir mer värdefullt, inte mindre. Praktiskt betyder det att organisationer kan driva komplex AI‑infrastruktur med långt färre specialiserade ingenjörer än de behöver idag. Det är betydelsefullt för varje företag som försöker bygga produktions‑AI‑system.

Din långsiktiga vision är att självförbättrande agent‑svärmar ska verka över varje lager av AI‑infrastruktur. Hur ser den stacken ut om denna vision lyckas, och kan vi så småningom nå en punkt där AI‑infrastruktur kontinuerligt skriver om och optimerar sig själv när modeller, arbetsbelastningar och hårdvara förändras?

Just nu optimeras varje lager i AI‑stacken oberoende, från låg‑nivå‑kärnor till de grundläggande ramverken och gränssnitten. Men de samordnas inte med varandra. Så du kan optimera ett lager, men av misstag bryta något annat nedströms.

På INT21 är visionen att agent‑svärmar kan samordna autonomt över alla dessa lager, ständigt justera och anpassa. När en ny modell anländer, optimerar hela stacken om för den, så att infrastrukturen aldrig hamnar på efterkälken gentemot vad som körs på den.

Det har hittills inte varit genomförbart, eftersom mänskliga ingenjörer inte kan röra sig tillräckligt snabbt. Men med agent‑svärmar som kontinuerligt optimerar, blir självförbättrande infrastruktur en egen beräkningskategori. Den infrastruktur som kan anpassa sig lika snabbt som modeller och hårdvara förändras kommer att vinna. Allt annat blir en belastning.

Tack för den fantastiska intervjun, läsare som vill lära sig mer bör besöka INT21.