Bing Xu, INT21:n perustaja ja toimitusjohtaja – Haastattelusarja

Bing Xu, INT21:n perustaja ja toimitusjohtaja, on AI‑infrastruktuuri‑insinööri ja yrittäjä, jolla on laaja kokemus GPU‑optimoinnista, koneoppimisjärjestelmistä ja autonomisista AI‑agenneista. Ennen INT21:n perustamista vuonna 2026 Xu toimi NVIDIA:n Distinguished Engineerinä, jossa hän työskenteli agenttipohjaisessa ohjelmistokehityksessä ja loi useita koodausagenttien sukupolvia, mukaan lukien VibeTensorin ja AVO:n takana oleva työ. Hän liittyi NVIDIA:an sen jälkeen, kun se osti HippoML:n, GPU‑inferenssialoitteen, jonka hän perusti ja johti toimitusjohtajana. Aikaisemmin Xu toimi Senior Staff Software Engineerinä Metassa, jossa hän loi AITemplaten ja auttoi parantamaan GPU‑inferenssin tehokkuutta tuotantotyökuormissa, sekä hänellä oli insinööri‑ ja tutkimustehtäviä OctoML:ssä, Facebook AI:ssa, Applella ja Turissa. Hänen uransa on johdonmukaisesti keskittynyt modernien AI‑järjestelmien taustalla olevan ohjelmiston ja infrastruktuurin parantamiseen.

INT21 rakentaa itseä parantavaa AI‑infrastruktuuria, jonka on suunniteltu käyttämään autonomisia agenttiswaarmeja AI‑työkuormia ohjaavan ohjelmiston jatkuvaan kehittämiseen, testaukseen, vertailuun ja optimointiin. Tällä hetkellä sen keskiössä on Inference Engine Factory, joka hyödyntää erikoistuneita agenteja optimoimisstrategioiden rinnakkaiseen tutkimiseen ja täydellisten inferenssimoottorien rakentamiseen, jotka kattavat CUDA‑ ja PTX‑ytimet, ajurit ja palvelininfrastruktuurin, ja joiden suorituskyky validoidaan suoraan kohdelaitteessa. Yrityksen teknologia perustuu SwarmOS:iin, pilvipohjaiseen alustaan, jonka avulla suuri määrä agenteja voi koordinoida toimintaansa mitattavien insinööritavoitteiden ympärillä samalla säilyttäen todisteet ja opit sukupolvien välillä. INT21 esitteli tätä lähestymistapaa alun perin PTX Kernel Factory -projektillaan, joka tuotti ja vertaili GPU‑ytimiä NVIDIA:n Hopper‑ ja Blackwell‑laitteistossa; sen jälkeen yritys on siirtänyt laskenta‑resurssinsa kohti kokonaistehoisten inferenssimoottorien optimointia.

Perustit INT21:n toistuvien vaikeuksien jälkeen, kun erikoistuneiden infrastruktuuri‑insinöörien palkkaaminen riittävän nopeasti AI‑järjestelmien rakentamiseen ja optimointiin osoittautui haastavaksi. Mikä vakuutti sinut siitä, että ratkaisu ei ollut pelkästään paremmat kehittäjätyökalut, vaan autonomiset, itseä parantavat agenttiswarmit, jotka pystyvät hoitamaan työn itse?

On hyvin tiedossa, että AI‑infrastruktuuri‑osaamisen kysyntä eri erikoistumisalueilla ylittää tarjonnan, ja se on haaste, jonka olen itse kokenut. Tämä motivoi minua tarkastelemaan itseä parantavia agenttiswarmeja vaihtoehtona. Viime vuosina olen työskennellyt itseä parantavien AI‑ratkaisujen parissa, ja teknologia kehittyy niin nopeasti, että nämä järjestelmät ovat nyt todella kykeneviä rakentamaan, ajamaan ja optimoimaan infrastruktuuria itsenäisesti.

INT21:n ydinfilosofia on, että kuten ihmiset, myös agentit tulevat älykkäämmiksi keräämänsä tiedon myötä. Tämä eroaa radikaalisti perinteisistä kehittäjätyökaluista, jotka ovat edelleen sidottuja siihen, kuinka monta tuntia joku voi työskennellä ja millaisia ongelmia hän pystyy fyysisesti ratkaisemaan. Itseä parantavien agenttiswarmien käyttö tarkoittaa, että olemme nopeampia, tarkempia ja tehokkaampia jokaisessa tuotantokierroksessa. Koska agenttimme ovat kykeneviä ja eivät ole rajoittuneita olemassa oleviin kehyksiin, voimme rakentaa ratkaisuja suoraan alusta alkaen jokaiselle erityiselle työkuormalle.

Ennen INT21:a peristit HippoML:n, jonka NVIDIA osti vain 14 kuukautta lanseerauksen jälkeen, ja myöhemmin sinusta tuli Distinguished Engineer NVIDIA:ssa. Mitä nuo kokemukset opettivat sinulle AI‑infrastruktuurin pullonkauloista, jotka lopulta muovasivat INT21:n arkkitehtuurin ja mission?

HippoML:ssa erikoistuimme korkean suorituskyvyn generatiivisen AI‑inferenssin parantamiseen, rakentaen ohjelmiston optimointityökaluja, jotka saavat suuria kielimalleja toimimaan nopeammin ja tehokkaammin. Huomasimme, että emme voineet skaalata ilman lahjakkaita alihankkijoita Itä-Euroopasta ja muualta, pelkästään pysyäksemme AI‑inferenssin optimoinnin kysynnän tahdissa.

Kun NVIDIA osti meidät, aloitin agenttipohjaisen kehitysmenetelmän rakentamisen yrityksen sisällä. Me julkaisimme tutkimuksen, jossa osoitimme, että harness (mallin ympärillä oleva infrastruktuurikerros) on se, mikä todellisuudessa määrittää agentin suorituskyvyn, ei itse malli. Tämä oli todiste siitä, että AI‑infrastruktuurin todellinen pullonkaula ei ole parempien mallien löytäminen, vaan niiden ajamiseen tarvittavien järjestelmien optimointi.

Kun mallit paranevat, niiden ympärillä oleva infrastruktuuri on skaalattava vastaavasti. Mutta ihmisten ohjaamat optimointisilmukat eivät pysy tahdissa. Optimoit koulutusloopin yhdelle mallirakenteelle, otat sen käyttöön, ja jos mallirakenne muuttuu tai uusi GPU‑sukupolvi saapuu, joudut aloittamaan alusta. Nykyään näyttää siltä, että mallipäivityksiä tulee joka viikko, ja tämä vanha lähestymistapa on kestämätön. Tämä oivallus vakuutti minut siitä, että seuraava läpimurto on itseä parantavassa infrastruktuurissa, mikä johti INT21:n perustamiseen.

INT21 kuvaa lähestymistapaansa “itseä parantavaksi infrastruktuuriksi”, mikä eroaa rekursiivisesta itseparantamisesta, jossa tutkijat pyrkivät tekemään itse AI‑mallin itseä kykenevämmäksi. Miten lähestymistapanne toimii, ja miksi uskot, että olemassa olevien mallien ympärillä olevien järjestelmien parantaminen voi tuottaa merkittäviä hyötyjä paljon aikaisemmin?

Rekursiivinen itseparantaminen keskittyy omistettujen mallien kouluttamiseen, tutkimusryhmien kokoamiseen ja massiivisen pääoman keräämiseen. Se on vuosikymmeniä kestävä, kallis matka, koska pyritään saamaan malli pohtimaan omaa koulutusprosessiaan.

Lähestymistapamme on erilainen. INT21:ssa emme pyri parantamaan itse huippumalleja, mikä veisi vuosia ja miljardeja dollareita. Sen sijaan rakennamme agenttiswarmeja, jotka optimoivat harness‑kerrosta, infrastruktuurikerrosta, joka istuu mallin ja suorituskyvyn väliin. Tämä on se, mitä tutkimukseni Nvidia‑ympäristössä todisti: että harness, ei malli, määrittää agentin suorituskyvyn monimutkaisissa tehtävissä. Agentin ei tarvitse ymmärtää huippumallien kykyjä löytääkseen 10 % tehokkuusparannuksen. Sen tarvitsee vain tutkia suunnittelutilaa, mitata, validoida ja pitää toimivat ratkaisut.

Yksi tapa ajatella näitä kahta lähestymistapaa on, että toinen rakentaa voimalaitoksen ja toinen käyttää jo olemassa olevaa sähköä. Voimme liikkua nopeammin ja vastata todelliseen ja välittömään kysyntään. Ja se tarkoittaa, että näemme jo tänään merkittäviä, mitattavissa olevia parannuksia itseä parantavassa infrastruktuurissa.

INT21 lanseerasi hiljattain Inference Engine Factoryn, laajentaen konseptia yksittäisten GPU‑ytimien ulkopuolelle täydellisiin inferenssimoottoreihin. Mitä se konkreettisesti tarkoittaa, että agenttiswarm rakentaa ja optimoi inferenssimoottorin itsenäisesti, ja mitkä prosessin osat ovat perinteisesti vaatineet eniten erikoistunutta ihmisen asiantuntemusta?

Inferenssimoottori on ohjelmisto, joka ajaa mallin laitteistossa. Se on monimutkainen järjestelmä, jossa tehdään kymmeniä suunnittelupäätöksiä samanaikaisesti, kuten mitkä toiminnot ajetaan yhdessä yksittäisessä ytimestä tai miten työ aikataulutetaan ytimen ytimien välillä. Nämä päätökset ovat keskenään sidottuja, joten jos muutat yhtä, sinun on testattava kaikki muut uudelleen.

Perinteisesti insinööri hienosäätää kaiken tämän jokaiselle mallille. Video-, musiikki- ja puheentuotannossa tämä on haaste, koska ne ovat monivaiheisia, moniskaalaisia arkkitehtuureja ilman valmiita kehyksiä. INT21:n agenttiswarmit rakentavat koko pinon alusta loppuun, yksittäisistä ytimistä täyteen inferenssimoottoriin. Videon ja äänen generointipinomme eivät vaadi ihmisen koodintarkistusta ja ylittävät huipputason inferenssiratkaisut samoilla samanaikaisuusasetuksilla.

PTX Kernel Factory on tuottanut toteutuksia, jotka ylittävät olemassa olevat peruslinjat jopa 59 % tietyillä työkuormilla. Teknisesti ottaen, mistä agentit löytävät suorituskykyparannuksia, joita erittäin optimoidut ihmisen kirjoittamat toteutukset tai perinteiset kääntäjät eivät havaitse?

PTX Kernel Factory ylitti parhaan saatavilla olevan peruslinjan jopa 59 % KDA:ta (Kimi Linear Attention) vastaan. Tämä johtuu siitä, että itseä parantavat agenttiswarmit pystyvät skaalaamaan tuhansiin variaatioihin murto-osassa ajasta, mikä on liian työlästä ja kallista ihmisten insinöörien tehdä.

Ero on siinä, että ihmisten kirjoittamat ytimet perustuvat alakohtaisiin kieliin (DSL), malleihin ja kääntäjiin, jotka on rakennettu GPU:ille. DSL toimii hyvin yleisissä kuvioissa, mutta kun kohtaat uuden työkuorman, kuten KDA:n, yleiskäyttöinen kääntäjä ei usein pysty optimoimaan sitä parhaalla mahdollisella tavalla. Agenttimme ohittavat nämä abstraktiot kokonaan, mikä tarkoittaa, että ne eivät ole sidottuja DSL‑ tai kääntäjäoletuksiin. Tämä vapaus tutkia koko suunnittelutilaa ilman ennalta määriteltyjä kuvioita on se, mistä parannus syntyy.

AI‑luodulla infrastruktuurilla on epätavallinen validointiongelma: optimointi ei ole hyödyllinen, jos se on nopeampi mutta hienovaraisesti virheellinen. Miten agenttiswarmit testaavat, vertailevat, hylkäävät epäonnistumiset ja säilyttävät onnistuneet löydökset, ja kuinka tärkeä tämä palautesilmukka on järjestelmän aidon itseparantamisen kannalta, eikä pelkästään AI‑koodausagentin?

Palaute­silmu on kriittinen, koska optimointi on arvoton, jos se on ainoastaan oikea tietyillä oletuksilla tai tietyllä syötteiden jakaumalla. INT21:ssa varmistamme, että palaute­silmu on tiukka.

Aloitamme mallista, käyttöönoton rajoituksista ja palvelumetriikasta, joka on merkityksellinen. Sitten itseä parantavat agenttiswarmit tutkivat konfiguraatio‑ ja optimointipolkuja samanaikaisesti ja arvioivat jokaisen ehdokkaan oikeellisuus‑ ja suorituskykytavoitteiden perusteella. Vain toimivat toteutukset säilytetään.

Mitä tekee tästä aidosti itseä parantavaa, on se, että validointidata itsessään paranee. Tämä data syötetään takaisin agenttiswarmeihin, jotta ne tarkentavat ymmärrystään siitä, mikä toimii, ja sulkevat jatkuvasti palaute­silmukan. Ilman tätä tiukkuutta sinulla olisi vain järjestelmä, jossa on näennäisesti toimivaa, AI‑luotua koodia, joka voidaan julkaista nopeammin, mutta jonka tekninen velka kerääntyy näkymättömästi ja heikentää luottamusta rakennettuun tuotteeseen.

NVIDIA:ssa työskentelit projekteissa, joihin kuuluivat VibeTensor ja Agentic Variation Operators, joissa agentit tuottivat merkittäviä määriä järjestelmäohjelmistoa ja etsivät autonomisesti GPU‑optimointeja. Mitä nuo projektit paljastivat AI‑agenttien kyvyistä ratkaista sellaisia insinööri­ongelmia, joita monet kehittäjät saattavat edelleen olettaa vaativan ihmisen asiantuntijoita?

VibeTensor opetti minulle jotain, mitä kutsun “Frankenstein‑efekti­ksi”. AI teki oikeaa työtä jokaisella tasolla, mutta kun kaikki osat yhdistettiin järjestelmäksi, se jäi ihmisen asiantuntijoiden rakentaman tason alapuolelle.

Agentic Variation Operators -työ oli päinvastainen. Se osoitti, että AI voi ylittää ihmisen asiantuntijat tiukasti rajatuissa ongelmissa. Ytimen generointi on hyvä esimerkki, koska ongelma on kapea, mitattavissa ja sillä on yksi tavoite.

“Frankenstein‑efekti” on juuri se, mitä INT21 ratkaisee. Inference Engine Factoryn insinööri‑näytteet ylittävät korkean suorituskyvyn avoimen lähdekoodin inferenssimoottorit, kuten SGLang ja vLLM, koska olemme oppineet jäsentämään ongelman oikein. Annamme agenteille selkeät rajoitteet, mitattavat tavoitteet ja tiukat palaute­silmukat. Ihmisen asiantuntijat ovat edelleen olennaisia, mutta sen sijaan että he tekisivät itse optimointityötä, he antavat arvokasta suuntaa ja tulkitsevat tuloksia. AI vahvistaa asiantuntijan vaikutusta suorittamalla tehtävät nopeammin ja järjestelmällisemmin kuin mikään ihminen pystyy.

INT21 käyttää useita erikoistuneita agenteja sen sijaan, että perustuisi yhteen agenttiin, jonka kontekstin ikkuna kasvaa jatkuvasti. Miksi näet monen agentin orkestroinnin skaalautuvampana lähestymistapana monimutkaisiin insinööri­ongelmiin, ja miten agentit jakavat työn, jakavat löydökset ja välttävät päällekkäisyyksiä tai ristiriitoja?

Suurempi kontekstin ikkuna antaa sinulle mahdollisuuden pitää enemmän tietoa kerralla, mutta se ei auta ratkaisemaan monidimensionaalisia ongelmia, joissa kaikki on keskenään yhteydessä. Käytämme pilvipohjaista alustaa erikoistuneiden agenttien ajamiseen, kaikki työskentelevät kohti samaa mitattavaa tavoitetta. Agentit tutkivat rinnakkain ja konvergoivat jatkuvasti vahvempiin ratkaisuihin.

Tämä on skaalautuvampaa useista syistä. Ensinnäkin jokainen agentti pysyy keskittyneenä. Toiseksi et pyydä yhtä agenttia pohtimaan kaikkea kerralla, joten prosessi on tehokkaampi. Ja lopuksi se jäljittelee sitä, miten infrastruktuuri‑tiimit todellisuudessa toimivat: jokainen tiimi omistaa oman domaininsa, mutta synkronoi, kun päätökset vaikuttavat toisiinsa.

Jos agenttiswarmit pystyvät jatkuvasti optimoimaan ytimiä, inferenssimoottoreita, kääntäjiä ja muita AI‑pinon kerroksia, miten infrastruktuuri‑insinöörin rooli muuttuu? Odotatko, että nämä järjestelmät ensisijaisesti ratkaisevat erikoistuneiden insinöörien puutteen, vai automatisoivat lopulta merkittävän osan itse infrastruktuurin kehittämisestä?

Infrastruktuuri‑insinöörin työ tulee muuttumaan täysin. He eivät enää poraudu ytimen koodiin ja muistin hienosäätöön. Sen sijaan he asettavat tavoitteita, määrittelevät suunnittelutilan, asettavat rajoitteet ja tulkitsevat tuloksia.

Ajan myötä vähemmän infrastruktuuri‑insinöörejä tarvitaan järjestelmien ylläpitämiseen ja parantamiseen. Mutta strateginen työ, joka jäljelle jää, muuttuu arvokkaammaksi, ei vähemmän. Käytännössä tämä tarkoittaa, että organisaatiot voivat hallita monimutkaista AI‑infrastruktuuria paljon pienemmällä määrällä erikoistuneita insinöörejä kuin nykyään tarvitaan. Tämä on merkittävää jokaiselle yritykselle, joka pyrkii rakentamaan tuotantoon AI‑järjestelmiä.

Pitkäaikainen visiomme on, että itseä parantavat agenttiswarmit toimivat jokaisella AI‑infrastruktuurin kerroksella. Millainen tämä pinokerros näyttää, jos visio toteutuu, ja voisimmeko lopulta päästä pisteeseen, jossa AI‑infrastruktuuri kirjoittaa ja optimoi itseään jatkuvasti mallien, työkuormien ja laitteiston muuttuessa?

Tällä hetkellä jokainen AI‑pinokerroksista optimoi itsenäisesti, alhaisista ytimistä perustavanlaatuisiin kehyksiin ja käyttöliittymiin. Mutta ne eivät koordinoi keskenään. Voit siis optimoida yhden kerroksen, mutta vahingossa rikkoa jotain alempaa tasoa.

INT21:n visiosta on, että agenttiswarmit voivat koordinoida itsenäisesti kaikkien näiden kerrosten välillä, säätäen ja mukautuen jatkuvasti. Kun uusi malli saapuu, koko pino optimoituu sille, jolloin infrastruktuuri ei koskaan jää jälkeen siitä, mitä sillä ajetaan.

Tätä ei ole ollut mahdollista, koska ihmisen insinöörit eivät pysty liikkumaan tarpeeksi nopeasti. Mutta agenttiswarmien jatkuvan optimoinnin myötä itseä parantava infrastruktuuri nousee omaksi laskentakategoriakseen. Infrastruktuuri, joka pystyy sopeutumaan yhtä nopeasti kuin mallit ja laitteisto muuttuvat, voittaa. Kaikki muu muuttuu riskiksi.

Kiitos erinomaisesta haastattelusta, lukijat, jotka haluavat oppia lisää, kannattaa vierailla INT21 -sivustolla.