Bing Xu, Fondator și CEO al INT21 – Seria de Interviuri

Bing Xu, Fondator și CEO al INT21, este un inginer de infrastructură AI și antreprenor cu o experiență profundă în optimizarea GPU, sisteme de învățare automată și agenți AI autonomi. Înainte de a fonda INT21 în 2026, Xu a fost Distinguished Engineer la NVIDIA, unde a lucrat la dezvoltarea de software condusă de agenți și a creat mai multe generații de agenți de codare, inclusiv munca din spatele VibeTensor și AVO. S‑a alăturat NVIDIA după achiziția de către aceasta a HippoML, startup‑ul de inferență GPU pe care l‑a fondat și l‑a condus ca CEO. Anterior, Xu a ocupat funcția de Senior Staff Software Engineer la Meta, unde a creat AITemplate și a contribuit la îmbunătățirea eficienței inferenței GPU în sarcinile de producție, și a deținut roluri de inginerie și cercetare la OctoML, Facebook AI, Apple și Turi. Cariera sa s‑a concentrat constant pe îmbunătățirea software‑ului și a infrastructurii care susțin sistemele AI moderne.

INT21 construiește o infrastructură AI auto‑îmbunătățitoare, concepută să folosească roiuri de agenți autonomi pentru a dezvolta, testa, evalua și optimiza continuu software‑ul care alimentează sarcinile AI. Accentul actual este pe Inference Engine Factory, care utilizează agenți specializați pentru a explora în paralel strategii de optimizare și pentru a construi motoare de inferență complete, cu nucleuri CUDA și PTX, drivere și infrastructură de servire, cu performanța validată direct pe hardware‑ul țintă. Tehnologia companiei se bazează pe SwarmOS, o platformă cloud‑native ce permite unui număr mare de agenți să se coordoneze în jurul unor obiective inginerești cuantificabile, păstrând dovezile și lecțiile între generații. INT21 a demonstrat inițial această abordare prin PTX Kernel Factory, care a produs și evaluat nuclee GPU pe hardware‑ul NVIDIA Hopper și Blackwell; de atunci, compania și-a redirecționat resursele de calcul spre optimizarea motoarelor de inferență complete.

Ați fondat INT21 după ce ați întâmpinat în mod repetat dificultatea de a angaja ingineri de infrastructură specializați suficient de repede pentru a construi și optimiza sistemele AI. Ce v‑a convins că soluția nu era pur și simplu instrumente de dezvoltare mai bune, ci roiuri autonome de agenți auto‑îmbunătățitori capabili să preia această muncă?

Este un fapt bine cunoscut că cererea de talente axate pe infrastructura AI depășește cu mult oferta, iar aceasta a fost o provocare pe care am trăit-o personal. Acesta a fost impulsul care m‑a determinat să explorez roiurile de agenți auto‑îmbunătățitori ca opțiune. În ultimii ani am lucrat la soluții AI auto‑îmbunătățitoare, iar tehnologia avansează acum atât de rapid încât aceste sisteme sunt cu adevărat capabile să construiască, să ruleze și să optimizeze infrastructura în mod autonom.

Filosofia de bază a INT21 este că, la fel ca oamenii, agenții devin mai inteligenți prin acumularea de cunoștințe. Acest lucru este fundamental diferit de instrumentele tradiționale de dezvoltare, care rămân limitate de numărul de ore pe care le poate lucra cineva și de problemele pe care le poate rezolva fizic. Utilizarea roiurilor de agenți auto‑îmbunătățitori înseamnă că devenim mai rapizi, mai preciși și mai eficienți cu fiecare ciclu de producție. Deoarece agenții noștri nu sunt constrânși de cadrele existente, putem construi soluții direct de la zero pentru fiecare sarcină specifică.

Înainte de INT21, ați fondat HippoML, care a fost achiziționat de NVIDIA la doar 14 luni de la lansare, și apoi ați devenit Distinguished Engineer la NVIDIA. Ce v‑au învățat acele experiențe despre blocajele din infrastructura AI care au modelat în final arhitectura și misiunea INT21?

La HippoML ne-am specializat în inferență generativă AI de înaltă performanță, construind instrumente de optimizare software pentru a rula modele de limbaj mari mai rapid și mai eficient. Am realizat că nu puteam scala fără să ne bazăm pe contractori talentați din Europa de Est și alte regiuni, doar pentru a ține pasul cu cererea de optimizare a inferenței AI.

După ce NVIDIA ne-a achiziționat, am început să dezvolt o abordare bazată pe agenți în interiorul companiei. Am publicat cercetări care demonstrează că harness‑ul (stratul de infrastructură din jurul unui model) este ceea ce determină cu adevărat performanța agenților, nu modelul în sine. Aceasta a fost dovada că adevăratul blocaj în infrastructura AI nu este găsirea unor modele mai bune, ci optimizarea sistemelor care le rulează.

Pe măsură ce modelele evoluează, infrastructura din jurul lor trebuie să se scaleze în consecință. Însă ciclurile de optimizare conduse de oameni nu reușesc să țină pasul. Optimizezi un ciclu de antrenament pentru o arhitectură de model, îl implementezi, apoi dacă arhitectura se schimbă sau apare o nouă generație de GPU, trebuie să începi de la capăt. În prezent, pare că apare o actualizare de model în fiecare săptămână, iar această abordare veche devine nesustenabilă. Această realizare m‑a convins că următorul salt tehnologic constă în infrastructura auto‑îmbunătățitoare, motiv pentru care am fondat INT21.

INT21 descrie abordarea sa ca „infrastructură auto‑îmbunătățitoare”, diferită de auto‑îmbunătățirea recursivă în care cercetătorii încearcă să facă modelul AI de bază mai capabil. Cum funcționează abordarea voastră și de ce credeți că îmbunătățirea sistemelor din jurul modelelor existente poate aduce câștiguri semnificative mult mai repede?

Abordarea de auto‑îmbunătățire recursivă se concentrează pe antrenarea de modele proprietare, formarea de echipe de cercetare și strângerea de capital masiv. Este un parcurs de un deceniu, costisitor, deoarece îi ceri modelului să raționeze asupra propriului proces de antrenament.

Abordarea noastră este diferită. La INT21 nu încercăm să îmbunătățim modelele de frontieră în sine, lucru care ar necesita ani și miliarde de dolari. Construim, în schimb, roiuri de agenți care optimizează harness‑ul, stratul de infrastructură dintre model și performanță. Asta a demonstrat cercetarea mea la Nvidia: harness‑ul, nu modelul, determină performanța agenților pe sarcini complexe. Un agent nu trebuie să înțeleagă capabilitățile modelului de frontieră pentru a găsi o creștere de eficiență de 10 %. Trebuie doar să exploreze spațiul de design, să măsoare, să valideze și să păstreze ce funcționează.

O modalitate de a înțelege cele două abordări este să compari construirea unei centrale electrice cu utilizarea energiei electrice deja existente. Putem avansa mai repede și să răspundem la cererea reală și imediată. Și înseamnă că deja observăm câștiguri semnificative și cuantificabile în infrastructura auto‑îmbunătățitoare.

INT21 a lansat recent Inference Engine Factory, extinzând conceptul dincolo de nucleele GPU individuale către motoare de inferență complete. Ce înseamnă, în practică, ca un roi de agenți să construiască și să optimizeze autonom un motor de inferență și care părți ale procesului au necesitat tradițional cea mai specializată expertiză umană?

Un motor de inferență este software‑ul care rulează un model pe hardware. Este un sistem complex care ia zeci de decizii de design simultan, cum ar fi ce operații rulează împreună într‑un singur nucleu sau cum se programează lucrul pe nuclee. Aceste decizii sunt interconectate, astfel încât dacă schimbi una, trebuie să retestezi tot restul.

În mod tradițional, un inginer ajustează manual toate acestea pentru fiecare model. Pentru generarea de video, muzică și vorbire, aceasta este o provocare, deoarece sunt arhitecturi multistadiu, multiescala, fără un cadru standard. Roiurile de agenți ale INT21 construiesc întregul stack de la capăt la capăt, de la nucleele individuale până la motorul complet de inferență. Stivele noastre de generare video și audio nu necesită revizuire de cod uman și depășesc soluțiile de inferență de ultimă generație în aceleași condiții de concurență.

Fabrică dvs. de nucleuri PTX a produs implementări care depășesc bazele existente cu până la 59 % pe anumite sarcini. La nivel tehnic, unde găsesc agenții îmbunătățiri de performanță pe care implementările umane foarte optimizate sau compilatoarele convenționale le ratează?

Fabrică noastră de nucleuri PTX a depășit cea mai bună bază disponibilă cu până la 59 % față de KDA (Kimi Linear Attention). Acest lucru se datorează faptului că roiurile noastre de agenți auto‑îmbunătățitoare pot genera mii de variații în fracțiuni de timp, un proces prea anevoios și costisitor pentru inginerii umani.

Diferența constă în faptul că nucleele scrise de oameni se bazează pe limbaje specifice domeniului (DSL‑uri), șabloane și compilatoare predefinite pentru GPU‑uri. Un DSL funcționează bine pentru tipare comune, dar când întâlnești o sarcină nouă, cum ar fi KDA, compilatorul general nu poate oferi performanță optimă. Agenții noștri ocolesc complet aceste abstracții, ceea ce înseamnă că nu sunt limitați de presupunerile DSL‑ului sau ale compilatorului. Această libertate de a explora întregul spațiu de design fără a fi blocați în tipare predefinite este sursa îmbunătățirii.

Infrastructura generată de AI creează o problemă neobișnuită de verificare: o optimizare nu este utilă dacă este mai rapidă, dar ușor incorectă. Cum testează, evaluează, respinge eșecurile și păstrează descoperirile reușite roiurile dvs. de agenți și cât de important este acest ciclu de feedback pentru a face sistemul cu adevărat auto‑îmbunătățitor, nu doar un agent de codare AI?

Ciclul de feedback este esențial, deoarece o optimizare este inutilă dacă este corectă doar în anumite ipoteze sau doar pentru un anumit set de intrări. La INT21 ne asigurăm că bucla de feedback este riguroasă.

Începem de la model, de la constrângerile de implementare și de la metrica de servire relevantă. Apoi, roiurile de agenți auto‑îmbunătățitoare explorează simultan configurații și căi de optimizare și evaluează fiecare candidat în raport cu obiectivele de corectitudine și performanță. Doar implementările care funcționează sunt păstrate.

Ceea ce face acest proces cu adevărat auto‑îmbunătățitor este faptul că datele de validare în sine se îmbunătățesc. Aceste date reîntorc în roiurile de agenți, astfel încât aceștia să-și rafineze înțelegerea a ceea ce funcționează și să închidă continuu bucla de feedback. Fără această rigoare, ai avea doar un sistem cu cod generat de AI care pare funcțional, dar acumulează datorii tehnice invizibile și erodează încrederea în ceea ce este construit.

La NVIDIA ați lucrat la proiecte precum VibeTensor și Agentic Variation Operators, unde agenții au generat cantități substanțiale de software de sistem și au căutat autonom optimizări GPU. Ce au revelat aceste proiecte despre tipurile de probleme inginerești pe care agenții AI le pot rezolva deja, pe care mulți dezvoltatori încă le consideră necesare intervenției umane?

VibeTensor mi‑a arătat ceva ce numesc „Efectul Frankenstein”. AI‑ul a realizat corect munca la fiecare nivel, dar când ai asamblat toate piesele într‑un sistem, rezultatul a rămas în urma a ceea ce experții umani ar fi putut construi.

Operatorii de variație agenți au arătat exact opusul. Au demonstrat că AI poate depăși experții umani în probleme cu domeniu restrâns. Generarea de nuclee este un exemplu bun, deoarece problema este îngustă, măsurabilă și are un singur obiectiv.

„Efectul Frankenstein” este exact ceea ce rezolvă INT21. Mostrele inginerești din Inference Engine Factory depășesc motoarele de inferență open‑source de înaltă performanță, cum ar fi SGLang și vLLM, pentru că am învățat să structurăm corect problema. Oferim agenților constrângeri clare, obiective cuantificabile și bucle de feedback strânse. Experții umani rămân esențiali, dar în loc să efectueze optimizări, ei oferă direcție valoroasă și interpretează rezultatele. AI amplifică impactul expertului prin execuție mai rapidă și mai sistematică decât orice om ar putea realiza.

INT21 folosește mai mulți agenți specializați în loc să se bazeze pe un singur agent cu o fereastră de context din ce în ce mai mare. De ce vedeți orchestrarea multi‑agent ca o abordare mai scalabilă pentru probleme inginerești complexe și cum își împarte munca agenții, împărtășesc descoperirile și evită dublarea sau conflictele?

O fereastră de context mai mare îți permite să reții mai multe informații simultan, dar nu te ajută să rezolvi probleme multidimensionale în care totul este interconectat. Folosim o platformă cloud‑native pentru rularea agenților specializați, toți lucrând spre același obiectiv cuantificabil. Agenții explorează în paralel și converg continuu spre soluții mai puternice.

Este mai scalabil din mai multe motive. În primul rând, fiecare agent rămâne concentrat. În al doilea, nu ceri unui singur agent să raționeze despre totul simultan, deci procesul devine mai eficient. Și, în final, reflectă modul în care echipele de infrastructură lucrează în realitate, unde fiecare echipă deține propriul domeniu, dar se sincronizează când deciziile afectează alte echipe.

Dacă roiurile de agenți devin capabile să optimizeze continuu nuclee, motoare de inferență, compilatoare și alte straturi ale stivei AI, cum se schimbă rolul inginerului de infrastructură? Credeți că aceste sisteme vor aborda în primul rând deficitul de ingineri specializați sau, în cele din urmă, vor automatiza o parte substanțială a dezvoltării infrastructurii?

Rolul inginerului de infrastructură este pe cale să se schimbe complet. Nu mai petrece timp în codul nucleului și în reglarea memoriei. În schimb, stabilește obiective, definește spațiul de design, stabilește constrângerile și interpretează rezultatele.

În timp, vor fi necesari mai puțini ingineri de infrastructură pentru a menține și îmbunătăți sistemele. Dar munca strategică care rămâne devine mai valoroasă, nu mai puțin. Practic, înseamnă că organizațiile pot opera infrastructuri AI complexe cu mult mai puțini ingineri specializați decât au nevoie astăzi. Acest lucru este semnificativ pentru fiecare companie care încearcă să construiască sisteme AI de producție.

Viziunea pe termen lung este ca roiurile de agenți auto‑îmbunătățitoare să opereze în toate straturile infrastructurii AI. Cum ar arăta această stivă dacă viziunea se realizează și am putea ajunge la un punct în care infrastructura AI se rescrie și se optimizează continuu pe măsură ce modelele, sarcinile și hardware‑ul evoluează?

În prezent, fiecare strat al stivei AI se optimizează independent, de la nuclee de nivel jos la cadrele fundamentale, la interfețe. Dar nu se coordonează între ele. Astfel, poți optimiza un strat, dar apoi să strici accidental ceva în altul în aval.

La INT21, viziunea este ca roiurile de agenți să se coordoneze autonom în toate aceste straturi, ajustându‑se și adaptându‑se continuu. Când apare un model nou, întreaga stivă se reoptimizează pentru el, astfel încât infrastructura să nu rămână niciodată în urmă față de ce rulează pe ea.

Acest lucru nu a fost posibil până acum, deoarece inginerii umani nu pot avansa suficient de repede. Dar, odată cu roiurile de agenți care optimizează continuu, infrastructura auto‑îmbunătățitoare apare ca o categorie distinctă de calcul. Infrastructura care poate să se adapteze la fel de rapid cum se schimbă modelele și hardware‑ul va câștiga. Tot restul devine o povară.

Vă mulțumim pentru interviul excelent; cititorii care doresc să afle mai multe ar trebui să viziteze INT21.