Bing Xu, Fondatore e CEO di INT21 – Serie di Interviste

Bing Xu, Fondatore e CEO di INT21, è un ingegnere di infrastrutture AI e imprenditore con una profonda esperienza che spazia dall’ottimizzazione GPU, ai sistemi di machine learning, e agli agenti AI autonomi. Prima di fondare INT21 nel 2026, Xu è stato Distinguished Engineer presso NVIDIA, dove ha lavorato allo sviluppo software guidato da agenti e ha creato più generazioni di agenti di programmazione, includendo il lavoro alla base di VibeTensor e AVO. È entrato in NVIDIA dopo l’acquisizione di HippoML, la startup di inferenza GPU che aveva fondato e guidato come CEO. In precedenza, Xu è stato Senior Staff Software Engineer presso Meta, dove ha creato AITemplate e ha contribuito a migliorare l’efficienza dell’inferenza GPU su carichi di lavoro di produzione, e ha ricoperto ruoli di ingegneria e ricerca presso OctoML, Facebook AI, Apple e Turi. La sua carriera si è costantemente concentrata sul migliorare il software e l’infrastruttura alla base dei moderni sistemi AI.

INT21 sta costruendo un’infrastruttura AI auto‑migliorante progettata per utilizzare sciami di agenti autonomi per sviluppare, testare, valutare e ottimizzare continuamente il software che alimenta i carichi di lavoro AI. L’attuale focus è Inference Engine Factory, che utilizza agenti specializzati per esplorare strategie di ottimizzazione in parallelo e costruire motori di inferenza completi che comprendono kernel CUDA e PTX, driver e infrastruttura di servizio, con le prestazioni validate direttamente sull’hardware di destinazione. La tecnologia dell’azienda è basata su SwarmOS, una piattaforma cloud‑native che consente a un gran numero di agenti di coordinarsi attorno a obiettivi ingegneristici misurabili mantenendo evidenze e lezioni tra le generazioni. INT21 ha inizialmente dimostrato questo approccio tramite la PTX Kernel Factory, che ha prodotto e benchmarkato kernel GPU su hardware NVIDIA Hopper e Blackwell; da allora l’azienda ha spostato le risorse di calcolo verso l’ottimizzazione di motori di inferenza completi.

Hai fondato INT21 dopo aver incontrato ripetutamente la difficoltà di assumere ingegneri di infrastruttura specializzati abbastanza velocemente da costruire e ottimizzare i sistemi AI. Cosa ti ha convinto che la soluzione non fosse semplicemente strumenti di sviluppo migliori, ma sciami di agenti autonomi e auto‑miglioranti capaci di svolgere questo lavoro da soli?

È un problema ben noto che la domanda di talenti specializzati in infrastrutture AI, in diverse specializzazioni, supera di gran lunga l’offerta, e è una sfida che ho vissuto in prima persona. È questo che mi ha spinto a considerare gli sciami di agenti auto‑miglioranti come opzione. Negli ultimi anni ho lavorato su soluzioni AI auto‑miglioranti, e la tecnologia ora si sta muovendo a una velocità tale che questi sistemi sono davvero sufficienti per costruire, eseguire e ottimizzare l’infrastruttura in modo autonomo.

La filosofia centrale di INT21 è che, come gli esseri umani, gli agenti diventano più intelligenti grazie alla conoscenza accumulata. Questo è fondamentalmente diverso dagli strumenti di sviluppo legacy, che sono ancora limitati dal numero di ore che una persona può lavorare e dai problemi che può risolvere fisicamente. Utilizzare sciami di agenti auto‑miglioranti significa essere più veloci, più precisi e più efficienti a ogni ciclo di produzione. Poiché i nostri agenti sono capaci e non vincolati da framework esistenti, possiamo costruire soluzioni direttamente da zero per ogni carico di lavoro specifico.

Prima di INT21, hai fondato HippoML, che è stata acquisita da NVIDIA appena 14 mesi dopo il lancio, e successivamente sei diventato Distinguished Engineer presso NVIDIA. Cosa ti hanno insegnato queste esperienze sui colli di bottiglia nelle infrastrutture AI che alla fine hanno plasmato l’architettura e la missione di INT21?

In HippoML ci siamo specializzati nell’inferenza AI generativa ad alte prestazioni, creando strumenti di ottimizzazione software per eseguire modelli di linguaggio di grandi dimensioni più rapidamente ed efficientemente. Ci siamo resi conto che non potevamo scalare senza fare affidamento su talentuosi contractor dall’Europa dell’Est e da altre regioni, solo per tenere il passo con la domanda di ottimizzazione dell’inferenza AI.

Dopo che NVIDIA ci ha acquisiti, ho iniziato a costruire un approccio di sviluppo basato su agenti all’interno dell’azienda. Noi abbiamo pubblicato una ricerca dimostrando che il harness (lo strato di infrastruttura intorno a un modello) è ciò che determina realmente le prestazioni dell’agente, non il modello stesso. Questo è stato la prova che il vero collo di bottiglia nelle infrastrutture AI non è trovare modelli migliori, ma ottimizzare i sistemi che li eseguono.

Man mano che i modelli migliorano, l’infrastruttura intorno a loro deve scalare di conseguenza. Tuttavia i cicli di ottimizzazione guidati dall’uomo faticano a tenere il passo. Ottimizzi un ciclo di addestramento per una determinata architettura di modello, lo distribuisci, poi se l’architettura del modello cambia o arriva una nuova generazione di GPU, devi ricominciare da capo. Oggi sembra esserci un aggiornamento del modello ogni settimana; questo vecchio approccio è insostenibile. Questa constatazione mi ha convinto che la prossima svolta sia nelle infrastrutture auto‑miglioranti, il che mi ha portato a fondare INT21.

INT21 descrive il suo approccio come “infrastruttura auto‑migliorante”, che è molto diverso dalla auto‑miglioramento ricorsivo in cui i ricercatori cercano di rendere il modello AI sottostante più capace. Come funziona il vostro approccio, e perché credete che migliorare i sistemi attorno ai modelli esistenti possa portare a guadagni significativi molto prima?

L’approccio di auto‑miglioramento ricorsivo si concentra sull’addestramento di modelli proprietari, sulla costituzione di team di ricerca e sulla raccolta di capitali enormi. È un percorso che dura decenni e costa molto, perché si chiede al modello di ragionare sul proprio processo di addestramento.

Il nostro approccio è diverso. In INT21 non cerchiamo di migliorare i modelli di frontiera stessi, cosa che richiederebbe anni e miliardi di capitale. Costruiamo invece sciami di agenti che ottimizzano il harness, lo strato di infrastruttura che si colloca tra il modello e le prestazioni. È ciò che la mia ricerca presso Nvidia ha dimostrato: che il harness, non il modello, determina le prestazioni dell’agente su compiti complessi. Un agente non ha bisogno di comprendere le capacità dei modelli di frontiera per trovare un miglioramento di efficienza del 10 %. Deve solo esplorare lo spazio di progettazione, misurare, validare e conservare ciò che funziona.

Un modo per pensare ai due approcci è che uno costruisce una centrale elettrica, mentre l’altro costruisce usando l’elettricità già esistente. Possiamo muoverci più velocemente e rispondere a una domanda reale e immediata. E questo significa che stiamo già osservando guadagni significativi e misurabili nell’infrastruttura auto‑migliorante oggi.

INT21 ha recentemente lanciato l’Inference Engine Factory, estendendo il concetto oltre i singoli kernel GPU a motori di inferenza completi. Cosa significa realmente che uno sciame di agenti costruisca e ottimizzi autonomamente un motore di inferenza, e quali parti di quel processo hanno tradizionalmente richiesto la più specializzata esperienza umana?

Un motore di inferenza è il software che esegue un modello sull’hardware. È un sistema complesso che prende decine di decisioni di progettazione contemporaneamente, come quali operazioni eseguire insieme in un unico kernel o come pianificare il lavoro tra i core. Queste decisioni sono interconnesse, quindi se ne modifichi una devi ritestare tutto il resto.

Tradizionalmente, un ingegnere regola manualmente tutto ciò per ogni modello. Per la generazione di video, musica e voce, è una sfida perché si tratta di architetture multistadio e multiscala senza framework pronti all’uso. Gli sciami di agenti di INT21 costruiscono l’intero stack end‑to‑end, dai kernel individuali fino al motore di inferenza completo. I nostri stack per la generazione di video e audio non richiedono revisione umana del codice e superano le soluzioni di inferenza all’avanguardia con le stesse impostazioni di concorrenza.

Il tuo PTX Kernel Factory ha prodotto implementazioni che superano le baseline esistenti fino al 59 % in alcuni carichi di lavoro. A livello tecnico, dove gli agenti trovano miglioramenti di prestazioni che le implementazioni umane altamente ottimizzate o i compilatori convenzionali non riescono a individuare?

Il nostro PTX Kernel Factory ha superato la migliore baseline disponibile fino al 59 % rispetto a KDA (Kimi Linear Attention). Questo si riduce al fatto che i nostri sciami di agenti auto‑miglioranti riescono a scalare a migliaia di variazioni in una frazione di tempo, un processo troppo gravoso e costoso per gli ingegneri umani.

Ciò che differenzia è che i kernel scritti da umani si basano su linguaggi specifici di dominio (DSL), template e compilatori predefiniti per GPU. Un DSL funziona bene per pattern comuni, ma quando si affronta un nuovo carico di lavoro, come KDA, il compilatore generico spesso non riesce a ottimizzare al meglio. I nostri agenti aggirano completamente queste astrazioni, il che significa che non sono vincolati da assunzioni di DSL o compilatore. Questa libertà di esplorare l’intero spazio di progettazione senza essere bloccati in pattern predefiniti è la fonte del miglioramento.

L’infrastruttura generata dall’AI crea un problema di verifica insolito: un’ottimizzazione non è utile se è più veloce ma leggermente errata. Come testano, benchmarkano, rifiutano i fallimenti e conservano le scoperte riuscite i vostri sciami di agenti, e quanto è importante questo ciclo di feedback per rendere il sistema veramente auto‑migliorante anziché semplicemente un agente di codifica AI?

Il ciclo di feedback è fondamentale, perché un’ottimizzazione è inutile se è corretta solo sotto ipotesi specifiche o solo per una determinata distribuzione di input. In INT21 ci assicuriamo che il ciclo di feedback sia rigoroso.

Partiamo dal modello, dai vincoli di distribuzione e dalla metrica di servizio rilevante. Poi, gli sciami di agenti auto‑miglioranti esplorano simultaneamente percorsi di configurazione e ottimizzazione, valutando ogni candidato rispetto a obiettivi di correttezza e prestazioni. Solo le implementazioni funzionanti vengono conservate.

Ciò che rende questo realmente auto‑migliorante è il miglioramento continuo dei dati di validazione. Quei dati ritornano agli sciami di agenti, così che affinino la loro comprensione di ciò che funziona, chiudendo costantemente il ciclo di feedback. Senza questa rigore, si avrebbe solo un sistema con codice AI apparentemente plausibile che può essere rilasciato più velocemente, ma con debito tecnico che si accumula invisibilmente e erode la fiducia in ciò che viene costruito.

Presso NVIDIA, hai lavorato su progetti tra cui VibeTensor e Agentic Variation Operators, dove gli agenti hanno generato una notevole quantità di software di sistema e hanno cercato autonomamente ottimizzazioni GPU. Cosa hanno rivelato questi progetti sui tipi di problemi ingegneristici che gli agenti AI sono già in grado di risolvere, che molti sviluppatori potrebbero ancora ritenere richiedere esperti umani?

VibeTensor mi ha insegnato qualcosa che chiamo l’«Effetto Frankenstein». L’AI ha svolto correttamente il lavoro a ogni livello, ma quando si assemblano tutti i pezzi in un sistema, il risultato è inferiore a quello che gli esperti umani potrebbero costruire.

Il lavoro sugli Agentic Variation Operators è stato l’opposto. Ha dimostrato che l’AI può superare gli esperti umani in problemi strettamente delimitati. La generazione di kernel è un buon esempio, poiché il problema è ristretto, misurabile e ha un unico obiettivo.

L’«Effetto Frankenstein» è esattamente ciò che INT21 sta risolvendo. I campioni ingegneristici del nostro Inference Engine Factory superano motori di inferenza open‑source ad alte prestazioni come SGLang e vLLM, perché abbiamo imparato a strutturare correttamente il problema. Forniamo agli agenti vincoli chiari, obiettivi misurabili e cicli di feedback stretti. Gli esperti umani sono ancora essenziali, ma invece di condurre il lavoro di ottimizzazione, forniscono indicazioni preziose e interpretano i risultati. L’AI amplifica l’impatto dell’esperto eseguendo più velocemente e più sistematicamente di quanto possa fare qualsiasi umano.

INT21 utilizza più agenti specializzati invece di fare affidamento su un unico agente con una finestra di contesto sempre più ampia. Perché vedi l’orchestrazione multi‑agente come un approccio più scalabile ai problemi ingegneristici complessi, e come gli agenti dividono il lavoro, condividono le scoperte e evitano duplicazioni o conflitti tra loro?

Una finestra di contesto più ampia consente di tenere più informazioni contemporaneamente, ma non aiuta a risolvere problemi multidimensionali dove tutto è interconnesso. Utilizziamo una piattaforma cloud‑native per eseguire agenti specializzati, tutti orientati allo stesso obiettivo misurabile. Gli agenti esplorano in parallelo e convergono continuamente verso soluzioni più robuste.

È più scalabile per diversi motivi. In primo luogo, ogni agente rimane focalizzato. In secondo luogo, non si chiede a un unico agente di ragionare su tutto simultaneamente, rendendo il processo più efficiente. Infine, rispecchia il modo in cui i team di infrastruttura operano realmente, dove ogni team possiede il proprio dominio, ma si sincronizza quando le decisioni influenzano gli altri.

Se gli sciami di agenti diventano capaci di ottimizzare continuamente kernel, motori di inferenza, compilatori e altri strati dello stack AI, come cambia il ruolo dell’ingegnere di infrastruttura? Ti aspetti che questi sistemi affrontino principalmente la carenza di ingegneri specializzati, o che alla fine automatizzino una parte sostanziale dello sviluppo dell’infrastruttura stessa?

Il lavoro di un ingegnere di infrastruttura sta per cambiare radicalmente. Non si occuperà più di scrivere codice di kernel e di ottimizzare la memoria. Invece, definirà obiettivi, delineerà lo spazio di progettazione, stabilirà vincoli e interpreterà i risultati.

Nel tempo, saranno necessari meno ingegneri di infrastruttura per mantenere i sistemi in funzione e migliorare. Tuttavia, il lavoro strategico che rimane diventa più prezioso, non meno. Praticamente, ciò significa che le organizzazioni possono gestire infrastrutture AI complesse con molti meno ingegneri specializzati rispetto a oggi. Questo è significativo per ogni azienda che cerca di costruire sistemi AI di produzione.

La tua visione a lungo termine è che gli sciami di agenti auto‑miglioranti operino su tutti gli strati dell’infrastruttura AI. Come appare quello stack se questa visione si realizza, e potremmo eventualmente arrivare a un punto in cui l’infrastruttura AI si riscrive e si ottimizza continuamente man mano che modelli, carichi di lavoro e hardware cambiano?

Attualmente, ogni strato dello stack AI si ottimizza in modo indipendente, dai kernel a basso livello ai framework fondamentali, fino alle interfacce. Tuttavia non si coordinano tra loro. Si può ottimizzare un livello, ma poi rompere accidentalmente qualcosa a valle.

In INT21, la visione è che gli sciami di agenti possano coordinarsi autonomamente su tutti questi strati, aggiustandosi e adattandosi costantemente. Quando arriva un nuovo modello, l’intero stack si riottimizza per esso, così l’infrastruttura non resta mai indietro rispetto a ciò che sta eseguendo.

Ciò non è stato fattibile, perché gli ingegneri umani non possono muoversi abbastanza velocemente. Ma con gli sciami di agenti che ottimizzano continuamente, l’infrastruttura auto‑migliorante sta emergendo come una categoria di calcolo distinta. L’infrastruttura che può adattarsi velocemente quanto cambiano modelli e hardware vincerà. Tutto il resto diventa una passività.

Grazie per la fantastica intervista, i lettori che desiderano saperne di più dovrebbero visitare INT21.