Bing Xu, Fundador e CEO da INT21 – Série de Entrevistas

Bing Xu, Fundador e CEO da INT21, é engenheiro de infraestrutura de IA e empreendedor com ampla experiência em otimização de GPUs, sistemas de aprendizado de máquina e agentes de IA autônomos. Antes de fundar a INT21 em 2026, Xu foi Distinguished Engineer na NVIDIA, onde trabalhou em desenvolvimento de software orientado por agentes e criou múltiplas gerações de agentes de codificação, incluindo o trabalho por trás do VibeTensor e do AVO. Ele ingressou na NVIDIA após sua aquisição da HippoML, a startup de inferência em GPU que fundou e liderou como CEO. Anteriormente, Xu atuou como Senior Staff Software Engineer na Meta, onde criou o AITemplate e ajudou a melhorar a eficiência de inferência em GPU em cargas de trabalho de produção, além de ter ocupado cargos de engenharia e pesquisa na OctoML, Facebook AI, Apple e Turi. Sua carreira tem se concentrado consistentemente em melhorar o software e a infraestrutura que sustentam os sistemas modernos de IA.

INT21 está construindo infraestrutura de IA auto‑melhorável projetada para usar enxames de agentes autônomos que desenvolvem, testam, avaliam e otimizam continuamente o software que alimenta cargas de trabalho de IA. Seu foco atual é o Inference Engine Factory, que utiliza agentes especializados para explorar estratégias de otimização em paralelo e construir motores de inferência completos, abrangendo kernels CUDA e PTX, drivers e infraestrutura de serviço, com desempenho validado diretamente no hardware alvo. A tecnologia da empresa baseia‑se no SwarmOS, uma plataforma nativa da nuvem que permite que grande número de agentes coordenem em torno de objetivos de engenharia mensuráveis, mantendo evidências e lições entre gerações. A INT21 demonstrou inicialmente essa abordagem por meio do PTX Kernel Factory, que produziu e avaliou kernels de GPU nos hardwares NVIDIA Hopper e Blackwell; desde então, a empresa redirecionou seus recursos de computação para otimizar motores de inferência completos.

Você fundou a INT21 após encontrar repetidamente a dificuldade de contratar engenheiros de infraestrutura especializados rápido o suficiente para construir e otimizar sistemas de IA. O que o convenceu de que a solução não era simplesmente melhores ferramentas de desenvolvimento, mas enxames de agentes autônomos e auto‑melhoráveis capazes de assumir esse trabalho?

É um problema bem conhecido que a demanda por talentos focados em infraestrutura de IA, em diferentes especializações, supera em muito a oferta, e isso foi um desafio que enfrentei pessoalmente. Foi isso que me motivou a considerar enxames de agentes auto‑melhoráveis como uma alternativa. Nos últimos anos, tenho trabalhado em soluções de IA auto‑melhoráveis, e a tecnologia está avançando tão rapidamente que esses sistemas já são realmente capazes de construir, executar e otimizar infraestrutura de forma autônoma.

A filosofia central da INT21 é que, assim como os humanos, os agentes ficam mais inteligentes por meio do conhecimento acumulado. Isso difere fundamentalmente das ferramentas de desenvolvedor legadas, que ainda são limitadas pelas horas que alguém pode trabalhar e pelos problemas que podem ser resolvidos fisicamente. Usar enxames de agentes auto‑melhoráveis significa que somos mais rápidos, precisos e eficientes a cada ciclo de produção. Como nossos agentes são capazes e não ficam presos a estruturas existentes, podemos construir soluções diretamente do zero para cada carga de trabalho específica.

Antes da INT21, você fundou a HippoML, que foi adquirida pela NVIDIA apenas 14 meses após o lançamento, e depois se tornou Distinguished Engineer na NVIDIA. O que essas experiências lhe ensinaram sobre os gargalos na infraestrutura de IA que, em última análise, moldaram a arquitetura e a missão da INT21?

Na HippoML, nos especializamos em inferência generativa de IA de alto desempenho, criando ferramentas de otimização de software para executar grandes modelos de linguagem mais rápido e de forma mais eficiente. Percebemos que não podíamos escalar sem depender de contratados talentosos da Europa Oriental e de outros lugares, apenas para acompanhar a demanda por otimização de inferência de IA.

Depois que a NVIDIA nos adquiriu, comecei a desenvolver uma abordagem baseada em agentes dentro da empresa. Nós publicamos pesquisa provando que o harness (a camada de infraestrutura ao redor de um modelo) é o que realmente determina o desempenho do agente, não o modelo em si. Isso foi uma evidência de que o verdadeiro gargalo na infraestrutura de IA não está em encontrar modelos melhores, mas em otimizar os sistemas que os executam.

Conforme os modelos melhoram, a infraestrutura ao redor deles precisa escalar de forma correspondente. Mas os ciclos de otimização conduzidos por humanos têm dificuldade em acompanhar esse ritmo. Você otimiza um loop de treinamento para uma arquitetura de modelo, o implanta e, se a arquitetura mudar ou surgir uma nova geração de GPU, precisa recomeçar. Hoje, parece que há uma atualização de modelo nova a cada semana; esse método antigo se torna insustentável. Essa constatação me convenceu de que o próximo salto está na infraestrutura auto‑melhorável, o que me levou a fundar a INT21.

A INT21 descreve sua abordagem como “infraestrutura auto‑melhorável”, que difere bastante da auto‑melhoria recursiva, onde pesquisadores tentam tornar o próprio modelo de IA subjacente mais capaz. Como funciona sua abordagem e por que você acredita que melhorar os sistemas ao redor dos modelos existentes pode gerar ganhos significativos muito antes?

A abordagem de auto‑melhoria recursiva foca no treinamento de modelos proprietários, na montagem de equipes de pesquisa e na captação de capital massivo. É uma jornada de décadas e muito cara, porque se pede ao modelo que raciocine sobre seu próprio processo de treinamento.

Nosso método é diferente. Na INT21, não estamos tentando melhorar os modelos de ponta em si, o que levaria anos e bilhões em investimento. Em vez disso, construímos enxames de agentes que otimizam o harness, a camada de infraestrutura que fica entre o modelo e o desempenho. Foi isso que minha pesquisa na Nvidia demonstrou: o harness, e não o modelo, determina o desempenho do agente em tarefas complexas. Um agente não precisa entender as capacidades de um modelo de ponta para encontrar um ganho de eficiência de 10 %. Ele só precisa explorar o espaço de design, medir, validar e manter o que funciona.

Uma forma de entender as duas abordagens é que uma constrói uma usina de energia enquanto a outra utiliza a eletricidade que já existe. Podemos avançar mais rápido e atender a demandas reais e imediatas. E isso significa que já estamos vendo ganhos mensuráveis e significativos em infraestrutura auto‑melhorável hoje.

A INT21 lançou recentemente o Inference Engine Factory, ampliando o conceito além de kernels individuais de GPU para motores de inferência completos. O que isso realmente significa para que um enxame de agentes construa e otimize autonomamente um motor de inferência, e quais partes desse processo tradicionalmente exigiam a maior expertise humana?

Um motor de inferência é o software que executa um modelo no hardware. É um sistema complexo que toma dezenas de decisões de design simultaneamente, como quais operações rodam juntas em um único kernel ou como os agendamentos de trabalho são distribuídos entre os núcleos. Essas decisões são interdependentes, de modo que mudar uma implica retestar tudo o mais.

Tradicionalmente, um engenheiro ajusta manualmente tudo isso para cada modelo. Para geração de vídeo, música e fala, isso é um desafio porque são arquiteturas multietapa e multiescala sem um framework pronto‑para‑uso. Os enxames de agentes da INT21 constroem a pilha completa de ponta a ponta, desde kernels individuais até o motor de inferência integral. Nossos stacks de geração de vídeo e áudio não requerem revisão de código humano e superam as soluções de inferência de ponta sob as mesmas configurações de concorrência.

Seu PTX Kernel Factory produziu implementações que superam as linhas de base existentes em até 59 % em determinadas cargas de trabalho. Em nível técnico, onde os agentes encontram melhorias de desempenho que implementações humanas altamente otimizadas ou compiladores convencionais não conseguem?

Nosso PTX Kernel Factory superou a melhor linha de base disponível em até 59 % contra o KDA (Kimi Linear Attention). Isso se resume ao fato de que nossos enxames de agentes auto‑melhoráveis conseguem escalar para milhares de variações em frações de tempo, um processo demasiado árduo e caro para engenheiros humanos realizarem.

O diferencial é que kernels escritos por humanos dependem de linguagens específicas de domínio (DSLs), templates e compiladores pré‑construídos para GPUs. Uma DSL funciona bem para padrões comuns, mas ao encontrar uma nova carga de trabalho, como o KDA, o compilador de uso geral muitas vezes não consegue otimizar adequadamente. Nossos agentes contornam essas abstrações completamente, o que significa que não ficam limitados por suposições de DSL ou de compilador. Essa liberdade de explorar todo o espaço de design sem estar preso a padrões pré‑definidos é de onde vem a melhoria.

Infraestruturas geradas por IA criam um problema incomum de verificação: uma otimização não é útil se for mais rápida, mas sutilmente incorreta. Como seus enxames de agentes testam, avaliam, rejeitam falhas e retêm descobertas bem‑sucedidas, e quão importante é esse ciclo de feedback para tornar o sistema realmente auto‑melhorável, em vez de apenas um agente de codificação de IA?

O ciclo de feedback é crítico, porque uma otimização é inútil se for correta apenas sob suposições específicas ou para um conjunto limitado de entradas. Na INT21, garantimos que o ciclo de feedback seja rigoroso.

Partimos do modelo, das restrições de implantação e da métrica de serviço que importa. Em seguida, os enxames de agentes auto‑melhoráveis exploram simultaneamente configurações e caminhos de otimização, avaliando cada candidato quanto à correção e às metas de desempenho. Apenas as implementações que funcionam são mantidas.

O que torna isso genuinamente auto‑melhorável é que os próprios dados de validação melhoram. Esses dados retornam aos enxames, que refinam sua compreensão do que funciona e fecham continuamente o ciclo de feedback. Sem esse rigor, teríamos apenas um sistema que gera código de IA que parece plausível e pode ser entregue mais rápido, mas que acumula dívida técnica invisível e corrói a confiança no que está sendo construído.

Na NVIDIA, você trabalhou em projetos como VibeTensor e Agentic Variation Operators, onde agentes geraram grande quantidade de software de sistema e buscaram autonomamente otimizações de GPU. O que esses projetos revelaram sobre os tipos de problemas de engenharia que agentes de IA já são capazes de resolver, mas que muitos desenvolvedores ainda presumem que exigem especialistas humanos?

O VibeTensor me ensinou algo que chamo de “Efeito Frankenstein”. A IA executava o trabalho corretamente em cada nível, mas quando se juntavam todas as peças como um sistema, ficava aquém do que especialistas humanos poderiam construir.

O trabalho com Agentic Variation Operators foi o oposto. Demonstrou que a IA pode superar especialistas humanos em problemas de escopo estreito. A geração de kernels é um bom exemplo, pois o problema é limitado, mensurável e tem um único objetivo.

O “Efeito Frankenstein” é exatamente o que a INT21 está resolvendo. As amostras de engenharia do nosso Inference Engine Factory superam motores de inferência de código aberto de alto desempenho, como SGLang e vLLM, porque aprendemos a estruturar o problema corretamente. Damos aos agentes restrições claras, objetivos mensuráveis e ciclos de feedback apertados. Especialistas humanos ainda são essenciais, mas em vez de conduzir a otimização, eles fornecem direções valiosas e interpretam os resultados. A IA amplifica o impacto do especialista ao executar mais rápido e de forma mais sistemática do que qualquer humano poderia.

A INT21 usa múltiplos agentes especializados em vez de depender de um único agente com uma janela de contexto cada vez maior. Por que você vê a orquestração multi‑agente como uma abordagem mais escalável para problemas de engenharia complexos, e como os agentes dividem o trabalho, compartilham descobertas e evitam duplicação ou conflitos?

Uma janela de contexto maior permite reter mais informação de uma vez, mas não ajuda a resolver problemas multidimensionais onde tudo está interconectado. Usamos uma plataforma nativa da nuvem para executar agentes especializados, todos trabalhando em direção ao mesmo objetivo mensurável. Os agentes exploram em paralelo e convergem continuamente para soluções mais fortes.

Isso é mais escalável por várias razões. Primeiro, cada agente permanece focado. Segundo, não se pede a um único agente que raciocine sobre tudo simultaneamente, tornando o processo mais eficiente. Por fim, isso reflete como equipes de infraestrutura realmente operam, onde cada equipe possui seu domínio, mas sincroniza quando decisões afetam outras áreas.

Se os enxames de agentes se tornarem capazes de otimizar continuamente kernels, motores de inferência, compiladores e outras camadas da pilha de IA, como mudará o papel do engenheiro de infraestrutura? Você espera que esses sistemas abordem principalmente a escassez de engenheiros especializados ou, eventualmente, automatizem uma parte substancial do desenvolvimento de infraestrutura?

O trabalho do engenheiro de infraestrutura está prestes a mudar completamente. Eles não passarão mais horas ajustando código de kernels e afinando memória. Em vez disso, definirão objetivos, delimitarão o espaço de design, estabelecerão restrições e interpretarão os resultados.

Com o tempo, menos engenheiros de infraestrutura serão necessários para manter os sistemas em funcionamento e em evolução. Mas o trabalho estratégico que permanecerá se tornará mais valioso, não menos. Na prática, isso significa que organizações poderão operar infraestruturas de IA complexas com muito menos engenheiros especializados do que precisam hoje. Isso é significativo para qualquer empresa que queira construir sistemas de IA em produção.

Sua visão de longo prazo é que enxames de agentes auto‑melhoráveis operem em todas as camadas da infraestrutura de IA. Como seria essa pilha se a visão se concretizar, e poderemos chegar a um ponto em que a infraestrutura de IA reescreve e otimiza continuamente a si mesma à medida que modelos, cargas de trabalho e hardware evoluem?

Hoje, cada camada da pilha de IA otimiza de forma independente, desde kernels de baixo nível até frameworks fundamentais e interfaces. Mas elas não se coordenam entre si. Assim, você pode otimizar uma camada e acabar quebrando algo em outra camada downstream.

Na INT21, a visão é que os enxames de agentes possam coordenar autonomamente todas essas camadas, ajustando‑se e adaptando‑se constantemente. Quando um novo modelo chega, toda a pilha reotimiza para ele, de modo que a infraestrutura nunca fique atrás do que está sendo executado.

Isso ainda não era viável, porque engenheiros humanos não conseguem se mover rápido o suficiente. Mas com enxames de agentes otimizando continuamente, a infraestrutura auto‑melhorável está surgindo como uma categoria de computação distinta. A infraestrutura que puder se adaptar tão rápido quanto modelos e hardware mudam será a vencedora. Todo o resto se torna um passivo.

Obrigado pela ótima entrevista, leitores que desejam saber mais devem visitar INT21.