Bing Xu, zakladatel a generální ředitel INT21 – série rozhovorů

Bing Xu, zakladatel a generální ředitel INT21, je inženýr AI infrastruktury a podnikatel s hlubokými zkušenostmi v optimalizaci GPU, systémech strojového učení a autonomních AI agentech. Před založením INT21 v roce 2026 byl Xu výjimečným inženýrem ve společnosti NVIDIA, kde pracoval na vývoji softwaru řízeného agenty a vytvořil několik generací kódovacích agentů, včetně práce na VibeTensor a AVO. Připojil se k NVIDIA po její akvizici HippoML, startupu pro inference na GPU, který založil a vedl jako generální ředitel. Dříve působil Xu jako Senior Staff Software Engineer ve společnosti Meta, kde vytvořil AITemplate a pomohl zlepšit efektivitu inference na GPU v produkčních pracovních zátěžích, a zastával inženýrské a výzkumné pozice v OctoML, Facebook AI, Apple a Turi. Jeho kariéra se neustále soustředila na zlepšování softwaru a infrastruktury, která leží pod moderními AI systémy.

INT21 buduje samoučící se AI infrastrukturu navrženou tak, aby pomocí autonomních rojů agentů neustále vyvíjela, testovala, benchmarkovala a optimalizovala software, který pohání AI pracovní zátěže. V současnosti se zaměřuje na Inference Engine Factory, který využívá specializované agenty k paralelnímu zkoumání optimalizačních strategií a vytváří kompletní inference enginy zahrnující CUDA a PTX kernely, ovladače a servisní infrastrukturu, přičemž výkon je ověřován přímo na cílovém hardwaru. Technologie společnosti je postavena na SwarmOS, cloud‑native platformě, která umožňuje velkému počtu agentů koordinovat se kolem měřitelných inženýrských cílů a zároveň uchovávat důkazy a poznatky mezi generacemi. INT21 nejprve demonstrovala tento přístup prostřednictvím PTX Kernel Factory, která produkovala a benchmarkovala GPU kernely na hardware NVIDIA Hopper a Blackwell; od té doby společnost přesunula své výpočetní zdroje k optimalizaci kompletních inference engineů.

Založil jste INT21 poté, co jste opakovaně narazil na obtíž najímat specializované inženýry infrastruktury dostatečně rychle, aby postavili a optimalizovali AI systémy. Co vás přesvědčilo, že řešení není jen lepší vývojářské nástroje, ale autonomní, samoučící se roje agentů, kteří tuto práci zvládnou sami?

Je dobře známo, že poptávka po talentu zaměřeném na AI infrastrukturu napříč různými specializacemi výrazně převyšuje nabídku, a to je problém, který jsem zažil na vlastní kůži. To mě přimělo podívat se na samoučící se roje agentů jako na možnost. V posledních několika letech jsem pracoval na samoučících se AI řešeních a technologie se nyní vyvíjejí tak rychle, že tyto systémy jsou skutečně schopny autonomně budovat, provozovat a optimalizovat infrastrukturu.

Základní filozofií INT21 je, že podobně jako lidé, i agenti se stávají chytřejšími díky nashromážděným znalostem. To se zásadně liší od tradičních vývojářských nástrojů, které jsou stále omezeny tím, kolik hodin někdo může pracovat a jaké problémy může fyzicky vyřešit. Používání samoučících se rojů agentů znamená, že jsme s každým produkčním cyklem rychlejší, přesnější a efektivnější. Protože naši agenti nejsou omezeni stávajícími frameworky, můžeme vytvářet řešení přímo od základů pro každou konkrétní pracovní zátěž.

Před INT21 jste založil HippoML, kterou NVIDIA získala pouhých 14 měsíců po spuštění, a později jste se stal Distinguished Engineer ve společnosti NVIDIA. Co vám tyto zkušenosti prozradily o úzkých místech v AI infrastruktuře, které nakonec formovaly architekturu a poslání INT21?

V HippoML jsme se specializovali na vysoce výkonnou inference generativní AI, vytvářeli nástroje pro optimalizaci softwaru, aby velké jazykové modely běžely rychleji a efektivněji. Uvědomili jsme si, že bez talentovaných kontraktorů z východní Evropy a dalších regionů nemůžeme škálovat, jen abychom drželi krok s poptávkou po optimalizaci AI inference.

Po akvizici NVIDIA jsem začal budovat přístup založený na agentech uvnitř společnosti. publikovali jsme výzkum, který dokazuje, že „harnecek“ (infrastrukturní vrstva kolem modelu) je to, co skutečně určuje výkon agenta, nikoli samotný model. To byl důkaz, že skutečným úzkým místem v AI infrastruktuře není hledání lepších modelů, ale optimalizace systémů, které je provozují.

Jak se modely zlepšují, infrastruktura kolem nich musí také škálovat. Lidské optimalizační cykly však nedokážou držet krok. Optimalizujete tréninkovou smyčku pro jednu architekturu modelu, nasadíte ji, a když se architektura modelu změní nebo přijde nová generace GPU, musíte začít od začátku. V dnešní době, kdy se zdá, že každý týden vychází nová aktualizace modelu, je tento starý přístup neudržitelný. Toto uvědomění mě přesvědčilo, že další průlom spočívá v samoučící se infrastruktuře, což mě vedlo k založení INT21.

INT21 popisuje svůj přístup jako „samoučící se infrastruktura“, což se výrazně liší od rekurzivního samoučování, kde výzkumníci usilují o zvýšení schopností samotného AI modelu. Jak váš přístup funguje a proč věříte, že zlepšování systémů kolem existujících modelů může přinést smysluplné zisky mnohem dříve?

Rekurzivní samoučování se zaměřuje na trénink proprietárních modelů, sestavování výzkumných týmů a získávání obrovského kapitálu. Je to desetiletá, nákladná cesta, protože žádáte model, aby rozuměl vlastnímu tréninkovému procesu.

Náš přístup je jiný. V INT21 se nesnažíme zlepšovat samotné špičkové modely, což by trvalo roky a vyžadovalo miliardy investic. Místo toho budujeme roje agentů, které optimalizují „harnecek“, tedy infrastrukturní vrstvu mezi modelem a výkonem. To je to, co můj výzkum v Nvidia prokázal: že harnecek, ne model, určuje výkon agenta na složitých úlohách. Agent nemusí rozumět schopnostem špičkových modelů, aby našel 10 % úsporu. Stačí, když prozkoumá designový prostor, měří, validuje a zachová, co funguje.

Jednoduše řečeno, jeden přístup staví elektrárnu, zatímco druhý staví s elektřinou, která už existuje. Můžeme jednat rychleji a řešit reálnou a okamžitou poptávku. A to znamená, že už dnes vidíme významné, měřitelné zisky v samoučící se infrastruktuře.

INT21 nedávno spustila Inference Engine Factory, rozšiřujíc koncept mimo jednotlivé GPU kernely na kompletní inference enginy. Co konkrétně znamená, že roje agentů autonomně budují a optimalizují inference engine, a které části tohoto procesu tradičně vyžadovaly nejvíce specializované lidské znalosti?

Inference engine je software, který spouští model na hardwaru. Jedná se o komplexní systém, který najednou činí desítky designových rozhodnutí, například které operace běží společně v jednom kernelu nebo jak jsou rozděleny úlohy mezi jádry. Tato rozhodnutí jsou provázaná, takže změna jednoho vyžaduje pře-testování všeho ostatního.

Tradičně to všechno ručně ladí inženýr pro každý model. U videa, hudby a generování řeči je to výzva, protože jde o víceúrovňové, multiskálové architektury bez hotových frameworků. Roje agentů INT21 staví kompletní stack od jednotlivých kernelů až po celý inference engine. Naše stacky pro video a audio generaci nevyžadují lidskou kontrolu kódu a překonávají špičková inference řešení při stejných podmínkách souběžnosti.

Vaše PTX Kernel Factory vytvořila implementace, které překonaly existující referenční hodnoty až o 59 % u určitých pracovních zátěží. Na technické úrovni, kde agenti nacházejí výkonnostní zlepšení, která vysoce optimalizované lidské implementace nebo konvenční kompilátory postrádají?

Naše PTX Kernel Factory překonala nejlepší dostupnou referenci až o 59 % oproti KDA (Kimi Linear Attention). To vychází z toho, že naši samoučící se roje agentů dokážou během zlomku času prozkoumat tisíce variant, což je proces příliš náročný a drahý pro lidské inženýry.

Rozdíl je v tom, že lidské kernely spoléhají na doménově specifické jazyky (DSL), šablony a kompilátory, které byly předem vytvořeny pro GPU. DSL funguje dobře pro běžné vzory, ale když narazíte na novou zátěž, například KDA, obecný kompilátor často nedokáže dosáhnout optimálního výkonu. Naši agenti tyto abstrakce úplně obejdou, což znamená, že nejsou omezeni předpoklady DSL nebo kompilátoru. Tato svoboda prozkoumávat celý designový prostor bez vázání na předdefinované vzory je zdrojem zlepšení.

AI‑generovaná infrastruktura vytváří neobvyklý problém ověřování: optimalizace není užitečná, pokud je rychlejší, ale mírně nesprávná. Jak vaši roje agentů testují, benchmarkují, odmítají neúspěšné varianty a uchovávají úspěšné objevy, a jak důležitá je tato smyčka zpětné vazby pro to, aby se systém skutečně stal samoučícím se, místo aby byl jen AI kódovacím agentem?

Smyčka zpětné vazby je klíčová, protože optimalizace je bezcenná, pokud je správná jen pro specifické předpoklady nebo konkrétní distribuci vstupů. V INT21 zajišťujeme, aby byla smyčka zpětné vazby přísná.

Začínáme od modelu, nasazovacích omezení a metriky služby, která je podstatná. Pak samoučící se roje agentů současně prozkoumávají konfigurační a optimalizační cesty a hodnotí každého kandidáta podle kritérií správnosti a výkonu. Pouze implementace, které fungují, jsou zachovány.

Co dělá tento proces skutečně samoučícím se, je to, že validační data se samy zlepšují. Tato data se vrací zpět do rojů agentů, takže upřesňují, co funguje, a neustále uzavírají smyčku zpětné vazby. Bez této přísnosti byste měli systém s kódem, který vypadá slibně a může být nasazen rychleji, ale s technickým dluhem, který neviditelně narůstá a podkopává důvěru v to, co se buduje.

V NVIDIA jste pracoval na projektech včetně VibeTensor a Agentic Variation Operators, kde agenti generovali značné množství systémového softwaru a autonomně hledali optimalizace GPU. Co vám tyto projekty odhalily o typech inženýrských problémů, které AI agenti již dokážou řešit, a které mnoho vývojářů stále předpokládá, že vyžadují lidské odborníky?

VibeTensor mě naučil něco, co nazývám „Frankensteinovým efektem“. AI provedla správnou práci na každé úrovni, ale když všechny tyto části spojíte do systému, nedosáhne úrovně, kterou by lidský expert mohl postavit.

Práce na Agentic Variation Operators byla opačná. Ukázala, že AI může překonat lidské odborníky v úzce vymezených problémech. Generování kernelů je dobrý příklad, protože problém je úzký, měřitelný a má jediný cíl.

„Frankensteinův efekt“ je přesně to, co INT21 řeší. Vzorky z našeho Inference Engine Factory překonávají vysoce výkonné open‑source inference enginy jako SGLang a vLLM, protože jsme se naučili problém správně strukturovat. Dáváme agentům jasná omezení, měřitelné cíle a úzké smyčky zpětné vazby. Lidské odborníky jsou stále nezbytní, ale místo aby prováděli optimalizační práci, poskytují cenný směr a interpretují výsledky. AI zesiluje dopad odborníka tím, že provádí úkoly rychleji a systematičtěji, než by dokázal jakýkoli člověk.

INT21 používá více specializovaných agentů místo spoléhaní se na jediného agenta s neustále rostoucím kontextovým oknem. Proč vidíte multi‑agentní orchestraci jako škálovatelnější přístup k složitým inženýrským problémům a jak agenti rozdělují práci, sdílejí objevy a vyhýbají se duplicitám či konfliktům?

Větší kontextové okno vám umožní držet více informací najednou, ale nepomůže vám řešit vícerozměrné problémy, kde je vše provázáno. Používáme cloud‑native platformu pro běh specializovaných agentů, všichni pracují na stejném měřitelném cíli. Agenti zkoumají paralelně a neustále konvergují k silnějším řešením.

To je škálovatelnější z několika důvodů. Zaprvé, každý agent zůstává soustředěný. Zadruhé, nekladete jedinému agentovi úkol rozumět všemu najednou, takže proces je efektivnější. A nakonec to odráží způsob, jakým skutečně fungují týmy infrastruktury – každý tým vlastní svou doménu, ale synchronizuje se, když rozhodnutí ovlivňují ostatní.

Pokud roje agentů získají schopnost neustále optimalizovat kernely, inference enginy, kompilátory a další vrstvy AI stacku, jak se změní role inženýra infrastruktury? Očekáváte, že tyto systémy primárně řeší nedostatek specializovaných inženýrů, nebo že nakonec automatizují podstatnou část vývoje infrastruktury samotné?

Práce inženýra infrastruktury se má kompletně změnit. Už nebudou trávit čas laděním kernel kódu a paměťových optimalizací. Místo toho budou stanovovat cíle, definovat designový prostor, stanovovat omezení a interpretovat výsledky.

Postupem času bude potřeba méně inženýrů infrastruktury k udržování a zlepšování systémů. Strategická práce, která zůstane, se však stane cennější, ne méně. Prakticky to znamená, že organizace mohou provozovat složitou AI infrastrukturu s mnohem menším počtem specializovaných inženýrů než dnes. To je významné pro každou společnost, která se snaží budovat produkční AI systémy.

Vaše dlouhodobá vize je, aby samoučící se roje agentů operovaly napříč každou vrstvou AI infrastruktury. Jaký by tento stack vypadal, pokud by se vize naplnila, a mohli bychom někdy dosáhnout bodu, kdy AI infrastruktura neustále přepisuje a optimalizuje sama sebe, jak se mění modely, pracovní zátěže a hardware?

V současnosti se každá vrstva AI stacku optimalizuje samostatně, od nízkoúrovňových kernelů po základní frameworky a rozhraní. Ale nekoordinují se mezi sebou. Můžete optimalizovat jednu vrstvu a nechtěně rozbít něco jiného v níže řadě.

V INT21 je vize, že roje agentů budou autonomně koordinovat napříč všemi těmito vrstvami a neustále se přizpůsobovat. Když přijde nový model, celý stack se pro něj přeoptimalizuje, takže infrastruktura nikdy neostane pozadu za tím, co na ní běží.

To doposud nebylo možné, protože lidscí inženýři nemohou postupovat dostatečně rychle. S roji agentů, které neustále optimalizují, se samoučící se infrastruktura stává samostatnou kategorií výpočetní techniky. Infrastruktura, která se dokáže přizpůsobit tak rychle, jak se mění modely a hardware, bude vítězem. Všechno ostatní se stane zátěží.

Děkujeme za skvělý rozhovor, čtenáři, kteří se chtějí dozvědět více, by měli navštívit INT21.