Bing Xu, założyciel i CEO INT21 – seria wywiadów

Bing Xu, założyciel i CEO INT21, jest inżynierem infrastruktury AI oraz przedsiębiorcą z głębokim doświadczeniem w optymalizacji GPU, systemach uczenia maszynowego i autonomicznych agentach AI. Przed założeniem INT21 w 2026 roku, Xu był Distinguished Engineer w NVIDIA, gdzie pracował nad rozwojem oprogramowania sterowanego przez agentów i stworzył wiele generacji agentów kodujących, w tym prace nad VibeTensor i AVO. Dołączył do NVIDIA po jej przejęciu HippoML, startupu zajmującego się inferencją GPU, który założył i prowadził jako CEO. Wcześniej Xu był Senior Staff Software Engineer w Meta, gdzie stworzył AITemplate i pomógł poprawić wydajność inferencji GPU w produkcyjnych obciążeniach, a także pełnił role inżynieryjne i badawcze w OctoML, Facebook AI, Apple i Turi. Jego kariera konsekwentnie koncentruje się na ulepszaniu oprogramowania i infrastruktury leżących u podstaw współczesnych systemów AI.

INT21 buduje samodoskonalącą się infrastrukturę AI, zaprojektowaną do wykorzystania autonomicznych rojów agentów do ciągłego opracowywania, testowania, benchmarkowania i optymalizacji oprogramowania napędzającego obciążenia AI. Obecnie koncentruje się na Inference Engine Factory, które wykorzystuje wyspecjalizowane agenty do równoległego badania strategii optymalizacji i budowania kompletnych silników inferencji obejmujących jądra CUDA i PTX, sterowniki oraz infrastrukturę serwowania, przy czym wydajność jest weryfikowana bezpośrednio na docelowym sprzęcie. Technologia firmy oparta jest na SwarmOS, platformie chmurowej, która pozwala dużej liczbie agentów koordynować się wokół mierzalnych celów inżynieryjnych, zachowując dowody i wnioski między generacjami. INT21 początkowo zademonstrowało to podejście poprzez PTX Kernel Factory, które produkowało i benchmarkowało jądra GPU na sprzęcie NVIDIA Hopper i Blackwell; od tego czasu firma skierowała zasoby obliczeniowe na optymalizację kompletnych silników inferencji.

Założyłeś INT21 po wielokrotnym napotkaniu trudności w zatrudnianiu wyspecjalizowanych inżynierów infrastruktury wystarczająco szybko, aby budować i optymalizować systemy AI. Co przekonało Cię, że rozwiązaniem nie są po prostu lepsze narzędzia deweloperskie, lecz autonomiczne, samodoskonalące się roje agentów zdolne samodzielnie podjąć tę pracę?

To dobrze znany problem, że popyt na specjalistów od infrastruktury AI w różnych specjalizacjach znacznie przewyższa podaż, i jest to wyzwanie, z którym sam się zmierzyłem. To właśnie skłoniło mnie do rozważenia rojów samodoskonalących się agentów jako rozwiązania. W ciągu ostatnich kilku lat pracowałem nad samodoskonalącymi się rozwiązaniami AI, a technologia rozwija się tak szybko, że te systemy są już naprawdę wystarczające, by samodzielnie budować, uruchamiać i optymalizować infrastrukturę.

Podstawowa filozofia INT21 polega na tym, że podobnie jak ludzie, agenty stają się mądrzejsze dzięki zgromadzonej wiedzy. To zasadniczo różni się od tradycyjnych narzędzi deweloperskich, które wciąż ograniczają się liczbą godzin, które ktoś może przepracować, oraz problemami, które mogą fizycznie rozwiązać. Korzystanie z rojów samodoskonalących się agentów oznacza, że jesteśmy szybsi, dokładniejsi i bardziej efektywni przy każdym cyklu produkcyjnym. Ponieważ nasi agenci są zdolni i nie są ograniczeni istniejącymi frameworkami, możemy budować rozwiązania bezpośrednio od podstaw dla każdego konkretnego obciążenia.

Przed INT21 założyłeś HippoML, który został przejęty przez NVIDIA zaledwie 14 miesięcy po uruchomieniu, a później został Distinguished Engineer w NVIDIA. Czego nauczyły Cię te doświadczenia o wąskich gardłach w infrastrukturze AI, które ostatecznie ukształtowały architekturę i misję INT21?

W HippoML specjalizowaliśmy się w wysokowydajnej inferencji generatywnej AI, tworząc narzędzia optymalizacyjne, które przyspieszają i usprawniają działanie dużych modeli językowych. Zrozumieliśmy, że nie możemy skalować bez polegania na utalentowanych kontrahentach z Europy Wschodniej i innych regionów, jedynie po to, by nadążać za zapotrzebowaniem na optymalizację inferencji AI.

Po przejęciu nas przez NVIDIA, rozpocząłem budowanie podejścia opartego na agentach wewnątrz firmy. opublikowane badania dowiodły, że harness (warstwa infrastruktury otaczająca model) to właśnie ona decyduje o wydajności agenta, a nie sam model. To był dowód, że prawdziwym wąskim gardłem w infrastrukturze AI nie jest znajdowanie lepszych modeli. To optymalizacja systemów, które je uruchamiają.

W miarę jak modele się poprawiają, infrastruktura wokół nich musi rosnąć proporcjonalnie. Jednak cykle optymalizacji sterowane przez ludzi nie nadążają. Optymalizujesz pętlę treningową dla jednej architektury modelu, wdrażasz ją, a potem, gdy architektura modelu się zmienia lub pojawia się nowa generacja GPU, musisz zaczynać od nowa. Gdy dziś wydaje się, że co tydzień pojawia się nowa aktualizacja modelu, takie podejście jest nie do utrzymania. To uświadomienie przekonało mnie, że przełom leży w samodoskonalącej się infrastrukturze, co skłoniło mnie do założenia INT21.

INT21 opisuje swoje podejście jako „samodoskonaląca się infrastruktura”, co różni się od rekurencyjnego samodoskonalenia, w którym badacze starają się uczynić sam model AI bardziej zdolnym. Jak działa Wasze podejście i dlaczego uważasz, że ulepszanie systemów wokół istniejących modeli może przynieść znaczące korzyści znacznie szybciej?

Podejście rekurencyjnego samodoskonalenia koncentruje się na trenowaniu własnych modeli, budowaniu zespołów badawczych i pozyskiwaniu ogromnego kapitału. To dziesięcioletnia, kosztowna podróż, ponieważ prosisz model, by rozważał własny proces treningowy.

Nasze podejście jest inne. W INT21 nie staramy się ulepszać modeli na czołowej granicy, co zajęłoby lata i miliardy dolarów. Zamiast tego budujemy roje agentów, które optymalizują harness, warstwę infrastruktury pomiędzy modelem a wydajnością. To właśnie moje badania w Nvidia udowodniły: że to harness, a nie model, decyduje o wydajności agenta w złożonych zadaniach. Agent nie musi rozumieć możliwości najnowocześniejszych modeli, aby znaleźć 10 % zysk wydajnościowy. Wystarczy, że eksploruje przestrzeń projektową, mierzy, weryfikuje i zachowuje to, co działa.

Sposób myślenia o tych dwóch podejściach można porównać do budowania elektrowni versus budowania przy użyciu już istniejącej energii elektrycznej. Możemy działać szybciej i odpowiadać na realne i natychmiastowe zapotrzebowanie. I oznacza to, że już dziś obserwujemy znaczące, mierzalne zyski w samodoskonalącej się infrastrukturze.

INT21 niedawno uruchomiło Inference Engine Factory, rozszerzając koncepcję poza pojedyncze jądra GPU do kompletnych silników inferencji. Co to naprawdę oznacza, że roje agentów autonomicznie budują i optymalizują silnik inferencji, i które części tego procesu tradycyjnie wymagały najwięcej wyspecjalizowanej ludzkiej wiedzy?

Silnik inferencji to oprogramowanie, które uruchamia model na sprzęcie. To złożony system, który jednocześnie podejmuje dziesiątki decyzji projektowych, takich jak które operacje uruchamiać razem w jednym jądrze, czy jak rozkładać pracę pomiędzy rdzenie. Decyzje te są ze sobą powiązane, więc zmiana jednej wymaga ponownego przetestowania wszystkiego pozostałego.

Tradycyjnie inżynier ręcznie dostraja to wszystko dla każdego modelu. W przypadku generacji wideo, muzyki i mowy jest to wyzwanie, ponieważ są to architektury wieloetapowe, wieloskalowe, bez gotowych frameworków. Roje agentów INT21 budują kompletną stos od początku do końca, od pojedynczych jąder po pełny silnik inferencji. Nasze stosy generujące wideo i audio nie wymagają przeglądu kodu przez człowieka i przewyższają najnowocześniejsze rozwiązania inferencyjne przy tych samych ustawieniach współbieżności.

Wasz PTX Kernel Factory wyprodukował implementacje, które przewyższają istniejące baseline o nawet 59 % w niektórych obciążeniach. Na poziomie technicznym, gdzie agenci znajdują ulepszenia wydajności, których brakują wysoko zoptymalizowane implementacje ręcznie pisane lub tradycyjne kompilatory?

Nasz PTX Kernel Factory przewyższył najlepszy dostępny baseline o do 59 % w porównaniu z KDA (Kimi Linear Attention). Wynika to z faktu, że nasze roje samodoskonalących się agentów mogą skalować się do tysięcy wariantów w ułamku czasu, co jest zbyt żmudne i kosztowne dla ludzkich inżynierów.

Różnica polega na tym, że ręcznie pisane jądra opierają się na językach specyficznych dla domeny (DSL), szablonach i kompilatorach wstępnie zbudowanych pod GPU. DSL sprawdza się w typowych wzorcach, ale gdy napotkasz nowe obciążenie, takie jak KDA, kompilator ogólnego przeznaczenia często nie potrafi optymalnie działać. Nasi agenci omijają te abstrakcje całkowicie, co oznacza, że nie są ograniczeni założeniami DSL ani kompilatora. Ta swoboda eksploracji pełnej przestrzeni projektowej bez zamknięcia w predefiniowanych wzorcach to źródło ulepszeń.

Infrastruktura generowana przez AI tworzy nietypowy problem weryfikacji: optymalizacja nie jest użyteczna, jeśli jest szybsza, ale subtelnie niepoprawna. Jak Wasze roje agentów testują, benchmarkują, odrzucają niepowodzenia i zachowują udane odkrycia, i jak ważna jest ta pętla sprzężenia zwrotnego, aby system był naprawdę samodoskonalący się, a nie po prostu AI‑kodującym agentem?

Pętla sprzężenia zwrotnego jest kluczowa, ponieważ optymalizacja jest bezwartościowa, jeśli działa poprawnie tylko przy określonych założeniach lub dla konkretnego rozkładu danych wejściowych. W INT21 dbamy, aby pętla była rygorystyczna.

Zaczynamy od modelu, ograniczeń wdrożeniowych i metryki serwowania, która ma znaczenie. Następnie roje samodoskonalących się agentów równocześnie eksplorują ścieżki konfiguracji i optymalizacji, oceniając każdy kandydat pod kątem poprawności i celów wydajnościowych. Zachowywane są jedynie implementacje, które działają.

To, co czyni to naprawdę samodoskonalącym się, to fakt, że dane walidacyjne same się ulepszają. Te dane wracają do rojów, które dzięki temu udoskonalają swoje rozumienie tego, co działa, i nieustannie zamykają pętlę sprzężenia zwrotnego. Bez tej rygorystyczności miałbyś jedynie system generujący kod AI, który może być szybciej dostarczany, ale z technicznym długiem, który niewidocznie narasta i podważa zaufanie do budowanych rozwiązań.

W NVIDIA pracowałeś nad projektami takimi jak VibeTensor i Agentic Variation Operators, w których agenci generowali znaczące ilości oprogramowania systemowego i autonomicznie poszukiwali optymalizacji GPU. Co te projekty ujawniły o typach problemów inżynieryjnych, które agenci AI są już w stanie rozwiązać, a które wielu deweloperów nadal uważa za wymagające ludzkich ekspertów?

VibeTensor nauczył mnie czegoś, co nazywam „efektem Frankensteina”. AI wykonało poprawną pracę na każdym poziomie, ale kiedy połączyłeś wszystkie te elementy w system, okazało się, że nie dorównuje temu, co mogą zbudować ludzie‑eksperci.

Praca nad Agentic Variation Operators była przeciwieństwem. Pokazała, że AI może przewyższyć ludzkich ekspertów w wąsko zdefiniowanych problemach. Generowanie jąder jest dobrym przykładem, ponieważ problem jest wąski, mierzalny i ma jedyne jedno kryterium.

„Efekt Frankensteina” to dokładnie to, co INT21 rozwiązuje. Próbki inżynieryjne z naszego Inference Engine Factory przewyższają wydajnością wysokowydajne, otwarto‑źródłowe silniki inferencji, takie jak SGLang i vLLM, ponieważ nauczyliśmy się prawidłowo strukturyzować problem. Dajemy agentom jasne ograniczenia, mierzalne cele i ścisłe pętle sprzężenia zwrotnego. Eksperci‑ludzie nadal są niezbędni, ale zamiast prowadzić optymalizację, dostarczają cennych wskazówek i interpretują wyniki. AI wzmacnia ich wpływ, wykonując zadania szybciej i bardziej systematycznie niż jakikolwiek człowiek.

INT21 używa wielu wyspecjalizowanych agentów zamiast polegać na jednym agencie z coraz większym oknem kontekstowym. Dlaczego uważasz, że orkiestracja wielu agentów jest bardziej skalowalnym podejściem do złożonych problemów inżynieryjnych i w jaki sposób agenci dzielą pracę, dzielą się odkryciami i unikają dublowania lub konfliktów?

Większe okno kontekstowe pozwala utrzymać więcej informacji jednocześnie, ale nie pomaga rozwiązywać wielowymiarowych problemów, w których wszystko jest ze sobą powiązane. Używamy platformy chmurowej do uruchamiania wyspecjalizowanych agentów, wszyscy pracujący w kierunku tego samego mierzalnego celu. Agenci eksplorują równolegle i nieustannie zbliżają się do silniejszych rozwiązań.

To jest bardziej skalowalne z kilku powodów. Po pierwsze, każdy agent pozostaje skoncentrowany. Po drugie, nie prosimy jednego agenta o rozważanie wszystkiego naraz, więc proces jest bardziej efektywny. I wreszcie, odzwierciedla to sposób, w jaki zespoły infrastruktury naprawdę pracują – każdy zespół posiada swoją domenę, ale synchronizuje się, gdy decyzje wpływają na inne zespoły.

Jeśli roje agentów staną się zdolne do ciągłej optymalizacji jąder, silników inferencji, kompilatorów i innych warstw stosu AI, jak zmieni się rola inżyniera infrastruktury? Czy oczekujesz, że te systemy przede wszystkim rozwiążą problem niedoboru wyspecjalizowanych inżynierów, czy ostatecznie zautomatyzują znaczną część samego rozwoju infrastruktury?

Praca inżyniera infrastruktury ma ulec całkowitej zmianie. Nie będą już ręcznie dopracowywać kodu jąder i stroić pamięci. Zamiast tego będą definiować cele, określać przestrzeń projektową, ustalać ograniczenia i interpretować wyniki.

Z czasem potrzebna będzie mniejsza liczba inżynierów infrastruktury, aby utrzymać systemy w działaniu i je ulepszać. Jednak strategiczna praca, która pozostanie, stanie się cenniejsza, nie mniej. Praktycznie oznacza to, że organizacje będą mogły obsługiwać złożoną infrastrukturę AI przy znacznie mniejszej liczbie wyspecjalizowanych inżynierów niż dziś. To ma ogromne znaczenie dla każdej firmy, która chce budować produkcyjne systemy AI.

Twoja długoterminowa wizja zakłada, że roje samodoskonalących się agentów będą działać na każdej warstwie infrastruktury AI. Jak wyglądałby ten stos, gdyby wizja się spełniła, i czy w końcu możemy osiągnąć punkt, w którym infrastruktura AI samodzielnie przepisuje i optymalizuje się w miarę zmian modeli, obciążeń i sprzętu?

Obecnie każda warstwa stosu AI optymalizuje się niezależnie, od niskopoziomowych jąder po podstawowe frameworki i interfejsy. Nie koordynują się ze sobą. Możesz więc zoptymalizować jedną warstwę, ale przypadkowo zepsuć coś innego w dalszej części.

W INT21 wizja zakłada, że roje agentów będą autonomicznie koordynować się we wszystkich tych warstwach, nieustannie dostosowując i adaptując się. Gdy pojawi się nowy model, cały stos zostaje ponownie zoptymalizowany pod jego kątem, tak aby infrastruktura nigdy nie pozostawała w tyle względem tego, co na niej działa.

To nie było możliwe, ponieważ ludzie‑inżynierowie nie nadążają. Dzięki rojom agentów, które nieustannie optymalizują, samodoskonaląca się infrastruktura wyłania się jako odrębna kategoria obliczeniowa. Infrastruktura, która potrafi dostosować się tak szybko, jak zmieniają się modele i sprzęt, wygra. Wszystko inne stanie się obciążeniem.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić INT21.