Bing Xu, Gründer und CEO von INT21 – Interview‑Serie

Bing Xu, Gründer und CEO von INT21, ist ein Ingenieur für KI‑Infrastruktur und Unternehmer mit tiefgreifender Erfahrung in GPU‑Optimierung, Machine‑Learning‑Systemen und autonomen KI‑Agenten. Vor der Gründung von INT21 im Jahr 2026 war Xu Distinguished Engineer bei NVIDIA, wo er an agentengesteuerter Softwareentwicklung arbeitete und mehrere Generationen von Coding‑Agenten entwickelte, darunter Arbeiten hinter VibeTensor und AVO. Er kam zu NVIDIA, nachdem das Unternehmen HippoML übernommen hatte, das GPU‑Inference‑Startup, das er gegründet und als CEO geleitet hatte. Zuvor war Xu Senior Staff Software Engineer bei Meta, wo er AITemplate erschuf und die GPU‑Inference‑Effizienz in Produktions‑Workloads verbesserte, und er hatte Ingenieur‑ und Forschungspositionen bei OctoML, Facebook AI, Apple und Turi. Seine Laufbahn konzentriert sich konsequent darauf, die Software und Infrastruktur moderner KI‑Systeme zu verbessern.

INT21 entwickelt eine selbstverbessernde KI‑Infrastruktur, die autonome Agentenschwärme nutzt, um kontinuierlich die Software zu entwickeln, zu testen, zu benchmarken und zu optimieren, die KI‑Workloads antreibt. Der aktuelle Schwerpunkt liegt auf der Inference Engine Factory, die spezialisierte Agenten einsetzt, um Optimierungsstrategien parallel zu erforschen und vollständige Inferenz‑Engines zu bauen, die CUDA‑ und PTX‑Kerne, Treiber und Serving‑Infrastruktur umfassen, wobei die Leistung direkt auf der Ziel‑Hardware validiert wird. Die Technologie des Unternehmens basiert auf SwarmOS, einer cloud‑nativen Plattform, die es einer großen Anzahl von Agenten ermöglicht, sich um messbare Ingenieurziele zu koordinieren und dabei Evidenz und Erkenntnisse zwischen Generationen zu bewahren. INT21 demonstrierte diesen Ansatz zunächst mit der PTX Kernel Factory, die GPU‑Kerne für NVIDIA Hopper‑ und Blackwell‑Hardware erzeugte und benchmarkte; seitdem hat das Unternehmen seine Rechenressourcen auf die Optimierung vollständiger Inferenz‑Engines verlagert.

Sie haben INT21 gegründet, nachdem Sie wiederholt die Schwierigkeit erlebt haben, spezialisierte Infrastruktur‑Ingenieure schnell genug zu finden, um KI‑Systeme zu bauen und zu optimieren. Was hat Sie überzeugt, dass die Lösung nicht einfach bessere Entwickler‑Tools, sondern autonome, selbstverbessernde Agentenschwärme sind, die diese Arbeit selbst übernehmen können?

Es ist ein bekanntes Problem, dass die Nachfrage nach Fachkräften für KI‑Infrastruktur in den verschiedensten Spezialgebieten das Angebot bei weitem übersteigt, und das ist eine Herausforderung, der ich persönlich begegnet bin. Das hat mich dazu veranlasst, selbstverbessernde Agentenschwärme als Option zu prüfen. In den letzten Jahren habe ich an selbstverbessernden KI‑Lösungen gearbeitet, und die Technologie entwickelt sich jetzt so rasant, dass diese Systeme tatsächlich in der Lage sind, Infrastruktur eigenständig zu bauen, zu betreiben und zu optimieren.

Die Kernphilosophie von INT21 ist, dass die Agenten – ähnlich wie Menschen – durch angesammeltes Wissen intelligenter werden. Das unterscheidet sich grundlegend von herkömmlichen Entwickler‑Tools, die weiterhin durch die verfügbare Arbeitszeit und die physisch lösbaren Probleme begrenzt sind. Der Einsatz selbstverbessernder Agentenschwärme bedeutet, dass wir mit jedem Produktionszyklus schneller, genauer und effizienter werden. Da unsere Agenten fähig und nicht durch bestehende Frameworks eingeschränkt sind, können wir Lösungen von Grund auf für jede spezifische Arbeitslast erstellen.

Vor INT21 gründeten Sie HippoML, das nur 14 Monate nach dem Start von NVIDIA übernommen wurde, und wurden später Distinguished Engineer bei NVIDIA. Was haben Sie aus diesen Erfahrungen über Engpässe in der KI‑Infrastruktur gelernt, die letztlich die Architektur und Mission von INT21 prägten?

Bei HippoML spezialisierten wir uns auf hochperformante generative KI‑Inference und entwickelten Software‑Optimierungstools, um große Sprachmodelle schneller und effizienter auszuführen. Wir erkannten, dass wir nicht skalieren konnten, ohne talentierte Auftragnehmer aus Osteuropa und anderen Regionen zu nutzen, nur um mit der Nachfrage nach KI‑Inference‑Optimierung Schritt zu halten.

Nachdem NVIDIA uns übernommen hatte, begann ich im Unternehmen einen agentenbasierten Entwicklungsansatz aufzubauen. Wir veröffentlichten Forschung, die beweist, dass das Harness (die Infrastrukturschicht um ein Modell) tatsächlich die Agenten‑Performance bestimmt, nicht das Modell selbst. Das zeigte, dass das eigentliche Engpass in der KI‑Infrastruktur nicht das Finden besserer Modelle ist, sondern die Optimierung der Systeme, die sie ausführen.

Wenn Modelle sich verbessern, muss die Infrastruktur um sie herum entsprechend skalieren. Menschlich gesteuerte Optimierungzyklen können jedoch kaum Schritt halten. Man optimiert einen Trainings‑Loop für eine Modellarchitektur, setzt ihn ein, und wenn sich die Architektur ändert oder eine neue GPU‑Generation erscheint, muss man von vorne beginnen. Da heute scheinbar jede Woche ein neues Modell‑Update erscheint, ist dieser alte Ansatz nicht mehr tragfähig. Diese Erkenntnis überzeugte mich, dass der nächste Durchbruch in selbstverbessernder Infrastruktur liegt, was mich zur Gründung von INT21 führte.

INT21 beschreibt seinen Ansatz als „selbstverbessernde Infrastruktur“, was sich stark von rekursiver Selbstverbesserung unterscheidet, bei der Forscher versuchen, das zugrundeliegende KI‑Modell selbst leistungsfähiger zu machen. Wie funktioniert Ihr Ansatz, und warum glauben Sie, dass die Optimierung der Systeme um bestehende Modelle herum viel schneller sinnvolle Fortschritte bringen kann?

Der Ansatz der rekursiven Selbstverbesserung konzentriert sich darauf, proprietäre Modelle zu trainieren, Forschungsteams zusammenzustellen und massive Kapitalmittel zu beschaffen. Es ist ein jahrzehntelanger, kostenintensiver Weg, weil man das Modell dazu bringt, über seinen eigenen Trainingsprozess zu reflektieren.

Unser Ansatz ist anders. Bei INT21 versuchen wir nicht, die neuesten Modelle selbst zu verbessern, was Jahre und Milliarden an Kapital erfordern würde. Stattdessen bauen wir Agentenschwärme, die das Harness, also die Infrastrukturschicht zwischen Modell und Leistung, optimieren. Das hat meine Forschung bei Nvidia gezeigt: Das Harness, nicht das Modell, bestimmt die Agenten‑Performance bei komplexen Aufgaben. Ein Agent muss die Fähigkeiten des Spitzenmodells nicht verstehen, um eine Effizienzsteigerung von 10 % zu erzielen. Er muss lediglich den Design‑Space erkunden, messen, validieren und das Funktionierende beibehalten.

Man kann die beiden Ansätze vergleichen, indem man sagt, der eine baue ein Kraftwerk, der andere nutze bereits vorhandene Elektrizität. Wir können schneller vorankommen und unmittelbare, reale Nachfrage bedienen. Das bedeutet, dass wir bereits heute signifikante, messbare Fortschritte in der selbstverbessernden Infrastruktur sehen.

INT21 hat kürzlich die Inference Engine Factory gestartet und das Konzept von einzelnen GPU‑Kernen auf komplette Inferenz‑Engines ausgeweitet. Was bedeutet das konkret, dass ein Agentenschwarm autonom eine Inferenz‑Engine baut und optimiert, und welche Teile dieses Prozesses erforderten traditionell die meiste spezialisierte menschliche Expertise?

Ein Inferenz‑Engine ist die Software, die ein Modell auf Hardware ausführt. Es ist ein komplexes System, das gleichzeitig Dutzende von Design‑Entscheidungen trifft, etwa welche Operationen gemeinsam in einem Kernel laufen oder wie Arbeitspläne über Kerne verteilt werden. Diese Entscheidungen sind miteinander verknüpft, sodass eine Änderung eine erneute Prüfung aller anderen erfordert.

Traditionell stimmt ein Ingenieur all dies für jedes Modell manuell ab. Für Video-, Musik- und Sprachgenerierung ist das eine Herausforderung, da es sich um mehrstufige, mehrskalige Architekturen ohne fertiges Framework handelt. Die Agentenschwärme von INT21 bauen den gesamten Stack von den einzelnen Kernen bis zum vollständigen Inferenz‑Engine end‑to‑end. Unsere Video‑ und Audio‑Generierungs‑Stacks benötigen keine menschliche Code‑Überprüfung und übertreffen unter denselben Parallelitäts‑Einstellungen die modernsten Inferenz‑Lösungen.

Ihre PTX Kernel Factory hat Implementierungen hervorgebracht, die bestehende Baselines bei bestimmten Workloads um bis zu 59 % übertreffen. Auf technischer Ebene, wo finden die Agenten Leistungsverbesserungen, die hochoptimierte, von Menschen geschriebene Implementierungen oder konventionelle Compiler übersehen?

Unsere PTX Kernel Factory hat die beste verfügbare Basislinie gegenüber KDA (Kimi Linear Attention) um bis zu 59 % übertroffen. Das liegt daran, dass unsere selbstverbessernden Agentenschwärme in der Lage sind, in einem Bruchteil der Zeit Tausende von Varianten zu erzeugen – ein Prozess, der für menschliche Ingenieure zu mühsam und kostenintensiv wäre.

Der Unterschied besteht darin, dass von Menschen geschriebene Kerne auf domänenspezifischen Sprachen (DSLs), Vorlagen und Compilern basieren, die für GPUs vorgefertigt wurden. Eine DSL funktioniert gut für gängige Muster, aber bei einer neuen Arbeitslast wie KDA kann der universelle Compiler oft nicht optimal arbeiten. Unsere Agenten umgehen diese Abstraktionen vollständig, sodass sie nicht durch DSL‑ oder Compiler‑Annahmen eingeschränkt sind. Diese Freiheit, den gesamten Design‑Space zu erkunden, ohne an vordefinierte Muster gebunden zu sein, liefert die Leistungsverbesserungen.

KI‑generierte Infrastruktur schafft ein ungewöhnliches Verifizierungsproblem: Eine Optimierung ist nicht nützlich, wenn sie zwar schneller, aber subtil fehlerhaft ist. Wie testen, benchmarken und verwerfen Ihre Agentenschwärme Fehlversuche und bewahren erfolgreiche Entdeckungen, und wie wichtig ist dieser Feedback‑Loop, um das System wirklich selbstverbessernd zu machen und nicht nur zu einem KI‑Coding‑Agent?

Der Feedback‑Loop ist entscheidend, weil eine Optimierung wertlos ist, wenn sie nur unter bestimmten Annahmen oder für eine bestimmte Eingabeverteilung korrekt ist. Bei INT21 stellen wir sicher, dass der Feedback‑Loop rigoros ist.

Wir beginnen beim Modell, den Bereitstellungs‑Constraints und der relevanten Serving‑Metrik. Dann erkunden die selbstverbessernden Agentenschwärme gleichzeitig Konfigurations‑ und Optimierungspfade und bewerten jeden Kandidaten hinsichtlich Korrektheit und Leistungszielen. Nur funktionierende Implementierungen werden beibehalten.

Was das wirklich selbstverbessernd macht, ist, dass die Validierungsdaten selbst verbessert werden. Diese Daten fließen zurück in die Agentenschwärme, sodass sie ihr Verständnis dessen, was funktioniert, verfeinern und den Feedback‑Loop kontinuierlich schließen. Ohne diese Strenge hätte man nur ein System mit plausibel wirkendem, KI‑generiertem Code, das schneller ausgeliefert werden kann, aber mit technisch‑schulden, die unsichtbar anwachsen und das Vertrauen in das Gebaute untergraben.

Bei NVIDIA arbeiteten Sie an Projekten wie VibeTensor und Agentic Variation Operators, bei denen Agenten umfangreiche Systemsoftware erzeugten und autonom nach GPU‑Optimierungen suchten. Was haben diese Projekte über die Arten von Ingenieur‑Problemen gezeigt, die KI‑Agenten bereits lösen können, obwohl viele Entwickler noch annehmen, dass sie menschliche Experten erfordern?

VibeTensor lehrte mich etwas, das ich den „Frankenstein‑Effekt“ nenne. Die KI erledigte jede Ebene korrekt, aber wenn man all diese Teile zu einem System zusammensetzt, bleibt sie hinter dem zurück, was menschliche Experten bauen könnten.

Die Arbeit an den Agentic Variation Operators zeigte das Gegenteil. Sie bewies, dass KI menschliche Experten bei eng abgegrenzten Problemen übertreffen kann. Die Kernel‑Generierung ist ein gutes Beispiel, da das Problem eng, messbar und ein eindeutiges Ziel hat.

Der „Frankenstein‑Effekt“ ist genau das, was INT21 löst. Die Engineering‑Beispiele aus unserer Inference Engine Factory übertreffen leistungsstarke Open‑Source‑Inference‑Engines wie SGLang und vLLM, weil wir gelernt haben, das Problem korrekt zu strukturieren. Wir geben den Agenten klare Constraints, messbare Ziele und enge Feedback‑Loops. Menschliche Experten bleiben unverzichtbar, aber anstatt die Optimierungsarbeit selbst zu erledigen, geben sie wertvolle Richtungen vor und interpretieren die Ergebnisse. KI verstärkt die Wirkung des Experten, indem sie schneller und systematischer ausführt, als es ein Mensch je könnte.

INT21 verwendet mehrere spezialisierte Agenten statt eines einzelnen Agenten mit immer größerem Kontextfenster. Warum sehen Sie die Orchestrierung mehrerer Agenten als skalierbareren Ansatz für komplexe Ingenieur‑Probleme, und wie teilen die Agenten Arbeit, teilen Entdeckungen und vermeiden Duplikate oder Konflikte?

Ein größeres Kontextfenster ermöglicht es, mehr Informationen gleichzeitig zu halten, hilft aber nicht, mehrdimensionale Probleme zu lösen, bei denen alles miteinander verknüpft ist. Wir nutzen eine cloud‑native Plattform, um spezialisierte Agenten auszuführen, die alle auf dasselbe messbare Ziel hinarbeiten. Die Agenten erkunden parallel und konvergieren kontinuierlich zu stärkeren Lösungen.

Das ist aus mehreren Gründen skalierbarer. Erstens bleibt jeder Agent fokussiert. Zweitens muss nicht ein einzelner Agent alles gleichzeitig durchdenken, wodurch der Prozess effizienter wird. Und schließlich spiegelt es die Arbeitsweise von Infrastruktur‑Teams wider, bei denen jedes Team sein eigenes Gebiet besitzt, aber synchronisiert, wenn Entscheidungen einander beeinflussen.

Wenn Agentenschwärme in der Lage werden, kontinuierlich Kerne, Inferenz‑Engines, Compiler und andere Schichten des KI‑Stacks zu optimieren, wie ändert sich die Rolle des Infrastruktur‑Ingenieurs? Erwarten Sie, dass diese Systeme primär den Mangel an spezialisierten Ingenieuren beheben oder letztlich einen großen Teil der Infrastruktur‑Entwicklung automatisieren?

Die Aufgabe eines Infrastruktur‑Ingenieurs wird sich grundlegend ändern. Sie werden nicht mehr Kernel‑Code und Speicher‑Tuning mühsam bearbeiten. Stattdessen setzen sie Ziele, definieren den Design‑Space, etablieren Constraints und interpretieren die Ergebnisse.

Im Laufe der Zeit werden weniger Infrastruktur‑Ingenieure benötigt, um Systeme zu betreiben und zu verbessern. Die verbleibende strategische Arbeit wird jedoch wertvoller, nicht weniger. Praktisch bedeutet das, dass Unternehmen komplexe KI‑Infrastruktur mit deutlich weniger spezialisierten Ingenieuren betreiben können als heute. Das ist für jedes Unternehmen, das Produktions‑KI‑Systeme aufbauen will, von Bedeutung.

Ihre langfristige Vision ist, dass selbstverbessernde Agentenschwärme über jede Schicht der KI‑Infrastruktur hinweg operieren. Wie sieht dieser Stack aus, wenn die Vision gelingt, und könnten wir irgendwann einen Punkt erreichen, an dem KI‑Infrastruktur sich kontinuierlich selbst neu schreibt und optimiert, während Modelle, Workloads und Hardware sich ändern?

Derzeit optimiert jede Schicht des KI‑Stacks unabhängig, von den Low‑Level‑Kernen über die grundlegenden Frameworks bis hin zu den Schnittstellen. Sie koordinieren jedoch nicht miteinander. Man kann also eine Schicht optimieren und dabei versehentlich etwas Weiteres stromabwärts beschädigen.

Bei INT21 besteht die Vision darin, dass Agentenschwärme autonom über alle diese Schichten hinweg koordinieren, sich ständig anpassen und justieren. Wenn ein neues Modell erscheint, reoptimiert der gesamte Stack dafür, sodass die Infrastruktur nie hinter dem zurückbleibt, was darauf läuft.

Das war bisher nicht machbar, weil menschliche Ingenieure nicht schnell genug arbeiten können. Aber mit Agentenschwärmen, die kontinuierlich optimieren, entsteht selbstverbessernde Infrastruktur als eigenständige Computerkategorie. Die Infrastruktur, die sich so schnell anpassen kann wie Modelle und Hardware, wird gewinnen. Alles andere wird zur Belastung.

Vielen Dank für das großartige Interview, Leser, die mehr erfahren möchten, sollten INT21 besuchen.