Bing Xu、INT21創業者兼CEO – インタビューシリーズ

Bing Xu、INT21の創業者兼CEOであり、GPU最適化、機械学習システム、そして自律AIエージェントにわたる深い経験を持つAIインフラエンジニア兼起業家です。2026年にINT21を設立する前、XuはNVIDIAのディスティングイッシュド・エンジニアとして、エージェント駆動型ソフトウェア開発に取り組み、VibeTensorやAVOの背後にある複数世代のコーディングエージェントを創出しました。彼は自身が創業しCEOを務めたGPU推論スタートアップHippoMLがNVIDIAに買収された後、NVIDIAに加わりました。その以前はMetaでシニアスタッフソフトウェアエンジニアとしてAITemplateを開発し、プロダクションワークロード全体のGPU推論効率向上に貢献し、OctoML、Facebook AI、Apple、Turiでもエンジニアリングおよび研究の役割を担ってきました。彼のキャリアは常に、最新のAIシステムを支えるソフトウェアとインフラストラクチャの改善に焦点を当てています。

INT21は、自己改善型AIインフラストラクチャを構築しており、エージェント群が自律的に開発・テスト・ベンチマーク・最適化を繰り返し、AIワークロードを支えるソフトウェアを継続的に進化させます。現在の主力はInference Engine Factoryで、専門エージェントが並行して最適化戦略を探索し、CUDAやPTXカーネル、ドライバ、サービングインフラまで網羅した完全な推論エンジンを構築し、対象ハードウェア上で直接性能を検証します。同社の技術はSwarmOSというクラウドネイティブプラットフォーム上に構築されており、多数のエージェントが測定可能なエンジニアリング目標に沿って協調し、世代間で証拠と教訓を保持します。INT21は当初、NVIDIA HopperおよびBlackwellハードウェア上でGPUカーネルを生成・ベンチマークしたPTX Kernel Factoryでこのアプローチを実証し、以降はコンピュートリソースを完全な推論エンジンの最適化へとシフトしています。

INT21を創業したのは、AIシステムを構築・最適化するための専門インフラエンジニアを迅速に採用できないという課題に何度も直面したからです。単に開発者ツールを改善すれば解決できるのではなく、これらの作業を自律的に担える自己改善型エージェント群が必要だと確信した理由は何ですか？

AIインフラに特化した人材の需要は、さまざまな専門領域にわたって供給をはるかに上回っていることは周知の事実であり、私自身もその壁を体感してきました。これが自己改善型エージェント群を選択肢として検討するきっかけとなりました。ここ数年、自己改善型AIソリューションに取り組んできましたが、技術の進化速度が非常に速く、これらのシステムは現在、インフラを自律的に構築・実行・最適化できるほどに成熟しています。

INT21の根本的な哲学は、人間と同様にエージェントも蓄積された知識によって賢くなるということです。これは、作業時間や人間が解決できる問題に制約を受ける従来の開発者ツールとは根本的に異なります。自己改善型エージェント群を活用すれば、各プロダクションサイクルごとに速度・精度・効率が向上します。エージェントは既存のフレームワークに縛られず、特定のワークロードに合わせてゼロからソリューションを構築できるのです。

INT21以前はHippoMLを創業し、立ち上げからわずか14か月でNVIDIAに買収され、後にNVIDIAのディスティングイッシュド・エンジニアとなりました。その経験から、AIインフラのボトルネックについてどのような教訓を得て、INT21のアーキテクチャとミッションにどのように反映されましたか？

HippoMLでは、ハイパフォーマンスな生成AI推論に特化し、大規模言語モデルをより高速かつ効率的に動作させるソフトウェア最適化ツールを開発していました。需要に追いつくために、東欧などの有能な契約エンジニアに依存せざるを得ないことに限界を感じました。

NVIDIAに買収された後、社内でエージェントベースの開発手法を構築し始めました。研究を公開し、モデル自体ではなく、モデルを取り巻くハーネス（インフラ層）がエージェント性能を決定することを実証しました。これが、AIインフラの真のボトルネックは「より良いモデル」を探すことではなく、モデルを実行するシステムの最適化にあるという証拠となりました。

モデルが進化すれば、それに伴いインフラもスケールしなければなりません。しかし、人間主導の最適化サイクルは追いつけません。あるモデルアーキテクチャ用にトレーニングループを最適化し、デプロイした後、モデルが変わったり新しいGPU世代が登場したら、また最初からやり直す必要があります。現在は週単位で新しいモデル更新があるように見えるため、この従来の手法は持続不可能です。この認識が、自己改善型インフラが次のブレークスルーであると確信させ、INT21創業へと導きました。

INT21は自らのアプローチを「自己改善型インフラ」と表現していますが、これは研究者が基盤AIモデル自体をより高性能にしようとする再帰的自己改善とは大きく異なります。御社の手法はどのように機能し、既存モデル周辺のシステムを改善する方がはるかに早く実質的な効果を得られると考える理由は何ですか？

再帰的自己改善は、独自モデルの訓練、研究チームの編成、巨額資本の調達に焦点を当てます。これは数十年単位の高コストな旅路であり、モデル自身に訓練プロセスを自己認識させようとする試みです。

我々のアプローチは異なります。INT21では、最前線のモデルを直接改良しようとはせず、エージェント群がハーネス、すなわちモデルと性能の間にあるインフラ層を最適化します。NVIDIAでの研究が示した通り、ハーネスがエージェント性能を決定します。エージェントは最先端モデルの機能を完全に理解する必要はなく、設計空間を探索し、測定・検証し、効果的なものを保持すれば10％程度の効率向上が得られます。

この二つのアプローチを例えるなら、ひとつは発電所をゼロから建設すること、もうひとつは既に存在する電力を利用して製品を作ることです。後者の方がはるかに速く、実際の需要に即応できます。現在、自己改善型インフラは測定可能な大幅な効果をすでに示しています。

INT21は最近、Inference Engine Factoryを立ち上げ、個別GPUカーネルから完全な推論エンジンへと概念を拡張しました。エージェント群が自律的に推論エンジンを構築・最適化するとは具体的にどういうことですか？また、従来はどの部分で最も高度な人間の専門知識が必要とされてきましたか？

推論エンジンとは、モデルをハードウェア上で実行するためのソフトウェアです。単一カーネルでどの演算を同時に走らせるか、コア間のワークスケジュールをどう割り当てるかなど、数十の設計判断が同時に求められます。これらは相互に依存しているため、ひとつを変更すれば他すべてを再テストしなければなりません。

従来はエンジニアがモデルごとに手作業でチューニングしていました。動画、音楽、音声生成のように多段階・多スケールのアーキテクチャは、汎用フレームワークが存在しないため特に困難です。INT21のエージェント群は、個別カーネルから完全な推論エンジンまでエンドツーエンドでスタック全体を構築します。弊社の動画・音声生成スタックは人間のコードレビューを不要とし、同一の同時実行設定下で最先端の推論ソリューションを上回る性能を示しています。

貴社のPTX Kernel Factoryは、特定ワークロードで最大59％の性能向上を実現した実装を生み出しています。技術的観点から、エージェントは人間が高度に最適化した実装や従来のコンパイラが見逃すどのようなポイントで性能を向上させているのでしょうか？

PTX Kernel Factoryは、KDA（Kimi Linear Attention）に対して最大59％のベンチマーク向上を達成しました。これは、自己改善型エージェント群が数千のバリエーションをごく短時間で探索できるためであり、人間エンジニアが行うには膨大な労力とコストがかかります。

人間が書くカーネルは、GPU向けに事前に構築されたDSL（ドメイン固有言語）やテンプレート、コンパイラに依存しています。DSLは一般的なパターンには有効ですが、KDAのような新しいワークロードに直面すると汎用コンパイラは最適化できないことが多いです。エージェントはこれらの抽象層を完全に回避し、DSLやコンパイラの前提に縛られない自由な設計空間探索が可能です。これが性能向上の源泉となります。

AI生成インフラは「最適化が速いだけでは不十分で、微妙に誤っていると意味がない」という特殊な検証課題を抱えます。エージェント群はどのようにテスト・ベンチマーク・失敗を除外し、成功した発見を保持していますか？また、このフィードバックループは単なるAIコーディングエージェントではなく、真に自己改善型システムになるためにどれほど重要ですか？

フィードバックループは極めて重要です。最適化が特定の前提条件や入力分布に対してのみ正しい場合、実用価値はありません。INT21では、フィードバックループを厳格に設計しています。

まずモデル、デプロイ制約、重要なサービング指標を基点とします。その上で、自己改善型エージェント群が同時に構成・最適化パスを探索し、各候補を正確性と性能の目標に対して評価します。基準を満たす実装だけが保持されます。

真に自己改善型となるのは、検証データ自体が改善され続ける点です。そのデータがエージェント群にフィードバックされ、何が有効かの理解が洗練され、フィードバックループが継続的に閉じられます。この厳密さがなければ、見た目は速いが技術的負債を蓄積し、構築物への信頼を損なうAI生成コードにすぎません。

NVIDIAでのプロジェクト、特にVibeTensorやAgentic Variation Operatorsでは、エージェントが大量のシステムソフトウェアを生成し、GPU最適化を自律的に探索しました。これらのプロジェクトから、開発者がまだ人間の専門家が必要だと考えている問題のうち、AIエージェントが既に解決できるタイプは何だと示されましたか？

VibeTensorからは「フランケンシュタイン効果」と呼んでいる現象を学びました。AIは各レベルで正しい作業を行いましたが、すべてを統合したシステムとしては人間専門家が作るものに及びませんでした。

一方、Agentic Variation Operatorsの取り組みは逆の結果を示しました。AIは狭いスコープの問題で人間専門家を上回ることができました。カーネル生成は典型的な例で、問題が狭く測定可能で、単一の目的関数を持つためです。

「フランケンシュタイン効果」こそがINT21が解決しようとしている課題です。Inference Engine Factoryで得られたエンジニアリングサンプルは、SGLangやvLLMといったハイパフォーマンスなオープンソース推論エンジンを上回ります。これは、問題を正しく構造化できたからです。エージェントに明確な制約、測定可能な目標、緊密なフィードバックループを与えることで、性能が向上します。人間の専門家は依然として重要ですが、最適化作業そのものではなく、方向性の提供と結果の解釈に注力します。AIは人間ができない速度と体系性で作業を実行し、専門家のインパクトを増幅します。

INT21は単一の大規模コンテキストウィンドウを持つエージェントに依存せず、複数の専門エージェントを使用しています。なぜマルチエージェントのオーケストレーションが複雑なエンジニアリング課題に対してよりスケーラブルだと考えるのですか？また、エージェントはどのように作業を分担し、発見を共有し、重複や衝突を回避していますか？

コンテキストウィンドウが大きくなると、より多くの情報を保持できますが、相互に結びついた多次元問題を解く助けにはなりません。弊社はクラウドネイティブプラットフォーム上で専門エージェントを走らせ、全員が同一の測定可能な目標に向かって協働します。エージェントは並列に探索し、継続的に強力な解へと収束します。

このアプローチがスケーラブルな理由は三つあります。第一に、各エージェントが専念できること。第二に、単一エージェントに全情報を処理させないことで効率が上がること。第三に、インフラチームが実際に行っているように、各チームが自領域を所有しつつ、相互に影響を及ぼす決定が出たときに同期する点です。

エージェント群がカーネル、推論エンジン、コンパイラ、AIスタックの他層を継続的に最適化できるようになると、インフラエンジニアの役割はどう変わりますか？これらのシステムは主に専門エンジニアの不足を解消するために使われると予想しますか？それとも最終的にインフラ開発自体の大部分を自動化する方向へ向かうのでしょうか？

インフラエンジニアの仕事は根本的に変わります。もはやカーネルコードやメモリチューニングに時間を費やすことはなく、目標設定、設計空間の定義、制約の策定、結果の解釈に注力します。

時間が経つにつれ、システムを維持・改善するために必要なインフラエンジニアは減少します。しかし、残る戦略的作業はむしろ価値が高まります。実務的には、企業は現在必要としているよりはるかに少ない専門エンジニアで複雑なAIインフラを運用できるようになるのです。これは、プロダクションAIシステムを構築しようとするすべての企業にとって重要な変化です。

長期的なビジョンは、自己改善型エージェント群がAIインフラのすべての層で動作することです。このビジョンが実現したとき、スタックはどのような姿になると考えますか？最終的に、モデル・ワークロード・ハードウェアが変化するたびに、AIインフラが自らを書き換え・最適化し続ける段階に到達できるでしょうか？

現在、AIスタックの各層は個別に最適化されており、低レベルカーネルから基盤フレームワーク、インターフェースまでがそれぞれ独立しています。しかし、相互に連携は取れていません。そのため、ある層だけを最適化すると、下流で別の層が壊れるリスクがあります。

INT21のビジョンは、エージェント群がすべての層を自律的に協調し、継続的に調整・適応することです。新しいモデルが登場すれば、スタック全体が自動的に再最適化され、インフラは常に最新のモデルやハードウェアに追従し続けます。

これは人間エンジニアが十分な速度で対応できないため、これまで実現できませんでした。しかし、エージェント群が継続的に最適化を行うことで、自己改善型インフラは独立したコンピューティングカテゴリとして浮上しています。モデルやハードウェアの変化に合わせて同等の速度で適応できるインフラが勝者となり、その他はリスク要因となります。

素晴らしいインタビューをありがとうございました。詳細を知りたい読者はINT21をご覧ください。