Bing Xu, Pendiri dan CEO INT21 – Seri Wawancara

Bing Xu, Pendiri dan CEO INT21, adalah seorang insinyur infrastruktur AI dan wirausahawan dengan pengalaman mendalam dalam optimasi GPU, sistem pembelajaran mesin, dan agen AI otonom. Sebelum mendirikan INT21 pada tahun 2026, Xu menjabat sebagai Distinguished Engineer di NVIDIA, di mana ia bekerja pada pengembangan perangkat lunak berbasis agen dan menciptakan beberapa generasi agen pengkodean, termasuk pekerjaan di balik VibeTensor dan AVO. Ia bergabung dengan NVIDIA setelah perusahaan tersebut mengakuisisi HippoML, startup inferensi GPU yang ia dirikan dan pimpin sebagai CEO. Sebelumnya, Xu pernah menjadi Senior Staff Software Engineer di Meta, di mana ia menciptakan AITemplate dan membantu meningkatkan efisiensi inferensi GPU pada beban kerja produksi, serta memegang peran teknik dan riset di OctoML, Facebook AI, Apple, dan Turi. Kariernya secara konsisten berfokus pada peningkatan perangkat lunak dan infrastruktur yang menjadi dasar sistem AI modern.

INT21 sedang membangun infrastruktur AI yang dapat memperbaiki diri sendiri, dirancang untuk menggunakan kawanan agen otonom guna secara terus‑menerus mengembangkan, menguji, melakukan benchmark, dan mengoptimalkan perangkat lunak yang menggerakkan beban kerja AI. Fokusnya saat ini adalah Inference Engine Factory, yang menggunakan agen khusus untuk menjelajahi strategi optimasi secara paralel dan membangun mesin inferensi lengkap yang mencakup kernel CUDA dan PTX, driver, serta infrastruktur layanan, dengan kinerja yang divalidasi langsung pada perangkat keras target. Teknologi perusahaan dibangun di atas SwarmOS, sebuah platform cloud‑native yang memungkinkan sejumlah besar agen berkoordinasi berdasarkan tujuan teknik yang terukur sambil mempertahankan bukti dan pelajaran antar generasi. INT21 awalnya memperlihatkan pendekatan ini melalui PTX Kernel Factory, yang menghasilkan dan melakukan benchmark kernel GPU pada perangkat keras NVIDIA Hopper dan Blackwell; sejak itu perusahaan telah mengalihkan sumber daya komputasinya untuk mengoptimalkan mesin inferensi lengkap.

Anda mendirikan INT21 setelah berulang kali mengalami kesulitan dalam merekrut insinyur infrastruktur khusus dengan cukup cepat untuk membangun dan mengoptimalkan sistem AI. Apa yang meyakinkan Anda bahwa solusinya bukan sekadar alat pengembang yang lebih baik, melainkan kawanan agen otonom yang dapat memperbaiki diri sendiri dan mampu mengambil alih pekerjaan ini secara mandiri?

Ini adalah masalah yang sudah dikenal bahwa permintaan akan talenta yang berfokus pada infrastruktur AI di berbagai spesialisasi jauh melampaui pasokan, dan ini merupakan tantangan yang saya alami secara langsung. Itulah yang memotivasi saya untuk melihat kawanan agen yang dapat memperbaiki diri sendiri sebagai opsi. Selama beberapa tahun terakhir, saya telah bekerja pada solusi AI yang dapat memperbaiki diri sendiri, dan teknologi kini bergerak begitu cepat sehingga sistem ini kini benar‑benar cukup untuk membangun, menjalankan, dan mengoptimalkan infrastruktur secara otonom.

Filosofi inti di balik INT21 adalah bahwa seperti manusia, agen menjadi lebih pintar melalui pengetahuan yang terakumulasi. Ini secara fundamental berbeda dari alat pengembang tradisional, yang masih dibatasi oleh berapa jam seseorang dapat bekerja dan masalah apa yang dapat mereka selesaikan secara fisik. Menggunakan kawanan agen yang dapat memperbaiki diri sendiri berarti kami menjadi lebih cepat, lebih akurat, dan lebih efisien pada setiap siklus produksi. Karena agen kami mampu dan tidak terikat oleh kerangka kerja yang ada, kami dapat membangun solusi langsung dari dasar untuk setiap beban kerja spesifik.

Sebelum INT21, Anda mendirikan HippoML, yang diakuisisi oleh NVIDIA hanya 14 bulan setelah peluncuran, dan kemudian Anda menjadi Distinguished Engineer di NVIDIA. Apa yang diajarkan pengalaman tersebut tentang bottleneck dalam infrastruktur AI yang pada akhirnya membentuk arsitektur dan misi INT21?

Di HippoML, kami mengkhususkan diri dalam inferensi AI generatif berperforma tinggi, membangun alat optimasi perangkat lunak untuk menjalankan model bahasa besar lebih cepat dan lebih efisien. Kami menyadari bahwa kami tidak dapat skala tanpa mengandalkan kontraktor berbakat dari Eropa Timur dan tempat lain, hanya untuk mengikuti permintaan akan optimasi inferensi AI.

Setelah NVIDIA mengakuisisi kami, saya mulai membangun pendekatan pengembangan berbasis agen di dalam perusahaan. Kami mempublikasikan penelitian yang membuktikan bahwa harness (lapisan infrastruktur di sekitar model) adalah yang sebenarnya menentukan kinerja agen, bukan model itu sendiri. Itu menjadi bukti bahwa bottleneck nyata dalam infrastruktur AI bukan menemukan model yang lebih baik. Melainkan mengoptimalkan sistem yang menjalankannya.

Seiring model meningkat, infrastruktur di sekitarnya harus berskala secara sepadan. Namun siklus optimasi yang digerakkan manusia kesulitan mengikuti kecepatan. Anda mengoptimalkan loop pelatihan untuk satu arsitektur model, menerapkannya, kemudian jika arsitektur model berubah atau generasi GPU baru muncul, Anda harus memulai lagi. Ketika kini tampaknya ada pembaruan model baru setiap minggu, pendekatan lama ini tidak berkelanjutan. Kesadaran itu meyakinkan saya bahwa terobosan berikutnya terletak pada infrastruktur yang dapat memperbaiki diri sendiri, yang kemudian mendorong saya mendirikan INT21.

INT21 menggambarkan pendekatannya sebagai “infrastruktur yang memperbaiki diri sendiri,” yang cukup berbeda dari perbaikan diri rekursif di mana peneliti mencoba membuat model AI yang mendasarinya menjadi lebih mampu. Bagaimana pendekatan Anda bekerja, dan mengapa Anda percaya bahwa memperbaiki sistem di sekitar model yang ada dapat memberikan keuntungan yang berarti jauh lebih cepat?

Pendekatan perbaikan diri rekursif berfokus pada melatih model proprietari, menyusun tim riset, dan mengumpulkan modal besar. Itu merupakan perjalanan yang memakan waktu puluhan tahun dan biaya tinggi, karena Anda meminta model untuk menalar proses pelatihannya sendiri.

Pendekatan kami berbeda. Di INT21, kami tidak berusaha memperbaiki model frontier itu sendiri, yang akan memakan tahun dan miliaran dolar. Sebaliknya, kami membangun kawanan agen yang mengoptimalkan harness, lapisan infrastruktur yang berada di antara model dan kinerja. Itulah yang penelitian saya di Nvidia buktikan: bahwa harness, bukan model, menentukan kinerja agen pada tugas kompleks. Sebuah agen tidak perlu memahami kemampuan model frontier untuk menemukan peningkatan efisiensi 10%. Ia hanya perlu menjelajahi ruang desain, mengukur, memvalidasi, dan menyimpan apa yang berhasil.

Salah satu cara memikirkan dua pendekatan berbeda ini adalah bahwa satu membangun pembangkit listrik sementara yang lain membangun dengan listrik yang sudah ada. Kami dapat bergerak lebih cepat dan memenuhi permintaan yang nyata dan mendesak. Dan itu berarti kami sudah melihat peningkatan yang signifikan dan terukur dalam infrastruktur yang memperbaiki diri sendiri saat ini.

INT21 baru-baru ini meluncurkan Inference Engine Factory, memperluas konsep di luar kernel GPU individu menjadi mesin inferensi lengkap. Apa sebenarnya arti bahwa kawanan agen secara otonom membangun dan mengoptimalkan mesin inferensi, dan bagian mana dari proses tersebut yang secara tradisional memerlukan keahlian manusia paling khusus?

Mesin inferensi adalah perangkat lunak yang menjalankan model pada perangkat keras. Itu adalah sistem kompleks yang membuat puluhan keputusan desain sekaligus, seperti operasi mana yang dijalankan bersama dalam satu kernel, atau bagaimana penjadwalan kerja di seluruh core. Keputusan‑keputusan ini saling terkait, sehingga jika Anda mengubah satu hal, Anda harus menguji ulang semuanya.

Secara tradisional, seorang insinyur menyesuaikan semua ini secara manual untuk setiap model. Untuk video, musik, dan generasi suara, itu menjadi tantangan karena mereka merupakan arsitektur multi‑tahap, multi‑skala tanpa kerangka kerja siap pakai. Kawanan agen INT21 membangun tumpukan lengkap dari ujung ke ujung, mulai dari kernel individu hingga mesin inferensi penuh. Tumpukan generasi video dan audio kami tidak memerlukan tinjauan kode manusia dan mengungguli solusi inferensi mutakhir dengan pengaturan konkurensi yang sama.

PTX Kernel Factory Anda telah menghasilkan implementasi yang melampaui baseline yang ada hingga 59% pada beban kerja tertentu. Pada tingkat teknis, di mana agen menemukan perbaikan kinerja yang tidak ditemukan oleh implementasi tulisan manusia yang sangat dioptimalkan atau kompilator konvensional?

PTX Kernel Factory kami mengungguli baseline terbaik yang tersedia hingga 59% dibandingkan KDA (Kimi Linear Attention). Hal ini disebabkan oleh kawanan agen yang dapat memperbaiki diri sendiri mampu menjelajahi ribuan variasi dalam sebagian kecil waktu, proses yang terlalu melelahkan dan mahal bagi insinyur manusia untuk dilakukan.

Apa yang berbeda adalah bahwa kernel yang ditulis manusia bergantung pada bahasa khusus domain (DSL), templat, dan kompilator yang telah dibangun sebelumnya untuk GPU. DSL bekerja baik untuk pola umum, tetapi ketika Anda menghadapi beban kerja baru, seperti KDA, kompilator tujuan umum sering tidak dapat beroperasi secara optimal. Agen kami melewati abstraksi tersebut sepenuhnya, yang berarti mereka tidak terikat oleh asumsi DSL atau kompilator. Kebebasan untuk menjelajahi seluruh ruang desain tanpa terkunci pada pola yang telah ditentukan sebelumnya adalah sumber perbaikan tersebut.

Infrastruktur yang dihasilkan AI menciptakan masalah verifikasi yang tidak biasa: optimasi tidak berguna jika lebih cepat tetapi secara halus salah. Bagaimana kawanan agen Anda menguji, melakukan benchmark, menolak kegagalan, dan menyimpan temuan yang berhasil, serta seberapa penting umpan balik ini untuk membuat sistem benar‑benar memperbaiki diri sendiri daripada sekadar agen pengkodean AI?

Umpan balik sangat penting, karena optimasi tidak berharga jika hanya benar di bawah asumsi tertentu atau hanya untuk distribusi input tertentu. Di INT21, kami memastikan bahwa umpan balik bersifat ketat.

Kami memulai dari model, batasan penyebaran, dan metrik layanan yang penting. Kemudian, kawanan agen yang dapat memperbaiki diri sendiri menjelajahi konfigurasi dan jalur optimasi secara bersamaan, dan mengevaluasi setiap kandidat terhadap target kebenaran dan kinerja. Hanya implementasi yang berhasil yang dipertahankan.

Yang membuatnya benar‑benar memperbaiki diri sendiri adalah data validasi itu sendiri menjadi lebih baik. Data tersebut memberi umpan balik ke kawanan agen, sehingga mereka menyempurnakan pemahaman tentang apa yang berhasil, dan terus menutup lingkaran umpan balik. Tanpa ketelitian ini, Anda hanya akan memiliki sistem dengan kode yang tampak plausibel, dihasilkan AI, yang dapat dikirim lebih cepat, tetapi dengan hutang teknis yang secara tak terlihat menumpuk dan mengikis kepercayaan pada apa yang dibangun.

Di NVIDIA, Anda bekerja pada proyek termasuk VibeTensor dan Agentic Variation Operators, di mana agen menghasilkan sejumlah besar perangkat lunak sistem dan secara otonom mencari optimasi GPU. Apa yang proyek-proyek tersebut ungkapkan tentang jenis masalah teknik yang sudah dapat diselesaikan oleh agen AI yang banyak pengembang masih menganggap memerlukan ahli manusia?

VibeTensor mengajarkan saya sesuatu yang saya sebut “Efek Frankenstein.” AI melakukan pekerjaan yang benar pada setiap tingkatan, tetapi ketika Anda menyatukan semua bagian itu menjadi sebuah sistem, hasilnya masih di bawah apa yang dapat dibangun oleh ahli manusia.

Pekerjaan Agentic Variation Operators justru sebaliknya. Itu menunjukkan bahwa AI dapat melampaui ahli manusia dalam masalah yang sangat terfokus. Generasi kernel adalah contoh yang baik, karena masalahnya sempit, terukur, dan memiliki satu tujuan.

“Efek Frankenstein” adalah tepat apa yang INT21 selesaikan. Sampel teknik dari Inference Engine Factory kami melampaui mesin inferensi open‑source berperforma tinggi seperti SGLang dan vLLM, karena kami telah belajar menyusun masalah dengan benar. Kami memberi agen batasan yang jelas, tujuan yang terukur, dan umpan balik yang ketat. Ahli manusia masih penting, tetapi alih‑alih melakukan pekerjaan optimasi, mereka memberikan arahan berharga dan menginterpretasikan hasil. AI memperkuat dampak ahli dengan mengeksekusi lebih cepat dan lebih sistematis daripada apa pun yang dapat dilakukan manusia.

INT21 menggunakan banyak agen khusus alih‑alih mengandalkan satu agen dengan jendela konteks yang semakin besar. Mengapa Anda melihat orkestrasi multi‑agen sebagai pendekatan yang lebih skalabel untuk masalah teknik kompleks, dan bagaimana agen‑agen tersebut membagi pekerjaan, berbagi temuan, serta menghindari duplikasi atau konflik satu sama lain?

Jendela konteks yang lebih besar memungkinkan Anda menampung lebih banyak informasi sekaligus, tetapi tidak membantu menyelesaikan masalah multidimensi di mana semuanya saling terhubung. Kami menggunakan platform cloud‑native untuk menjalankan agen khusus, semua bekerja menuju tujuan terukur yang sama. Agen‑agen menjelajah secara paralel, dan terus‑menerus konvergen pada solusi yang lebih kuat.

Itu lebih skalabel karena beberapa alasan. Pertama, setiap agen tetap fokus. Kedua, Anda tidak meminta satu agen untuk menalar semuanya sekaligus, sehingga prosesnya lebih efisien. Dan ketiga, ini meniru cara tim infrastruktur sebenarnya bekerja, di mana setiap tim memiliki domainnya, tetapi sinkronisasi ketika keputusan memengaruhi satu sama lain.

Jika kawanan agen menjadi mampu secara terus‑menerus mengoptimalkan kernel, mesin inferensi, kompilator, dan lapisan lain dari tumpukan AI, bagaimana peran insinyur infrastruktur berubah? Apakah Anda memperkirakan sistem ini terutama akan mengatasi kekurangan insinyur khusus, atau pada akhirnya mengotomatisasi sebagian besar pengembangan infrastruktur itu sendiri?

Pekerjaan insinyur infrastruktur akan berubah total. Mereka tidak lagi menghabiskan waktu mengutak‑atik kode kernel dan penyetelan memori. Sebaliknya, mereka menetapkan tujuan, mendefinisikan ruang desain, menetapkan batasan, dan menginterpretasikan hasil.

Seiring waktu, lebih sedikit insinyur infrastruktur yang dibutuhkan untuk menjaga sistem tetap berjalan dan terus berkembang. Tetapi pekerjaan strategis yang tersisa menjadi lebih berharga, bukan kurang. Secara praktis, ini berarti organisasi dapat mengoperasikan infrastruktur AI yang kompleks dengan jauh lebih sedikit insinyur khusus dibandingkan kebutuhan saat ini. Itu signifikan bagi setiap perusahaan yang berusaha membangun sistem AI produksi.

Visi jangka panjang Anda adalah agar kawanan agen yang dapat memperbaiki diri sendiri beroperasi di setiap lapisan infrastruktur AI. Seperti apa tumpukan itu jika visi ini terwujud, dan apakah kita akhirnya dapat mencapai titik di mana infrastruktur AI secara terus‑menerus menulis ulang dan mengoptimalkan dirinya sendiri seiring model, beban kerja, dan perangkat keras berubah?

Saat ini, setiap lapisan tumpukan AI dioptimalkan secara independen, mulai dari kernel tingkat rendah hingga kerangka kerja dasar, hingga antarmuka. Tetapi mereka tidak berkoordinasi satu sama lain. Jadi Anda dapat mengoptimalkan satu lapisan, tetapi kemudian secara tidak sengaja merusak sesuatu di hilir.

Di INT21, visi kami adalah bahwa kawanan agen dapat berkoordinasi secara otonom di seluruh lapisan ini, terus‑menerus menyesuaikan dan beradaptasi. Ketika model baru tiba, seluruh tumpukan mengoptimalkan kembali untuknya, sehingga infrastruktur tidak pernah tertinggal dari apa yang dijalankan di atasnya.

Hal ini belum memungkinkan, karena insinyur manusia tidak dapat bergerak cukup cepat. Tetapi dengan kawanan agen yang terus‑menerus mengoptimalkan, infrastruktur yang dapat memperbaiki diri sendiri muncul sebagai kategori komputasi yang terpisah. Infrastruktur yang dapat beradaptasi secepat model dan perangkat keras berubah akan menang. Segala hal lain menjadi beban.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mengetahui lebih lanjut sebaiknya mengunjungi INT21.