Bing Xu, INT21 Kurucu ve CEO’su – Röportaj Serisi

Bing Xu, INT21’in Kurucu ve CEO’su, GPU optimizasyonu, makine öğrenimi sistemleri ve otonom AI ajanları konularında derin deneyime sahip bir AI altyapı mühendisi ve girişimcidir. INT21’i 2026’da kurmadan önce, Xu NVIDIA’da Distinguished Engineer olarak çalıştı; burada ajan odaklı yazılım geliştirme üzerine çalıştı ve VibeTensor ve AVO’nun arkasındaki çalışmalar da dahil olmak üzere birden fazla nesil kodlama ajanı yarattı. HippoML adlı GPU çıkarım girişimini kurup CEO olarak yönettiği için NVIDIA, HippoML’i satın aldıktan sonra şirkete katıldı. Daha önce Xu Meta’da Senior Staff Software Engineer olarak görev yaptı; burada AITemplate’i oluşturdu ve üretim iş yüklerinde GPU çıkarım verimliliğini artırmaya yardımcı oldu; ayrıca OctoML, Facebook AI, Apple ve Turi’de mühendislik ve araştırma rollerinde bulundu. Kariyeri, modern AI sistemlerinin temelindeki yazılım ve altyapıyı iyileştirmeye sürekli odaklanmıştır.

INT21, otonom ajan sürüleri kullanarak AI iş yüklerini besleyen yazılımı sürekli olarak geliştiren, test eden, benchmark yapan ve optimize eden kendini geliştiren AI altyapısı inşa etmektedir. Şu anda odak noktası Inference Engine Factory‘dır; bu, özel ajanları paralel olarak optimizasyon stratejilerini keşfetmek ve CUDA ve PTX çekirdekleri, sürücüler ve hizmet altyapısını kapsayan tam çıkarım motorları oluşturmak için kullanır; performans doğrudan hedef donanımda doğrulanır. Şirketin teknolojisi, ölçülebilir mühendislik hedefleri etrafında büyük sayıda ajanın koordine olmasını sağlayan ve nesiller arasında kanıt ve dersleri koruyan bulut‑yerel bir platform olan SwarmOS üzerine inşa edilmiştir. INT21, bu yaklaşımı ilk olarak PTX Kernel Factory aracılığıyla gösterdi; bu fabrika NVIDIA Hopper ve Blackwell donanımlarında GPU çekirdekleri üretip benchmarkladı; o zamandan beri hesaplama kaynaklarını tam çıkarım motorlarını optimize etmeye kaydırdı.

INT21’i, AI sistemlerini inşa edip optimize edecek özel altyapı mühendislerini yeterince hızlı işe almanın zorluğuyla sık sık karşılaştıktan sonra kurdunuz. Çözümün sadece daha iyi geliştirici araçları değil, bu işi kendileri üstlenebilen otonom, kendini geliştiren ajan sürüleri olduğuna sizi ikna eden nedir?

AI altyapısına odaklı yetenek talebinin farklı uzmanlık alanlarında arzdan çok daha fazla olduğu iyi bilinen bir sorundur ve bu, benim de ilk elden yaşadığım bir zorluktur. Bu, kendini geliştiren ajan sürülerini bir seçenek olarak değerlendirmemi sağladı. Son birkaç yılda kendini geliştiren AI çözümleri üzerinde çalıştım ve teknoloji artık o kadar hızlı ilerliyor ki bu sistemler altyapıyı tamamen bağımsız olarak inşa edebiliyor, çalıştırabiliyor ve optimize edebiliyor.

INT21’in temel felsefesi, insanlar gibi ajanların birikmiş bilgi sayesinde daha akıllı hâle gelmesidir. Bu, hâlâ birinin kaç saat çalışabileceği ve fiziksel olarak çözebileceği problemlerle sınırlı olan eski geliştirici araçlarından temelde farklıdır. Kendini geliştiren ajan sürülerini kullanmak, her üretim döngüsüyle daha hızlı, daha doğru ve daha verimli olmamızı sağlar. Ajanlarımız yetenekli ve mevcut çerçevelerle kısıtlı olmadığından, her belirli iş yükü için sıfırdan doğrudan çözümler inşa edebiliyoruz.

INT21’dan önce, HippoML’i kurdunuz; bu, lansmandan sadece 14 ay sonra NVIDIA tarafından satın alındı ve daha sonra NVIDIA’da Distinguished Engineer oldunuz. Bu deneyimler AI altyapısındaki darboğazlar hakkında size ne öğretti ve bu, INT21’in mimarisini ve misyonunu nasıl şekillendirdi?

HippoML’de yüksek performanslı üretken AI çıkarımı üzerine uzmanlaştık, büyük dil modellerini daha hızlı ve daha verimli çalıştırmak için yazılım optimizasyon araçları geliştirdik. Talep edilen AI çıkarım optimizasyonu hızına ayak uydurmak için Doğu Avrupa ve başka yerlerden yetenekli müteahhitlere güvenmeden ölçekleyemeyeceğimizi fark ettik.

NVIDIA bizi satın aldıktan sonra, şirket içinde ajan tabanlı bir geliştirme yaklaşımı inşa etmeye başladım. yayınlanan araştırma, harness (bir modelin etrafındaki altyapı katmanı) aslında ajan performansını belirlediğini, modelin kendisini değil, gösterdi. Bu, AI altyapısındaki gerçek darboğazın daha iyi modeller bulmak değil, onları çalıştıran sistemleri optimize etmek olduğunu kanıtladı.

Modeller geliştikçe, etraflarındaki altyapı da buna göre ölçeklenmelidir. Ancak insan odaklı optimizasyon döngüleri bu hıza ayak uydurmakta zorlanır. Bir eğitim döngüsünü bir model mimarisi için optimize edip dağıtırsınız, ardından model mimarisi değişirse ya da yeni bir GPU nesli gelirse, baştan başlamanız gerekir. Günümüzde her hafta yeni bir model güncellemesi gibi bir durum olduğunda, bu eski yaklaşım sürdürülemez. Bu farkındalık, bir sonraki atılımın kendini geliştiren altyapıda olduğunu ikna etti ve INT21’i kurmama yol açtı.

INT21, yaklaşımını “kendini geliştiren altyapı” olarak tanımlıyor; bu, araştırmacıların temel AI modelini daha yetenekli hâle getirmeye çalıştığı yinelemeli öz‑gelişimden oldukça farklı. Yaklaşımınız nasıl çalışıyor ve mevcut modellerin etrafındaki sistemleri iyileştirmenin çok daha erken anlamlı kazançlar sağlayacağına neden inanıyorsunuz?

Yinelemeli öz‑gelişim yaklaşımı, özel modelleri eğitmek, araştırma ekipleri kurmak ve büyük sermaye toplamak üzerine odaklanır. Bu, modelin kendi eğitim sürecini düşünmesini isteyen on yıllık, maliyetli bir yolculuktur.

Bizim yaklaşımımız farklı. INT21’de, yıllar ve milyarlarca dolar gerektirecek uç model iyileştirmeleri yapmaya çalışmıyoruz. Bunun yerine, model ile performans arasındaki altyapı katmanı olan harness’i optimize eden ajan sürüleri inşa ediyoruz. Nvidia’daki araştırmamız şunu kanıtladı: harness, model değil, karmaşık görevlerde ajan performansını belirliyor. Bir ajanın uç model yeteneklerini anlaması gerekmez; %10 verimlilik artışı bulabilir. Tek yapması gereken tasarım alanını keşfetmek, ölçmek, doğrulamak ve işe yarayanı tutmaktır.

İki farklı yaklaşımı düşünmenin bir yolu, birinin bir enerji santrali inşa etmesi, diğerinin ise zaten var olan elektriği kullanarak inşa etmesidir. Biz daha hızlı hareket edebilir ve gerçek, acil talebi karşılayabiliriz. Ve bu, bugün kendini geliştiren altyapıda anlamlı, ölçülebilir kazançlar gördüğümüz anlamına geliyor.

INT21, yakın zamanda Inference Engine Factory’yi başlattı; bu, kavramı tek tek GPU çekirdeklerinden tam çıkarım motorlarına genişletiyor. Bir ajan sürüsünün bağımsız olarak bir çıkarım motorunu inşa edip optimize etmesi gerçekte ne anlama geliyor ve bu sürecin hangi bölümleri geleneksel olarak en çok uzman insan bilgisini gerektiriyor?

Bir çıkarım motoru, modeli donanım üzerinde çalıştıran yazılımdır. Bu, aynı anda onlarca tasarım kararını içeren karmaşık bir sistemdir; örneğin hangi işlemlerin tek bir çekirdek içinde birlikte çalışacağı ya da çekirdekler arasında iş planlamasının nasıl olacağı gibi. Bu kararlar birbirine bağlıdır; birini değiştirirseniz, diğerlerini de yeniden test etmeniz gerekir.

Geleneksel olarak, bir mühendis bu tüm ayarları her model için elle ayarlar. Video, müzik ve ses üretimi için bu zordur çünkü çok aşamalı, çok ölçekli mimariler olup hazır bir çerçeve yoktur. INT21’in ajan sürüleri, bireysel çekirdeklerden tam çıkarım motoruna kadar tüm yığını uçtan uca, insan kod incelemesi olmadan inşa eder. Video ve ses üretim yığınlarımız, aynı eşzamanlılık ayarları altında en son teknoloji çıkarım çözümlerini geride bırakmaktadır.

PTX Kernel Factory’niz, belirli iş yüklerinde mevcut temel çözümleri %59’a kadar geride bırakan uygulamalar üretti. Teknik açıdan, ajanlar çok iyi optimize edilmiş insan tarafından yazılmış uygulamaların ya da geleneksel derleyicilerin kaçırdığı performans iyileştirmelerini nerede buluyor?

PTX Kernel Factory, en iyi mevcut temel çözümü KDA (Kimi Linear Attention) karşısında %59’a kadar geride bıraktı. Bu, kendini geliştiren ajan sürülerimizin binlerce varyasyonu çok kısa sürede ölçeklendirebilmesinden kaynaklanıyor; bu süreç insan mühendisler için çok zahmetli ve maliyetli.

Fark şudur ki, insan tarafından yazılmış çekirdekler GPU’lar için önceden hazırlanmış alan‑spesifik diller (DSL), şablonlar ve derleyicilere dayanır. DSL, yaygın kalıplar için iyidir, ancak KDA gibi yeni bir iş yüküyle karşılaştığınızda, genel amaçlı derleyici genellikle optimal çalışamaz. Ajanlarımız bu soyutlamaları tamamen atlar; yani DSL ya da derleyici varsayımlarıyla kısıtlanmazlar. Önceden tanımlı kalıplara bağlı kalmadan tam tasarım alanını keşfetme özgürlüğü, iyileştirmenin kaynağıdır.

AI tarafından üretilen altyapı, alışılmadık bir doğrulama sorunu ortaya çıkarıyor: bir optimizasyon daha hızlı ama hafifçe hatalıysa kullanışlı değildir. Ajan sürüleriniz test, benchmark, hataları reddetme ve başarılı keşifleri saklama konusunda nasıl çalışıyor ve bu geri bildirim döngüsü, sistemin gerçekten kendini geliştiren bir yapı olmasını sağlamak açısından ne kadar önemli, sadece bir AI kodlama ajanı olmaktan öte?

Geri bildirim döngüsü kritiktir, çünkü bir optimizasyon yalnızca belirli varsayımlar altında ya da belirli bir giriş dağılımı için doğruysa değersizdir. INT21’de geri bildirim döngüsünün titiz olduğundan emin oluyoruz.

Model, dağıtım kısıtlamaları ve önemli hizmet metriğiyle başlarız. Ardından, kendini geliştiren ajan sürüleri aynı anda yapılandırma ve optimizasyon yollarını keşfeder ve her adayı doğruluk ve performans hedeflerine karşı değerlendirir. Sadece çalışan uygulamalar tutulur.

Gerçekten kendini geliştiren şey, doğrulama verisinin kendisinin iyileşmesidir. Bu veri ajan sürülerine geri beslenir, böylece neyin işe yaradığını daha iyi anlar ve sürekli geri bildirim döngüsünü kapatır. Bu titizlik olmadan, sadece daha hızlı gönderilebilen, ancak teknik borç biriktiren ve inşa edilen şeylere güveni eriten AI‑generated kodu olan bir sisteminiz olur.

NVIDIA’da VibeTensor ve Agentic Variation Operators gibi projelerde çalıştınız; bu projelerde ajanlar büyük miktarda sistem yazılımı üretti ve GPU optimizasyonlarını otonom olarak aradı. Bu projeler, birçok geliştiricinin hâlâ insan uzmanları gerektirdiğini düşündüğü mühendislik problemlerinin hangi türlerinin AI ajanları tarafından zaten çözülebileceğini ortaya koydu?

VibeTensor bana ‘Frankenstein Etkisi’ dediğim bir şeyi öğretti. AI her seviyede doğru çalıştı, ancak tüm parçaları bir sistem olarak birleştirdiğinizde, insan uzmanların inşa edebileceği seviyenin gerisinde kaldı.

Agentic Variation Operators çalışması ise tam tersiydi. AI’nın dar kapsamlı problemlerle insan uzmanları geride bırakabileceğini gösterdi. Çekirdek üretimi iyi bir örnek; çünkü problem dar, ölçülebilir ve tek bir hedefe sahip.

‘Frankenstein Etkisi’, INT21’in çözdüğü şeydir. Inference Engine Factory’den elde ettiğimiz mühendislik örnekleri, SGLang ve vLLM gibi yüksek performanslı açık kaynak çıkarım motorlarını geride bırakıyor, çünkü problemi doğru şekilde yapılandırmayı öğrendik. Ajanlara net kısıtlamalar, ölçülebilir hedefler ve sıkı geri bildirim döngüleri veriyoruz. İnsan uzmanlar hâlâ gerekli, ancak optimizasyon işini yürütmek yerine değerli yönlendirme sağlar ve sonuçları yorumlar. AI, uzmanların etkisini daha hızlı ve sistematik bir şekilde yürüterek artırır.

INT21, tek bir ajan yerine giderek daha büyük bir bağlam penceresine sahip tek bir ajana güvenmek yerine birden çok özel ajan kullanıyor. Neden çok ajanlı orkestrasyonu, karmaşık mühendislik problemlerine daha ölçeklenebilir bir yaklaşım olarak görüyorsunuz ve ajanlar işi nasıl bölüyor, keşifleri nasıl paylaşıyor ve birbirlerini kopyalamaktan ya da çakışmaktan nasıl kaçınıyor?

Daha büyük bir bağlam penceresi, aynı anda daha fazla bilgi tutmanızı sağlar, ancak her şeyin birbirine bağlı olduğu çok boyutlu problemleri çözmenize yardımcı olmaz. Özel ajanları çalıştırmak için bulut‑yerel bir platform kullanıyoruz; tüm ajanlar aynı ölçülebilir hedefe doğru çalışıyor. Ajanlar paralel olarak keşif yapar ve sürekli daha güçlü çözümlere yakınsar.

Bu, birkaç nedenden dolayı daha ölçeklenebilir. İlk olarak, her ajan odaklanmış kalır. İkinci olarak, tek bir ajanın her şeyi bir anda düşünmesini istemiyoruz, bu yüzden süreç daha verimli. Ve son olarak, bu, altyapı ekiplerinin gerçekte nasıl çalıştığını yansıtır; her ekip kendi alanına sahip, ancak kararlar birbirini etkilediğinde senkronize olur.

Ajan sürüleri çekirdekleri, çıkarım motorlarını, derleyicileri ve AI yığınının diğer katmanlarını sürekli optimize edebilecek hâle gelirse, altyapı mühendisinin rolü nasıl değişir? Bu sistemlerin öncelikle uzman mühendis sıkıntısını gidermesini mi, yoksa sonunda altyapı geliştirmesinin büyük bir kısmını otomatikleştirmesini mi bekliyorsunuz?

Altyapı mühendisinin işi tamamen değişmek üzere. Artık kernel kodu ve bellek ayarlarıyla uğraşmıyorlar. Bunun yerine hedefler belirliyor, tasarım alanını tanımlıyor, kısıtlamaları oluşturuyor ve sonuçları yorumluyorlar.

Zamanla, sistemleri çalışır ve iyileştirir durumda tutmak için daha az altyapı mühendisine ihtiyaç duyulacak. Ancak kalan stratejik iş daha değerli hâle gelecek, daha az değil. Pratikte, organizasyonlar bugün ihtiyaç duyduklarından çok daha az uzman mühendisle karmaşık AI altyapısını çalıştırabilir. Bu, üretim AI sistemleri kurmaya çalışan her şirket için büyük bir fark yaratır.

Uzun vadeli vizyonunuz, kendini geliştiren ajan sürülerinin AI altyapısının her katmanında çalışması. Bu vizyon gerçekleşirse yığın nasıl görünür ve modeller, iş yükleri ve donanım değiştikçe AI altyapısının sürekli olarak kendini yeniden yazıp optimize ettiği bir noktaya ulaşabilir miyiz?

Şu anda AI yığınının her katmanı bağımsız olarak, düşük seviyeli çekirdeklerden temel çerçevelere, arayüzlere kadar optimize ediliyor; ancak birbirleriyle koordine olmuyorlar. Bir katmanı optimize ederseniz, aşağıdaki bir katmanda istemeden bir şey kırabilirsiniz.

INT21’de vizyon, ajan sürülerinin tüm bu katmanlar arasında otonom olarak koordine edebilmesi, sürekli ayarlama ve uyum sağlamasıdır. Yeni bir model geldiğinde, tüm yığın onun için yeniden optimize edilir; böylece altyapı asla geride kalmaz.

Bu mümkün olmamıştı, çünkü insan mühendisler yeterince hızlı hareket edemiyordu. Ancak ajan sürüleri sürekli olarak optimize ettikçe, kendini geliştiren altyapı ayrı bir bilişim kategorisi olarak ortaya çıkıyor. Modeller ve donanım değiştikçe aynı hızda uyum sağlayabilen altyapı kazanacaktır. Diğer her şey bir sorumluluk haline gelir.

Harika röportaj için teşekkür ederiz, daha fazla bilgi edinmek isteyen okuyucular INT21‘i ziyaret etmelidir.