Together AI, Sürekli Derlemeyi Üretim Çıkarımına Taşıyor

Together AI, 4 Kasım 2026’da Polymorphic Inference‘ı duyurdu ve ilk uygulaması olarak Together Compiler‘ı tanıttı. Ajanlarla çalışan sistem; değişen modellere, trafiğe ve donanıma uyum sağlamak için çıkarım süreçlerini sürekli yeniden ayarlıyor. Sistem, şirketin üretim ortamındaki başlıca çıkarım iş yüklerinin çoğunda ve popüler sunucusuz uç noktaların bazılarında şimdiden çalışıyor.

Together AI, derleyicinin Kimi K3, GLM 5.3, MiniMax M3.1-Flash ve DeepSeek v4.1-Flash’ı içeren testlerde, 24 saatten kısa sürede, yüksek düzeyde optimize edilmiş açık kaynaklı temel sistemlere kıyasla saniyede 1,3 ila 3 kat daha fazla belirteç ürettiğini bildiriyor. Bu sonuçlar, duyurunun temel iddiasını ortaya koyuyor: Optimizasyon, lansmanda tamamlanıp sabitlenen bir manuel ayar turu olmak yerine, dağıtıma bağlı ve sürekli devam eden bir arama süreci olabilir.

Değişen Modeller, Trafik ve Donanım

Polymorphic Inference, Together AI’ın daha hızlı model sürümlerine, farklı mimarilere, değişen trafik örüntülerine ve hizmet düzeyi gereksinimlerine, ayrıca donanımdaki daha sık değişikliklere uyum sağlayan sunum altyapısı için kullandığı terimdir. Buna karşılık statik yaklaşım, sabit bir motor yapılandırmasını temel alır. Bir ortama göre ayarlanan yapılandırma, özellikle model davranışı ve istek dağılımları değiştiğinde başka bir ortama uygun olmayabilir.

Şirketin üretim ortamındaki gözlemleri somut örnekler sunuyor. Together AI, bir ülkedeki çalışma saatleri sırasında istemlerin yaklaşık 97.000 belirtece ulaştığını, başka yerlerde ise bu sayının 70.000 olduğunu bildiriyor. Ayrıca bir model sürümünün yayımlanmasını izleyen iki hafta içinde, kullanım ajan tabanlı iş yüklerine kayarken istem uzunlukları %80 arttı. Müşteri trafiğindeki ani artışlar da istem uzunluklarını ikiye katlayıp önbellek isabet oranlarını düşürebiliyor; böylece mevcut yapılandırmanın ayarlandığı koşullar değişiyor.

Duyuru, Together AI’ın daha önce tek bir çekirdekte işlemleri birleştiren mega çekirdeklere verdiği ağırlığı da yeniden değerlendiriyor. İlk sürümleri üretim ortamına aldıktan sonra şirket, birleştirmenin tek başına her duruma uygun bir tasarım hedefi olmadığı sonucuna vardı: Uzman karışımı mimarileri ve dinamik iş yükleri farklı teknikler gerektirebilir. Sabit ya da rastgele trafik temel alınarak geliştirilen çekirdekler de veri bağımlı yönlendirmenin hangi optimizasyonların başarılı olacağını etkilediği üretim trafiği için aynı şekilde yanlış ayarlanmış olabilir.

Sürekli Derleme Nasıl Çalışıyor?

Together Compiler, trafik örüntüsünü, modeli ve donanımı girdi olarak alıyor; ardından bir çıkarım motoru için olası optimizasyonları üretip ölçmek üzere ajanlardan yararlanıyor. Kalıcı bir motor modeli bir kez yüklüyor ve motorun tamamını yeniden başlatmadan, ileri geçişler için adayları çalışırken yeniden yüklüyor. Paralel çalışan ajanlar adaylar üretiyor ve bir mesaj panosu üzerinden iletişim kuruyor; böylece diğer ajanlar akıl yürütürken veya araçları kullanırken deneyler sırada bekliyor.

İki ölçüm katmanı, deney hacmiyle gerçekçilik arasında denge kuruyor. Hızlı motorlar, hızlı yineleme ve düşük varyanslı zaman ölçümleri için katmanların bir alt kümesini yüklüyor; daha yavaş motorlarsa adayların gerçekçi veri dağılımlarında da işe yarayıp yaramadığını sınamak üzere daha fazla katman yüklüyor. Ayrı bir maliyet modeli; donanım özelliklerini, mikro kıyaslamaları ve ölçülen ileri geçişleri bir araya getirerek ajanlar adayları optimize etmek için zaman harcamadan önce paralellik yapılandırmalarına yönelik arama alanını daraltıyor.

Teknik makale, başarılı adayların sunuma alınabilmeleri için KV önbelleği kirlenmesi ve çıktı kalitesi bakımından doğrulama testlerinden geçirildiğini belirtiyor. Bu kontroller, optimizasyon bütçesi tükendiğinde ve son kaynak kodu sunum motoruna entegre edilmek üzere hazırlandığında yapılıyor.

Duyuru yazısındaki başlangıç süresi karşılaştırmasına göre, mevcut yöntemde sunuma hazır hâle gelmek 467 saniye sürerken Together Compiler’ın kurulumunda bu süre 9,0 saniye. Bu rakamlar tek tek isteklerin gecikmesini değil, optimizasyon sırasındaki motor başlangıç süresini gösteriyor ve sistemin deney hacmini artırmasında çalışırken yeniden yüklemenin neden merkezi bir rol oynadığını açıklamaya yardımcı oluyor.

Değerlendirmenin Kapsamı ve Müşterilerin Erişimi

Motor karşılaştırmalarında makale, 30 Ekim 2026 itibarıyla önde gelen açık yapılandırmaları kullandı ve ajan tabanlı optimizasyonun etkisini tek başına ölçebilmek için temel paralellik stratejisini sabit tuttu. Standart değerlendirme iş yükünün açıkça belirtilen istisnası Trainium2’ydi: Uygulama, mevcut HBM kapasitesi dâhilinde daha yüksek eşzamanlılık düzeylerini henüz desteklemediğinden sentetik, çok turlu bir veri kümesi kullanıldı.

Together AI, optimizasyon sonuçlarını kısmen, temel alınan ajan tabanlı özyinelemeli öz iyileştirme optimizasyon sistemlerine kıyasla deney hacminin 252 kat daha yüksek olmasına bağlıyor.

Makale, dil modeli çıkarımının yanı sıra test edilen hava durumu, biyoloji, zaman serisi ve kısmi diferansiyel denklem modellerinde 1,5 ila 6,4 kat hızlanma sağlandığını ve belirtilen değerlendirmelerde bit düzeyinde aynı çıktıların korunduğunu bildiriyor.

Son müşteriler, sınırlı beta programı aracılığıyla erken erişim talebinde bulunabilir. Together AI, özel uç noktalar için tek tıklamayla optimizasyon sunmayı planlıyor. Şirketin araştırma yol haritasında ayrıca alana, isteğe, belirtece ve trafik yüküne göre uyum sağlayan spekülatif kod çözme ile farklı sunucusuz trafik türleri için çalışanlar ve dağıtım yapılandırmaları arasında dinamik yönlendirme yer alıyor.

Bu lansman, Together AI’ın çıkarım yığınında düzenleyici ilkenin herkes için en uygun çekirdek yerine dağıtıma özgü ölçüm olduğunu ortaya koyuyor. Müşteriler için acil soru, sınırlı beta sürümünün bildirilen kazanımları kendi modellerinde, trafiklerinde ve donanımlarında aynı kalite kontrollerinden geçerek sağlayıp sağlayamayacağı; Continuous Compilation da tam olarak bu değişkenliği ele almak üzere tasarlandı.