Together AI Menghadirkan Kompilasi Berkelanjutan untuk Inferensi Produksi

Together AI mengumumkan Inferensi Polimorfik pada 4 November 2026, dengan memperkenalkan Together Compiler sebagai implementasi pertamanya. Sistem berbasis agen ini terus menyesuaikan inferensi dengan perubahan model, lalu lintas, dan perangkat keras, serta telah digunakan untuk banyak beban kerja inferensi produksi utama perusahaan dan sejumlah titik akhir tanpa server yang populer.

Together AI melaporkan bahwa dalam waktu kurang dari 24 jam, kompilernya menghasilkan 1,3 hingga 3 kali lebih banyak token per detik dibandingkan tolok ukur sumber terbuka yang telah dioptimalkan secara intensif, dalam pengujian yang mencakup Kimi K3, GLM 5.3, MiniMax M3.1-Flash, dan DeepSeek v4.1-Flash. Hasil tersebut menggambarkan gagasan utama di balik pengumuman ini: optimasi dapat berlangsung sebagai proses pencarian berkelanjutan yang disesuaikan dengan penerapan tertentu, alih-alih satu putaran penyetelan manual yang dibekukan saat peluncuran.

Model, Lalu Lintas, dan Perangkat Keras yang Terus Berubah

Inferensi Polimorfik adalah istilah yang digunakan Together AI untuk infrastruktur penyajian yang beradaptasi dengan peluncuran model yang lebih cepat, arsitektur yang beragam, pola lalu lintas dan persyaratan tingkat layanan yang terus berubah, serta perubahan perangkat keras yang semakin sering. Sebaliknya, pendekatan statis dimulai dengan konfigurasi mesin yang tetap. Konfigurasi yang disetel untuk satu kondisi belum tentu sesuai untuk kondisi lain, terutama ketika perilaku model dan distribusi permintaan berubah.

Pengamatan perusahaan terhadap sistem produksi memberikan contoh konkret. Together AI melaporkan bahwa selama jam kerja di suatu negara, jumlah token dalam prompt mencapai sekitar 97.000, dibandingkan dengan 70.000 di tempat lain. Panjang prompt juga meningkat 80% dalam dua minggu setelah peluncuran salah satu model, seiring pergeseran penggunaan ke beban kerja agentik. Lonjakan permintaan pelanggan juga dapat menggandakan panjang prompt dan menurunkan rasio cache hit, sehingga mengubah kondisi yang menjadi dasar penyetelan konfigurasi yang sudah ada.

Pengumuman ini juga mengubah penekanan Together AI sebelumnya pada megakernel, yang menggabungkan operasi ke dalam satu kernel. Setelah menerapkan versi awalnya di lingkungan produksi, perusahaan menyimpulkan bahwa penggabungan saja bukanlah sasaran desain yang berlaku universal: arsitektur campuran pakar dan beban kerja dinamis mungkin memerlukan teknik yang berbeda. Kernel yang dikembangkan berdasarkan lalu lintas tetap atau acak juga dapat tidak terkalibrasi dengan baik untuk lalu lintas produksi, yang peruteannya bergantung pada data dan memengaruhi optimasi mana yang memberikan hasil terbaik.

Cara Kerja Kompilasi Berkelanjutan

Together Compiler menggunakan pola lalu lintas, model, dan perangkat keras sebagai masukan, lalu memanfaatkan agen untuk menghasilkan dan mengukur kandidat optimasi bagi mesin inferensi. Mesin persisten memuat model satu kali dan memuat ulang kandidat proses forward secara langsung tanpa memulai ulang seluruh mesin. Agen-agen yang bekerja secara paralel menghasilkan kandidat dan berkomunikasi melalui papan pesan, sehingga eksperimen tetap mengantre sementara agen lain melakukan penalaran atau menggunakan alat.

Dua tingkat pengukuran menyeimbangkan jumlah eksperimen dengan realisme. Mesin cepat memuat sebagian lapisan untuk iterasi cepat dan pengukuran waktu dengan varians rendah; mesin yang lebih lambat memuat lebih banyak lapisan untuk menguji apakah kandidat tetap efektif pada distribusi data yang realistis. Model biaya terpisah menggabungkan spesifikasi perangkat keras, tolok ukur mikro, dan hasil pengukuran proses forward untuk memangkas ruang pencarian konfigurasi paralelisme sebelum agen menghabiskan waktu mengoptimalkan kandidat.

Makalah teknis tersebut menyatakan bahwa kandidat yang unggul menjalani pengujian verifikasi untuk mendeteksi kontaminasi cache KV dan memeriksa kualitas keluaran sebelum dapat digunakan untuk penyajian. Pemeriksaan ini dilakukan setelah anggaran optimasi habis, saat kode sumber final disiapkan untuk diintegrasikan ke dalam mesin penyajian.

Perbandingan waktu startup dalam unggahan peluncuran menyebutkan bahwa urutan proses yang biasa memerlukan 467 detik hingga siap melayani, sedangkan konfigurasi Together Compiler hanya memerlukan 9,0 detik. Angka tersebut mengukur waktu startup mesin selama optimasi, bukan latensi permintaan individual, dan membantu menjelaskan mengapa pemuatan ulang langsung menjadi bagian penting dalam meningkatkan kapasitas eksperimen sistem.

Cakupan Evaluasi dan Akses bagi Pelanggan

Untuk membandingkan mesin, makalah tersebut menggunakan konfigurasi terbuka terkemuka per 30 Oktober 2026 dan mempertahankan strategi paralelisme tolok ukur agar dampak optimasi agentik dapat diisolasi. Trainium2 menjadi pengecualian yang diungkapkan dari beban kerja evaluasi standar: perangkat ini menggunakan kumpulan data sintetis multi-giliran karena implementasinya belum mendukung tingkat konkurensi yang lebih tinggi dalam batas kapasitas HBM yang tersedia.

Together AI mengaitkan hasil optimasi tersebut, sebagian, dengan throughput eksperimen yang 252 kali lebih tinggi dibandingkan sistem optimasi peningkatan diri rekursif agentik sebagai tolok ukur.

Selain inferensi model bahasa, makalah tersebut melaporkan peningkatan kecepatan 1,5 hingga 6,4 kali pada model cuaca, biologi, deret waktu, dan persamaan diferensial parsial yang diuji, dengan tetap menghasilkan keluaran yang identik hingga tingkat bit dalam evaluasi yang disebutkan.

Pelanggan akhir dapat mengajukan permintaan akses awal melalui beta terbatas. Together AI berencana menyediakan optimasi titik akhir khusus dengan satu klik, sementara peta jalan risetnya mencakup dekode spekulatif yang beradaptasi berdasarkan domain, permintaan, token, dan beban lalu lintas, serta perutean dinamis di antara pekerja dan konfigurasi penerapan untuk lalu lintas tanpa server yang heterogen.

Peluncuran ini menjadikan pengukuran yang spesifik untuk setiap penerapan—bukan kernel yang optimal secara universal—sebagai prinsip utama yang mendasari tumpukan inferensi Together AI. Pertanyaan langsung bagi pelanggan adalah apakah beta terbatas ini dapat menghasilkan peningkatan yang dilaporkan pada model, lalu lintas, dan perangkat keras mereka sendiri sekaligus lolos pemeriksaan kualitas yang sama—variasi yang dirancang untuk ditangani oleh Continuous Compilation.