IBM Menjadikan Akselerator Spyre Backend PyTorch Kelas Utama

IBM menyatakan dalam artikel blog IBM Research yang diterbitkan pada 26 Oktober 2026 bahwa pembaruan perangkat lunak yang dirilis di seluruh ekosistem PyTorch pada paruh kedua 2026 telah menjadikan akselerator aliran data Spyre miliknya sebagai backend PyTorch kelas utama. Dengan demikian, IBM mewujudkan rencana yang disusun bersama PyTorch Foundation pada Oktober 2025.

IBM menggambarkan Spyre sebagai akselerator AI aliran data yang dioptimalkan untuk inferensi dan dirancang bagi tim perusahaan yang menjalankan AI bersama aplikasi dan data mereka di sistem IBM Z, LinuxONE, dan Power. Komputasi presisi rendahnya ditujukan untuk pekerjaan yang didominasi operasi matriks dalam pembuatan bahasa dan model embedding. Tidak seperti GPU konvensional, yang mengeksekusi kernel sebagai rangkaian instruksi di antara kelompok utas yang dijadwalkan, Spyre memulai komputasi saat data tiba di mesin komputasinya.

Menurut artikel tersebut, pada paruh kedua 2026, IBM, Red Hat, dan para kolaborator di PyTorch Foundation, termasuk Meta dan Hugging Face, merilis pembaruan yang mencakup dukungan model sejak hari pertama, model yang tidak bergantung pada perangkat keras di vLLM, pengujian regresi dan rilis berkelanjutan, serta integrasi perangkat asli. Pada PyTorch Conference 2025, dalam artikel IBM Research tertanggal 21 Oktober 2025, IBM menyatakan berencana memperdalam dukungan Spyre pada 2026, dengan menjadikan Spyre backend kelas utama dalam alur kerja inferensi sumber terbuka serta berfokus pada jalur kompilasi terpadu, pembuatan kernel yang dioptimalkan, dan penjadwalan transparan untuk beberapa akselerator. Saat itu, IBM telah mengadopsi vLLM sebagai runtime inferensinya dan torch.compile sebagai kompiler frontend untuk mengintegrasikan akselerator seperti Spyre. IBM juga telah berkontribusi dengan membuat plugin Spyre untuk vLLM yang memungkinkan paged attention untuk inferensi model bahasa besar.

Kompiler yang Dibangun Ulang Berbasis Inductor

Inti integrasi ini adalah torch-spyre, backend PyTorch yang mengompilasi kode PyTorch biasa menjadi rencana yang dapat dieksekusi oleh Spyre. Sebagian besar logika model diproses tanpa perubahan oleh kompiler PyTorch; jika suatu operasi belum dapat diturunkan secara efektif, adaptor dapat menggantinya dengan bentuk yang setara secara matematis dan dapat ditangani oleh kompiler.

Dalam artikel PyTorch Foundation yang diterbitkan pada 13 Oktober 2026, Dave Grove, Olivier Tardieu, dan IBM Spyre Team menjelaskan peralihan backend torch.compile milik torch-spyre dari sendnn—tumpukan kompilasi yang dibangun sepenuhnya dari awal—ke backend=inductor, backend sumber terbuka yang dibuat dengan mengembangkan Inductor milik PyTorch sendiri. Menurut para penulis, pengukuran menggunakan penganalisis kode lizard menunjukkan bahwa sendnn terdiri atas sekitar 273.000 baris kode C++ dan Python dalam 6.170 fungsi, sedangkan ekstensi Inductor terdiri atas sekitar 38.600 baris kode Python dalam 1.878 fungsi—sekitar 7 kali lebih sedikit baris kode dengan kompleksitas per fungsi yang lebih rendah.

Spyre adalah akselerator 75 watt yang terhubung melalui PCIe, terdiri atas 32 inti kecil yang terhubung dalam susunan cincin. Setiap inti memiliki memori scratchpad 2 MB sendiri, bukan cache bersama, dan perangkat ini memindahkan data dalam potongan berukuran tetap 128 byte yang disebut sticks. Menurut artikel tersebut, pekerjaan kompilator berfokus pada pemindahan data dalam satuan stick, perencanaan penggunaan memori scratchpad, dan penetapan inti pada waktu kompilasi.

Pengukuran yang dilaporkan mencakup pengurangan waktu kernel matmul sebesar 29–69% berkat pilihan tiling dan tata letak; penurunan median waktu kernel softmax dari 32,51 mikrodetik menjadi 23,67 mikrodetik—pengurangan sebesar 27%—berkat penjadwalan yang mempertimbangkan memori scratchpad; serta kernel bergaya MLP terpadu yang meningkatkan utilisasi inti dari sekitar dua pertiga menjadi kira-kira 80%, sekaligus memangkas waktu kernel sekitar 17%. Pada graf sintetis yang dirancang untuk menguji keputusan tersebut, tata ulang data on-chip yang baru menggantikan perjalanan bolak-balik selama 80 mikrodetik ke memori perangkat dengan pengacakan data antarkomponen inti selama 1,1 mikrodetik. Artikel tersebut juga menyebutkan bahwa kebutuhan torch-spyre untuk mendaftarkan dekomposisi khusus perangkat turut mendorong peningkatan dukungan backend Inductor eksternal, yang masuk ke PyTorch 2.12 melalui dua permintaan penggabungan kode.

Integrasi Perangkat Asli

Spyre menjadi perangkat PyTorch asli melalui pendaftaran PrivateUse1, yang memberikan identitas perangkat nyata pada tensor.to(“spyre”): penyimpanan dari alokator PyTorch membuat tensor tetap berada di perangkat, stream menyediakan semantik pengurutan, dan peristiwa runtime menghubungkan pekerjaan yang saling bergantung di antara stream. Kartu ini memiliki 32 inti yang terhubung melalui cincin berbandwidth tinggi, masing-masing dengan memori scratchpad lokal 2 MB, serta LPDDR5 hingga 128 GB untuk tensor dan program. Runtime saat ini menambal program saat peluncuran dengan mengganti alamat tensor simbolis dengan alamat nyata dalam tiga langkah berurutan.

Dalam demonstrasi menggunakan Granite 3.3 8B dengan ukuran batch 1 dan panjang urutan 1024, pemindahan konstruksi graf keluar dari jalur transfer data meningkatkan kinerja prefill sebesar 9,9% dan decode sebesar 13,6%, menurut tim tersebut. Dengan menghapus pekerjaan itu dari pengiriman komputasi juga, peningkatan keseluruhan mencapai 1,7 kali untuk prefill dan 2,4 kali untuk decode, dengan sekitar tiga perempat peningkatan berasal dari jalur komputasi.

“Keuntungannya adalah Spyre maupun PyTorch tidak perlu berpura-pura menjadi sesuatu yang lain,” tulis para penulis dalam Membangun Spyre sebagai Perangkat PyTorch Asli, yang diterbitkan pada 8 Oktober 2026. Mereka menambahkan bahwa Spyre tetap menggunakan model eksekusi aliran datanya, sementara pengguna memperoleh perangkat PyTorch asli dengan penempatan tensor, stream, dan kompilasi yang familier.

Portabilitas vLLM dan Kaitannya dengan Llm-D

Spyre adalah akselerator di luar pohon sumber, bukan salah satu platform GPU yang paling umum didukung oleh perangkat lunak AI. Spyre mengandalkan TorchDynamo untuk melacak graf model dan TorchInductor untuk menurunkan graf tersebut agar dapat dijalankan pada perangkat keras yang dituju. Di vLLM, mekanisme ekstensi seperti CustomOp dan PluggableLayer memungkinkan plugin perangkat keras menyesuaikan perilaku tanpa harus menerapkan ulang sebagian besar tumpukan perangkat lunak.

Dalam Model yang Tidak Bergantung pada Perangkat Keras di vLLM, yang diterbitkan pada 22 September 2026 oleh para penulis dari IBM, Meta, dan Hugging Face, tim tersebut menguraikan peralihan vLLM menuju definisi model “flat” yang spesifik untuk perangkat keras dan memperkenalkan lapisan yang tidak bergantung pada perangkat keras, berdasarkan empat prinsip desain: dapat dikompilasi, dapat diperluas, terisolasi dari jalur khusus perangkat keras, dan portabel. Dukungan awal telah tersedia di cabang utama vLLM dan dapat diaktifkan dengan USE_HW_AGNOSTIC=1 pada backend transformers. Jalur ini telah divalidasi menggunakan plugin Spyre di luar pohon sumber pada sejumlah model, termasuk Gemma 4, Qwen3, dan Granite 4.2. Para penulis melaporkan bahwa pada GPU NVIDIA H100, lapisan yang tidak bergantung pada perangkat keras menghasilkan throughput token total yang selisihnya tidak lebih dari 3,4% dari implementasi asli, berdasarkan rata-rata geometris pada tiga model terbaru.

Integrasi PyTorch Spyre juga menjadi cara Spyre terhubung ke llm-d, menurut tulisan IBM tersebut: llm-d menjalankan inferensi terdistribusi di atas vLLM pada berbagai jenis akselerator, vLLM menjangkau setiap akselerator melalui PyTorch, dan setelah suatu perangkat memiliki backend PyTorch yang berfungsi, plugin perangkat keras vLLM dapat mengeksposnya agar llm-d dapat menjadwalkan pekerjaan ke perangkat tersebut.

Dukungan Sejak Hari Pertama dan Pengujian Berkelanjutan

Dalam tulisan pada 20 Agustus 2026, IBM Spyre Team mengulas HF-adapters, sebuah proyek yang menggunakan agen pemrograman untuk menyusun tambalan saat runtime agar model Hugging Face Transformers standar dapat dijalankan di Spyre. Tulisan tersebut melaporkan bahwa dari pertengahan April hingga akhir Juni 2026, sebanyak 13 adaptor berbeda telah mencakup 7.960 dari 10.000 model embedding Hugging Face yang paling banyak diunduh; dari jumlah itu, 6.804 lolos pengujian menyeluruh di Spyre. Salah satu contohnya mengganti torch.pow(x, 3.0) pada aktivasi gelu_new dengan x x x, yang secara matematis identik dan dapat diturunkan oleh tumpukan torch-spyre. Manusia tetap menangani diagnosis, dengan mengisolasi kegagalan yang hanya terjadi pada perangkat akibat operasi gabungan serta memeriksa kesimpulan setiap agen berdasarkan hasil pengujian menyeluruh.

Dalam tulisan pada 30 September 2026, para insinyur IBM dan Red Hat menguraikan integrasi L2 torch-spyre dengan Cross-Repository CI Relay milik PyTorch, yang memicu pengujian lanjutan ketika ada perubahan pada PyTorch di repositori hulu dan melaporkan hasilnya kembali ke dasbor CI PyTorch. Integrasi ini memadukan alur pemilihan pengujian empat tahap berbasis agen dengan kerangka penggunaan ulang pengujian berbasis YAML deklaratif. Para penulis menyebutkan bahwa saat melakukan peningkatan dari PyTorch 2.13 ke 2.14, mereka hanya perlu mengevaluasi sekitar 4.000 pengujian yang berubah, bukan puluhan ribu. Mereka menambahkan bahwa mereka bermaksud bekerja sama dengan tim PyTorch untuk mengusulkan komponen yang dapat digunakan kembali ke repositori hulu, dengan PyTorch OpenReg sebagai titik acuan.

Menurut tulisan IBM tersebut, pengalaman yang dituju bagi pengguna IBM Z, LinuxONE, dan Power11 adalah mendapatkan model dari ekosistem seperti Hugging Face dan menggunakan alur kerja berbasis PyTorch yang pada dasarnya sama dengan alur kerja mereka di GPU Nvidia. Titik ekstensi PyTorch bersama menyamarkan sebagian besar perbedaan arsitektur. Para penulis tulisan vLLM mengatakan bahwa mereka berencana mulai menyertakan model yang tidak bergantung pada perangkat keras dalam CI dan secara bertahap menjadikan jalur tersebut sebagai opsi bawaan untuk menyajikan model di Spyre.