ARIA Memilih Server Optik Lumai untuk Pengujian Inferensi AI Skala Rak

Lumai membawa perangkat keras AI optiknya ke lingkungan evaluasi baru: Scaling Inference Lab, yang didukung oleh Advanced Research and Invention Agency (ARIA) dari Inggris. Lab tersebut berencana menggunakan server inferensi Lumai Iris sebagai platform komputasi optik pertamanya, sehingga para peneliti dapat menguji arsitektur ini pada skala rak di lingkungan pusat data komersial.

Lab yang dikelola CommonAI CIC ini bertujuan menjembatani kesenjangan yang sulit dihadapi perangkat keras AI baru: membuktikan kemampuan prosesor inovatif adalah satu hal; membuatnya berfungsi sebagai bagian dari sistem terintegrasi, dengan model nyata serta kebutuhan daya, pendinginan, dan rak yang lazim, adalah hal lain.

Pengumuman ini melanjutkan peluncuran Iris Nova pada April. Langkah baru ini berupa evaluasi multi-node melalui fasilitas uji yang didukung publik, bukan peluncuran tolok ukur independen yang tuntas untuk membuktikan klaim efisiensi utama Lumai.

Menggunakan Cahaya untuk Melakukan Perhitungan Matriks

Lumai, perusahaan rintisan hasil spin-out dari University of Oxford yang didirikan pada 2021, mengembangkan arsitektur hibrida optik dan digital. Mesin optiknya ditujukan untuk operasi matematis padat yang digunakan dalam inferensi AI, sementara komponen elektronik tetap menangani fungsi sistem lainnya.

Dalam uraian teknis perusahaan, informasi dikodekan ke dalam berkas cahaya dan diproses melalui komponen optik dalam ruang tiga dimensi. Tujuannya adalah menjalankan banyak operasi matematis secara paralel melalui perambatan cahaya, alih-alih melakukan setiap perhitungan dengan mengalihkan transistor.

Namun, ini bukan berarti seluruh server bersifat pasif atau tidak membutuhkan daya. Sistem secara keseluruhan tetap memerlukan sumber cahaya, konversi data, memori, pemrosesan digital, dan kendali. Pertanyaan rekayasa yang relevan adalah seberapa besar efisiensi mesin optik tetap dapat dipertahankan setelah memperhitungkan biaya komponen pendukung tersebut saat model yang berguna benar-benar dijalankan.

Lumai menjelaskan bahwa arsitekturnya mencakup antarmuka data lebar yang dirancang untuk membagi beban konversi ke berbagai beban kerja besar, rancangan memori tiga tingkat untuk cache kunci-nilai model, dan kuantisasi yang mempertimbangkan perangkat keras. Semua ini merupakan bagian praktis dari arsitektur: pemindahan data, pemeliharaan presisi numerik yang memadai, dan memastikan akselerator terus mendapat pasokan pekerjaan, semuanya memengaruhi kinerja di luar demonstrasi laboratorium.

Alasan Lumai Menargetkan Prefill

Inferensi model bahasa besar terdiri atas dua fase yang berbeda. Pada fase prefill, sistem memproses masukan dan membangun status internal yang diperlukan untuk menghasilkan respons. Pada fase decode, sistem menghasilkan token keluaran satu per satu sambil berulang kali mengakses bobot model dan konteks yang tersimpan dalam cache.

Prefill sering kali didominasi operasi matriks berskala besar, sementara proses decode dapat dibatasi oleh bandwidth memori, terutama pada ukuran batch yang lebih kecil. Keseimbangannya berubah sesuai ukuran model, panjang prompt, pengelompokan batch, dan konfigurasi penyajian. Pendekatan Lumai adalah mengkhususkan diri pada tahap yang intensif komputasi, alih-alih mengoptimalkan seluruh alur kerja dengan satu jenis prosesor.

Dokumentasi produk Iris menempatkan akselerator optik dalam sistem komputasi heterogen, termasuk penggunaannya sebagai prosesor prefill bersama perangkat keras yang dioptimalkan untuk decode. Lumai menyatakan Iris Nova mendukung model Llama dengan 8 miliar dan 70 miliar parameter serta tersedia untuk evaluasi di pusat data. Keluarga produk ini dirancang untuk infrastruktur rak standar dan pendinginan udara.

“Menjalankan sistem multi-node di pusat data komersial adalah tahap ketika arsitektur komputasi baru membuktikan apakah arsitektur tersebut siap diterapkan secara nyata,” kata Xianxin Guo, salah satu pendiri sekaligus CEO Lumai. Kolaborasi dengan ARIA menempatkan pertanyaan tentang integrasi tersebut sebagai fokus tahap berikutnya.

Fasilitas Uji untuk Sistem secara Menyeluruh

ARIA adalah lembaga pendanaan riset dan pengembangan publik Inggris yang mendukung teknologi ambisius dengan potensi manfaat bagi masyarakat. Program Scaling Compute-nya mengeksplorasi alternatif terhadap pendekatan komputasi yang sudah mapan, termasuk primitif komputasi baru, jaringan, dan desain sistem.

Scaling Inference Lab mendapat dukungan dana sebesar £50 juta dari ARIA. ARIA menggambarkannya sebagai serangkaian uji coba terstruktur pada tingkat rak, yang masing-masing mengintegrasikan teknologi yang belum terbukti ke dalam sistem siap diterapkan dan dapat digunakan oleh pengguna akhir untuk menjalankan model. Tujuannya adalah membandingkan kinerja sistem secara keseluruhan dengan alternatif komersial dan melakukan iterasi dengan cepat, dengan rak baru direncanakan setiap enam bulan.

CommonAI, organisasi nirlaba berbasis keanggotaan yang berkantor di Cambridge dan menjalankan lab tersebut, mempertemukan perusahaan, lembaga publik, dan kalangan akademis untuk bekerja sama dalam bidang rekayasa. Gambaran programnya menjelaskan lebih dari lima sistem pada tingkat rak dan menekankan validasi independen untuk membantu perangkat keras baru menunjukkan kinerja operasional yang nyata.

Struktur ini penting karena sebuah akselerator dapat bekerja dengan baik pada operasi yang berdiri sendiri, tetapi memberikan manfaat lebih kecil setelah pemindahan data, penjadwalan, dukungan perangkat lunak, dan bagian lain dari alur kerja penyajian turut diperhitungkan. Lingkungan pengujian bersama dapat membantu mengungkap keunggulan sekaligus hambatannya.

Apa yang Ditunjukkan—dan Tidak Ditunjukkan—oleh Klaim Efisiensi

Lumai menyatakan bahwa arsitektur ini berpotensi mengurangi konsumsi daya pusat data hingga 90% dan menurunkan biaya total kepemilikan menjadi sekitar sepersepuluh biaya arsitektur GPU konvensional. Situs webnya menjelaskan peta jalan untuk mencapai kinerja 50 kali lebih tinggi. Siaran pers tersebut juga melaporkan bahwa efisiensi energi per inferensi setidaknya 16 kali lebih baik ketika prapengisian optik dipadukan dengan dekode berbasis silikon.

Angka-angka ini menggambarkan perbandingan yang berbeda dan tidak boleh dianggap sebagai ukuran yang dapat dipertukarkan atau sebagai hasil yang telah diverifikasi secara independen oleh ARIA. Pengumuman tersebut tidak menyertakan konfigurasi tolok ukur yang seragam, perbandingan kualitas model, ataupun kumpulan hasil tingkat rak yang dipublikasikan untuk membuktikan peningkatan tersebut pada beban kerja komersial.

Karena itu, evaluasi laboratorium tersebut merupakan perkembangan yang paling substantif. Pengukuran yang berguna mencakup energi per permintaan yang diselesaikan, waktu hingga token pertama, laju keluaran berkelanjutan, akurasi model, serta biaya pengoperasian sistem secara keseluruhan. Perbandingan yang bermakna memerlukan model, panjang konteks, asumsi pemrosesan batch, dan persyaratan layanan yang sama.

Bagi ambisi Inggris Raya untuk memperluas kapasitas AI dalam negeri dengan anggaran daya yang terbatas, sistem optik yang berhasil dapat menjadi pilihan komputasi tambahan. Penerapan Lumai merupakan langkah untuk menguji kemungkinan tersebut dalam kondisi komersial. Apakah keunggulannya dapat menghasilkan biaya layanan inferensi yang lebih rendah dalam skala besar akan bergantung pada bukti dari sistem secara keseluruhan yang dihasilkan evaluasi tersebut.