Lumai Mengungkap Server AI Optik untuk Menghidupkan Era Berikutnya dari Inferensi

Lumai telah mengumumkan apa yang mereka deskripsikan sebagai langkah besar ke depan dalam infrastruktur AI: sistem komputasi optik yang dapat menjalankan model bahasa besar dengan parameter miliaran dalam waktu nyata. Sistem baru, yang disebut Iris Nova, menandai pergeseran dari pemrosesan berbasis silikon tradisional ke pendekatan yang secara fundamental berbeda yang dibangun dengan cahaya.

Pengumuman ini datang pada saat industri AI sedang beralih dari pelatihan model ke penerapan skala besar, yang menempatkan tekanan luar biasa pada infrastruktur komputasi yang ada.

Melampaui Keterbatasan Silikon

Selama bertahun-tahun, kemajuan AI sangat bergantung pada kemajuan chip silikon, terutama GPU. Namun, model ini mulai menunjukkan tanda-tanda kelelahan. Konsumsi daya meningkat tajam, dan peningkatan kinerja menjadi semakin sulit dicapai tanpa secara signifikan meningkatkan biaya dan kebutuhan energi.

Pendekatan Lumai menggantikan elektron dengan foton. Alih-alih melakukan komputasi melalui sinyal listrik, sistem mereka menggunakan cahaya untuk memproses data. Ini memungkinkan paralelisme besar, di mana jutaan operasi dapat terjadi secara bersamaan dalam ruang tiga dimensi daripada di permukaan silikon datar.

Menurut perusahaan, arsitektur ini dapat memberikan throughput yang jauh lebih tinggi sambil mengurangi konsumsi energi hingga 90% dibandingkan dengan sistem konvensional.

Tekanan yang Meningkat pada Pusat Data

Waktu peluncuran ini mencerminkan tantangan industri yang lebih luas. Beban kerja AI berkembang pesat, terutama dalam inference, yang melibatkan menjalankan model yang telah dilatih dalam aplikasi dunia nyata.

Pusat data semakin terbatas oleh ketersediaan daya. Permintaan energi pusat data global diperkirakan akan menggandakan pada akhir dekade ini, yang memaksa operator untuk menjelajahi solusi tidak konvensional seperti pembangkit listrik khusus dan sumber energi alternatif.

Pada saat yang sama, penskalaan perangkat keras tradisional menjadi kurang efisien. Setiap generasi baru silikon menawarkan perbaikan inkremental tetapi sering memerlukan energi dan pendinginan yang jauh lebih banyak.

Lumai memposisikan komputasi optik sebagai cara untuk melewati keterbatasan ini sepenuhnya daripada memperbaikinya secara inkremental.

Bagaimana Iris Nova Bekerja

Sistem Iris Nova menggunakan arsitektur hibrida yang menggabungkan komponen optik dan digital. Mesin optik menangani operasi matematika inti yang memuat model AI, sedangkan sistem digital konvensional mengelola fungsi perangkat lunak dan kontrol.

Desain ini memungkinkan sistem untuk terintegrasi ke dalam lingkungan pusat data yang ada tanpa memerlukan perubahan total infrastruktur.

Satu area di mana sistem ini sangat dioptimalkan adalah tahap “prefill” inferensi, di mana model memproses sejumlah besar data input sebelum menghasilkan respons. Dengan mempercepat tahap ini, sistem bertujuan untuk meningkatkan throughput dan efisiensi secara keseluruhan.

Lumai melaporkan bahwa Iris Nova dapat menjalankan model seperti Llama 8B dan 70B dalam waktu nyata, menunjukkan bahwa sistem ini mampu menangani beban kerja skala produksi daripada hanya kasus penggunaan eksperimental.

Pergeseran Menuju Era Inferensi

Peluncuran ini mencerminkan pergeseran yang lebih luas dalam prioritas AI. Sementara pelatihan model yang semakin besar telah mendominasi berita, dampak dunia nyata AI sekarang didefinisikan oleh inferensi—bagaimana efisien model tersebut dapat diterapkan dan diperluas.

Pergeseran ini mengungkapkan bottleneck yang kurang terlihat selama fase pelatihan. Beban kerja inferensi berkelanjutan, sensitif terhadap keterlambatan, dan intensif energi, membuat efisiensi menjadi faktor kritis.

Sistem Lumai dirancang khusus untuk fase ini, fokus pada throughput per watt daripada kekuatan komputasi murni.

Akses Awal dan Implikasi Industri

Server Iris Nova sekarang tersedia untuk evaluasi oleh hyperscalers, perusahaan, dan lembaga penelitian. Sistem tambahan dalam keluarga Iris, termasuk Aura dan Tetra, diharapkan untuk mengikuti, memperluas performa dan opsi penerapan.

Jika komputasi optik dapat memenuhi janjinya pada skala besar, itu bisa mengubah ekonomi infrastruktur AI. Konsumsi energi yang lebih rendah dan efisiensi yang lebih tinggi tidak hanya akan mengurangi biaya operasional tetapi juga mengatasi kekhawatiran yang meningkat tentang dampak lingkungan AI.

Sementara masih harus dilihat seberapa cepat teknologi ini akan diadopsi, pengumuman Lumai menyoroti arah yang jelas: masa depan komputasi AI mungkin tidak dibangun dengan silikon saja.
https://www.youtube.com/watch?v=DjTmzpmLPcs&t=1s