Dr. Xianxin Guo, CEO dan Co-Founder Lumai – Seri Wawancara

Dr. Xianxin Guo, CEO dan Co-Founder Lumai, adalah seorang fisikawan dan wirausahawan deep-tech yang mengkhususkan diri dalam komputasi optik dan perangkat keras AI, dengan gelar PhD dalam fisika kuantum dan optik nonlinier dari Universitas Sains dan Teknologi Hong Kong. Sebelumnya, ia menjabat sebagai peneliti di Universitas Calgary dan sebagai 1851 Research Fellowship di Universitas Oxford, di mana ia berkontribusi pada kemajuan dalam bidang fotonik dan akselerasi AI. Dengan pengalaman lebih dari satu dekade di bidang fisika, pembelajaran mesin, dan sistem komputasi canggih, ia menjadi penemu utama di balik teknologi inti perusahaan dan saat ini menjabat sebagai CEO Lumai.

Lumai adalah sebuah perusahaan spin-out dari Universitas Oxford yang mengembangkan prosesor AI generasi berikutnya berbasis komputasi optik 3D, menggunakan cahaya sebagai pengganti listrik untuk melakukan perhitungan AI. Teknologi ini dirancang untuk mempercepat operasi matriks yang menjadi dasar model AI modern, sehingga memberikan kecepatan pemrosesan yang lebih cepat dan mengurangi konsumsi energi dibandingkan dengan GPU tradisional berbasis silikon. Dengan mengintegrasikan komputasi optik ke dalam lingkungan pusat data yang ada, Lumai bertujuan untuk memungkinkan penerapan AI yang lebih skalabel dan efisien, sehingga mengatasi keterbatasan yang semakin meningkat seputar daya komputasi dan penggunaan energi dalam sistem AI skala besar.

Anda memulai karir Anda di bidang fisika kuantum dan optik nonlinier, kemudian menjadi 1851 Research Fellow di Universitas Oxford sebelum mendirikan Lumai dari penelitian Anda. Apa yang menjadi momen penting ketika Anda menyadari bahwa komputasi optik dapat berpindah dari teori akademis ke perusahaan yang layak secara komersial?

Selama saya di Universitas Oxford, kami sedang mengeksplorasi bagaimana sifat cahaya di ruang bebas dapat digunakan untuk menyelesaikan jenis operasi matriks yang menjadi dasar pembelajaran mesin. Sekitar waktu yang sama, keterbatasan perangkat keras konvensional untuk AI menjadi lebih penting. Konvergensi dari tantangan yang kami pecahkan dalam penelitian dan kebutuhan akan komputasi yang lebih efisien memberi kami kepercayaan bahwa kami dapat mengambil ide kami dan menyelesaikan masalah dunia nyata.

Kami telah datang jauh dari penelitian awal – di Lumai, kami sekarang telah membangun sistem komputasi optik pertama di dunia yang dapat menjalankan LLM berparameter miliar dalam waktu nyata.

Lumai mengatasi salah satu bottleneck terbesar dalam AI saat ini, yaitu keterbatasan energi dan skalabilitas komputasi berbasis silikon. Apa yang mendorong Anda untuk mengambil pendekatan yang secara fundamental berbeda menggunakan cahaya?

Apa yang mendorong kami adalah trajektori terbatas dari solusi silikon. Dengan silikon, Anda hanya melihat peningkatan inkremental, tetapi itu datang dengan peningkatan daya dan kompleksitas yang tidak proporsional. Keterbatasan penskalaan silikon terutama disebabkan oleh fisika – frekuensi tidak meningkat, dan jumlah transistor yang dapat diaktifkan terbatas oleh termal. Arus bocor terus menjadi masalah. Diperkirakan bahwa silikon hanya memberikan kontribusi 25% peningkatan kinerja per tahun.

Saat itu, masuk akal untuk bertanya apakah medium fisik yang berbeda mungkin menangani operasi tersebut dengan lebih alami, daripada terus mendorong elektron lebih keras.

Penelitian Anda berfokus pada komputasi optik dan pembelajaran mesin. Bagaimana menggunakan foton sebagai pengganti elektron secara fundamental mengubah cara komputasi terjadi pada tingkat perangkat keras?

Dengan elektron, komputasi secara inheren bersifat berurutan dan hilang – Anda mengaktifkan transistor, memindahkan muatan, menghasilkan panas. Setiap operasi memiliki biaya termal, dan biaya itu terakumulasi.

Foton berperilaku sangat berbeda. Cahaya bergerak tanpa kerugian resistif yang sama, dan secara kritis, dengan menggunakan sifat cahaya, jumlah besar operasi matriks dapat dieksekusi secara paralel dengan hanya membangun bagaimana berkas cahaya berinteraksi melalui medium fisik. Komputasi terjadi dalam propagasi cahaya itu sendiri, bukan dalam pengaktifan miliaran gerbang.

Teknologi Lumai memanfaatkan pemrosesan optik 3D dan paralelisme spasial besar. Bagaimana arsitektur ini memungkinkan perbaikan dramatis dalam throughput dan efisiensi dibandingkan dengan GPU?

Tujuan kami adalah melakukan perkalian matriks padat dengan efisien dan cepat mungkin dalam satu siklus. Pendekatan Lumai melakukan hal ini dengan menggunakan cahaya dalam volume tiga dimensi, melakukan jutaan operasi secara bersamaan.

Anda tidak dapat mencapai tingkat paralelisme seperti itu dalam struktur 2D, di mana operasi diproses di seluruh ratusan inti yang memerlukan pergerakan data konstan. Ini adalah paralelisme bawaan – dikombinasikan dengan fakta bahwa sekali Anda berada di domain cahaya, operasi dapat dilakukan tanpa membakar daya – yang mengarah pada perbaikan throughput dan pengurangan dramatis dalam energi per token.

Banyak perusahaan infrastruktur AI masih fokus pada pelatihan, tetapi Lumai membidik inferensi. Mengapa Anda percaya bahwa inferensi adalah tantangan yang menentukan dalam fase AI berikutnya?

Inferensi adalah tempat AI benar-benar melakukan sesuatu yang berguna – setiap pertanyaan yang dijawab, setiap tugas agen yang diselesaikan, setiap dokumen yang dibuat. Kami sekarang telah memasuki era inferensi, dan permintaan tumbuh pada tingkat yang perangkat keras yang berfokus pada pelatihan tidak pernah dirancang untuk menyerap.

Ekonominya juga berbeda: inferensi berjalan terus-menerus, di seluruh jutaan pengguna. Biaya per token menjadi metrik yang menentukan, dan itulah di mana dinding energi paling keras terkena.

Apa yang membuat inferensi sangat sesuai dengan komputasi optik adalah bahwa tahap prefilled sangat terikat komputasi. Dalam tahap prefilled dari inferensi terdistribusi, konteks penuh diproses sebelum menghasilkan respons. Ini hampir sesuai dengan mesin optik kami dan itulah di mana kami fokus pertama kali.

Salah satu tantangan lama dalam komputasi optik telah menjadi stabilitas dan skalabilitas. Apa yang menjadi temuan teknis kunci yang memungkinkan Lumai untuk mengatasi hambatan ini?

Tantangannya tidak pernah menunjukkan bahwa optik dapat melakukan komputasi – peneliti telah menunjukkan bahwa dalam prinsip selama bertahun-tahun. Tantangannya adalah membuatnya bekerja pada skala, di luar laboratorium.

Dua hal yang paling penting. Pertama, kami menggunakan komponen yang sama yang sudah diterapkan di pusat data hari ini untuk komunikasi dan jaringan. Tidak ada bahan eksotis, tidak ada rantai pasokan spekulatif. Kedua, kami membuat pilihan arsitektur yang disengaja untuk menggunakan desain hibrida, menggabungkan mesin tensor optik dengan pemrosesan digital untuk kontrol sistem dan perangkat lunak.

Sistem Anda menggunakan pendekatan hibrida yang menggabungkan komponen optik dan digital. Seberapa penting keseimbangan ini dalam membuat komputasi optik praktis untuk penerapan pusat data dunia nyata?

Ini adalah fundamental. Komputasi optik tidak berarti menggantikan semua dengan cahaya. Sistem digital luar biasa baik dalam kontrol, pengurutan, dan antarmuka dengan ekosistem perangkat lunak yang telah dibangun industri selama beberapa dekade. Mesin optik kami unggul dalam operasi matematika inti yang mendominasi komputasi inferensi. Arsitektur hibrida memungkinkan setiap komponen melakukan apa yang mereka lakukan dengan baik.

Dari sudut pandang penerapan, ini sangat penting. Lumai Iris terintegrasi ke dalam infrastruktur pusat data yang ada, menggunakan antarmuka standar, dan menjalankan model nyata termasuk Llama 8B dan 70B hari ini.

Dengan pengumuman keluarga server Lumai Iris, terutama server Iris Nova, apa yang dicapai dengan inferensi waktu nyata pada model berparameter miliar menandakan untuk masa depan infrastruktur AI?

Ini menandakan bahwa komputasi optik telah melintasi dari penelitian ke kenyataan. Menjalankan model berparameter miliar dalam waktu nyata adalah bukti yang dibutuhkan industri. Keluarga server Lumai Iris terdiri dari tiga server: Nova, Aura, dan Tetra. Lumai Iris Nova, server pertama dalam keluarga, tersedia untuk evaluasi sekarang, dan kami sudah berinteraksi dengan mitra yang ingin menggunakannya melawan beban kerja inferensi nyata.

Lebih luas, ini menandakan bahwa trajektori infrastruktur AI akan berubah. Asumsinya telah menjadi bahwa penskalaan inferensi berarti membeli lebih banyak GPU, menarik lebih banyak daya, membangun pusat data yang lebih besar. Lumai Iris Nova menunjukkan ada jalur lain – satu yang memberikan kinerja yang jauh lebih baik per kilowatt dan struktur biaya yang secara fundamental berbeda per token. Ketika keluarga server Lumai Iris berkembang, implikasinya untuk bagaimana hyperscalers dan perusahaan berpikir tentang pengadaan komputasi akan sangat signifikan.

Siaran pers menyebutkan hingga 90% konsumsi energi yang lebih rendah dibandingkan dengan sistem tradisional. Seberapa signifikan temuan ini dalam konteks keterbatasan energi yang tumbuh yang dihadapi pusat data global?

Keterbatasan energi adalah tantangan infrastruktur yang menentukan dalam era AI – kapasitas daya sudah menjadi faktor pembatas pada rencana penerapan dan kami telah mencapai dinding daya yang disebut.

Melawan latar belakang ini, pengurangan 90% dalam konsumsi energi mengubah ekonomi dan kelayakan fundamental AI pada skala. Satu sistem Lumai dapat menggantikan puluhan GPU yang menghabiskan daya, yang diterjemahkan menjadi pergeseran signifikan dalam apa yang dapat dicapai dalam amplop daya yang diberikan.

Ada juga dimensi biaya: biaya pembangunan pusat data mencerminkan kapasitas daya, sehingga pusat data dengan daya yang lebih rendah memiliki biaya yang lebih rendah untuk dibangun. Pengurangan konsumsi energi secara langsung mengurangi biaya per token – yang pada akhirnya membuat AI layak secara ekonomi pada skala yang industri sedang menuju.

Menghadap ke depan, ketika industri mulai berbicara tentang era pasca-silikon, bagaimana Anda melihat komputasi optik berkembang dalam dekade berikutnya, dan apa peran yang akan dimainkan Lumai dalam transisi ini?

Era pasca-silikon sudah dimulai, dan itu terjadi pada saat yang sama dengan pergeseran ke era inferensi dan permintaan terus-menerus akan kinerja yang lebih baik dengan biaya per token yang lebih rendah. Silikon tentu akan terus memainkan peran, tetapi asumsi bahwa setiap generasi perbaikan komputasi berasal dari node silikon yang ditingkatkan tidak lagi kredibel pada tingkat yang AI tuntut. Kami melihat komputasi optik digunakan dalam bagian kunci tumpukan di mana pemrosesan paralel dan throughput tinggi diperlukan.

Bagi Lumai, jalan adalah tentang terus mendorong kepadatan, efisiensi, dan kemampuan komputasi optik dan menggelindingkannya ke pusat data. Visi kami adalah dunia di mana biaya energi dari kecerdasan menurun dan di mana pusat data skala megawatt dapat menghasilkan volume token yang sama dengan fasilitas skala gigawatt hari ini.

centre dapat menghasilkan volume token yang sama dengan fasilitas skala gigawatt hari ini. Masa depan itu tidak jauh dari spekulasi. Kami telah membangun sistem pertama yang membuktikan bahwa komputasi optik bekerja pada skala. Semuanya dari sini adalah teknik. Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Lumai.