Phillip Burr, Kepala Produk di Lumai – Seri Wawancara

Phillip Burr adalah Kepala Produk di Lumai, dengan lebih dari 25 tahun pengalaman dalam manajemen produk global, go-to-market, dan peran kepemimpinan dalam perusahaan teknologi dan semikonduktor terkemuka, serta memiliki catatan yang terbukti dalam membangun dan mengembangkan produk dan layanan.

Lumai adalah perusahaan deep tech yang berbasis di Inggris yang mengembangkan prosesor komputasi optik 3D untuk mempercepat beban kerja kecerdasan buatan. Dengan melakukan perkalian matriks-vektor menggunakan berkas cahaya dalam tiga dimensi, teknologi mereka menawarkan hingga 50 kali kinerja dan 90% konsumsi daya yang lebih rendah dibandingkan dengan akselerator berbasis silikon tradisional. Ini membuatnya sangat cocok untuk tugas inferensi AI, termasuk model bahasa besar, sambil secara signifikan mengurangi biaya energi dan dampak lingkungan.

Apa yang menginspirasi pendirian Lumai, dan bagaimana ide tersebut berkembang dari penelitian Universitas Oxford menjadi sebuah perusahaan?

Api awal dinyalakan ketika salah satu pendiri Lumai, Dr. Xianxin Guo, dianugerahi Beasiswa Penelitian 1851 di Universitas Oxford. Pewawancara memahami potensi komputasi optik dan bertanya apakah Xianxin akan mempertimbangkan paten dan memulai perusahaan jika penelitiannya berhasil. Ini memicu pikiran kreatif Xianxin dan ketika dia, bersama dengan salah satu pendiri Lumai lainnya, Dr. James Spall, telah membuktikan bahwa menggunakan cahaya untuk melakukan komputasi di inti AI dapat meningkatkan kinerja AI secara dramatis dan mengurangi energi, maka panggung sudah siap. Mereka tahu bahwa perangkat keras AI silikon-saja yang ada (dan masih ada) kesulitan meningkatkan kinerja tanpa peningkatan konsumsi daya dan biaya yang signifikan, dan jika mereka bisa menyelesaikan masalah ini menggunakan komputasi optik, mereka bisa menciptakan produk yang diinginkan oleh pelanggan. Mereka membawa ide ini ke beberapa VC yang mendukung mereka untuk membentuk Lumai. Lumai baru-baru ini menutup putaran kedua pendanaan, mengumpulkan lebih dari $10m, dan membawa investor tambahan yang juga percaya bahwa komputasi optik dapat terus berkembang dan memenuhi permintaan kinerja AI yang meningkat tanpa peningkatan konsumsi daya.

Apa yang membuat Anda bergabung dengan Lumai pada tahap ini, mengingat Anda memiliki karir yang impresif di Arm, indie Semiconductor (INDI ), dan lain-lain?

Jawaban singkatnya adalah tim dan teknologi. Lumai memiliki tim yang impresif dari ahli optik, pembelajaran mesin, dan pusat data, membawa pengalaman dari perusahaan seperti Meta, Intel (INTC ), Altera, Maxeler, Seagate, dan IBM (bersama dengan pengalaman saya di Arm, indie, Mentor Graphics, dan Motorola). Saya tahu bahwa tim orang luar biasa yang sangat fokus pada menyelesaikan tantangan mengurangi biaya inferensi AI bisa melakukan hal-hal luar biasa.

Saya percaya bahwa masa depan AI menuntut terobosan baru dan inovatif dalam komputasi. Janji untuk dapat menawarkan 50 kali kinerja komputasi AI serta mengurangi biaya inferensi AI menjadi 1/10 dari solusi saat ini terlalu baik untuk dilewatkan.

Apa tantangan teknis atau bisnis awal yang dihadapi tim pendiri Anda dalam mengembangkan terobosan penelitian menjadi perusahaan yang siap produk?

Terobosan penelitian membuktikan bahwa optik dapat digunakan untuk perkalian matriks-vektor yang cepat dan sangat efisien. Meskipun terobosan teknis, tantangan terbesar adalah meyakinkan orang bahwa Lumai bisa sukses di mana perusahaan rintisan komputasi optik lainnya gagal. Kami harus menghabiskan waktu untuk menjelaskan bahwa pendekatan Lumai sangat berbeda dan bahwa kami menggunakan optik 3D untuk mencapai tingkat skala dan efisiensi. Ada banyak langkah untuk mengubah penelitian laboratorium menjadi teknologi yang dapat diterapkan dalam skala besar di pusat data. Kami menyadari dari awal bahwa kunci keberhasilan adalah membawa insinyur yang memiliki pengalaman dalam mengembangkan produk dalam volume tinggi dan di pusat data. Area lainnya adalah perangkat lunak – sangat penting bahwa kerangka kerja AI standar dan model dapat memanfaatkan prosesor Lumai, dan bahwa kami menyediakan alat dan kerangka kerja untuk membuat ini semudah mungkin bagi insinyur perangkat lunak AI.

Bisakah Anda menjelaskan teknologi Lumai yang menggunakan perkalian matriks-vektor optik 3D dalam bahasa sederhana untuk audiens umum?

Sistem AI perlu melakukan banyak perhitungan matematika yang disebut perkalian matriks-vektor. Perhitungan ini adalah mesin yang menggerakkan respons AI. Di Lumai, kami melakukan ini menggunakan cahaya bukan listrik. Berikut caranya:

1. Kami mengkodekan informasi ke dalam berkas cahaya
2. Berkas cahaya ini bergerak melalui ruang 3D
3. Cahaya berinteraksi dengan lensa dan bahan khusus
4. Interaksi ini menyelesaikan operasi matematika

Dengan menggunakan ketiga dimensi ruang, kami dapat memproses lebih banyak informasi dengan setiap berkas cahaya. Ini membuat pendekatan kami sangat efisien – mengurangi energi, waktu, dan biaya yang dibutuhkan untuk menjalankan sistem AI.

Apa kelebihan utama komputasi optik dibandingkan dengan GPU berbasis silikon tradisional dan bahkan fotonik terintegrasi?

Karena laju kemajuan teknologi silikon telah melambat secara signifikan, setiap langkah peningkatan kinerja prosesor AI silikon-saja (seperti GPU) menghasilkan peningkatan konsumsi daya yang signifikan. Solusi silikon-saja mengonsumsi jumlah daya yang luar biasa dan mengejar hasil yang semakin menurun, yang membuatnya sangat kompleks dan mahal. Kelebihan menggunakan optik adalah bahwa sekali di domain optik, hampir tidak ada daya yang dikonsumsi. Energi digunakan untuk memasuki domain optik, tetapi misalnya, dalam prosesor Lumai, kami dapat mencapai lebih dari 1.000 operasi komputasi untuk setiap berkas cahaya, setiap siklus, sehingga membuatnya sangat efisien. Skalabilitas ini tidak dapat dicapai menggunakan fotonik terintegrasi karena keterbatasan ukuran fisik dan kebisingan sinyal, dengan jumlah operasi komputasi solusi silikon-fotonik hanya 1/8 dari apa yang dapat dicapai Lumai saat ini.

Bagaimana prosesor Lumai mencapai inferensi hampir tanpa latency, dan mengapa ini merupakan faktor kritis untuk beban kerja AI modern?

Meskipun kami tidak akan mengklaim bahwa prosesor Lumai menawarkan latency nol, prosesor tersebut menjalankan operasi matriks-vektor yang sangat besar (1024 x 1024) dalam satu siklus. Solusi silikon-saja biasanya membagi matriks menjadi matriks yang lebih kecil, yang diproses secara bergantian dan kemudian hasilnya harus digabungkan. Ini membutuhkan waktu dan menghasilkan lebih banyak memori dan energi yang digunakan. Mengurangi waktu, energi, dan biaya pengolahan AI sangat kritis untuk memungkinkan lebih banyak bisnis memanfaatkan AI dan untuk mengaktifkan AI canggih dengan cara yang paling berkelanjutan.

Bisakah Anda menjelaskan bagaimana faktor bentuk PCIe yang kompatibel dengan infrastruktur pusat data yang ada?

Prosesor Lumai menggunakan kartu bentuk PCIe bersama dengan CPU standar, semua dalam rak standar 4U. Kami bekerja dengan berbagai penyedia peralatan rak pusat data sehingga prosesor Lumai terintegrasi dengan peralatan mereka. Kami menggunakan antarmuka jaringan standar, perangkat lunak standar, dll. sehingga secara eksternal, prosesor Lumai akan terlihat seperti prosesor pusat data lainnya.
Penggunaan energi pusat data adalah kekhawatiran global yang semakin meningkat. Bagaimana Lumai memposisikan diri sebagai solusi berkelanjutan untuk komputasi AI?

Konsumsi energi pusat data meningkat dengan kecepatan yang mengkhawatirkan. Menurut laporan dari Laboratorium Nasional Lawrence Berkeley, konsumsi daya pusat data di AS diperkirakan akan meningkat tiga kali lipat pada tahun 2028, mengonsumsi hingga 12% daya negara. Beberapa operator pusat data mempertimbangkan untuk memasang reaktor nuklir untuk menyediakan energi yang dibutuhkan. Industri harus melihat pendekatan yang berbeda untuk AI, dan kami percaya bahwa optik adalah jawaban untuk krisis energi ini.

Bisakah Anda menjelaskan bagaimana arsitektur Lumai menghindari bottleneck skalabilitas pendekatan silikon dan fotonik saat ini?

Kinerja prosesor Lumai pertama hanya awal dari apa yang dapat dicapai. Kami berharap bahwa solusi kami akan terus memberikan lompatan besar dalam kinerja: dengan meningkatkan kecepatan jam optik dan lebar vektor, semua tanpa peningkatan konsumsi energi yang sesuai. Tidak ada solusi lain yang dapat mencapai ini. Pendekatan silikon-saja standar akan terus mengonsumsi lebih banyak biaya dan daya untuk setiap peningkatan kinerja. Fotonik silikon tidak dapat mencapai lebar vektor yang dibutuhkan dan oleh karena itu, perusahaan yang melihat fotonik terintegrasi untuk komputasi pusat data telah beralih untuk menangani bagian lain dari pusat data – misalnya, interkoneksi optik atau switching optik.

Apa peran yang Anda lihat komputasi optik memainkan dalam masa depan AI — dan lebih luas, dalam komputasi secara keseluruhan?

Optik secara keseluruhan akan memainkan peran besar dalam pusat data di masa depan – dari interkoneksi optik, jaringan optik, switching optik, dan tentu saja pengolahan AI optik. Tuntutan yang diberikan AI pada pusat data adalah penggerak utama peralihan ini ke optik. Interkoneksi optik akan memungkinkan koneksi yang lebih cepat antara prosesor AI, yang sangat penting untuk model AI besar. Switching optik akan memungkinkan jaringan yang lebih efisien, dan pengolahan optik akan memungkinkan pengolahan AI yang lebih cepat, lebih hemat energi, dan lebih murah. Secara kolektif, mereka akan membantu mengaktifkan AI yang lebih maju, mengatasi tantangan perlambatan skala silikon di sisi komputasi dan keterbatasan kecepatan tembaga di sisi interkoneksi.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Lumai.