Avi Baum, CTO di Hailo – Seri Wawancara

Avi Baum, CTO di Hailo, memimpin visi teknologi perusahaan dan inovasi produk. Sebelumnya, ia menjabat sebagai CTO untuk Koneksi Nirkabel di Texas Instruments (TXN ), mengarahkan strategi untuk MCUs terhubung di pasar IoT dan IIoT, dan memegang peran arsitektur dan kepemimpinan senior di Angkatan Pertahanan Israel.

Hailo adalah perusahaan AI-chip asal Israel yang mengkhususkan diri dalam pengembangan prosesor AI edge dengan kinerja tinggi dan daya rendah untuk aplikasi seperti kendaraan otonom, kamera pintar, dan robotika, didukung oleh perangkat lunak komprehensif dan ekosistem mitra global.

Apakah Anda bisa berbagi apa yang awalnya menarik Anda ke bidang edge AI dan bagaimana pengalaman teknik awal Anda membentuk pemikiran Anda tentang desain prosesor?

Karir saya membawa saya ke area pasar yang sedang muncul. Selama saya di TI (Texas Instruments), pemimpin semikonduktor dengan warisan lama, saya memiliki kesempatan untuk memimpin desain sistem dan arsitektur, memimpin departemen definisi produk dan kemudian menjabat sebagai CTO departemen ini. Ini membawa saya untuk terus-menerus mengeksplorasi teknologi yang sedang muncul yang kemungkinan akan membentuk ‘tidak terlalu jauh’ masa depan.

Ketika kami mendirikan Hailo pada 2017, jelas bahwa AI, yang telah mulai berkembang di cloud, juga memiliki potensi untuk menjadi teknologi yang memungkinkan perangkat edge. Jadi, kami memulai perjalanan ini.

Mengapa TOPS—tera operasi per detik—tidak lagi cukup sebagai benchmark untuk mengevaluasi kinerja prosesor?

TOPS telah lama menjadi metrik untuk mengevaluasi perangkat keras AI, tetapi di era AI generatif di edge, itu tidak lagi cukup. Sifat model klasik adalah menerjemahkan banyak data menjadi wawasan yang bermakna, sehingga jumlah komputasi yang diperlukan untuk memproses data yang masuk meningkat dengan jumlah data yang perlu diproses. Model untuk tugas-tugas ini biasanya lebih kecil dalam ukuran daripada jumlah data yang diproses, membuat overhead bandwidth yang dikaitkan dengan mengakses parameter model relatif tidak signifikan.

Model generatif, bagaimanapun, jauh lebih besar – dalam domain miliaran parameter, dan dalam kasus-kasus ini, bandwidth memori menjadi faktor yang tidak dapat diabaikan.

Daripada fokus pada TOPS saja, itu sangat penting untuk menilai bagaimana prosesor menyeimbangkan komputasi dan memori di bawah kondisi dunia nyata. Ini bukan tentang mengejar angka tertinggi; itu tentang menyesuaikan arsitektur dengan beban kerja yang perlu ditangani.

Mengapa bandwidth memori sekarang menjadi bottleneck yang lebih kritis daripada komputasi di beban kerja edge AI, terutama untuk LLM dan VLM?

Untuk beban kerja edge AI, terutama yang melibatkan LLM atau VLM, bandwidth memori dengan cepat menjadi bottleneck utama. Model-model ini biasanya berkisar dari 0,5 hingga 8 miliar parameter, melebihi kapasitas memori on-chip dan memerlukan akses ke memori off-chip seperti DRAM. Ini secara dramatis meningkatkan permintaan bandwidth memori. Sebagai contoh, model 1 miliar parameter dapat menghasilkan hingga ~40 token per detik di bawah kondisi optimal dengan antarmuka LPDDR4X standar, tetapi mempertahankan tingkat itu dengan model 4 miliar parameter memerlukan lebih dari empat kali bandwidth itu. Tanpa itu, kinerja menderita, bukan karena komputasi terbatas, tetapi karena prosesor tidak dapat memberikan data dengan cukup cepat. Ketidakseimbangan antara komputasi dan memori adalah salah satu tantangan paling mendesak dalam menggelar AI generatif di edge. Ini diperkuat dalam arsitektur yang menghitung lapis demi lapis, di mana hasil antara juga meningkatkan lalu lintas memori dan lebih membebani bandwidth.

Bagaimana tim produk harus merancang strategi benchmarking mereka ketika merancang untuk aplikasi edge dunia nyata?

Tim produk harus meninggalkan ketergantungan pada satu metrik kinerja seperti TOPS dan mengadopsi strategi benchmarking yang mencerminkan kenyataan penerapan edge. Itu dimulai dengan memahami kasus penggunaan khusus, beban kerja aktual yang prosesor perlu tangani, dan mengidentifikasi “titik kerja”: persimpangan antara konstrain daya, biaya, dan latensi. Dari sana, itu tentang mengevaluasi bagaimana komputasi dan memori berinteraksi di bawah kondisi tersebut. Prosesor dengan TOPS tinggi tidak akan menghasilkan jika bandwidth memori terbatas, dan lebih banyak memori tidak akan membantu jika kapasitas komputasi tidak mencukupi.

Tim harus menilai apakah prosesor dapat mempertahankan kinerja di seluruh tugas seperti beban kerja perceptive, enhancive, dan generative, masing-masing dengan permintaan yang sangat berbeda. Tujuan bukanlah untuk mengoptimalkan spesifikasi puncak, tetapi untuk memastikan kinerja seimbang di seluruh rentang kasus penggunaan yang diharapkan di lingkungan dunia nyata.

Ini adalah perubahan alami dari ukuran ‘steril’ ke pendekatan yang lebih rumit yang mencerminkan bagaimana platform digunakan dan bagaimana mereka dinilai – serupa dengan apa yang terjadi dengan arsitektur lain yang menjadi mainstream (misalnya, SPEC, Coremark, 3DMark, dll.).

Bagaimana konstrain daya dan biaya mempengaruhi keputusan arsitektur di balik prosesor Hailo, terutama untuk perangkat edge yang menghadap konsumen?

Daya dan biaya adalah dua konstrain yang paling mendefinisikan ketika merancang prosesor AI untuk perangkat edge, terutama di produk yang menghadap konsumen. Di perangkat kompak seperti sensor IoT atau asisten rumah pintar, anggaran daya ketat, dan sering tidak ada pendinginan aktif, sehingga efisiensi energi menjadi kritis. Setiap sumber daya komputasi atau memori tambahan menambah daya dan panas, yang secara langsung mempengaruhi kenyamanan dan umur baterai.

Biaya sama pentingnya. Perangkat konsumen harus tetap dalam titik harga yang kompetitif, yang berarti prosesor hanya dapat menyertakan sejumlah TOPS dan memori sebelum menjadi tidak layak secara ekonomi. Konstrain ini memaksa keputusan arsitektur yang sulit. Di Hailo, kami memprioritaskan desain yang memberikan keseimbangan yang tepat antara komputasi dan memori untuk memenuhi kebutuhan aplikasi dunia nyata dalam amplop daya dan biaya yang ketat, memastikan AI edge menjadi layak, efisien, dan dapat diskalakan di berbagai produk konsumen.

Apakah Anda bisa menjelaskan bagaimana Anda mendefinisikan “titik kerja” untuk sebuah aplikasi dan mengapa itu sangat penting dalam penerapan edge AI?

Mendefinisikan “titik kerja” adalah salah satu langkah paling penting ketika merancang sistem. Ini merujuk pada persimpangan antara konstrain daya, biaya, dan latensi yang membentuk apa yang dapat dicapai secara realistis dalam penerapan tertentu. Tidak seperti di cloud, di mana Anda dapat menambahkan lebih banyak komputasi atau memori ke masalah, perangkat edge beroperasi dalam amplop yang tetap. Artinya Anda harus membuat keputusan yang disengaja berdasarkan kebutuhan aplikasi yang sebenarnya. Sebagai contoh, sensor IoT mungkin memprioritaskan efisiensi energi daripada kinerja mentah, sementara sistem otonom mungkin menuntut latensi ultra-rendah tanpa memperhatikan daya. Setelah titik kerja ditetapkan, Anda dapat menilai apakah prosesor memiliki keseimbangan yang tepat antara komputasi dan memori untuk memenuhi kebutuhan tersebut. Ini bukan tentang memaksimalkan spesifikasi dalam semua arah; itu tentang memastikan kinerja yang stabil dan dapat diandalkan dalam kondisi dunia nyata yang aplikasi akan hadapi.

Secara umum, titik kerja adalah di mana Anda ingin indikator kinerja utama berada pada titik optimal. Gagal melakukan ini mungkin menghasilkan operasi yang suboptimal di bawah skenario penggunaan paling umum dari platform.

Sebagai contoh sederhana, Anda bisa membuat sistem analitik AI sangat efisien ketika input beresolusi sangat tinggi, tetapi jika ini diterapkan dalam sistem yang tidak pernah mencapai resolusi ini, optimasi ini tidak bermakna.

Bagaimana Anda mendekati optimasi di seluruh model multimodal?

Model multimodal memerlukan keseimbangan yang hati-hati antara sumber daya komputasi dan memori. Setiap modalitas menekankan sistem secara berbeda: video adalah intensif komputasi karena resolusi tinggi dan frame rate, sementara bahasa dan audio lebih kompak tetapi menempatkan permintaan yang lebih berat pada bandwidth memori. Dalam aplikasi seperti pemrosesan bahasa-vision, ini menjadi jelas (meskipun ini tidak selalu menjadi skenario): pemrosesan video mendorong komputasi, sementara model bahasa dapat dengan cepat mengenai bottleneck memori.

Kami mendekati optimasi dengan melihat bagaimana beban kerja ini berinteraksi di seluruh pipa dan memastikan prosesor dirancang untuk mendukungnya secara bersamaan, tanpa membiarkan satu modalitas mengompromikan kinerja modalitas lain.

Bagaimana peningkatan ukuran model di edge mempersulit latensi dan konsumsi daya, dan apa peran arsitektur sistem dalam memecahkan masalah itu?

Ketika ukuran model meningkat di edge, latensi dan konsumsi daya menjadi lebih sulit untuk dikelola. Model yang lebih besar bergantung lebih berat pada memori off-chip, yang meningkatkan penggunaan energi dan keterlambatan, terutama ketika bandwidth memori menjadi bottleneck. Sebagai contoh, penskalaan dari model 1 miliar parameter ke 4 miliar parameter akan memerlukan lebih dari empat kali bandwidth untuk mempertahankan kinerja yang sama – tetapi dalam praktek, kinerja tidak berskala linier karena keterbatasan bandwidth dan sistem.

Ini bukan hanya tentang memiliki TOPS tinggi atau memori besar; itu tentang bagaimana komponen-komponen tersebut berinteraksi. Desain yang seimbang memastikan komputasi, memori, dan bandwidth bekerja bersama secara efisien, mencegah satu sumber daya membatasi seluruh sistem.

Bagaimana Hailo merancang untuk future-proofing—mengingat betapa cepatnya model AI, beban kerja, dan persyaratan penerapan berkembang?

Future-proofing di edge AI berarti merancang prosesor yang dapat menangani berbagai beban kerja yang berkembang. Di Hailo, kami fokus pada arsitektur yang seimbang yang tidak dirancang hanya untuk satu tugas tetapi dapat mendukung semua, dari fungsi perceptive seperti deteksi objek hingga model generatif seperti VLM. Setiap jenis beban kerja menekankan komputasi dan memori secara berbeda, sehingga kami merancang untuk fleksibilitas, menghindari bottleneck ketika beralih di antara mereka. Kami juga memperhitungkan batasan dunia nyata dari daya, biaya, dan latensi di seluruh aplikasi. Dengan memprioritaskan keragaman beban kerja dan keseimbangan sumber daya, kami bertujuan untuk mendukung generasi berikutnya dari penerapan edge AI di seluruh kasus penggunaan konsumen dan industri.

Namun, satu ukuran tidak bisa cocok untuk semua, dan portofolio kami menargetkan aplikasi yang dapat diatasi dan mencoba untuk sesuai dengan anggaran yang tersedia, misalnya, daya, faktor bentuk, dan itu mendefinisikan ‘titik kerja’.

Apa peran ekosistem pengembang dalam memaksimalkan nilai prosesor, dan bagaimana Anda memastikan tim dapat memanfaatkan kemampuan Hailo secara penuh?

Sebagai perangkat yang dapat diprogram, sangat penting untuk memiliki alat yang mudah digunakan oleh pengembang untuk mengoptimalkan potensi prosesor, mempersingkat jalur ke penerapan, dan memungkinkan kasus penggunaan baru. Dengan menyediakan lingkungan yang didukung dengan baik di sekitar prosesor kami, kami membantu tim membawa aplikasi AI ke kehidupan di seluruh kasus penggunaan.

Apa saran yang Anda berikan kepada insinyur atau CTO yang memilih akselerator AI pertama mereka untuk produk berikutnya yang sedang dibangun hari ini?

Dengan kondisi yang matang, saya percaya ada banyak potensi inovasi, memungkinkan kita untuk menerjemahkan imajinasi menjadi produk nyata. Di lingkungan yang berubah cepat, memilih akselerator yang memungkinkan siklus konsep-ke-penerapan yang cepat sangat kritis.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Hailo.