อาวิ บอม CTO ที่ Hailo – สัมภาษณ์ซีรีส์

อาวิ บอม CTO ที่ Hailo เป็นผู้นำด้านเทคโนโลยีและนวัตกรรมผลิตภัณฑ์ของบริษัทฯ เขาเคยดำรงตำแหน่ง CTO สำหรับ Wireless Connectivity ที่ Texas Instruments (TXN ) โดยมีหน้าที่กำหนดนโยบายสำหรับ connected MCUs ในตลาด IoT และ IIoT และเคยดำรงตำแหน่งอื่นๆ ใน Israel Defense Forces

Hailo เป็นบริษัท AI-chip ของอิสราเอลที่เชี่ยวชาญด้าน edge AI processors ที่มีประสิทธิภาพสูงและใช้พลังงานต่ำสำหรับแอปพลิเคชันต่างๆ เช่น รถยนต์ไร้คนขับ กล้องอัจฉริยะ และหุ่นยนต์ โดยมี software suite ที่ครอบคลุมและระบบนิเวศของพันธมิตรทั่วโลก

คุณสามารถบอกเราได้หรือไม่ว่าอะไรคือสิ่งที่ดึงดูดคุณเข้าสู่สาขา edge AI และประสบการณ์ทางวิศวกรรมในระยะแรกของคุณมีอิทธิพลต่อความคิดของคุณเกี่ยวกับการออกแบบโปรเซสเซอร์อย่างไร

เส้นทางอาชีพของฉันนำฉันไปสู่ตลาดที่เกิดขึ้นใหม่ ในระหว่างที่ฉันดำรงตำแหน่งที่ TI (Texas Instruments) ซึ่งเป็นผู้นำด้านเซมิคอนดักเตอร์ที่มีประวัติยาวนาน ฉันมีโอกาสในการออกแบบระบบและสถาปัตยกรรม โดยเป็นผู้นำฝ่ายกำหนดผลิตภัณฑ์และต่อมาเป็น CTO ของฝ่ายนี้ ซึ่งนำฉันไปสู่การสำรวจเทคโนโลยีที่เกิดขึ้นใหม่ที่มีแนวโน้มจะหล่อหลอม ‘อนาคตที่ไม่ไกล’

เมื่อเราก่อตั้ง Hailo ในปี 2017 มันชัดเจนว่า AI ซึ่งเริ่มเฟื่องฟูในคลาวด์ยังมีศักยภาพในการกลายเป็นเทคโนโลยีที่ช่วยให้ edge devices มีประสิทธิภาพมากขึ้น ดังนั้นเราจึงเริ่มเดินทางนี้

เมื่อ AI ที่สร้างสรรค์ขยายตัวที่ edge แล้วทำไม TOPS—tera operations per second—จึงไม่ใช่มาตรฐานที่เพียงพอสำหรับการประเมินประสิทธิภาพของโปรเซสเซอร์อีกต่อไป

TOPS เป็นมาตรฐานที่ใช้ในการประเมินฮาร์ดแวร์ AI มาเป็นเวลานาน แต่ในยุคของ AI ที่สร้างสรรค์ที่ edge มันไม่เพียงพออีกต่อไป ลักษณะของโมเดลคลาสสิกคือการแปลข้อมูลจำนวนมากให้เป็นข้อมูลที่มีความหมาย ดังนั้นจำนวนการคำนวณที่ต้องการในการประมวลผลข้อมูลที่เข้ามาจะเพิ่มขึ้นตามจำนวนข้อมูลที่ต้องประมวลผล โมเดลสำหรับงานเหล่านี้มักจะมีขนาดเล็กกว่าข้อมูลที่พวกมันประมวลผล ทำให้การเข้าถึงพารามิเตอร์ของโมเดลมีความสำคัญน้อย

โมเดลที่สร้างสรรค์อย่างเห็นได้ชัดมีขนาดใหญ่กว่า – ในโดเมนของพารามิเตอร์หลายพันล้าน และในกรณีเหล่านี้ ความกว้างของแบนด์วิธของหน่วยความจำกลายเป็นปัจจัยที่สำคัญ

แทนที่จะเน้นไปที่ TOPS เพียงอย่างเดียว มันสำคัญที่จะประเมินว่าโปรเซสเซอร์สามารถสร้างสมดุลระหว่างการคำนวณและหน่วยความจำได้ดีเพียงใดภายใต้สภาพแวดล้อมจริง มันไม่ใช่เรื่องของการไล่ตามตัวเลขที่สูงสุด แต่เป็นการปรับแต่งสถาปัตยกรรมให้เหมาะสมกับงานที่ต้องจัดการ

ทำไมความกว้างของแบนด์วิธของหน่วยความจำจึงกลายเป็นปัญหาอุปสรรคมากกว่าการคำนวณในงานที่ใช้ edge AI โดยเฉพาะสำหรับ LLMs และ VLMs

สำหรับงานที่ใช้ edge AI โดยเฉพาะอย่างยิ่งสำหรับ LLMs หรือ VLMs ความกว้างของแบนด์วิธของหน่วยความจำกลายเป็นปัญหาอุปสรรคหลัก โมเดลเหล่านี้มักจะมีขนาดตั้งแต่ 0.5 ถึง 8 พันล้านพารามิเตอร์ ซึ่งเกินความจุของหน่วยความจำบนชิปและต้องการการเข้าถึงหน่วยความจำนอกชิป เช่น DRAM ซึ่งเพิ่มความต้องการความกว้างของแบนด์วิธอย่างมาก ตัวอย่างเช่น โมเดลที่มีพารามิเตอร์ 1 พันล้านสามารถส่งออกได้ประมาณ 40 โทเค็นต่อวินาทีภายใต้สภาพแวดล้อมที่เหมาะสมด้วยอินเทอร์เฟซ LPDDR4X แต่การรักษาอัตรานี้สำหรับโมเดล 4 พันล้านพารามิเตอร์ต้องการความกว้างของแบนด์วิธมากกว่าสี่เท่า หากไม่มีมัน ประสิทธิภาพจะเสียลง ไม่ใช่เพราะการคำนวณที่จำกัด แต่เพราะโปรเซสเซอร์ไม่สามารถให้ข้อมูลเข้ามาได้อย่างรวดเร็วพอ

ทีมผลิตภัณฑ์ควรปรับกลยุทธ์การทดสอบประสิทธิภาพอย่างไรเมื่อออกแบบสำหรับแอปพลิเคชัน edge ในโลกแห่งความเป็นจริง

ทีมผลิตภัณฑ์ควรเลิกพึ่งพามาตรการประสิทธิภาพเดียว เช่น TOPS และใช้กลยุทธ์การทดสอบที่สะท้อนถึงความเป็นจริงของการนำไปใช้งานที่ edge ซึ่งเริ่มต้นด้วยการทำความเข้าใจกรณีการใช้งานที่เฉพาะเจาะจง และการระบุ “จุดทำงาน” – จุดตัดกันของข้อจำกัดด้านพลังงาน ค่าใช้จ่าย และความล่าช้า จากนั้นจึงประเมินว่าโปรเซสเซอร์สามารถสร้างสมดุลระหว่างการคำนวณและหน่วยความจำได้ดีเพียงใดภายใต้สภาพแวดล้อมเหล่านั้น

ข้อจำกัดด้านพลังงานและค่าใช้จ่ายมีอิทธิพลต่อการตัดสินใจด้านสถาปัตยกรรมของโปรเซสเซอร์ Hailo อย่างไร โดยเฉพาะสำหรับอุปกรณ์ edge ที่เผชิญกับผู้บริโภค

พลังงานและค่าใช้จ่ายเป็นข้อจำกัดที่สำคัญที่สุดเมื่อออกแบบโปรเซสเซอร์ AI สำหรับอุปกรณ์ edge โดยเฉพาะอย่างยิ่งสำหรับผลิตภัณฑ์ที่เผชิญกับผู้บริโภค ในอุปกรณ์ขนาดกะทัดรัด เช่น เซ็นเซอร์ IoT หรือผู้ช่วยอัจฉริยะที่บ้าน มีงบประมาณพลังงานที่จำกัด และไม่มีการทำความเย็นแบบแอคทีฟ ดังนั้นประสิทธิภาพการใช้พลังงานจึงมีความสำคัญ

คุณสามารถอธิบายได้หรือไม่ว่าคุณกำหนด “จุดทำงาน” สำหรับแอปพลิเคชันอย่างไร และทำไมมันจึงมีความสำคัญมากในการนำไปใช้งาน edge AI

การกำหนด “จุดทำงาน” เป็นขั้นตอนที่สำคัญที่สุดเมื่อออกแบบระบบ มันหมายถึงจุดตัดกันของข้อจำกัดด้านพลังงาน ค่าใช้จ่าย และความล่าช้าที่กำหนดสิ่งที่สามารถทำได้จริงในกรณีการใช้งานที่เฉพาะเจาะจง ไม่เหมือนกับในคลาวด์ ซึ่งคุณสามารถเพิ่มการคำนวณหรือหน่วยความจำให้กับปัญหาได้ อุปกรณ์ edge มีขีดจำกัดทรัพยากรคงที่ ซึ่งหมายความว่าคุณต้องทำการแลกเปลี่ยนอย่างรอบคอบตามความต้องการของแอปพลิเคชัน

คุณสามารถอธิบายได้หรือไม่ว่าคุณเข้าใกล้การปรับให้เหมาะสมสำหรับโมเดลหลายรูปแบบอย่างไร

โมเดลหลายรูปแบบต้องการการสร้างสมดุลระหว่างการคำนวณและหน่วยความจำอย่างรอบคอบ แต่ละรูปแบบกดดันระบบในทางที่แตกต่างกัน: วิดีโอเป็นการคำนวณที่ต้องการเนื่องจากความละเอียดและอัตราเฟรมสูง ในขณะที่ภาษาและเสียงมีขนาดกะทัดรัดแต่ต้องการความกว้างของแบนด์วิธหน่วยความจำมากกว่า

การเพิ่มขนาดของโมเดลที่ edge ทำให้ความล่าช้าและค่าใช้จ่ายพลังงานยุ่งยากขึ้น และสถาปัตยกรรมระดับระบบมีบทบาทในการแก้ปัญหาอย่างไร

เมื่อขนาดของโมเดลที่ edge เพิ่มขึ้น ความล่าช้าและค่าใช้จ่ายพลังงานจะยากต่อการควบคุมมากขึ้น โมเดลที่ใหญ่ขึ้นพึ่งพาหน่วยความจำนอกชิปมากขึ้น ซึ่งเพิ่มการใช้พลังงานและความล่าช้า โดยเฉพาะอย่างยิ่งเมื่อความกว้างของแบนด์วิธของหน่วยความจำกลายเป็นปัญหาอุปสรรค

คุณสามารถอธิบายได้หรือไม่ว่าคุณออกแบบเพื่อการ future-proofing อย่างไร โดยพิจารณาว่า AI โมเดล งาน และข้อกำหนดในการใช้งานกำลังพัฒนาอย่างรวดเร็ว

การ future-proofing ใน edge AI หมายถึงการออกแบบโปรเซสเซอร์ที่สามารถรองรับงานที่หลากหลายที่กำลังพัฒนา At Hailo เราเน้นย้ำถึงสถาปัตยกรรมที่สมดุลซึ่งไม่ได้ถูกออกแบบมาเพียงสำหรับงานเดียว แต่สามารถรองรับทุกอย่างตั้งแต่การทำงานของการรับรู้เช่นการตรวจจับวัตถุไปจนถึงโมเดลที่สร้างสรรค์เช่น VLMs

คุณสามารถให้คำแนะนำแก่วิศวกรหรือ CTO ที่เลือก AI accelerator สำหรับผลิตภัณฑ์ next-gen ที่สร้างขึ้นในปัจจุบันได้หรือไม่

ด้วยสภาพแวดล้อมที่เหมาะสม ฉันเชื่อว่ามีศักยภาพในการสร้างสรรค์มากมาย ที่ทำให้เราสามารถแปลความคิดสร้างสรรค์ให้เป็นผลิตภัณฑ์ที่แท้จริง ในสภาพแวดล้อมที่เปลี่ยนแปลงอย่างรวดเร็ว การเลือกแอคเซเลอเรเตอร์ที่ช่วยให้สามารถพัฒนาผลิตภัณฑ์จากแนวคิดไปสู่การนำไปใช้งานได้อย่างรวดเร็วเป็นสิ่งสำคัญ

ขอขอบคุณสำหรับการสัมภาษณ์ที่ดี ผู้อ่านสามารถเยี่ยมชม Hailo เพื่อเรียนรู้เพิ่มเติม