โมเช่ ทานัค ซีอีโอ และผู้ร่วมก่อตั้ง NeuReality – ซีรีส์สัมภาษณ์

โมเช่ ทานัค เป็นซีอีโอและผู้ร่วมก่อตั้ง NeuReality ก่อนที่จะก่อตั้ง NeuReality โมเช่เคยดำรงตำแหน่งผู้อำนวยการวิศวกรรมที่ Marvell และ Intel (INTC ) โดยที่เขานำทีมพัฒนาผลิตภัณฑ์ไร้สายและเครือข่ายที่ซับซ้อนไปจนถึงการผลิตจำนวนมาก เขายังเคยดำรงตำแหน่ง AVP ของ R&D ที่ DesignArt Networks (ซึ่งถูกซื้อกิจการโดย Qualcomm (QCOM )) โดยที่เขามีส่วนร่วมในการพัฒนาผลิตภัณฑ์ฐานสถานี 4G

NeuReality มีภารกิจในการทำให้การนำ AI ไปใช้ได้ง่ายขึ้น โดยการนำแนวทางระบบไปใช้กับ AI ทีมผู้เชี่ยวชาญในอุตสาหกรรมของ NeuReality จัดหา AI การอนุมานที่ครอบคลุม โดยการระบุจุดอ่อนและจัดหาวิธีแก้ปัญหา AI การอนุมานที่ถูกออกแบบมาโดยเฉพาะ ซึ่งทำให้ AI ทั้งราคาไม่แพงและเข้าถึงได้

ด้วยประสบการณ์ที่กว้างขวางในการนำโครงการวิศวกรรมที่ Marvell, Intel และ DesignArt-Networks คุณได้รับแรงบันดาลใจในการร่วมก่อตั้ง NeuReality อย่างไร และวิธีการที่บทบาทก่อนหน้านี้มีอิทธิพลต่อวิสัยทัศน์และทิศทางของบริษัท?

NeuReality ถูกสร้างขึ้นตั้งแต่เริ่มต้นเพื่อแก้ปัญหาในอนาคตเกี่ยวกับต้นทุน ความซับซ้อน และปัญหาสิ่งแวดล้อมที่จะเกิดขึ้นจากการอนุมาน AI ซึ่งเป็นการนำแบบจำลอง AI ที่ได้รับการฝึกอบรมและซอฟต์แวร์ไปใช้ในศูนย์ข้อมูลระดับผลิต

เราคือทีมวิศวกรระบบ ดังนั้นเราจึงมองเห็นทุกมุมมอง ทุกด้านของการอนุมาน AI รวมถึง GPU และเครื่องเร่งความเร็ว AI ทุกประเภท เมื่อเราไปถึงปี 2015 ก็ชัดเจนว่าชิป AI และระบบที่พึ่งพา CPU ซึ่งเป็น GPU, TPU, LPU, NRU, ASIC และ FPGA ทั้งหมด จะต้องเผชิญกับกำแพงสำคัญในปี 2020 ซึ่งเป็นข้อจำกัดของระบบที่เครื่องเร่งความเร็ว AI ได้กลายเป็นเร็วขึ้น แต่โครงสร้างพื้นฐานไม่ได้ตามทัน

ดังนั้น เราจึงตัดสินใจที่จะแยกออกจากยักษ์ใหญ่ที่เต็มไปด้วยการบริหารจัดการที่ปกป้องธุรกิจที่ประสบความสำเร็จ เช่น ผู้ผลิต CPU และ NIC และสร้างความเปลี่ยนแปลงในอุตสาหกรรมด้วยโครงสร้าง AI ที่ดีกว่า ซึ่งเปิดกว้าง ไร้ข้อจำกัด และถูกออกแบบมาโดยเฉพาะสำหรับการอนุมาน AI

หนึ่งในข้อสรุปของการคิดใหม่เกี่ยวกับการอนุมาน AI ที่เหมาะสมคือการเพิ่มการใช้ GPU และประสิทธิภาพของระบบ โดยโครงสร้างพื้นฐานใหม่ของเราในการคำนวณ AI และเครือข่ายที่ขับเคลื่อนด้วยชิป NR1 ใหม่ของเรา ซึ่งแทนที่ CPU และ NIC เป็นซีอีและเพื่อนร่วมงานที่จะช่วยให้เราเอาชนะอุปสรรคในตลาดที่ป้องกันไม่ให้ 65% ขององค์กรนำ AI ไปใช้ในปัจจุบัน

นี่คือโอกาสครั้งหนึ่งในชีวิตที่จะเปลี่ยนแปลงโครงสร้างพื้นฐานของระบบ AI ให้ดีขึ้น โดยอาศัยทุกสิ่งที่ฉันเรียนรู้และฝึกฝนมา 30 ปี โดยการเปิดประตูให้กับผู้นวัตกรรม AI ใหม่ๆ ทั่วอุตสาหกรรม และการเอาชนะอุปสรรค CPU ความซับซ้อน และรอยเท้าของคาร์บอน

ภารกิจของ NeuReality คือการทำให้ AI เข้าถึงได้ทุกคน คุณสามารถอธิบายได้ว่า “AI สำหรับทุกคน” หมายถึงอะไร และ NeuReality วางแผนเพื่อให้บรรลุวิสัยทัศน์นี้ได้อย่างไร?

ภารกิจของเราคือการทำให้ AI เข้าถึงได้ทุกคน โดยการทำให้ AI มีราคาไม่แพงและเข้าถึงได้สำหรับทุกองค์กร大小 โดยการปลดปล่อยความสามารถสูงสุดของ GPU หรือเครื่องเร่งความเร็ว AI ทุกชนิด เพื่อให้คุณได้รับประโยชน์สูงสุดจากการลงทุน ไม่ใช่การซื้อ GPU มากขึ้นเพื่อให้ได้ประสิทธิภาพที่ต้องการ

เราวางแผนเพื่อให้บรรลุวิสัยทัศน์นี้ด้วยการนำเสนอ NR1 AI Inference Solution ซึ่งเป็นโครงสร้างพื้นฐานของระบบศูนย์ข้อมูลที่ถูกออกแบบมาโดยเฉพาะสำหรับยุค AI ซึ่งสามารถจัดการข้อมูล AI ได้จำนวนมากในราคาไม่แพงและประสิทธิภาพสูง โดยมีประโยชน์เสริมคือการลดรอยเท้าของคาร์บอน

การทำให้ AI เข้าถึงได้ทุกคนยังหมายถึงการทำให้ AI ใช้งานได้ง่าย ที่ NeuReality เราได้ทำให้การวางระบบ AI การจัดการ และการปรับขนาดง่ายขึ้น เพื่อเพิ่มประสิทธิภาพและความสามารถในการทำกำไรของธุรกิจ และพัฒนาอุตสาหกรรมต่างๆ เช่น สาธารณสุข ความปลอดภัย การบังคับใช้กฎหมาย และการบริการลูกค้า

ปัจจุบัน อุปกรณ์ NR1-S AI Inference Appliances ของเราที่มีเครื่องเร่งความเร็ว AI ของ Qualcomm Cloud AI 100 Ultra และผ่าน Cirrascale ซึ่งเป็นผู้ให้บริการคลาวด์

NR1 AI Inference Solution ถูกมองว่าเป็นโครงสร้างพื้นฐานของระบบศูนย์ข้อมูลที่ถูกออกแบบมาโดยเฉพาะสำหรับยุค AI และถูกออกแบบมาโดยเฉพาะสำหรับการอนุมาน AI สิ่งประดิษฐ์และการผ่านทางที่สำคัญที่นำไปสู่การพัฒนา NR1 คืออะไร?

NR1 คือชื่อของโครงสร้างพื้นฐานทั้งหมดที่เราออกแบบและนำเสนอให้กับอุตสาหกรรม AI ซึ่งเป็นโครงสร้างพื้นฐานการคำนวณ AI และเครือข่ายที่เปิดกว้างและเข้ากันได้กับเครื่องเร่งความเร็ว AI ทุกชนิดและ GPU ถ้าฉันต้องแบ่งสิ่งประดิษฐ์ที่สำคัญที่สุดออกเป็น 3 สิ่ง ฉันจะพูดว่า:

• การเพิ่มประสิทธิภาพของกราฟการคำนวณ AI: ทีมของเราออกแบบเครื่องเร่งการทำงานกราฟที่สามารถเขียนโปรแกรมได้เพื่อเพิ่มประสิทธิภาพของกราฟการคำนวณ ซึ่งเป็นสิ่งสำคัญสำหรับ AI และงานอื่นๆ เช่น การประมวลผลสื่อ ฐานข้อมูล และอื่นๆ กราฟการคำนวณแสดงถึงชุดของการดำเนินการโดยมีความสัมพันธ์ และการประยุกต์ใช้ที่กว้างขวางนี้ทำให้ NR1 มีศักยภาพในการเปลี่ยนแปลงมากกว่าเพียงการเพิ่มประสิทธิภาพของ GPU และเครื่องเร่งความเร็ว AI
• NR1 NAPU (Network Addressable Processing Unit): โครงสร้างพื้นฐานการอนุมาน AI ของเราขับเคลื่อนด้วย NR1 NAPU ซึ่งเป็นชิปเซิร์ฟเวอร์ 7nm ที่ทำให้สามารถเข้าถึงเครือข่ายได้โดยตรงสำหรับการประมวลผล AI ก่อนและหลังการประมวลผล เราได้เพิ่มประสิทธิภาพของชิป NR1 มากกว่าชิป CPU ทั่วไป 6.5 เท่า
• NR1 AI-Hypervisor เทคโนโลยี: NR1 ของเรามีเทคโนโลยี AI-Hypervisor ที่ได้รับการจดสิทธิบัตรซึ่งเพิ่มประสิทธิภาพของการบริหารจัดการงาน AI และการใช้ทรัพยากร
• NR1 AI-over-Fabric Network Engine: NR1 มีเครื่องยนต์เครือข่าย AI-over-Fabric ที่ทำให้สามารถเชื่อมต่อเครือข่ายได้อย่างราบรื่นและเพิ่มประสิทธิภาพของทรัพยากร AI

ข้อมูลการแสดงผลล่าสุดของ NeuReality เน้นย้ำถึงการประหยัดต้นทุนและพลังงานอย่างมีนัยสำคัญ คุณสามารถให้รายละเอียดเพิ่มเติมเกี่ยวกับวิธีการที่ NR1 สามารถบรรลุการประหยัดต้นทุนได้ถึง 90% และประหยัดพลังงานได้ถึง 15 เท่าเมื่อเทียบกับระบบทั่วไป?

NeuReality’s NR1 ลดต้นทุนและพลังงานที่ใช้ในการอนุมาน AI ได้ถึง 90% และ 15 เท่า ตามลำดับ สิ่งนี้เกิดขึ้นผ่าน:

• ซิลิคอนเฉพาะ: โครงสร้างพื้นฐานการอนุมาน AI ของเราที่ถูกออกแบบมาโดยเฉพาะขับเคลื่อนด้วย NR1 NAPU ซึ่งรวมฟังก์ชันของ CPU และ NIC ไว้ในหนึ่งเดียว และกำจัดความจำเป็นในการใช้ CPU ในการอนุมาน
• โครงสร้างพื้นฐานที่ได้รับการปรับปรุง: โดยการทำให้การไหลของข้อมูล AI สตรีมไลน์และรวมการประมวลผล AI ก่อนและหลังการประมวลผลไว้ภายใน NR1 NAPU เราได้กำจัด CPU และลดความหน่วงลง
• การวางระบบที่ยืดหยุ่น: คุณสามารถซื้อ NR1 ได้สองวิธีหลัก: 1) ภายในโมดูล NR1-M ซึ่งเป็น카ด PCIe ที่มี NR1 NAPU หลายตัว (โดยทั่วไป 10 ตัว) ที่ออกแบบมาเพื่อจับคู่กับ卡ดเร่งความเร็ว AI ที่มีอยู่ของคุณ 2) ภายในอุปกรณ์ NR1-S ซึ่งจับคู่ NR1 NAPU กับเครื่องเร่งความเร็ว AI (GPU, ASIC, FPGA, ฯลฯ) เป็นระบบ AI การอนุมานที่พร้อมใช้งาน

ที่ Supercomputing 2024 ในเดือนพฤศจิกายน คุณจะเห็นเราแสดงอุปกรณ์ NR1-S พร้อมชิป NR1 4 ตัวต่อเครื่องเร่งความเร็ว AI ของ Qualcomm Cloud AI 100 Ultra 16 ตัว เราได้ทดสอบสิ่งเดียวกันกับชิป AI การอนุมานของ Nvidia (NVDA ) NeuReality กำลังปฏิวัติการอนุมาน AI ด้วยโครงสร้างพื้นฐานที่เปิดกว้างและถูกออกแบบมาโดยเฉพาะ

NR1-S AI Inference Appliance ที่จับคู่กับเครื่องเร่งความเร็ว AI ของ Qualcomm Cloud AI 100 เทียบกับเซิร์ฟเวอร์การอนุมาน CPU ทั่วไปที่มี GPU Nvidia H100 หรือ L40S ในแอปพลิเคชันจริง?

NR1 ที่จับคู่กับเครื่องเร่งความเร็ว AI ของ Qualcomm Cloud AI 100 หรือ Nvidia H100 หรือ L40S มอบการเพิ่มประสิทธิภาพที่สำคัญเหนือเซิร์ฟเวอร์การอนุมาน CPU ทั่วไปในแอปพลิเคชัน AI จริงทั่วโมเดลภาษาที่ใหญ่ๆ เช่น Llama 3 การประมวลผลภาพ การประมวลผลภาษาธรรมชาติ และการรับรู้เสียง

ผลลัพธ์สุดท้าย? เมื่อจับคู่กับ NR1 ลูกค้าจะได้รับประโยชน์สูงสุดจากการลงทุน GPU ที่แพงๆ มากกว่าการซื้อ GPU เพิ่มเติมเพื่อให้ได้ประสิทธิภาพที่ต้องการ

นอกเหนือจากการเพิ่มการใช้ GPU แล้ว NR1 ยังให้ประสิทธิภาพและประสิทธิภาพการใช้พลังงานที่ดีเยี่ยม ซึ่งส่งผลให้ได้รับประโยชน์ทางเศรษฐกิจและลดรอยเท้าของสิ่งแวดล้อมสำหรับโครงสร้างพื้นฐาน AI

NR1-S แสดงให้เห็นถึงการขยายขนาดเชิงเส้นโดยไม่มีการสูญเสียประสิทธิภาพ คุณสามารถอธิบายด้านเทคนิคที่ทำให้สามารถขยายขนาดได้อย่างราบรื่น?

อุปกรณ์ NR1-S ที่จับคู่ชิป NR1 กับเครื่องเร่งความเร็ว AI ใดๆ หรือจำนวนใดๆ ทำให้โครงสร้างพื้นฐาน AI ใหม่

แทนที่จะใช้ NIC-CPU-เครื่องเร่งความเร็วแบบดั้งเดิม NR1-S รวมการเข้าถึงเครือข่ายโดยตรง การประมวลผล AI ก่อนและหลังการประมวลผลไว้ภายใน NAPU ของเรา โดยทั่วไปมี NAPU 10 ตัวต่อระบบ และ AI-Hypervisor ของเราที่จัดการงาน AI

ผลลัพธ์คือการขยายขนาดเชิงเส้น: เพิ่มเครื่องเร่งความเร็ว AI เพิ่มประสิทธิภาพตามสัดส่วน

ผลลัพธ์? การใช้เครื่องเร่งความเร็ว AI 100% ถูกสังเกตอย่างต่อเนื่อง ในขณะที่ต้นทุนและประสิทธิภาพการใช้พลังงานโดยรวมแตกต่างกันไปตามชิป AI ที่ใช้ การลงทุนฮาร์ดแวร์ที่เพิ่มขึ้นและประสิทธิภาพที่ดีขึ้นถูกส่งมอบอย่างต่อเนื่อง เมื่อความต้องการการอนุมาน AI เพิ่มขึ้น NR1-S ให้ทางเลือกที่น่าสนใจสำหรับโครงสร้างพื้นฐานแบบดั้งเดิม

NeuReality มุ่งหวังที่จะแก้ไขอุปสรรคในการนำ AI ไปใช้โดยทั่วไป อุปสรรคที่สำคัญที่สุดคืออะไรที่ธุรกิจต้องเผชิญเมื่อนำ AI ไปใช้ และเทคโนโลยีของคุณช่วยให้ธุรกิจเอาชนะอุปสรรคเหล่านี้ได้อย่างไร?

เมื่อใช้งานไม่ดี ซอฟต์แวร์และโซลูชัน AI สามารถกลายเป็นปัญหาได้ ธุรกิจหลายแห่งไม่สามารถนำ AI ไปใช้ได้เนื่องจากต้นทุนและความซับซ้อนในการสร้างและขยายระบบ AI

เรามีเทคโนโลยีที่ช่วยให้ AI เข้าถึงได้ทุกคน โดยการทำให้ AI มีราคาไม่แพงและเข้าถึงได้สำหรับทุกองค์กร大小 โดยการปลดปล่อยความสามารถสูงสุดของ GPU หรือเครื่องเร่งความเร็ว AI ทุกชนิด เพื่อให้คุณได้รับประโยชน์สูงสุดจากการลงทุน ไม่ใช่การซื้อ GPU มากขึ้นเพื่อให้ได้ประสิทธิภาพที่ต้องการ

ทีมของเราตอบสนองต่อความบกพร่องในระบบ AI อย่างเป็นระบบและทั่วถึง โดยการระบุจุดอ่อนและช่องว่างโครงสร้างพื้นฐาน และการคาดการณ์งาน AI เพื่อนำเสนอโครงสร้างพื้นฐาน AI ที่ถูกออกแบบมาโดยเฉพาะ ซึ่งเป็นโครงสร้างพื้นฐานการคำนวณ AI และเครือข่ายที่เปิดกว้างและเข้ากันได้กับเครื่องเร่งความเร็ว AI ทุกชนิดและ GPU

ในตลาด AI ที่มีการแข่งขัน NeuReality แตกต่างจากผู้ให้บริการโซลูชันการอนุมาน AI อื่นๆ อย่างไร?

เรามีความเปิดกว้างและไม่ขึ้นอยู่กับเครื่องเร่งความเร็ว AI ใดๆ โครงสร้างพื้นฐานการอนุมาน AI ของเราขับเคลื่อนเครื่องเร่งความเร็ว AI ทุกชนิด ทำให้ระบบที่สมบูรณ์แบบ

โซลูชันของเรา? NR1 คือโครงสร้างพื้นฐานการอนุมาน AI ที่ถูกออกแบบมาใหม่โดยสมบูรณ์ อาวุธลับของเราคือ NR1 NAPU ที่ถูกออกแบบมาเพื่อเพิ่มประสิทธิภาพของเครื่องเร่งความเร็ว AI โดยไม่ต้องใช้พลังงานหรือเงินมากเกินไป

NeuReality มีโครงสร้างพื้นฐานที่เปิดกว้าง ซึ่งทำงานร่วมกับเครื่องเร่งความเร็ว AI และซอฟต์แวร์ที่เป็นที่นิยม เช่น Kubernetes, Python, TensorFlow และอื่นๆ

NeuReality ไม่ได้แข่งขันกับภูมิทัศน์ AI แต่เรามาเพื่อเสริมสิ่งเหล่านั้นผ่านการร่วมมือเชิงกลยุทธ์และการทำงานร่วมกันทางเทคโนโลยี เราให้คำตอบที่ถูกต้อง: โครงสร้างพื้นฐานการอนุมาน AI ที่ถูกออกแบบมาโดยเฉพาะ ซึ่งเปิดกว้างและไม่ขึ้นอยู่กับ CPU

NeuReality มีวิสัยทัศน์ระยะยาวสำหรับบทบาทของ AI ในสังคม และคุณเห็นว่าบริษัทของคุณมีส่วนร่วมในอนาคตอย่างไร?

ฉันเห็นอนาคตที่ AI มีประโยชน์ต่อทุกคน โดยการสร้างสรรค์นวัตกรรมและปรับปรุงชีวิต

NR1 ของเราคือกุญแจสำคัญของวิสัยทัศน์นั้น เป็นโซลูชันการอนุมาน AI ที่สมบูรณ์แบบ ซึ่งเริ่มที่จะทำลายกำแพงต้นทุนและความซับซ้อนที่ขัดขวางการนำ AI ไปใช้ในธุรกิจ

เรามีโครงสร้างพื้นฐานที่เปิดกว้าง ซึ่งทำงานร่วมกับซิลิคอนอื่นๆ ไม่ใช่ทำงานต่อต้าน เราไม่ได้หยุดเพียงเท่านี้ เรากำลังร่วมมือกับพันธมิตรเพื่อยืนยันเทคโนโลยีของเราในงาน AI ต่างๆ และจัดหา “การอนุมานเป็นบริการ” และ “LLM เป็นบริการ” ผ่านผู้ให้บริการคลาวด์ ไฮเปอร์สเกลเลอร์ และโดยตรงพร้อมกับชิปเมกเกอร์

ฉันเห็นความเป็นไปได้หากเราสามารถเพิ่มประสิทธิภาพการอนุมาน AI ประสิทธิภาพการใช้พลังงานและราคาได้หลายเท่า

นี่คือสิ่งที่เราต้องทำเพื่อให้ AI มีประโยชน์ต่อทุกคน และสร้างสังคมที่มี AI ที่เข้มแข็งและมีหลายเสียง

ขอบคุณสำหรับการสัมภาษณ์ที่ดี ผู้อ่านสามารถเยี่ยมชม NeuReality เพื่อเรียนรู้เพิ่มเติม