เจย์ ดอวานี เป็น Co-founder & CEO ของ Lemurian Labs – สัมภาษณ์ Series

เจย์ ดอวานี เป็น Co-founder & CEO ของ Lemurian Labs Lemurian Labs มีภารกิจในการส่งมอบคอมพิวเตอร์ AI ที่มีราคาไม่แพง สามารถเข้าถึงได้ง่าย และมีประสิทธิภาพสูง โดยมีความเชื่อว่า AI ไม่ควรเป็นของหรู แต่ควรเป็นเครื่องมือที่ทุกคนสามารถเข้าถึงได้ ทีมผู้ก่อตั้ง của Lemurian Labs มีความเชี่ยวชาญในด้าน AI, คอมไพล์เลอร์, อัลกอริทึมทางคณิตศาสตร์, และสถาปัตยกรรมคอมพิวเตอร์ โดยมีจุดมุ่งหมายเดียวคือการสร้างสรรค์ในการคำนวณที่เร่งความเร็ว

คุณสามารถพูดถึงประสบการณ์ของคุณและอะไรที่ทำให้คุณสนใจ AI ในตอนแรกได้หรือไม่?

แน่นอน ฉันเริ่มเขียนโปรแกรมเมื่ออายุ 12 ปี และสร้างเกมของตัวเอง แต่ฉันเข้าสู่โลก AI เมื่ออายุ 15 ปี เนื่องจากเพื่อนของพ่อฉันที่สนใจคอมพิวเตอร์ เขากระตุ้นความสนใจของฉันและให้หนังสือให้ฉัน读 เช่น Von Neumann’s ‘The Computer and The Brain’, Minsky’s ‘Perceptrons’, Russel และ Norvig’s ‘AI A Modern Approach’ หนังสือเหล่านี้มีอิทธิพลต่อความคิดของฉันมาก และดูเหมือนว่า AI จะเป็นสิ่งที่เปลี่ยนแปลงโลก และฉันต้องเป็นส่วนหนึ่งของสิ่งนี้

เมื่อถึงเวลาที่ฉันต้องเข้ามหาวิทยาลัย ฉันอยากศึกษาด้าน AI แต่ไม่มีมหาวิทยาลัยที่สอน AI ฉันจึงตัดสินใจศึกษาคณิตศาสตร์ประยุกต์แทน และหลังจากที่ฉันเข้ามหาวิทยาลัย ฉันรู้จักผลลัพธ์ของ AlexNet ใน ImageNet ซึ่งเป็นสิ่งที่น่าตื่นเต้นมาก ในเวลานั้น ฉันมีประสบการณ์ที่ไม่เคยลืมเลือน และฉันเริ่มอ่านบทความและหนังสือทุกอย่างที่เกี่ยวข้องกับเครือข่ายประสาทเทียมและหาคนที่เป็นผู้นำในด้านนี้เพื่อเรียนรู้จากพวกเขา เพราะมันไม่บ่อยนักที่คุณจะได้เห็นกำเนิดของอุตสาหกรรมใหม่และเรียนรู้จากผู้บุกเบิก

ฉันรู้สึกว่าฉันไม่ชอบการวิจัย แต่ฉันชอบการแก้ปัญหาและสร้างผลิตภัณฑ์ที่ใช้ AI ซึ่งนำไปสู่การทำงานในรถยนต์ไร้คนขับและหุ่นยนต์ AI สำหรับการค้นพบวัสดุ รุ่นจำลองสำหรับการจำลองหลายฟิสิกส์ รุ่นจำลองสำหรับการฝึกหุ่นยนต์ และการช่วยเหลือในการตั้งค่ารถยนต์ หุ่นยนต์อวกาศ การซื้อขายอัลกอริทึม และอื่นๆ

ตอนนี้ หลังจากที่ฉันทำทุกอย่างนี้ ฉันพยายามลดต้นทุนในการฝึกอบรมและใช้งาน AI เนื่องจากสิ่งนี้จะเป็นอุปสรรคที่ยิ่งใหญ่ที่สุดที่เราเผชิญในการสร้างโลกที่ทุกคนและทุกบริษัทสามารถเข้าถึงและได้รับประโยชน์จาก AI ในรูปแบบที่ประหยัดที่สุด

หลายบริษัทที่ทำงานในด้านการคำนวณที่เร่งความเร็วมีผู้ก่อตั้งที่มีประสบการณ์ในด้านซีเมคและโครงสร้างพื้นฐาน คุณคิดว่าประสบการณ์ของคุณใน AI และคณิตศาสตร์จะส่งผลต่อความสามารถในการเข้าใจตลาดและแข่งขันได้อย่างมีประสิทธิภาพหรือไม่?

ฉันคิดว่าการไม่มาจากอุตสาหกรรมนี้ทำให้ฉันมีประโยชน์ในการมองโลกในมุมมองที่แตกต่าง ฉันพบว่าไม่มีความรู้เกี่ยวกับมาตรฐานอุตสาหกรรมหรือความเชื่อแบบเดิมๆ ทำให้ฉันมีเสรีภาพในการสำรวจและเข้าใจปัญหาได้ลึกกว่าคนอื่นๆ

ฉันมีเสรีภาพในการถามคำถามที่ ‘โง่ๆ’ และทดสอบสมมติฐานในทางที่คนอื่นๆ ไม่ทำ ฉันชอบเข้าใจว่าทำไมบางสิ่งถึงเกิดขึ้นและสมมติฐานหรือเงื่อนไขที่มีอยู่ในเวลานั้นและว่าสมมติฐานเหล่านั้นยังคงอยู่หรือไม่

การมาจากพื้นหลัง AI ทำให้ฉันมองโลกในมุมมองของซอฟต์แวร์ โดยดูว่าเวิร์กโหลดในปัจจุบันและอนาคตจะเป็นอย่างไร และแบบจำลองทั้งหมดของ ML Pipeline สำหรับการฝึกอบรมและอนุมานเพื่อเข้าใจข้อจำกัด ซึ่งบอกฉันว่าโอกาสในการส่งมอบคุณค่าอยู่ที่ไหน และเนื่องจากฉันมาจากพื้นหลังคณิตศาสตร์ ฉันจึงชอบการสร้างแบบจำลองเพื่อให้ได้ใกล้เคียงกับความจริงมากที่สุดและใช้แบบจำลองเหล่านั้นเป็นแนวทาง

ดูเหมือนว่าการก้าวหน้าใน AI มาจากการปรับขนาด ซึ่งต้องการคอมพิวเตอร์และพลังงานมากขึ้น มันดูเหมือนการแข่งขันอาวุธที่ทุกบริษัทพยายามสร้างโมเดลที่ใหญ่ที่สุด และไม่มีที่สิ้นสุด คุณคิดว่ามีทางออกจากสิ่งนี้หรือไม่?

มีเสมอ การปรับขนาดได้พิสูจน์แล้วว่ามีประโยชน์มาก และฉันไม่คิดว่าเราจะเห็นจุดสิ้นสุดของสิ่งนี้แล้ว เราจะเห็นโมเดลที่ฝึกอบรมด้วยต้นทุนไม่ต่ำกว่า 1 พันล้านดอลลาร์ หากคุณต้องการเป็นผู้นำใน AI ที่สร้างโมเดลพื้นฐานที่ดีที่สุด คุณจะต้องใช้จ่ายไม่ต่ำกว่าหลายพันล้านดอลลาร์ต่อปีในการคำนวณ

การปรับขนาดโมเดลจะดำเนินต่อไป แต่เราก็มีข้อจำกัดในการปรับขนาด เช่น การสร้างเซตข้อมูลที่ใหญ่พอที่จะฝึกโมเดลขนาดใหญ่ การเข้าถึงคนมีความรู้และทักษะที่เหมาะสม และการเข้าถึงคอมพิวเตอร์ที่เพียงพอ

การปรับขนาดโมเดลที่มากขึ้นเป็นสิ่งที่หลีกเลี่ยงไม่ได้ แต่เราก็ไม่สามารถเปลี่ยนพื้นผิวโลกให้เป็นซูเปอร์คอมพิวเตอร์ขนาดใหญ่เพื่อฝึกและให้บริการโมเดลขนาดใหญ่ได้ เราต้องมีเครื่องมืออื่นๆ ที่เราสามารถเล่นได้ เช่น เซตข้อมูลที่ดีขึ้น อาร์กิเทคเจอร์โมเดลใหม่ วิธีการฝึกอบรมใหม่ คอมไพล์เลอร์ที่ดีขึ้น การปรับปรุงอัลกอริทึมและเอ็กซ์พลอยเทชัน และสถาปัตยกรรมคอมพิวเตอร์ที่ดีขึ้น

คุณเป็นผู้เชื่อในความคิดแบบแรกๆ (first principles) วิธีการคิดนี้มีอิทธิพลต่อทัศนคติของคุณในการดำเนิน Lemurian Labs อย่างไร?

เรามีการใช้ความคิดแบบแรกๆ มากที่ Lemurian ฉันพบว่าความรู้แบบเดิมๆ มักจะทำให้เข้าใจผิดเพราะความรู้นั้นเกิดในเวลาที่สมมติฐานและเงื่อนไขบางอย่างยังคงอยู่ แต่สิ่งต่างๆ มักจะเปลี่ยนแปลง และคุณต้องทดสอบสมมติฐานเหล่านั้นบ่อยๆ

ฉันมักจะถามคำถาม เช่น ‘สิ่งนี้ดูเหมือนความคิดที่ดี แต่ทำไมมันไม่ทำงาน’ หรือ ‘อะไรต้องเป็นจริงเพื่อให้สิ่งนี้ทำงาน’ หรือ ‘อะไรที่เรารู้เป็นความจริงและสมมติฐานที่เรากำลังทำและทำไม’ หรือ ‘ทำไมเราจึงเชื่อว่าวิธีการนี้เป็นวิธีที่ดีที่สุดในการแก้ปัญหานี้’ จุดมุ่งหมายคือการทำให้ความคิดตายไปอย่างรวดเร็วและราคาถูกที่สุด

การคิดแบบแรกๆ ไม่มีประโยชน์โดยลำพัง เราใช้ร่วมกับการย้อนกลับ (backcasting) ซึ่งหมายถึงการสร้างภาพอนาคตที่ดีหรือต้องการและทำงานย้อนกลับเพื่อระบุการกระทำที่ต้องการเพื่อให้ได้ผลลัพธ์นั้น

ทุกๆ ครั้ง เราพบว่าตัวเองอยู่ในสถานการณ์ที่ต้องตัดสินใจแต่ไม่มีข้อมูล และในกรณีนี้ เราใช้สมมติฐานที่สามารถทดสอบได้ ซึ่งให้สัญญาณว่าอะไรที่สมเหตุสมผลที่จะทำต่อไป

ทั้งหมดนี้รวมกันเพื่อให้เราได้ความคล่องตัว การวนซ้ำอย่างรวดเร็วเพื่อลดความเสี่ยงอย่างรวดเร็ว และช่วยให้เราปรับกลยุทธ์อย่างมั่นใจ และก้าวหน้าในเรื่องที่ยากมากในเวลาอันสั้น

ในตอนแรก คุณมุ่งเน้นไปที่ AI ที่ขอบ (edge AI) สิ่งใดที่ทำให้คุณเปลี่ยนไปมุ่งเน้นไปที่การคำนวณบนคลาวด์?

เริ่มแรกเรามุ่งเน้นไปที่ AI ที่ขอบเพราะในเวลานั้นฉันต้องการแก้ปัญหาเฉพาะเจาะจงในการนำ AI มาใช้ในหุ่นยนต์แบบอัตโนมัติ หุ่นยนต์แบบอัตโนมัติมีศักยภาพที่จะเป็นแพลตฟอร์มที่เปลี่ยนแปลงโลกมากที่สุดในประวัติศาสตร์ร่วมกัน แต่เรายังขาดชิปอินเฟอร์เรนซ์ที่เหมาะสมที่จะทำให้โมเดลพื้นฐานสำหรับหุ่นยนต์ทำงานได้

ฉันไม่ได้คิดถึงศูนย์ข้อมูลในเวลานั้นเพราะมีบริษัทอื่นๆ มากที่มุ่งเน้นไปที่นั่นและฉันคิดว่าพวกเขาจะแก้ปัญหาได้ เราออกแบบสถาปัตยกรรมที่มีประสิทธิภาพสูงสำหรับพื้นที่การประยุกต์ใช้นี้และเตรียมพร้อมที่จะผลิต แต่แล้วก็ชัดเจนว่าโลกได้เปลี่ยนแปลงไปและปัญหาอยู่ที่ศูนย์ข้อมูล

อัตราการเติบโตของโมเดลภาษาใหญ่ (LLM) และการบริโภคคอมพิวเตอร์เกินความก้าวหน้าของคอมพิวเตอร์ และเมื่อคุณพิจารณาการนำไปใช้แล้ว มันเริ่มวาดภาพที่น่าห่วงใย

ดูเหมือนว่านี่คือที่ที่เราควรโฟกัสความพยายามของเรา เพื่อลดต้นทุนพลังงานของ AI ในศูนย์ข้อมูลให้มากที่สุดโดยไม่จำกัดว่า AI จะพัฒนาไปอย่างไร

คุณสามารถแบ่งปันเรื่องราวการก่อตั้ง Lemurian Labs ได้หรือไม่?

เรื่องราวเริ่มต้นในปี 2018 ฉันทำงานในการฝึกอบรมโมเดลพื้นฐานสำหรับหุ่นยนต์แบบอัตโนมัติและโมเดลสำหรับการจำลองหลายฟิสิกส์ แต่ฉันใช้เวลาคอมพิวเตอร์จนหมด และฉันต้องมีมากกว่า 20,000 V100 GPU ฉันพยายามระดมทุนเพื่อเข้าถึงคอมพิวเตอร์ แต่ตลาดยังไม่พร้อมสำหรับการใช้ขนาดใหญ่แบบนั้น

สองปีต่อมาในปี 2020 ฉันพบกับ Vassil ซึ่งเป็น Co-founder ของฉันเพื่อพบปะและฉันแบ่งปันความท้าทายที่ฉันเผชิญในการสร้างโมเดลพื้นฐานสำหรับหุ่นยนต์แบบอัตโนมัติ และเข้าแนะนำให้สร้างชิปอินเฟอร์เรนซ์ที่สามารถทำงานโมเดลพื้นฐานได้ และเขาบอกว่าเขาคิดมากเกี่ยวกับรูปแบบตัวเลขและวิธีการแสดงผลที่ดีกว่าจะช่วยให้เครือข่ายประสาทเทียมทำงานได้ดีขึ้นที่ความกว้างบิตที่ต่ำกว่าและช่วยให้สร้างสถาปัตยกรรมที่มีประสิทธิภาพมากขึ้น

เป็นความคิดที่น่าสนใจ แต่ไม่อยู่ในขอบเขตความเชี่ยวชาญของฉัน แต่ความคิดนั้นไม่หายไปจากความคิดของฉัน ซึ่งทำให้ฉันต้องใช้เวลาหลายเดือนในการเรียนรู้เกี่ยวกับสถาปัตยกรรมคอมพิวเตอร์ เซตคำสั่ง รันไทม์ คอมไพล์เลอร์ และโมเดลการเขียนโปรแกรม

ในที่สุดการสร้างบริษัท半導體ก็เริ่มดูสมเหตุสมผล และฉันก็ได้สร้างทฤษฎีเกี่ยวกับปัญหาและวิธีแก้ปัญหา และต่อมาในปีนั้นเราก่อตั้ง Lemurian

คุณเคยพูดถึงความจำเป็นในการแก้ปัญหา软件ก่อนที่จะสร้างฮาร์ดแวร์ คุณสามารถอธิบายมุมมองของคุณเกี่ยวกับว่าทำไมปัญหาฮาร์ดแวร์จึงเป็นปัญหา软件ในตอนแรกได้หรือไม่?

หลายคนไม่เข้าใจว่าด้านซอฟต์แวร์ของ半導體ยากกว่าฮาร์ดแวร์เอง การสร้างสถาปัตยกรรมคอมพิวเตอร์ที่มีประโยชน์สำหรับลูกค้าในการใช้และได้รับประโยชน์เป็นปัญหาแบบ full-stack และหากคุณไม่มีความเข้าใจและความพร้อมในการแก้ปัญหา คุณจะสิ้นเปลืองไปกับสถาปัตยกรรมที่ดูสวยงามและมีประสิทธิภาพ แต่ไม่สามารถใช้งานได้จริงสำหรับนักพัฒนา

มีประโยชน์อื่นๆ ในการนำซอฟต์แวร์มาเป็นหลัก เช่น การเข้าตลาดเร็วขึ้น ซึ่งสำคัญในโลกที่เปลี่ยนแปลงอย่างรวดเร็ว หากคุณมองโลกในแง่ดีเกินไปเกี่ยวกับสถาปัตยกรรมหรือคุณลักษณะ คุณอาจพลาดโอกาสที่จะเข้าตลาด

การไม่นำซอฟต์แวร์มาเป็นหลักมักจะทำให้คุณไม่ได้ลดความเสี่ยงของสิ่งที่สำคัญสำหรับการยอมรับผลิตภัณฑ์ในตลาด ไม่สามารถตอบสนองการเปลี่ยนแปลงในตลาดเมื่อเวิร์กโหลดเปลี่ยนแปลงไปในทางที่ไม่คาดคิด และมีการใช้ฮาร์ดแวร์ที่ไม่ได้ถูกใช้ประโยชน์อย่างเต็มที่

คุณสามารถพูดถึงเป้าหมายสแต็คซอฟต์แวร์Immediate ของคุณได้หรือไม่?

เมื่อเราออกแบบสถาปัตยกรรมและคิดถึงแผนการในอนาคตและโอกาสในการเพิ่มประสิทธิภาพและประหยัดพลังงาน เราเริ่มเห็นแล้วว่าเราจะเห็นความหลากหลายมากขึ้นซึ่งจะสร้างปัญหาหลายอย่างในด้านซอฟต์แวร์ และเราต้องจัดการกับปัญหาเหล่านี้ที่ระดับศูนย์ข้อมูล ซึ่งเป็นความท้าทายที่เราไม่เคยพบมาก่อน

ครั้งสุดท้ายที่เราต้องผ่านการเปลี่ยนแปลงครั้งใหญ่คือเมื่ออุตสาหกรรมเปลี่ยนจากสถาปัตยกรรมซิงเกิลคอร์เป็นมัลติคอร์ และในเวลานั้นใช้เวลา 10 ปีในการทำให้ซอฟต์แวร์ทำงานและคนเริ่มใช้งาน เราไม่สามารถรอ 10 ปีเพื่อแก้ปัญหาซอฟต์แวร์สำหรับความหลากหลายในระดับใหญ่

เรากำลังทำงานร่วมกับบริษัท半導體และผู้ให้บริการคลาวด์รายใหญ่ๆ และเราจะเปิดตัวสแต็คซอฟต์แวร์ของเราในอีก 12 เดือนข้างหน้า ซึ่งเป็นโมเดลการเขียนโปรแกรมที่รวมกับคอมไพล์เลอร์และรันไทม์ที่สามารถกำหนดเป้าหมายไปยังสถาปัตยกรรมใดๆ และจัดการงานข้ามคลัสเตอร์ที่ประกอบด้วยฮาร์ดแวร์ที่หลากหลาย และสามารถปรับขนาดจากโหนดเดียวถึงคลัสเตอร์ที่มี 1,000 โหนดสำหรับการแสดงผลที่ดีที่สุด

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านสามารถเยี่ยมชม Lemurian Labs เพื่อเรียนรู้เพิ่มเติม