เบ็น โคสกา ผู้ก่อตั้งและซีอีโอของ SF Tensor – สัมภาษณ์ซีรีส์

เบ็น โคสกา ผู้ก่อตั้งและซีอีโอของ SF Tensor เป็นนักวิจัยด้าน AI และวิศวกรระบบที่มีชื่อเสียงในด้านการทำงานเกี่ยวกับการคำนวณประสิทธิภาพสูง การปรับแต่งเคอร์เนล และการฝึกอบรมแบบมีประสิทธิภาพ น้ำหลากของเขาครอบคลุมการพัฒนาระบบโครงสร้างพื้นฐาน AI ระดับต่ำ การปรับปรุงการฝึกอบรม และการออกแบบเครื่องมือที่ทำให้การพัฒนาแบบจำลองขั้นสูงสามารถเข้าถึงได้โดยไม่ต้องมีน้ำหนักการวิศวกรรมที่หนักหน่วง เขามุ่งเน้นในการสร้างระบบที่ผลักดันขอบเขตของความเร็ว ความสามารถในการพกพา และความน่าเชื่อถือทั่วฮาร์ดแวร์ที่หลากหลาย

SF Tensor เป็นบริษัทที่เขานำมาใช้เพื่อเปลี่ยนปรัชญานั้นให้เป็นแพลตฟอร์มที่ใช้งานได้จริง มันแนะนำโมเดลการเขียนโปรแกรมแบบรวม คอมไพล์เลอร์เคอร์เนล และชั้นการจัดการคลาวด์แบบครอสที่ออกแบบมาเพื่อลบความซับซ้อนของงาน AI ที่กระจายออกไป แพลตฟอร์มนี้มีเป้าหมายที่จะให้วิศวกรสภาพแวดล้อมที่สะอาดและไม่ขึ้นอยู่กับฮาร์ดแวร์ โดยที่พวกเขาสามารถเขียนโค้ดเพียงครั้งเดียวและติดตั้งได้ทุกที่ และสามารถบรรลุประสิทธิภาพสูงได้อย่างอัตโนมัติ ภารกิจของ SF Tensor คือการทำให้การคำนวณ AI เร็วขึ้น ง่ายขึ้น และไม่ต้องมีการล็อกอินของซัพพลายเออร์

คุณก่อตั้ง SF Tensor เมื่ออายุเพียง 19 ปี หลังจากที่คุณเคยเป็นผู้นำด้านวิศวกรรมในหลายๆ สตาร์ทอัพ คุณได้รับแรงบันดาลใจจากอะไรในการรับมือกับความท้าทายในการปฏิวัติโครงสร้างพื้นฐาน AI ในช่วงต้นอาชีพของคุณ?

ปัญหาที่เรากำลังแก้ไขคือปัญหาที่ฉันรู้สึก深刻 เนื่องจากเป็นปัญหาที่ฉันพบเองเมื่อเราได้พัฒนาเทคโนโลยีหลักของ SF Tensor เราไม่ได้ทำงานในโครงการเชิงพาณิชย์ แต่เป็นโครงการทางวิชาการ เราได้รับทุนให้ทำการวิจัยที่น่าสนใจ แต่ส่วนใหญ่ของเวลาของเราไปกับการจัดการโครงสร้างพื้นฐานและปรับแต่ง แทนที่จะทำวิจัย เราพบว่าคนส่วนใหญ่สนใจเทคโนโลยีโครงสร้างพื้นฐานของเรา มากกว่าโครงการวิจัยของเรา

SF Tensor กำลังแก้ไขปัญหาหนึ่งในที่ยากที่สุดใน AI — การหลุดพ้นจากความโดดเด่นของ CUDA ของ NVIDIA คุณเข้าใกล้การออกแบบระบบที่สามารถบรรลุความสามารถในการพกพาแบบฮาร์ดแวร์ได้อย่างไรโดยไม่กระทบต่อประสิทธิภาพ

สุดท้ายแล้ว AI ทั้งหมดลดลงเหลือเพียงคณิตศาสตร์เท่านั้น ทุกแบบจำลองเป็นเพียงชุดของการดำเนินการทางคณิตศาสตร์ที่เราต้องคำนวณผลลัพธ์ โดยการรักษามันเป็นปัญหาทางคณิตศาสตร์มากกว่าปัญหาวิทยาการคอมพิวเตอร์ เราสามารถระบุชุดข้อจำกัดที่เล็กที่สุดในการคำนวณ แล้วสร้างวิธีการคำนวณหลายล้านถึงหลายพันล้านวิธีเพื่อแปลงการคำนวณเหล่านั้นเป็นโค้ดเครื่อง แล้วหาวิธีที่เร็วที่สุด ซึ่งง่ายกว่าที่จะพูด แต่เราทำไม่ได้จริงๆ ที่จะรันโปรแกรมหลายพันล้านโปรแกรมเพื่อหาวิธีที่เร็วที่สุด ดังนั้นเพื่อลดพื้นที่การค้นหา เราจึงต้องสร้างแบบจำลองทางคณิตศาสตร์ที่แม่นยำเพื่อประมาณความเร็วของโปรแกรมที่กำหนดสำหรับฮาร์ดแวร์ที่กำหนด ซึ่งเป็นหนึ่งในนวัตกรรมหลักที่ทำให้เราทำงานได้ในปัจจุบัน

บล็อกของบริษัทเน้นถึงนวัตกรรมรอบๆ การปรับแต่งคอมไพล์เลอร์และการจัดการคลาวด์แบบครอส คุณสามารถอธิบายได้อย่างไรว่า SF Tensor แตกต่างจากเฟรมเวิร์กที่มีอยู่แล้ว เช่น PyTorch หรือ JAX?

เรายังไม่ได้เขียนบล็อกทางเทคนิคเกี่ยวกับเรื่องนี้ แต่เราสนับสนุนเฟรมเวิร์ก เช่น PyTorch และ JAX โดยทำให้โค้ดที่เขียนในเฟรมเวิร์คนั้นสามารถได้รับการปรับแต่งโดยสแต็คของเรา มีการตัดสินใจด้านสถาปัตยกรรมหลายอย่างที่ JAX และ PyTorch ตัดสินใจที่แตกต่างจากสแต็คของเรา แต่สิ่งที่สำคัญที่สุดคือเรารักษาแบบจำลองทั้งหมดเป็นการคำนวณเพียงอย่างเดียวที่จะแก้ไข แทนที่จะเป็นโมดูลที่ต้องได้รับการปรับแต่งแยกกันและร่วมกัน เพื่อความสุดขั้ว เราไม่ได้ใช้เทคนิคการปรับแต่งคอมไพล์เลอร์แบบดั้งเดิมและพยายามใช้การปรับแต่งแต่ละรายการ แต่เราแทนการสร้างพื้นที่การค้นหาของโค้ดเครื่องหลายล้านถึงหลายพันล้านรายการ และอ้างว่าไม่มีมนุษย์ที่สามารถคิดกฎที่จะเปลี่ยนโค้ดที่กำหนดให้เป็นโค้ดที่เร็วที่สุดได้ ดังนั้นเราจึงต้องสร้างโค้ดทุกแบบและระบุโค้ดที่เร็วที่สุด

หลายๆ สตาร์ทอัพมุ่งเน้นไปที่การฝึกอบรมที่มีประสิทธิภาพ แต่คุณเน้นถึง “ภาษีโครงสร้างพื้นฐาน” — เวลาที่นักวิจัยสูญเสียไปกับการจัดการคอมพิวเตอร์แทนการสร้างนวัตกรรม คุณแก้ไขปัญหานี้อย่างไร?

เราคิดว่าทั้งสองปัญหา必须แก้ไข และงานส่วนใหญ่ของเรามุ่งเน้นไปที่การแก้ไขปัญหาในการฝึกอบรมที่มีประสิทธิภาพ แต่ปัญหาที่เราสามารถแก้ไขได้ในปัจจุบันโดยไม่ต้องอาศัยนวัตกรรมในอนาคตคือภาษีโครงสร้างพื้นฐาน เนื่องจากเป็นปัญหาที่เราได้แก้ไขแล้วสำหรับตัวเราเอง

คุณได้กล่าวถึงการลดค่าใช้จ่ายในการฝึกอบรมลงได้ถึง 80% การปรับแต่งหรือนวัตกรรมทางสถาปัตยกรรมใดที่ทำให้สามารถทำได้?

สแต็คซอฟต์แวร์ทั้งหมดของเราตั้งอยู่บนแนวคิดที่ว่าคอมไพล์เลอร์แบบค้นหาจะต้องชนะกฎที่สร้างโดยมนุษย์ จนถึงตอนนี้ ข้อจำกัดที่ใหญ่ที่สุดของคอมไพล์เลอร์เหล่านี้คือความจริงที่ว่าไม่สามารถทดสอบและจัดอันดับโค้ดเครื่องหลายล้านหรือหลายพันล้านรายการได้ ดังนั้นจึงจำเป็นต้องสร้างแบบจำลองทางคณิตศาสตร์ของการคำนวณที่สามารถประมาณเวลาที่การคำนวณหรือชุดการคำนวณจะใช้บนฮาร์ดแวร์ที่กำหนดได้อย่างแม่นยำ โดยการทำเช่นนี้ เราสามารถขยายพื้นที่การค้นหาและตัดมันให้เล็กลง ซึ่งเป็นสิ่งจำเป็นหากคุณต้องการหาคอเดอร์ที่เร็วที่สุดอย่างต่อเนื่อง

ประสบการณ์ของคุณในการสร้างภาษาโปรแกรมมิ่ง Emma มีอิทธิพลต่อสถาปัตยกรรมและปรัชญาของ SF Tensor ในด้านประสิทธิภาพและความเป็นนามธรรมอย่างไร?

อย่าบอกนักลงทุนของฉัน แต่ในใจฉันยังคงเป็นวิศวกรคอมไพล์เลอร์ ฉันสนใจอย่างมากในการค้นหาวิธีการทำให้บางสิ่งเร็วขึ้น ในการสร้าง Emma เราได้โยนคอมไพล์เลอร์ทั้งหมดออกไป 4 หรือ 5 ครั้ง เราเริ่มต้นจากศูนย์ใหม่ๆ ทุกครั้ง เนื่องจากเราได้พบกับการปรับแต่งที่เราไม่สามารถทำได้โดยมีข้อจำกัดปัจจุบัน ซึ่งบังคับให้เราเปลี่ยนระบบให้เหมาะสมยิ่งขึ้น และยังคงอนุญาตให้เราเข้าถึงระดับการปรับแต่งที่ต่ำที่สุดเมื่อจำเป็น ซึ่งมักจะขัดแย้งกับหลักการออกแบบคอมไพล์เลอร์และภาษาทั่วไป การเรียนรู้และสถาปัตยกรรมที่ได้รับจากการทดลองเหล่านั้นรวมกันเป็นเวลาเกือบสองปีของการปรับแต่งที่ดูเหมือนจะไม่สำคัญ ซึ่งรวมกันเป็นระบบที่ช่วยให้เราสามารถสร้างและปรับแต่งได้เร็วขึ้นและดีขึ้นกว่าระบบอื่นๆ ที่ตามหลักการออกแบบทั่วไป

คุณได้ทำงานกับการฝึกอบรมขนาดใหญ่บน GPU มากกว่า 4,000 เครื่อง คุณได้เรียนรู้อะไรจากการจัดการคอมพิวเตอร์ขนาดนั้น?

เรื่องใหญ่ๆ คือความล้มเหลวของฮาร์ดแวร์เป็นเรื่องที่เกิดขึ้นบ่อยและเป็นปัญหามากกว่าที่คิด เมื่อทำงานกับโปรแกรมแบบดั้งเดิมและคอมไพล์เลอร์ โดยทั่วไปแล้วคอมพิวเตอร์จะทำตามที่ได้รับคำสั่ง และหากเกิดปัญหา มักจะเป็นความผิดของคนเขียนโค้ด แต่สำหรับ GPU ความล้มเหลวของฮาร์ดแวร์เป็นเรื่องปกติ โดยเฉพาะอย่างยิ่งในการฝึกอบรมแบบกระจายบนคลัสเตอร์ขนาดใหญ่ การทำงานร่วมกันคือความจริงที่ว่าไม่เหมือนกับ CPU ที่ทำงานในลักษณะที่คาดการณ์ได้และสามารถคาดเดาได้ GPU อาจทำสิ่งที่ไม่คาดคิด เช่น ลดความเร็วของคล็อกโดยไม่มีเหตุผลที่ชัดเจน ทำให้กระบวนการฝึกอบรมช้าลงเนื่องจากชิปเพียงตัวเดียวทำงานช้าลง

Y Combinator ได้สนับสนุนบริษัทโครงสร้างพื้นฐานที่เปลี่ยนแปลงเทคโนโลยีมากมาย คุณได้รับประสบการณ์อย่างไรจากการที่ได้รับการสนับสนุนจาก Y Combinator และมันเปลี่ยนแปลงแนวทางของคุณในการขยายผลิตภัณฑ์และวิสัยทัศน์ของ SF Tensor อย่างไร?

เมื่อเข้าไปใน Y Combinator ฉันคิดว่าการเดิมพันที่เราต้องการทำในตอนนั้นเป็นไปอย่างทะเยอทะยาน หลังจากเพียงไม่กี่สัปดาห์ ความทะเยอทะยานของเราก็เปลี่ยนไปแล้ว และเราก็เพิ่มการเดิมพันให้ใหญ่ขึ้น อีกอย่างหนึ่งคือความรู้สึกของชุมชนและการเรียนรู้ที่ฉันสามารถรับโทรศัพท์หรือส่งอีเมลไปยังบริษัทหรือบุคคลใดๆ ได้และรับคำตอบและคำแนะนำภายในไม่กี่ชั่วโมงหรือวัน ซึ่งเปลี่ยนแปลงวิธีที่เราคิดเกี่ยวกับการแก้ปัญหาและยอมรับแนวทางที่เป็นความร่วมมือมากขึ้น

เมื่อมองไปข้างหน้า คุณได้แสดงความสนใจในโมเดลที่ไม่ใช่ LLM โรบอติกส์ และข้อมูลสังเคราะห์ พวกมันเข้ากันได้กับวิสัยทัศน์ระยะยาวของบริษัทของคุณอย่างไร?

โมเดล LLM เป็นเทคโนโลยีที่น่าสนใจและจะมีบทบาทสำคัญในอนาคต แต่เหตุผลที่พวกมันพัฒนาได้มากกว่าพื้นที่ AI อื่นๆ คือมีการลงทุนมากในพื้นที่นี้ และมีคนจำนวนมากที่ทำงานร่วมกันเพื่อแก้ปัญหา หากเราสามารถลดรั้วเข้าถึงและทำให้นักวิจัยทั่วประเทศและโลกสามารถทำการวิจัยได้อย่างถูกและง่ายดาย เราคิดว่าเราจะเห็นรุ่นใหม่ของโมเดลที่จะแก้ปัญหาที่ LLM ไม่เหมาะสม เช่น ปัญหาที่ต้องโต้ตอบกับโลกแห่งความเป็นจริงหรือปัญหาที่ไม่สามารถแสดงออกมาเป็นภาษาได้อย่างเหมาะสม

คุณคิดว่าโครงสร้างพื้นฐาน AI จะมีลักษณะอย่างไรในอีก 5 ปี และคุณเห็นบทบาทของ SF Tensor ในโครงสร้างพื้นฐานนั้นอย่างไร?

ในอีก 5 ปี ฉันหวังว่าบริษัทอื่นๆ จะพัฒนาและเปิดตัวชิปที่ออกแบบมาโดยเฉพาะ และนักวิจัยจะสามารถใช้และใช้งานชิปเหล่านั้นได้โดยไม่ต้องเขียนโค้ดโดยเฉพาะสำหรับพวกมัน โดยไม่ต้องรู้ว่าพวกมันอยู่ที่นั่น นั่นคืออนาคตที่เรากำลังทำงานและฉันเชื่อว่าเราจะมีบทบาทสำคัญในการกำหนดรูปแบบอนาคต

ขอขอบคุณสำหรับการสัมภาษณ์ที่ดี ผู้อ่านสามารถเยี่ยมชม SF Tensor เพื่อเรียนรู้เพิ่มเติม