คอรีย์ แซนเดอร์ส, รองประธานอาวุโสฝ่ายผลิตภัณฑ์ที่ CoreWeave – ซีรีส์สัมภาษณ์

คอรีย์ แซนเดอร์ส, รองประธานอาวุโสฝ่ายผลิตภัณฑ์ที่ CoreWeave (CRWV ), เป็นผู้นำด้านกลยุทธ์และการดำเนินงานผลิตภัณฑ์สำหรับหนึ่งในแพลตฟอร์มคลาวด์ที่มุ่งเน้น AI ที่เติบโตเร็วที่สุดในโลก เขารับผิดชอบในการขยายนวัตกรรม การสร้างโซลูชันที่มีจุดมุ่งหมายเฉพาะสำหรับลูกค้า และเสริมสร้างตำแหน่งของ CoreWeave ในตลาดโครงสร้างพื้นฐาน AI ก่อนที่จะเข้าร่วม CoreWeave คอรีย์ แซนเดอร์สใช้เวลา 20 ปีที่ Microsoft (MSFT ) ในบทบาทผู้นำอาวุโสที่ครอบคลุมการวิศวกรรมคลาวด์ แพลตฟอร์มอุตสาหกรรมเฉพาะ การวางกลยุทธ์โซลูชันเชิงพาณิชย์ และการเป็นพันธมิตรกับองค์กรขนาดใหญ่ โดยมีประสบการณ์ในการเชื่อมโยงระหว่างการดำเนินการทางเทคนิคและกลยุทธ์การตลาด

CoreWeave เป็นผู้ให้บริการคลาวด์ที่มุ่งเน้น AI โดยเฉพาะ ซึ่งถูกสร้างขึ้นสำหรับการประมวลผลประสิทธิภาพสูงและการทำงาน AI ระดับใหญ่ บริษัทดำเนินการศูนย์ข้อมูลที่ขยายตัวอย่างรวดเร็วทั่วสหรัฐอเมริกาและยุโรป โดยให้บริการโครงสร้างพื้นฐานและซอฟต์แวร์ที่ได้รับการออกแบบมาเพื่อการฝึกอบรม AI การอนุมาน และการใช้งานคอมพิวเตอร์ขั้นสูง โดยการเน้นไปที่สถาปัตยกรรมที่มีจุดมุ่งหมายเฉพาะมากกว่าคลาวด์ทั่วไป CoreWeave ได้กลายเป็นพันธมิตรโครงสร้างพื้นฐานที่สำคัญสำหรับห้องปฏิบัติการ AI และองค์กรที่ต้องการประสิทธิภาพ ความสามารถในการปรับขนาด และความมีประสิทธิภาพในระดับใหญ่

คุณใช้เวลามากกว่า 20 ปีที่ Microsoft โดยทำงานในหลายบทบาทที่ครอบคลุมการวิศวกรรม Windows กลยุทธ์การขายคลาวด์ และ Microsoft Cloud สำหรับอุตสาหกรรม คุณได้เรียนรู้อะไรเกี่ยวกับสิ่งที่ขับเคลื่อนการนำเอา AI ไปใช้ในองค์กร และคุณกำลังนำความรู้เหล่านั้นไปใช้ที่ CoreWeave อย่างไร?

การนำเอา AI ไปใช้ในองค์กรเริ่มต้นด้วยการแก้ปัญหาเฉพาะของลูกค้า การนวัตกรรมเพื่อการนวัตกรรมเท่านั้นไม่สำคัญสำหรับองค์กร มันคือการพยายามเข้าใจสิ่งที่ทำให้ลูกค้าปวดหัว ไม่ว่าจะเป็นต้นทุนการสนับสนุน ความซับซ้อนในการดำเนินงาน การเชื่อมต่อกับลูกค้า หรือการจัดการทีมและผลิตภัณฑ์ใหม่ๆ และจากนั้นจึงให้บริการที่ช่วยเหลือพวกเขา พวกเขามักเต็มใจที่จะใช้วิธีการใหม่ๆ แต่สิ่งที่สำคัญที่สุดคือการช่วยให้พวกเขาแก้ปัญหาได้ ความผิดพลาดที่พบบ่อยที่สุดที่ฉันเห็นในการออกแบบผลิตภัณฑ์คือการมุ่งเน้นไปที่ความ “เท่” ของผลิตภัณฑ์มากเกินไป ในขณะที่สิ่งนี้มีน้ำหนักในพื้นที่ผู้บริโภค ลูกค้าองค์กรดูแลเกี่ยวกับการใช้งานมากกว่าความเท่

CoreWeave มักถูกอธิบายว่าเป็นโครงสร้างพื้นฐาน AI ที่มีจุดมุ่งหมายเฉพาะ ในแง่ของผลิตภัณฑ์ สิ่งนี้หมายถึงอะไร และแพลตฟอร์มคลาวด์ทั่วไปมีปัญหาในการจัดการกับงาน AI อย่างไร?

ข้อได้เปรียบหลักของการมีจุดมุ่งหมายเฉพาะคือความสามารถในการมุ่งเน้นและให้บริการโดยไม่ต้องแก้ปัญหากรณีการใช้งานทั่วไป ฉันจะให้ตัวอย่างสองตัวอย่าง หนึ่งในด้านซอฟต์แวร์และอีกหนึ่งในด้านฮาร์ดแวร์

ในด้านซอฟต์แวร์ บริการ Object Storage ของเราที่มี LOTA cache มุ่งเน้นไปที่การแคชสำหรับงาน AI โดยเฉพาะ โดยติดตั้งโดยตรงบนโหนด GPU ให้ S3 endpoint สำหรับแอปพลิเคชัน และตอบสนองต่อคำขอ GPU โดยการขยายแคชข้ามโหนดหลายโหนด ซึ่งเพิ่มการรับ-ส่งข้อมูลถึง 7 GB/s ซึ่งมากกว่าที่คลาวด์ทั่วไปสามารถทำได้ เราสามารถทำได้เพราะเราได้ทำการ假设การออกแบบรอบๆ งาน AI โดยเฉพาะ เช่น การแบ่งส่วนการอ่าน/เขียน และการวางผังคลัสเตอร์ หากลูกค้าใช้สิ่งนี้สำหรับการโฮสต์ฐานข้อมูลหรือเว็บไซต์ขายของออนไลน์ มันจะไม่มีผลกระทบเท่ากัน นี่คือคำจำกัดความของซอฟต์แวร์ที่มีจุดมุ่งหมายเฉพาะ

ตัวอย่างฮาร์ดแวร์ก็คล้ายกัน โดยการวางระบบ NVIDIA (NVDA ) ล่าสุดจำนวนมาก ซึ่งหลายตัวต้องการการทำความเย็นแบบของเหลว CoreWeave ได้สร้างความเชี่ยวชาญและออกแบบศูนย์ข้อมูลเพื่อรองรับความต้องการเหล่านี้ ไม่เหมือนกับคลาวด์ขนาดใหญ่ที่สร้างสำหรับการใช้งานทั่วไปแล้วต้องเพิ่มการทำความเย็นแบบของเหลวในภายหลัง CoreWeave สร้างศูนย์ข้อมูลที่มุ่งเน้นไปที่ AI ตั้งแต่แรก ซึ่งนำไปสู่ต้นทุนที่ลดลงและความพร้อมใช้งานที่สูงขึ้นสำหรับ SKU ล่าสุด

ด้านล่างเป็นรูปภาพของ LOTA cache ที่กล่าวถึง

เมื่อลูกค้าเริ่มคิดเกี่ยวกับการขยายขนาด AI หลายคนเชื่อว่าพวกเขาต้องการเพียงการเข้าถึง GPU เท่านั้น สิ่งที่พวกเขาตระหนักว่าขาดเมื่อพวกเขาเริ่มฝึกอบรมหรือให้บริการแบบจำลองในระดับใหญ่คืออะไร?

เมื่อพิจารณาความซับซ้อนของการทำงานบนคลัสเตอร์ GPU ใหญ่ๆ บริการที่อยู่รอบๆ จะกลายเป็นตัวขับเคลื่อนความสำเร็จที่แท้จริง ซึ่งรวมถึงสิ่งที่ชัดเจน เช่น การจัดเก็บข้อมูลและเครือข่าย แต่ยังรวมถึงบริการด้านการดำเนินงานที่สำคัญ เช่น การสังเกตการณ์ การจัดการ และความปลอดภัย นี่คือที่ที่ CoreWeave โดดเด่นด้วยบริการ Mission Control ของเรา โดยให้ลูกค้ามีความเข้าใจที่ลึกซึ้งเกี่ยวกับสุขภาพของโหนดและการทำงานในระดับฟลีต โดยการรวมความรู้นี้เข้ากับเครื่องยนต์ในการจัดการ ทำให้ลูกค้าสามารถรักษาโครงสร้างพื้นฐานของตนไม่เพียงแต่โหนด GPU แต่ละตัว แต่เป็นหน่วยงานที่สอดคล้องกัน

คุณมีจุดมุ่งเน้นผลิตภัณฑ์หลักๆ อยู่ที่ไหนเพื่อปรับปรุงผลลัพธ์ของลูกค้า ไม่ว่าจะเป็นด้านประสิทธิภาพ ความน่าเชื่อถือ การคาดการณ์ต้นทุน หรือประสบการณ์ของนักพัฒนา?

ในแพลตฟอร์มหลัก เรามุ่งเน้นไปที่ประสิทธิภาพ ความน่าเชื่อถือ และความสามารถในการสังเกตการณ์อย่างต่อเนื่อง เราต้องแน่ใจว่าลูกค้าสามารถรันงานในลักษณะที่ซ้ำซากและคาดการณ์ได้ ในขณะเดียวกันก็ใช้ประโยชน์จากทุกๆ TFLOP ใน GPU ทุกตัว นอกเหนือจากนั้น เรากำลังทำงานเพื่อทำให้กระบวนการเริ่มต้นสำหรับลูกค้าที่อาจไม่คุ้นเคยกับทุกๆ ฟีเจอร์ของเครื่องมืออย่าง SLURM (ซึ่งทุกคนใช้ แต่เกือบทุกคนไม่ชอบ) สุดท้าย เรากำลังพัฒนาบริการและแบบจำลองการเรียกเก็บเงินเพิ่มเติมเพื่อให้การนวัตกรรมและเริ่มต้นง่ายขึ้น ในขณะนี้ การทดลองเป็นเรื่องที่ยากเนื่องจากมีภาระเข้าใช้บริการสูง เช่น ข้อจำกัดด้านความจุ การมอบหมายสามปี และความจำเป็นในการมีผู้เชี่ยวชาญเฉพาะทางเพียงเพื่อเริ่มต้น เราต้องการนำความง่ายในการนวัตกรรมกลับมาสู่แพลตฟอร์ม AI

เมื่องาน AI มากขึ้นเปลี่ยนจากฝึกอบรมไปสู่การอนุมาน การเปลี่ยนแปลงนี้ส่งผลกระทบต่อการออกแบบโครงสร้างพื้นฐานและตัวเลือนทางด้านผลิตภัณฑ์อย่างไร?

สิ่งนี้สร้างโอกาสที่จะนำความแตกต่างที่มีอยู่ของ CoreWeave ไปใช้กับความต้องการด้านการอนุมาน ตัวอย่างเช่น LOTA cache ที่ฉันกล่าวถึงมุ่งเน้นไปที่การให้อาหาร GPU ในระหว่างการฝึกอบรม แต่เราสามารถนำเทคโนโลยีนี้ไปรวมกับสิ่งอื่นๆ เช่น KVCache และเปลี่ยนเป็นตัวเลือกการอนุมานที่มีประสิทธิภาพ ในทำนองเดียวกัน เครื่องมืออย่าง Mission Control จะมีความสำคัญมากขึ้นสำหรับการอนุมาน เนื่องจากการสังเกตสุขภาพของ GPU เป็นสิ่งสำคัญสำหรับการรันแอปพลิเคชันที่มีประสิทธิภาพสูง

ในอีกหนึ่งถึงสองปีข้างหน้า สิ่งใดจะกำหนดความเป็นผู้นำในตลาดคลาวด์ AI และความสามารถใดที่จะมีความสำคัญต่อลูกค้ามากที่สุด?

ฉันคิดว่าความเป็นผู้นำจะถูกกำหนดโดยสองสิ่ง ประการแรกคือการให้ขนาดที่เพิ่มขึ้นสำหรับการฝึกอบรม ซึ่งต้องการความก้าวหน้าในด้านการสังเกตการณ์ การติดตามสุขภาพ และการกู้คืนอัตโนมัติ เมื่อเราเคลื่อนจากหลายร้อยไปสู่หลายหมื่น GPU ที่กระจายไปทั่วโลก การตอบสนองด้วยมือเป็นเรื่องที่ไม่สามารถทำได้

ประการที่สองคือการให้บริการที่เหมาะสมสำหรับการอนุมานและการทำงานแบบ agentic ซึ่งต้องการความสามารถในการใช้งานทั่วโลกและแบบจำลองธุรกิจที่ส่งเสริมการทดลอง รูปแบบการใช้งานนี้ช่วยให้คลาวด์เติบโตในตอนแรก และมันถูกสูญเสียไปบ้างในยุค AI เราต้องนำมันกลับมาด้วยการสนับสนุนแพลตฟอร์มที่ดีขึ้น ความสามารถหลายคลาวด์ และความง่ายในการใช้งานหลายภูมิภาค

คุณเคยเป็นผู้นำโครงการคลาวด์เฉพาะอุตสาหกรรมที่ครอบคลุมสุขภาพ การค้าปลีก บริการทางการเงิน การผลิต และคลาวด์แห่งอธิปไตย บทเรียนใดจากอุตสาหกรรมเหล่านั้นที่สามารถนำมาใช้กับโครงสร้างพื้นฐาน AI ได้ และสิ่งใดที่ไม่สามารถใช้ได้?

การเปลี่ยนแปลงรุ่นใหม่ของ GPU ยังคงนำความซับซ้อนใหม่ๆ มาให้ เราต้องยังคงทำงานอย่างไม่หยุดยั้งเพื่อรักษาตำแหน่งผู้นำของเรา ในทางกลับกัน สิ่งที่ดีขึ้นอย่างรวดเร็วที่สุดคือขนาดที่ลูกค้าสามารถบรรลุได้ ความเร็วในการปรับขนาดให้เข้ากับขนาดคอมพิวเตอร์ที่ใหญ่ขึ้นนั้นเป็นที่น่าประทับใจ

เมื่อศูนย์ข้อมูลและคลัสเตอร์ AI ยังคงขยายขนาดขึ้น อุปสรรคการดำเนินการที่ยากที่สุดในการแก้ไขในปัจจุบันคืออะไร และสิ่งใดที่ดีขึ้นอย่างรวดเร็วที่สุด?

การเปลี่ยนแปลงรุ่นใหม่ของ GPU ยังคงนำความซับซ้อนใหม่ๆ มาให้ เราต้องยังคงเน้นการทำงานนี้เพื่อรักษาตำแหน่งผู้นำของเรา สิ่งที่ดีขึ้นอย่างรวดเร็วที่สุดคือสิ่งที่ลูกค้าสามารถทำได้ด้วยขนาดคอมพิวเตอร์ที่เพิ่มขึ้น

ในโครงสร้างพื้นฐาน AI ความน่าเชื่อถือไปไกลกว่าความพร้อมใช้งานเท่านั้น CoreWeave นิยามความน่าเชื่อถืออย่างไร และตัวชี้วัดใดที่สะท้อนถึงความสำเร็จจากมุมมองของลูกค้า?

ในระดับใหญ่สุด สิ่งที่ลูกค้าให้ความสำคัญมากที่สุดคือการทำงานให้เสร็จสิ้น ในการดำเนินการที่ใหญ่โต การล้มเหลวหรือความชะลอเป็นสิ่งที่คาดหวังได้ สิ่งสำคัญคือวิธีที่เราสามารถตรวจจับและตอบสนองต่อปัญหาเหล่านั้นโดยอัตโนมัติเพื่อให้งานเสร็จสิ้นได้ นี่คือเหตุผลที่เรารวม Mission Control เข้ากับบริการระดับสูง เช่น SUNK (Slurm on Kubernetes) ทำให้ลูกค้าสามารถตอบสนองต่อการล้มเหลวโดยอัตโนมัติได้โดยไม่สูญเสียเวลาหรืองานหลายสัปดาห์ สำหรับเรา ความสำเร็จไม่ใช่แค่การพร้อมใช้งานของโหนด แต่เป็นความสำเร็จของงาน

เมื่อมองไปข้างหน้า คุณเชื่อว่ามีการเปลี่ยนแปลงครั้งใหญ่ใดในโครงสร้างพื้นฐาน AI ที่ยังไม่ได้รับการยอมรับมากนัก ไม่ว่าจะเกี่ยวข้องกับการพัฒนาฮาร์ดแวร์ การเชี่ยวชาญของสแต็ค ความต้องการด้านอธิปไตย หรือรูปแบบการนำไปใช้ใหม่ๆ?

ฉันเชื่อว่าการมาถึงของการเรียนรู้แบบเสริมกำลัง (Reinforcement Learning – RL) เป็นส่วนหนึ่งของสแต็ค AI ที่ยังไม่ได้รับการยอมรับมากนัก แม้ว่าจะไม่ใช่สาขาการศึกษาที่ใหม่ แต่ก็ถูกบดบังไปในช่วงแรกของการพัฒนา LLM RL กำลังจะกลับมามีบทบาทสำคัญในการทำให้บริการ AI ตอบสนองต่อการเปลี่ยนแปลงของลูกค้าได้ดีขึ้น ด้วยเหตุนี้ เราจึงตื่นเต้นมากเกี่ยวกับการนำเสนอ RL แบบไม่มีเซิร์ฟเวอร์ที่เรามีในวันนี้

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านสามารถเรียนรู้เพิ่มเติมได้ที่ CoreWeave