สัมภาษณ์
คริสเตียน สตาโน, Field CTO ของ Anyscale — ชุดบทสัมภาษณ์
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญUnified compute layers like Ray eliminate the operational overhead of stitching…
ดูเพิ่มเติม
- Unified compute layers like Ray eliminate the operational overhead of stitching fragmented AI tools together.
- Most production AI failures stem from memory issues and edge cases, not the model itself.
- Developer experience is the highest-leverage investment for accelerating enterprise AI adoption.
คริสเตียน สตาโน เป็น Field CTO ของ Anyscale และสร้างอาชีพในด้านโครงสร้างพื้นฐาน AI ขนาดใหญ่ แพลตฟอร์มแมชชีนเลิร์นนิง และการประมวลผลแบบกระจาย ก่อนเข้าร่วม Anyscale เขานำหน่วยงานแพลตฟอร์ม AI/ML ของ Attentive โดยขยายโครงสร้างพื้นฐานที่รองรับบริการเฉพาะบุคคลสำหรับสมาชิกมากกว่าครึ่งพันล้านคน และช่วยผลักดันการใช้ระบบประมวลผลแบบเป็นหนึ่งเดียวบน Ray ซึ่งเพิ่มความเร็วในการพัฒนาและลดต้นทุนดำเนินงาน ก่อนหน้านั้นเขาทำงานด้านความปลอดภัยไซเบอร์ สถาปัตยกรรมคลาวด์ และโครงการ AI ภาครัฐกับองค์กรต่าง ๆ รวมถึง Coalfire และ Deloitte และมีส่วนร่วมกับหนึ่งในแพลตฟอร์มแมชชีนเลิร์นนิงรุ่นแรกของกระทรวงกลาโหมสหรัฐฯ ประสบการณ์ของเขาครอบคลุมวิศวกรรมแพลตฟอร์ม AI, MLOps, โครงสร้างพื้นฐานที่ออกแบบสำหรับคลาวด์ การสนับสนุนนักพัฒนา และการขยายองค์กร จึงมีประสบการณ์ลึกซึ้งในการช่วยธุรกิจนำ AI ไปใช้งานจริงในระดับใหญ่
Anyscale เป็นบริษัทเบื้องหลัง Ray ซึ่งเป็นเฟรมเวิร์กประมวลผลแบบกระจายที่เปิดซอร์สโค้ดและใช้กันอย่างแพร่หลายเพื่อขยายงาน AI และ Python บนคลัสเตอร์ CPU และ GPU บริษัทก่อตั้งโดยผู้สร้าง Ray ดั้งเดิมจาก RISELab ของ UC Berkeley โดยมุ่งทำให้การติดตั้ง การประสานการทำงาน และการจัดการโครงสร้างพื้นฐาน AI ขนาดใหญ่ง่ายขึ้น สำหรับการฝึกโมเดล การอนุมาน การประมวลผลข้อมูล และงานของเอเจนต์ AI แพลตฟอร์มช่วยให้องค์กรรันระบบ AI แบบกระจายในคลาวด์และภายในองค์กร พร้อมความสามารถในการสังเกตสถานะระบบ การกำกับดูแล และการปรับประสิทธิภาพสำหรับแอปพลิเคชัน AI สมัยใหม่ Ray กลายเป็นชั้นสำคัญของโครงสร้างพื้นฐาน AI ที่กำลังก่อตัวขึ้น ช่วยให้นักพัฒนาขยายงานจากเครื่องเดียวเป็นหลายพันโหนดโดยเปลี่ยนโค้ด Python เดิมเพียงเล็กน้อย
คุณทำงานทั้งด้านความปลอดภัยไซเบอร์ แพลตฟอร์มแมชชีนเลิร์นนิงภาครัฐ และระบบบริการเฉพาะบุคคลขนาดมหาศาล คุณพบรูปแบบใดซ้ำ ๆ เมื่อองค์กรพยายามเปลี่ยนจากโครงการนำร่อง AI ไปสู่การใช้งานจริง?
มีสามรูปแบบที่เกิดซ้ำในทุกอุตสาหกรรม ประการแรก ทีมไม่มีเส้นทางที่เชื่อถือได้และเตรียมไว้ชัดเจนจากการพัฒนาไปสู่การใช้งานจริง พวกเขาสร้างโมเดลในสภาพแวดล้อม notebook ได้ แต่ไม่มีวิธีมาตรฐานที่จะนำไปทำงานในระบบจริง ทุกครั้งที่ติดตั้งต้องจัดทำวิธีเฉพาะ และทุกความล้มเหลวเป็นเรื่องไม่คาดคิด ประการที่สอง โครงสร้างพื้นฐานขยายตามความต้องการไม่ได้ ระบบที่ใช้ได้ในโครงการนำร่องล่มเมื่อเจอข้อมูลหรือทราฟฟิกในปริมาณจริง ประการที่สาม ทีมทำงานโดยไม่มีภาพสถานการณ์ชัดเจน ขาดความสามารถในการสังเกตระบบเพื่อรู้ว่าระบบทำงานจริงอย่างไร จุดใดใกล้ล้มเหลว และควรเข้าไปจัดการเมื่อใด
ทั้งสามมีปัญหารากเดียวกัน คือทีมยังไม่เข้าใจดีพอว่าจะขยายระบบโดยกระจายงานไปยังเครื่องจำนวนมากขึ้นอย่างไร พวกเขาพยายามแก้ทุกเรื่องพร้อมกันแทนที่จะวางลำดับอย่างตั้งใจ ผมคิดเป็นสามขั้น: ทำให้ทำงานได้ ทำให้ถูกต้องเหมาะสม แล้วทำให้เร็ว ขั้นเหล่านี้ไม่ใช่หมุดหมายที่ผ่านเพียงครั้งเดียว แต่ต้องวนซ้ำตลอดเวลา ต้องจัดลำดับความสำคัญระหว่างสิ่งที่เสียอยู่ตอนนี้กับสิ่งที่จะเสียต่อไป ทีมที่สำเร็จรู้ว่าตนอยู่ขั้นไหน และไม่ข้ามไปข้างหน้าก่อนฐานจะมั่นคง
ที่ Anyscale มีทีมเข้ามาในทุกขั้น บางทีมยังพยายามทำให้ระบบทำงานได้และต้องการเส้นทางที่เชื่อถือได้จากการพัฒนาไปใช้งานจริง บางทีมมีเส้นทางแล้วแต่จมอยู่กับความซับซ้อนในการดำเนินงาน จึงต้องปรับระบบให้เข้าที่ อีกหลายทีมสร้างสิ่งที่ทำงานได้แล้วแต่ขยายไม่ถึงขนาดที่ธุรกิจต้องการ ชั้นประมวลผลที่เป็นหนึ่งเดียวช่วยได้ทุกขั้น แต่จุดเริ่มต้นขึ้นอยู่กับปัญหาที่เร่งด่วนที่สุด
ที่ Attentive คุณช่วยขยายระบบ AI ซึ่งรองรับผู้ใช้หลายร้อยล้านคน อะไรคือคอขวดด้านสถาปัตยกรรมหรือองค์กรที่ใหญ่ที่สุดซึ่งต้องเอาชนะเพื่อถึงระดับนั้น?
คอขวดใหญ่ที่สุดคือเส้นโค้งรูปตัว S ของความซับซ้อนของโครงสร้างพื้นฐาน เมื่อโมเดลต้องรับข้อมูลมากขึ้นและให้บริการลูกค้ามากขึ้น เรามาถึงจุดเปลี่ยนด้านการประมวลผล แม้แต่โหนดที่เพิ่มขีดความสามารถแนวตั้งจนใหญ่ที่สุดก็ยังเกิดข้อผิดพลาดหน่วยความจำหมด และการเพิ่มโหนดในแนวนอนแบบง่าย ๆ ก็ไม่เพียงพอ กำลังประมวลผลตามขนาดข้อมูลไม่ทัน
ปฏิกิริยาตามธรรมชาติคือเพิ่มเครื่องมือเพื่ออ้อมข้อจำกัด นี่เป็นวิธีที่ผมคุ้นเคยจากประสบการณ์เดิม แต่ละเครื่องมือแก้ปัญหาเฉพาะจุด แต่เพิ่มความซับซ้อนในการดำเนินงาน กระบวนการ ML ของเราเสี่ยงจะกลายเป็นระบบเชื่อมต่อหลายส่วนที่ปะติดปะต่อกัน ทุกการใช้งานใหม่หมายถึงงานเชื่อมต่อเพิ่ม รูปแบบความล้มเหลวเพิ่ม ต้นทุนสูงขึ้น และภาระเพิ่มเติมของทีมแพลตฟอร์ม
สิ่งที่ทำให้เราขยายได้ในที่สุดคือการรวมการประมวลผลข้อมูล การฝึก การอนุมาน และการให้บริการโมเดลไว้บน Ray และ Anyscale ผลเกิดทันที: ต้นทุนโครงสร้างพื้นฐานลดลงอย่างมาก รอบการฝึกเร็วขึ้นชัดเจนแม้ข้อมูลเพิ่ม และสามารถขยายโมเดลให้บริการลูกค้าได้มากขึ้นหลายลำดับขนาด
อะไรทำให้คุณตัดสินใจ เข้าร่วม Anyscale ในช่วงนี้ และคุณคิดว่าบทบาท Field CTO มีส่วนกำหนดการนำ AI มาใช้ในธุรกิจอย่างไร?
ประสบการณ์นำ Anyscale มาใช้ที่ Attentive เปลี่ยนวิธีสร้างแพลตฟอร์ม ML ของผมอย่างสิ้นเชิง ก่อนหน้านั้นต้นทุนวิศวกรรมแพลตฟอร์มส่วนสำคัญอยู่ที่การเชื่อมระบบที่แยกกัน ด้วย Anyscale เราตัดภาระส่วนเกินนั้นไปได้มาก และหันมาเน้นประสบการณ์นักพัฒนา ความน่าเชื่อถือ และประสิทธิภาพ การเปลี่ยนแปลงนี้ส่งผลมากทั้งต่อผลิตภาพของทีมและผลลัพธ์ของระบบ การเข้าร่วม Anyscale เปิดโอกาสให้ผมทำงานกับปัญหานี้เต็มเวลาและช่วยองค์กรอื่นผ่านการเปลี่ยนผ่านเดียวกัน ในฐานะ Field CTO งานหลักคือแปลงบทเรียนจากการทำงานจริงให้เป็นแนวทางที่นำไปใช้ซ้ำได้ เพื่อให้ลูกค้าประยุกต์ขณะขยาย AI
หลายธุรกิจยังติดอยู่ในขั้นนำร่องของ AI คุณคิดว่าส่วนใดล้มเหลวโดยเฉพาะ เมื่อพยายามขยายการทดลองแรก ๆ ให้เป็นระบบใช้งานจริง?
เมื่อธุรกิจย้ายจากการทดลอง AI ไปใช้งานจริง ปัญหาแทบไม่เคยอยู่ที่โมเดลอย่างเดียว แต่เป็นระบบและการดำเนินงานรอบโมเดล บางทีมเจอข้อจำกัดโครงสร้างพื้นฐานตั้งแต่ต้น ทำให้ฝึกหรือให้บริการโมเดลในขนาดที่ต้องการไม่ได้ จึงต้องจำกัดจำนวนลูกค้าหรือกรณีใช้งานที่โมเดลรองรับ บ่อยกว่านั้น ปัญหาในระบบจริงมาจากกรณีพิเศษที่ไม่คาดคิดหรือข้อมูลเปลี่ยน หน่วยความจำเป็นจุดล้มเหลวที่พบบ่อยที่สุดจุดหนึ่ง เมื่อขนาด การกระจาย หรือชนิดข้อมูลเปลี่ยน งานอาจใช้หน่วยความจำจนหมดและล้มเหลว ปัญหาเหล่านี้คาดล่วงหน้ายากและฟื้นระบบอัตโนมัติได้ยากยิ่งกว่า ความล้มเหลวหลีกเลี่ยงไม่ได้ในการใช้งาน AI จริง เป้าหมายไม่ใช่หลีกเลี่ยงทั้งหมด แต่ตรวจพบและเข้าใจอย่างรวดเร็ว แล้วสร้างระบบฟื้นตัวเองที่แก้ปัญหาได้ก่อนกระทบธุรกิจ
Ray เฟรมเวิร์กประมวลผลแบบกระจายที่สร้างโดยทีมผู้ก่อตั้ง Anyscale ได้รับความนิยมเป็นฐานของงาน AI ทำไมการประมวลผลแบบกระจายจึงเป็นชั้นที่สำคัญมากในโครงสร้างพื้นฐาน AI สมัยใหม่?
การประมวลผลแบบกระจายและการจัดการภาระงานกลายเป็นข้อกำหนดพื้นฐานของกระบวนการ AI งาน AI สมัยใหม่มีลักษณะขนานและใช้ทรัพยากรมาก การฝึก การอนุมาน และการประมวลผลข้อมูลต้องประสานงานจำนวนมากระหว่าง CPU กับ GPU ซึ่งมักปรับเปลี่ยนแบบไดนามิก ในสภาพแวดล้อมปัจจุบัน การจัดการงานเหล่านี้ด้วยทรัพยากรจำกัดมีความซับซ้อนและเป็นภาระดำเนินงานมหาศาล ระบบดั้งเดิมไม่ได้ออกแบบมาสำหรับความซับซ้อนหรือขนาดนี้ Ray จึงสำคัญ เพราะทำการประสานงานเบื้องหลังโดยอัตโนมัติ ทำให้ทีมขยายงานจากเครื่องเดียวไปหลายพันโหนดได้อย่างราบรื่น นี่สะท้อนการเปลี่ยนไปสู่การประมวลผลที่ออกแบบสำหรับ AI ตั้งแต่แรก โดยสร้างโครงสร้างพื้นฐานตามลักษณะงาน AI โดยเฉพาะ แทนการดัดแปลงจากแนวคิดเก่า
เมื่อธุรกิจใช้ Ray ผ่าน Anyscale มากขึ้น คุณเห็นความต่างอะไรระหว่างองค์กรที่ใช้แนวทางเป็นหนึ่งเดียวเป็นมาตรฐาน กับองค์กรที่นำเครื่องมือแยกส่วนมาเชื่อมกัน?
ความต่างสุดท้ายอยู่ที่การมุ่งเน้นและประสิทธิภาพ ทีมที่พึ่งระบบหลายส่วนซึ่งไม่เชื่อมกันต้องใช้เวลามากกับการเชื่อมระบบ จัดการความไม่สอดคล้อง และตอบสนองต่อข้อผิดพลาดในหลายสภาพแวดล้อม นั่นเพิ่มภาระดำเนินงานและทำให้การทดลองช้า แนวทางเป็นหนึ่งเดียวทำให้ทีมมุ่งปรับปรุงระบบเดียวได้ ส่งผลให้ความน่าเชื่อถือและประสิทธิภาพดีขึ้น รวมทั้งประสบการณ์นักพัฒนาราบรื่นขึ้น การเข้าเวรรับมือเหตุขัดข้องและการดีบักก็ง่ายขึ้น เพราะรูปแบบสม่ำเสมอและเข้าใจได้ง่าย ผลไม่ใช่แค่ประสิทธิภาพทางเทคนิค แต่รวมถึงความชัดเจนในองค์กร
จากประสบการณ์สร้างแพลตฟอร์ม ML ครบวงจร ประสบการณ์นักพัฒนา (DevEx) สำคัญเพียงใดต่อการเร่งนำ AI มาใช้ในทีมต่าง ๆ?
DevEx เป็นหนึ่งในด้านที่สร้างผลได้มากที่สุดต่อการเร่งใช้ AI เมื่อทีมแพลตฟอร์มทำให้ระบบใช้ง่ายด้วยขั้นตอนมาตรฐาน เทมเพลต และการลดอุปสรรคของโครงสร้างพื้นฐาน ก็เพิ่มผลิตภาพของวิศวกรทุกคนในองค์กร เรื่องนี้สำคัญมากใน AI ที่เปลี่ยนแปลงเร็วและทีมต้องพัฒนาซ้ำอย่างรวดเร็วเพื่อแข่งขันได้ DevEx ที่ดีขึ้นทำให้ทดลองเร็วขึ้น ใช้เวลาสู่ระบบจริงสั้นลง และสุดท้ายส่งผลต่อธุรกิจมากขึ้น เครื่องมือเขียนโปรแกรมด้วย AI ช่วยขยายผลของพื้นฐาน DevEx เหล่านี้ ในหลายแง่มุม นี่เป็นวิธีเพิ่มความเร็วทั่วองค์กรที่ขยายผลได้ดีที่สุด
ความคุ้มค่าด้านต้นทุนกลายเป็นข้อกังวลสำคัญเมื่องาน AI ขยายตัว วิธีใดบ้างที่ธุรกิจมักมองข้ามในการลดต้นทุนโครงสร้างพื้นฐานโดยไม่เสียประสิทธิภาพ?
เมื่องาน AI ขยายตัว การจัดการต้นทุนยิ่งสำคัญและซับซ้อน สิ่งที่มักมองข้ามคือความไร้ประสิทธิภาพทำให้ต้นทุนพุ่งจนควบคุมไม่ได้เร็วเพียงใด โดยเฉพาะโครงสร้างพื้นฐาน GPU คลัสเตอร์ใหญ่เปิดใช้งานได้หลายพันโหนด หากไม่จัดการหรือปิดทรัพยากรอย่างเหมาะสม ต้นทุนจะสะสมรวดเร็ว เกิดการขยายทรัพยากรแบบไร้การควบคุมเฉพาะของ AI โดยการใช้กำลังประมวลผลโตเร็วกว่าที่ทีมติดตามหรือควบคุมได้ ต้องแก้ด้วยการกำกับดูแลเข้มแข็ง การมองเห็นสถานะ และระบบอัตโนมัติ เช่น การปรับขนาดอัตโนมัติ การยุติอัตโนมัติ และการจัดการทรัพยากรส่วนกลาง ในระดับใหญ่ ความคุ้มค่าต้นทุนไม่ใช่แค่เรื่องดำเนินงาน แต่เป็นพื้นฐานของการออกแบบระบบ
คุณทำงานตั้งแต่ฟีเจอร์สโตร์จนถึงระบบอนุมานเรียลไทม์ คุณคิดว่าสมดุลระหว่างงาน AI แบบแบตช์กับเรียลไทม์กำลังเปลี่ยนอย่างไร?
สมดุลนั้นไม่ได้เปลี่ยนในสาระสำคัญ ยังขึ้นอยู่กับความต้องการธุรกิจ การประมวลผลแบตช์มักประหยัดกว่าและดำเนินงานง่ายกว่า จึงเหมาะกับหลายกรณี ส่วนระบบเรียลไทม์จำเป็นเมื่อความหน่วงกระทบประสบการณ์ผู้ใช้หรือผลลัพธ์ธุรกิจโดยตรง เช่น แอปแชทหรือการตรวจจับการฉ้อโกง ทั้งสองจะอยู่ร่วมกันต่อไป องค์กรต้องสร้างแพลตฟอร์มที่รองรับแต่ละแบบอย่างมีประสิทธิภาพ การตัดสินใจสุดท้ายอยู่ที่การชั่งน้ำหนักต้นทุน ความหน่วง และความน่าเชื่อถือ
อีก 2–3 ปี แพลตฟอร์ม AI ขององค์กรที่เติบโตเต็มที่จะมีหน้าตาอย่างไร และเครื่องมืออย่าง Ray กับแพลตฟอร์มอย่าง Anyscale จะอยู่ตรงไหนในอนาคตนั้น?
ในอีกไม่กี่ปี แพลตฟอร์ม AI ขององค์กรที่เติบโตเต็มที่จะมีลักษณะสำคัญหลายอย่าง จะใช้โครงสร้างพื้นฐานเป็นหนึ่งเดียวที่รองรับทั้งวงจร AI ตั้งแต่ข้อมูล การฝึก จนถึงการอนุมาน แทนกลุ่มเครื่องมือที่แยกกัน จะมีการดำเนินงานต่อเนื่องหลังติดตั้งที่เข้มแข็ง พร้อมความสามารถสังเกตระบบที่เอเจนต์ทำให้อัตโนมัติ ความน่าเชื่อถือ และการดีบักรวดเร็ว การจัดการต้นทุนจะคาดการณ์ได้และอยู่ภายใต้การควบคุม ทำให้องค์กรขยายอย่างยั่งยืน และอาจสำคัญที่สุดคือช่วยให้พัฒนาได้เร็ว ทำให้ทีมเปลี่ยนจากแนวคิดไปใช้งานจริงได้สะดวกและรวดเร็ว Ray และ Anyscale มีบทบาทศูนย์กลางด้วยการให้ฐานที่ออกแบบสำหรับ AI ซึ่งทำให้ได้ขนาดและประสิทธิภาพระดับนี้
ขอบคุณสำหรับบทสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านที่ต้องการทราบเพิ่มเติมสามารถเยี่ยมชม Anyscale ได้
