นิกุนจ์ บาจาจ ผู้ร่วมก่อตั้งและซีอีโอของ TrueFoundry – ซีรีส์สัมภาษณ์

คุณได้ทำงานในด้านการวิจัย Machine Learning การผลิต AI ที่ Facebook (META ) และระบบแนะนำขนาดใหญ่ก่อนที่จะก่อตั้ง TrueFoundry — ประสบการณ์ใดที่ส่งผลกระทบต่อการตัดสินใจสร้างบริษัทโครงสร้างพื้นฐาน AI ระดับองค์กร และปัญหาอะไรที่คุณรู้สึกว่าไม่ได้รับการแก้ไขในขณะนั้น?

ที่ Meta เรามองว่า Machine Learning เป็นกรณีพิเศษของซอฟต์แวร์ และ GenAI เป็นกรณีพิเศษของ Machine Learning ซึ่งนำไปสู่การวางซ้อนแนวตั้ง โดยมีซอฟต์แวร์ที่ด้านล่าง Machine Learning อยู่ตรงกลาง และ GenAI อยู่บนสุด ในการวางซ้อนแบบนี้ หากฉันเป็นนักพัฒนา Machine Learning โมเดลที่ฉันสร้างจะตามรูปแบบการใช้งานเดียวกันกับซอฟต์แวร์อื่นๆ ทำให้การขยายระบบเป็นเรื่องที่ตรงไปตรงมา

อย่างไรก็ตาม องค์กรส่วนใหญ่กำลังใช้การวางซ้อนแบบขนาน ซึ่งหมายความว่าพวกเขาได้สร้างซ้อนสำหรับซอฟต์แวร์ Machine Learning และ GenAI แยกจากกัน เมื่อคุณมีการวางซ้อนแบบขนาน การขยายจะซับซ้อนขึ้นเนื่องจากการถ่ายโอนระหว่าง Machine Learning และโลกซอฟต์แวร์

ทีมของเรามีประสบการณ์ในการสร้างโมเดล Machine Learning และโครงสร้างพื้นฐาน Machine Learning ดังนั้นเราจึงมีมุมมองที่เป็นเอกลักษณ์ที่เราสามารถนำการวางซ้อนแนวตั้งแบบเดียวกันไปใช้กับองค์กรและปรับให้เหมาะสมกับความต้องการเฉพาะของพวกเขา เรายังมีสมมติฐานในช่วงปลายปี 2021 ที่ว่า Machine Learning กำลังเข้าใกล้จุดเปลี่ยน และเมื่อถึงจุดนั้น องค์กรต่างๆ จะต้องการการวางซ้อนแบบแนวตั้งที่รวมกันเพื่อนำระบบเหล่านี้ไปใช้งานและขยายได้อย่างมีประสิทธิภาพ ซึ่งเป็นสิ่งที่นำเราไปสู่การก่อตั้ง TrueFoundry และสมมติฐานของเราก็ถูกต้อง การนำ AI ไปใช้งานเร่งตัวขึ้นหลังจากการเปิดตัว ChatGPT ในปลายปี 2022

เมื่อระบบ AI เคลื่อนจากการทดลองไปสู่การดำเนินงานประจำวัน สิ่งใดที่เปลี่ยนแปลงไปเกี่ยวกับวิธีที่องค์กรควรพิจารณาความน่าเชื่อถือและความล้มเหลว?

ความเสี่ยงของระบบ Gen AI สูงกว่าระบบ Machine Learning truyền thốngอย่างมาก เมื่อระบบเหล่านี้เข้าสู่การผลิต องค์กรต่างๆ ต้องเผชิญกับความไม่แน่นอนและความไม่แน่นอนที่สูงกว่า เนื่องจาก LLMs มีลักษณะแบบสุ่ม และระบบ Agentic ที่สร้างขึ้นบน LLMs เพิ่มความไม่แน่นอนมากขึ้น

นอกจากนี้ ความล้มเหลวยังไม่ใช่เรื่องของการเป็นหรือไม่เป็น แต่จะปรากฏในรูปแบบของความล้มเหลวบางส่วนหรือการเสื่อมสภาพเงียบๆ ระบบอาจตอบสนองด้วยความล่าช้า ความเสถียรที่ลดลง หรือพฤติกรรมที่ไม่ถูกต้องเมื่อเวลาผ่านไป ในหลายกรณี การเสื่อมสภาพเหล่านี้อาจเป็นเรื่องที่ยากต่อการตรวจจับและอาจเป็นอันตรายมากกว่าการหยุดทำงานที่ชัดเจน

องค์กรต้องคิดถึงความน่าเชื่อถือไม่เพียงแต่ในแง่ของเวลาในการทำงาน แต่ยังรวมถึงการเสื่อมสภาพของประสิทธิภาพเมื่อเวลาผ่านไปด้วย

TrueFailover ได้รับการเปิดตัว ในขณะที่มีการหยุดชะงักของบริการคลาวด์และ AI ที่มีชื่อเสียง สิ่งใดที่ทำให้คุณเห็นได้ชัดว่าความน่าเชื่อถือของ AI ได้เปลี่ยนจาก “ดี” เป็น “จำเป็น” ในด้านโครงสร้างพื้นฐาน?

หนึ่งในลูกค้าด้านสุขภาพของเราที่ประมวลผลคำขอของ患者ในแบบเรียลไทม์ถูกกระทบจากเหตุการณ์หยุดชะงักเนื่องจากความล้มเหลวของโมเดล การหยุดชะงักนี้รบกวนกระบวนการสำคัญที่สร้างรายได้หลายพันเหรียญต่อวินาที ในฐานะลูกค้า TrueFailover ในระยะแรก เราสามารถช่วยให้การฟื้นตัวรวดเร็วและจำกัดผลกระทบ

เหตุการณ์เช่นนี้ทำให้เกิดคำถามที่สำคัญ เมื่อระบบ AI มีความสำคัญสูงขึ้น ทำไมกระบวนการฟื้นตัวยังคงเป็นแบบ手動? สิ่งนี้ทำให้เราเน้นย้ำถึงความคิดที่ว่าระบบควรได้รับการออกแบบโดยสมมติว่าความล้มเหลวจะเกิดขึ้น และควรสามารถแก้ไขตนเองได้อย่างอัตโนมัติ ความน่าเชื่อถือยังต้องถูกสร้างเข้าไปในตัวระบบ AI ด้วยการใช้ AI Gateway ซึ่งสามารถให้การเข้าถึงที่จัดศูนย์กลาง การสังเกตการณ์ การป้องกัน และการเปลี่ยนโมเดลอัจฉริยะระหว่างผู้ให้บริการ

เมื่อระบบ AI ล้มเหลว ค่าใช้จ่ายทางเศรษฐกิจและผลกระทบต่อมนุษย์จะเริ่มปรากฏที่ไหน?

ระบบ AI ระดับองค์กรมีวิวัฒนาการจนถึงจุดที่ความล้มเหลวเหล่านี้ไม่เพียงแต่ส่งผลกระทบต่อการทำงานภายในเท่านั้น แต่ยังกระทบต่อการรับรู้ของสาธารณชนและผลกำไรโดยตรงและทันที เนื่องจากกรณีการใช้งานในระดับผลิตในปัจจุบันอยู่ในระดับที่เผชิญหน้ากับลูกค้าโดยตรง

เมื่อระบบ AI ถูกฝังลึกเข้าไปในกระบวนการทำงาน ระบบจะไม่เพียงแต่หยุดชะงักเท่านั้น แต่ยังกระทบต่อธุรกิจ ลูกค้า และชื่อเสียงขององค์กรด้วย

ในสถานการณ์ที่มีความสำคัญสูง เช่น ร้านขายยา การดำเนินงานด้านสุขภาพ หรือการสนับสนุนลูกค้า ระยะเวลาที่ AI หยุดชะงักจะเพิ่มขึ้นเป็นความเสี่ยงต่อการดำเนินงานหรือชื่อเสียงได้อย่างรวดเร็วแค่ไหน?

ในสถานการณ์ที่มีความสำคัญสูง การเพิ่มขึ้นของความเสี่ยงเกิดขึ้นแทบจะทันที เนื่องจากระบบเหล่านี้สนับสนุนกระบวนการทำงานแบบเรียลไทม์ การหยุดชะงักแม้เพียงช่วงสั้นๆ ก็สามารถหยุดกระบวนการสำคัญ ระบบอาจล่าช้าหรือหยุดชะงัก ทำให้เกิดผลกระทบต่อการดำเนินงานทั่วทั้งองค์กร

ในภาคส่วนด้านสุขภาพ ผลกระทบไม่เพียงแต่ส่งผลต่อการดำเนินงานเท่านั้น แต่ยังกระทบต่อประสบการณ์ของลูกค้าและผลลัพธ์ของการบริการด้วย หากผู้ป่วยไม่สามารถรับยาตามที่ต้องการได้ตามเวลา จะมีผลกระทบจริงๆ ไม่เพียงแต่สำหรับผู้ป่วยเท่านั้น แต่ยังกระทบต่อชื่อเสียงของร้านขายยาหรือผู้ให้บริการด้านสุขภาพด้วย ในสถานการณ์ที่มีความสำคัญสูง การที่ระบบสามารถทำงานต่อได้โดยไม่หยุดชะงักจึงเป็นสิ่งสำคัญยิ่ง

คุณกล่าวว่าหลายทีมออกแบบสำหรับความสามารถมากกว่าการดำเนินการต่อ ทำไมคุณคิดว่าความทนทานจึงถูกลดความสำคัญในด้านการออกแบบระบบ AI?

สิ่งนี้ส่วนใหญ่มาจากแรงจูงใจภายในองค์กร ความสามารถใหม่ๆ มีความน่าสนใจและเป็นที่เห็นได้ชัดเจน พวกเขาเปิดโอกาสให้เห็นผลลัพธ์ใหม่ๆ และความเป็นไปได้ของผลิตภัณฑ์ที่ผู้นำสามารถเห็นได้ทันที

ในทางกลับกัน การดำเนินการต่อโดยไม่หยุดชะงักเป็นสิ่งที่มองไม่เห็นเมื่อทุกอย่างทำงานได้ดี เนื่องจากสิ่งนี้ ระบบการให้รางวัลมักจะเอียงไปทางด้านการพัฒนา功能ใหม่มากกว่าการรับรองความทนทาน ดังนั้น องค์กรจึงมักจะลงทุนมากขึ้นในการพัฒนา功能มากกว่าการสร้างความทนทาน

เมื่อองค์กรต่างๆ พึ่งพาโมเดลและ API จากภายนอกมากขึ้น ความอ่อนแอใหม่ๆ ใดที่ถูกนำเข้ามาในระบบ AI ที่ผู้นำอาจยังไม่เข้าใจ?

LLMs เป็นทรัพยากรที่ใช้ร่วมกัน และองค์กรไม่ได้ควบคุมพวกมันเหมือนกับโครงสร้างพื้นฐานแบบเดิมๆ นอกจากนี้ ระบบสำคัญของธุรกิจที่ใช้ระบบภายนอกเหล่านี้ไม่ได้ผ่านการทดสอบอย่างเต็มที่ LLMs เองก็กำลังพัฒนาอย่างรวดเร็ว ซึ่งหมายความว่าผู้ให้บริการโมเดลไม่สามารถรับผิดชอบต่อเรื่องเช่น ความล่าช้าหรือประสิทธิภาพของโมเดลที่ลดลงเล็กน้อยได้ เนื่องจากพวกเขากำลังพัฒนาผลงานวิจัยอย่างรวดเร็ว

เนื่องจาก LLMs เป็นทรัพยากรที่ใช้ร่วมกัน ความล่าช้าอาจเกิดขึ้นได้เนื่องจากผู้บริโภคอื่นๆ ของทรัพยากรเหล่านี้ดำเนินการเฉพาะอย่าง ซึ่งมีจุดอ่อนที่อาจเกิดขึ้นมากมายที่ถูกนำเข้ามาเนื่องจากธรรมชาติของ LLMs องค์กรในโลกใหม่นี้ไม่มีการควบคุมอย่างเต็มที่ ดังนั้นสิ่งที่ดีที่สุดที่องค์กรสามารถทำได้คือการสร้างความซ้ำซ้อนของระบบเพื่อออกแบบระบบที่ทนทาน

โดยไม่เน้นไปที่ผลิตภัณฑ์เฉพาะ องค์กรควรปรับโครงสร้าง AI เพื่อสมมติว่าความล้มเหลวจะเกิดขึ้นแทนที่จะรับมือกับความล้มเหลวเป็นกรณีพิเศษ?

องค์กรควรกลับไปสู่หลักการแรกของการออกแบบระบบที่กระจาย ซอฟต์แวร์ระบบถูกสร้างขึ้นด้วยสมมติฐานที่ว่าเครือข่ายและส่วนประกอบของเครื่องจะล้มเหลว และภูมิภาคทั้งหมดอาจหยุดชะงัก

ระบบ AI ไม่ควรแตกต่างจากนี้ เราควรสมมติว่าผู้ให้บริการโมเดลจะประสบปัญหาเรื่องความล่าช้า การเสื่อมสภาพ หรือการหยุดชะงัก และรวมการซ้ำซ้อนเข้าไปเพื่อให้แอปพลิเคชันสามารถทนทานต่อสถานการณ์การล้มเหลวต่างๆ ได้

คุณคาดหวังว่าความทนทานของ AI จะกลายเป็นปัจจัยสำคัญในการเลือกแพลตฟอร์มและผู้ให้บริการ เช่นเดียวกับการเลือกโครงสร้างพื้นฐานคลาวด์?

เมื่อระบบ AI มากขึ้นเข้าสู่การผลิต ความทนทานจะกลายเป็นข้อกำหนดขั้นต่ำ หากผู้ให้บริการไม่สามารถแสดงกราฟและเมตริกเกี่ยวกับเวลาในการทำงานและความทนทานโดยรวมได้ พวกเขาจะไม่ถูกพิจารณา เมื่อความทนทานกลายเป็นความคาดหวังขั้นพื้นฐานสำหรับผู้ให้บริการแล้ว ปัจจัยที่ตัดสินจะเปลี่ยนไปเป็นประสบการณ์ของผู้ใช้ การปรับให้เหมาะสมด้านประสิทธิภาพ การสังเกตการณ์ และความสามารถของผลิตภัณฑ์ระดับสูง เมื่อเวลาผ่านไป ส่วนประกอบเช่น AI Gateway และความสามารถในการฟื้นตัวอัตโนมัติจะกลายเป็นองค์ประกอบพื้นฐานของโครงสร้างพื้นฐาน AI ระดับองค์กร

เมื่อมองไปข้างหน้า “การผลิตที่พร้อม” ของ AI หมายถึงอะไรในโลกที่ AI คาดหวังให้พร้อมใช้งานอย่างต่อเนื่อง ไม่ใช่แค่ช่วยเหลือเป็นครั้งคราว?

ระบบ AI ที่พร้อมสำหรับการผลิตควรจะสามารถสังเกตได้ มีการควบคุม และสามารถฟื้นตัวได้ ทั้งสามสิ่งนี้ต้องถูกตรวจสอบแล้ว

สำหรับระบบ AI ที่พร้อมสำหรับการผลิตที่สามารถสังเกตได้ ทีมจะต้องมีความเข้าใจลึกเกี่ยวกับพฤติกรรมของโมเดล ความล่าช้า อัตราความผิดพลาด การใช้โทเค็น การเปลี่ยนแปลง และรูปแบบการล้มเหลว โดยไม่มีการสังเกตการณ์ที่เข้มแข็ง จะยากที่จะตรวจจับการเสื่อมสภาพก่อนที่ผู้ใช้จะเริ่มสังเกตเห็น

สำหรับระบบที่สามารถควบคุมได้ จะรวมถึงการกำหนดรูปแบบการจราจร การจำกัดอัตรา การป้องกัน และการบังคับใช้นโยบาย และการเปลี่ยนโมเดลอัจฉริยะระหว่างผู้ให้บริการ สิ่งนี้คือที่ที่ AI Gateway กลายเป็นองค์ประกอบพื้นฐาน โดยทำหน้าที่เป็นศูนย์ควบคุมที่จัดศูนย์กลาง ซึ่งบังคับใช้การป้องกัน มีการกำกับดูแลที่สอดคล้องกัน และช่วยให้สามารถเปลี่ยนโมเดลได้อย่างมีประสิทธิภาพเมื่อประสิทธิภาพหรือความน่าเชื่อถือลดลง

และสุดท้าย สำหรับการฟื้นตัว ระบบควรได้รับการออกแบบโดยสมมติว่าส่วนประกอบอาจถูกทำลายบางส่วนหรือทั้งหมด ไม่ว่าจะเป็นเนื่องจากการหยุดชะงักของผู้ให้บริการ คุณภาพของโมเดลที่ลดลง การจำกัดอัตรา หรือการเข้าถึงที่ไม่คาดคิดจากผู้กระทำความผิดที่มีเจตนารมณ์ การฟื้นตัวอัตโนมัติและกลไกการฟื้นตัวด้วยตนเองควรเป็นส่วนหนึ่งของสถาปัตยกรรม ไม่ใช่คู่มือที่ถูกเรียกใช้หลังจากที่บางสิ่งผิดพลาด

นี่เป็นทิศทางที่เรากำลังทำงานอยู่ที่ TrueFoundry ผู้ให้บริการที่กำหนดความพร้อมในการผลิตในลักษณะนี้ โดยรวมการสังเกตการณ์ การควบคุมที่จัดศูนย์กลาง และการฟื้นตัวอัตโนมัติ จะได้รับความไว้วางใจจากลูกค้าในระยะยาว และจะสามารถแก้ไขปัญหาใหม่ๆ ที่เกิดขึ้นได้อย่างต่อเนื่อง

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านที่ต้องการเรียนรู้เพิ่มเติมสามารถเยี่ยมชม TrueFoundry ได้