นิกุนจ์ บาจาจ ผู้ร่วมก่อตั้งและซีอีโอของ TrueFoundry – ซีรีส์สัมภาษณ์

ก่อนก่อตั้ง TrueFoundry คุณทำงานทั้งด้านวิจัยแมชชีนเลิร์นนิง ระบบ AI ที่ใช้งานจริงที่ Facebook (META ) และระบบแนะนำขนาดใหญ่ ประสบการณ์ใดผลักดันคุณโดยตรงที่สุดให้สร้างบริษัทโครงสร้างพื้นฐาน AI ระดับองค์กร และปัญหาใดที่คุณรู้สึกว่ายังไม่มีใครแก้ในเวลานั้น

ที่ Meta เรามองแมชชีนเลิร์นนิงเป็นกรณีเฉพาะของซอฟต์แวร์ และมอง AI เชิงกำเนิดเป็นกรณีเฉพาะของแมชชีนเลิร์นนิง จึงเกิดสแตกแนวตั้งที่มีซอฟต์แวร์เป็นฐาน แมชชีนเลิร์นนิงอยู่ตรงกลาง และ AI เชิงกำเนิดอยู่บนสุด ในโครงสร้างนี้ หากผมเป็นนักพัฒนาแมชชีนเลิร์นนิง โมเดลที่สร้างจะใช้รูปแบบการนำขึ้นใช้งานเช่นเดียวกับซอฟต์แวร์ส่วนที่เหลือ ทำให้ขยายขนาดระบบได้ตรงไปตรงมามาก

แต่องค์กรส่วนใหญ่ใช้สแตกแบบขนาน โดยแยกสแตกซอฟต์แวร์ แมชชีนเลิร์นนิง และ AI เชิงกำเนิดออกจากกัน เมื่อมีสแตกคู่ขนานเช่นนี้ การขยายขนาดก็ซับซ้อนขึ้น เพราะต้องมีการส่งต่องานระหว่างโลกแมชชีนเลิร์นนิงกับโลกซอฟต์แวร์

ทีมของเราทำงานตรงจุดเชื่อมระหว่างการสร้างโมเดลแมชชีนเลิร์นนิงกับการสร้างโครงสร้างพื้นฐานแมชชีนเลิร์นนิงมาตลอด จึงมีมุมมองเฉพาะตัวว่าเราสามารถนำสแตกแนวตั้งลักษณะเดียวกันมาให้องค์กร แล้วปรับตามข้อกำหนดเฉพาะของแต่ละแห่งได้ ช่วงปลายปี 2021 เรายังมีสมมติฐานว่าแมชชีนเลิร์นนิงกำลังใกล้ถึงจุดเปลี่ยน และเมื่อถึงจุดนั้น บริษัทจำนวนมากขึ้นจะต้องการสแตกที่บูรณาการในแนวตั้งเพื่อนำระบบเหล่านี้ขึ้นใช้งานและขยายขนาดอย่างมีประสิทธิภาพ นี่คือสิ่งที่นำไปสู่การก่อตั้ง TrueFoundry ในที่สุด และสมมติฐานของเราก็ถูกต้อง การนำ AI มาใช้เร่งตัวขึ้นหลัง ChatGPT เปิดตัวในช่วงปลายปี 2022

เมื่อระบบ AI เปลี่ยนจากการทดลองไปสู่การดำเนินงานประจำวัน วิธีที่องค์กรควรคิดเรื่องความน่าเชื่อถือและความขัดข้องเปลี่ยนไปอย่างไร

สิ่งที่เป็นเดิมพันสำหรับ AI เชิงกำเนิดสูงกว่าระบบแมชชีนเลิร์นนิงแบบเดิมอย่างมาก เมื่อระบบเข้าสู่การใช้งานจริง องค์กรต้องรับมือกับความกำกวมและความไม่แน่นอนของผลลัพธ์มากขึ้น เพราะโมเดลภาษาขนาดใหญ่มีธรรมชาติแบบสุ่ม ระบบเอเจนต์ที่สร้างทับขึ้นไปยิ่งเพิ่มความกำกวมอีก

อีกทั้งความขัดข้องไม่ได้มีเพียงสองสถานะอีกต่อไป ระบบไม่ได้แค่ทำงานหรือหยุดทำงาน แต่ปัญหาจำนวนมากปรากฏเป็นความขัดข้องบางส่วนหรือคุณภาพที่ค่อย ๆ ลดลงโดยไม่เป็นที่สังเกต ระบบอาจตอบสนองช้าลง คุณภาพลดลง หรือทำงานผิดไปเมื่อเวลาผ่านไป หลายครั้งปัญหาลักษณะนี้ตรวจจับยากกว่า และบางครั้งสร้างความเสียหายยิ่งกว่าการหยุดทำงานทั้งหมด

องค์กรจึงต้องมองความน่าเชื่อถือทั้งในแง่ระยะเวลาที่ระบบพร้อมใช้งานและประสิทธิภาพที่ลดลงเมื่อเวลาผ่านไป

TrueFailover เปิดตัว ท่ามกลางกระแสเหตุขัดข้องของบริการคลาวด์และ AI ที่เป็นข่าวใหญ่หลายครั้ง เหตุการณ์ใดในช่วงที่ผ่านมาแสดงให้เห็นชัดว่าความน่าเชื่อถือของ AI เปลี่ยนจากสิ่งที่มีก็ดีไปเป็นข้อกำหนดหลักของสถาปัตยกรรมแล้ว

ลูกค้าด้านสุขภาพรายหนึ่งของเราประมวลผลคำขอของผู้ป่วยเกี่ยวกับใบสั่งยาแบบเรียลไทม์ ซึ่งต้องตอบสนองให้ทันเวลา ลูกค้ารายนี้ได้รับผลกระทบจากการหยุดให้บริการเพราะโมเดลขัดข้อง เวิร์กโฟลว์ของเขาสร้างรายได้หลายพันดอลลาร์ต่อวินาที และการหยุดให้บริการกระทบเวิร์กโฟลว์สำคัญบางส่วน ลูกค้ารายนี้ใช้ TrueFailover ตั้งแต่ช่วงแรก เราจึงช่วยให้ระบบกลับมาทำงานได้อย่างรวดเร็วและจำกัดผลกระทบไว้ได้

เหตุการณ์เช่นนี้ทำให้เกิดคำถามสำคัญว่า เมื่อสิ่งที่เป็นเดิมพันของระบบ AI เชิงกำเนิดเพิ่มขึ้นเรื่อย ๆ เหตุใดกระบวนการกู้คืนส่วนใหญ่ยังต้องทำด้วยมือ เหตุการณ์นี้ตอกย้ำว่าควรสร้างระบบโดยถือว่าความขัดข้องจะเกิดขึ้น และออกแบบให้แก้ไขตัวเองโดยอัตโนมัติ ความน่าเชื่อถือต้องฝังอยู่ในสแตก AI ด้วย ผ่าน AI Gateway ซึ่งให้การกำหนดเส้นทางแบบรวมศูนย์ ความสามารถในการมองเห็นสถานะภายในระบบ มาตรการควบคุมความปลอดภัย และการสลับโมเดลระหว่างผู้ให้บริการอย่างชาญฉลาด

หลายครั้งการหยุดทำงานของ AI ยังถูกมองว่าเป็นเพียงปัญหาทางเทคนิคเล็กน้อย คุณเห็นต้นทุนที่แท้จริงทางเศรษฐกิจและต่อมนุษย์เริ่มปรากฏที่ใดเมื่อระบบ AI หยุดทำงาน

AI ระดับองค์กรพัฒนามาถึงจุดที่ปัญหาเหล่านี้ไม่ได้กระทบเพียงเวิร์กโฟลว์ภายในอีกแล้ว ทุกวันนี้ การหยุดทำงานและประสิทธิภาพที่ลดลงกระทบการรับรู้ของสาธารณชนและกำไรโดยตรงทันที เพราะการใช้งานจริงมุ่งให้บริการลูกค้าแล้ว การเปลี่ยนจากการทดสอบภายในไปสู่แอปพลิเคชันที่เปิดให้สาธารณชนใช้และมีผลกระทบสูง เป็นเหตุให้ต้องการความใส่ใจและการกำกับดูแลจากผู้บริหารมากขึ้น

เมื่อระบบ AI ผสานลึกเข้าไปในเวิร์กโฟลว์การดำเนินงาน การหยุดทำงานจึงไม่ใช่แค่ปัญหาทางเทคนิคอีกต่อไป แต่มีผลโดยตรงต่อธุรกิจ ลูกค้า และชื่อเสียงมากขึ้นเรื่อย ๆ

ในสภาพแวดล้อมที่สำคัญต่อภารกิจ เช่น ร้านขายยา การดำเนินงานด้านสุขภาพ หรือการสนับสนุนลูกค้า การหยุดทำงานของ AI สามารถยกระดับเป็นความเสี่ยงด้านปฏิบัติการหรือชื่อเสียงได้รวดเร็วเพียงใด

ในสภาพแวดล้อมวิกฤตเช่นนี้ ความเสี่ยงเพิ่มขึ้นแทบจะทันที เพราะระบบรองรับเวิร์กโฟลว์แบบเรียลไทม์ที่ต้องดำเนินการให้ทันเวลา แม้หยุดชะงักเพียงสั้น ๆ ก็อาจทำให้กระบวนการสำคัญหยุดลง การให้บริการล่าช้า หรือระบบปลายทางที่พึ่งพาผลลัพธ์เหล่านั้นหยุดทำงาน เกิดผลกระทบเป็นลูกโซ่ต่อการดำเนินงานทั่วทั้งองค์กร

ในภาคส่วนอย่างสุขภาพ ผลกระทบไม่ได้จำกัดอยู่ที่การดำเนินงานสะดุด แต่รวมถึงประสบการณ์ลูกค้าและผลลัพธ์ของบริการด้วย หากผู้ป่วยไม่สามารถรับยาตามใบสั่งได้ทันเวลา ก็อาจเกิดผลกระทบจริง นอกจากเป็นปัญหาสำหรับผู้ป่วยแล้ว ยังอาจทำลายชื่อเสียงร้านขายยาหรือผู้ให้บริการสุขภาพ ในสภาพแวดล้อมที่สำคัญต่อภารกิจและมีความไว้วางใจเป็นปัจจัย การรักษาระบบให้พร้อมใช้งานจึงสำคัญที่สุด องค์กรจึงตระหนักมากขึ้นว่าต้องออกแบบระบบ AI โดยถือว่าความขัดข้องจะเกิด และกลไกกู้คืนต้องเริ่มทำงานอัตโนมัติเพื่อลดความเสี่ยง

คุณเคยกล่าวว่าหลายทีมออกแบบสถาปัตยกรรมเพื่อความสามารถมากกว่าความต่อเนื่อง เหตุใดคุณจึงคิดว่าความทนทานต่อความขัดข้องมักได้รับความสำคัญรองลงมาในการออกแบบระบบ AI ที่ผ่านมา

เรื่องนี้ส่วนใหญ่เกิดจากแรงจูงใจภายในองค์กร ความสามารถใหม่ ๆ มองเห็นได้และน่าตื่นเต้น ทำให้เกิดการสาธิต ฟีเจอร์ และความเป็นไปได้ของผลิตภัณฑ์ที่ฝ่ายบริหารเห็นได้ทันที

ตามนิยามแล้ว ความต่อเนื่องเป็นสิ่งที่มองไม่เห็นเมื่อทุกอย่างทำงานได้ดี ระบบรางวัลจึงมักเอนเอียงไปทางการส่งมอบฟีเจอร์ใหม่ มากกว่าการทำให้แน่ใจว่าไม่มีอะไรเสีย ผลคือองค์กรลงทุนกับการพัฒนาความสามารถมากเกินสัดส่วนเมื่อเทียบกับงานวิศวกรรมเพื่อความทนทานต่อความขัดข้อง

เมื่อองค์กรพึ่งพาโมเดลและ API ภายนอกมากขึ้น มีความเปราะบางใหม่ใดเข้ามาในสแตก AI ที่ผู้นำอาจยังไม่เข้าใจอย่างถ่องแท้

โดยพื้นฐานแล้ว โมเดลภาษาขนาดใหญ่เป็นทรัพยากรที่ใช้ร่วมกัน และองค์กรไม่ได้เป็นเจ้าของเหมือนโครงสร้างพื้นฐานแบบเดิม นอกจากนี้ ระบบสำคัญต่อธุรกิจขององค์กรยังทำงานบนระบบภายนอกที่ยังไม่ได้พิสูจน์ความทนทานผ่านกาลเวลาอย่างเต็มที่ ตัวโมเดลภาษาขนาดใหญ่เองพัฒนาเร็วมาก จึงไม่อาจให้ผู้ให้บริการโมเดลรับผิดชอบเรื่องอย่างความหน่วงหรือประสิทธิภาพที่ลดลงเล็กน้อยได้ เพราะพวกเขาปรับปรุงงานวิจัยเป็นรอบ ๆ อย่างรวดเร็วมาก

เพราะโมเดลภาษาขนาดใหญ่เป็นทรัพยากรร่วม ความหน่วงอาจพุ่งขึ้นเมื่อผู้ใช้อื่นทำการบางอย่าง ธรรมชาติพื้นฐานของโมเดลเหล่านี้ทำให้เกิดจุดที่อาจขัดข้องจำนวนมาก และองค์กรในโลกใหม่นี้ไม่ได้ควบคุมทุกอย่างอย่างเต็มที่ เมื่อควบคุมไม่ได้ทั้งหมด สิ่งที่ดีที่สุดคือสร้างความซ้ำซ้อนของระบบให้เพียงพอ เพื่อให้ระบบทนทานต่อความขัดข้อง

หากไม่เจาะจงผลิตภัณฑ์ใด องค์กรควรคิดใหม่เรื่องสถาปัตยกรรม AI อย่างไร เพื่อยอมรับเป็นพื้นฐานว่าความขัดข้องจะเกิดขึ้น แทนที่จะมองการหยุดทำงานเป็นข้อยกเว้นที่พบได้ยาก

องค์กรควรกลับไปสู่หลักการพื้นฐานของการออกแบบระบบแบบกระจาย ระบบซอฟต์แวร์ถูกสร้างบนสมมติฐานว่าส่วนประกอบเครือข่ายและเครื่องคอมพิวเตอร์จะขัดข้อง และระบบทั้งภูมิภาคอาจหยุดให้บริการได้

ระบบ AI ไม่ควรต่างกัน เราควรถือว่าผู้ให้บริการโมเดลจะมีปัญหาความหน่วง ประสิทธิภาพลดลง หรือหยุดให้บริการ และใส่ความซ้ำซ้อนเข้าไป เพื่อให้แอปพลิเคชันทนทานต่อสถานการณ์ขัดข้องรูปแบบต่าง ๆ

คุณคาดว่าความทนทานต่อความขัดข้องของ AI จะกลายเป็นปัจจัยชี้ขาดในการเลือกแพลตฟอร์มและผู้ให้บริการ เช่นเดียวกับที่ระยะเวลาพร้อมใช้งานและความซ้ำซ้อนมีอิทธิพลต่อการตัดสินใจเรื่องโครงสร้างพื้นฐานคลาวด์หรือไม่

เมื่อระบบ AI เข้าสู่การใช้งานจริงมากขึ้น ความทนทานต่อความขัดข้องจะกลายเป็นข้อกำหนดพื้นฐาน หากผู้ให้บริการแสดงกราฟและตัวชี้วัดระยะเวลาพร้อมใช้งานกับความทนทานโดยรวมไม่ได้ ก็จะไม่ได้รับการพิจารณาด้วยซ้ำ เมื่อผู้ให้บริการทุกรายถูกคาดหวังเช่นนี้ ปัจจัยชี้ขาดจะเปลี่ยนไปเป็นประสบการณ์ผู้ใช้ การปรับประสิทธิภาพ ความสามารถในการมองเห็นสถานะภายในระบบ และความสามารถของผลิตภัณฑ์ในระดับสูงขึ้น เมื่อเวลาผ่านไป ส่วนประกอบอย่าง AI Gateway และการสลับไปใช้ระบบสำรองโดยอัตโนมัติจะเป็นองค์ประกอบหลักพื้นฐานของโครงสร้างพื้นฐาน AI ระดับองค์กร

เมื่อมองไปข้างหน้า AI ที่พร้อมใช้งานจริงหมายถึงอะไรในโลกที่คาดหวังให้ AI พร้อมใช้งานตลอดเวลา ไม่ใช่แค่มีประโยชน์เป็นครั้งคราว

ระบบ AI ที่พร้อมใช้งานจริงต้องมองเห็นสถานะภายในได้ ควบคุมได้ และกู้คืนได้ ทั้งสามข้อจำเป็นต้องครบ

เพื่อให้มองเห็นสถานะภายในของ AI ที่ใช้งานจริง ทีมต้องเห็นข้อมูลเชิงลึกเกี่ยวกับพฤติกรรมโมเดล ความหน่วง อัตราข้อผิดพลาด การใช้โทเค็น การเปลี่ยนแปลงเบี่ยงเบน และรูปแบบความขัดข้อง หากขาดความสามารถในการมองเห็นสถานะภายในที่ดี จะตรวจพบประสิทธิภาพที่ลดลงก่อนผู้ใช้เริ่มสังเกตเห็นได้ยากมาก

การควบคุมระบบได้ครอบคลุมการจัดรูปแบบทราฟฟิก การจำกัดอัตราคำขอ มาตรการควบคุมความปลอดภัย การบังคับใช้นโยบาย และการกำหนดเส้นทางอย่างชาญฉลาดระหว่างโมเดลและผู้ให้บริการ AI Gateway จึงเป็นรากฐานสำคัญ โดยทำหน้าที่เป็นระนาบควบคุมแบบรวมศูนย์ที่บังคับใช้มาตรการป้องกัน ให้การกำกับดูแลที่สอดคล้องกัน และสลับโมเดลแบบไดนามิกได้เมื่อประสิทธิภาพหรือความน่าเชื่อถือลดลง

สุดท้าย การกู้คืนได้หมายถึงการสร้างระบบโดยถือว่าส่วนประกอบอาจเสียหายบางส่วนหรือทั้งหมด ไม่ว่าจะจากผู้ให้บริการหยุดทำงาน คุณภาพโมเดลลดลง ขีดจำกัดอัตราคำขอ หรือข้อมูลป้อนเข้าที่ไม่คาดคิดจากผู้ไม่หวังดี การสลับไปใช้ระบบสำรองอัตโนมัติและกลไกซ่อมแซมตัวเองต้องอยู่ในสถาปัตยกรรมตั้งแต่ต้น ไม่ใช่ขั้นตอนที่ต้องทำด้วยมือและเริ่มใช้หลังเกิดปัญหาแล้ว

นี่คือทิศทางที่เรากำลังมุ่งไปที่ TrueFoundry ผู้ให้บริการที่นิยามความพร้อมใช้งานจริงเช่นนี้ โดยรวมความสามารถในการมองเห็นสถานะภายใน การควบคุมแบบรวมศูนย์ และการกู้คืนอัตโนมัติ จะได้รับความไว้วางใจระยะยาวจากลูกค้า และแก้ปัญหาใหม่ ๆ ต่อไปได้เมื่อปัญหาเกิดขึ้น

ขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านที่ต้องการทราบเพิ่มเติมสามารถเยี่ยมชม TrueFoundry ได้