ความน่าเชื่อถือคือบททดสอบที่แท้จริงของเอไอแบบเอเจนต์

ตลอดสองปีที่ผ่านมา อุตสาหกรรมตั้งคำถามเพียงข้อเดียวว่า เอเจนต์ AI มีความสามารถเพียงพอที่จะจัดการงานจริงหรือไม่ เราเลิกถามคำถามนี้ได้แล้ว เพราะเรารู้ว่าทำได้ แต่สิ่งที่ต้องให้ความสำคัญอย่างยิ่งคือ เราจะตรวจพบได้หรือไม่ว่าเอเจนต์กำลังจะทำผิดพลาดที่สร้างความเสียหาย และเราจะหยุดมันก่อนเกิดเหตุได้หรือไม่

ความล้มเหลวที่ร้ายแรงที่สุดในระบบใช้งานจริงมักไม่ได้มีลักษณะเหมือนข้อผิดพลาดของโมเดลที่ชัดเจน เอเจนต์อาจเรียก API ทุกครั้งได้สำเร็จ แต่ยังคงทำงานจากบริบทที่ล้าสมัย ลองใช้เครื่องมือที่กำลังล้มเหลวซ้ำๆ หรือมุ่งไปสู่การกระทำที่ละเมิดกฎ ความน่าเชื่อถือเป็นตัวกำหนดว่าโครงการเอไอแบบเอเจนต์จะก้าวพ้นขั้นทดลองใช้ได้หรือไม่

จาก “สถานการณ์ AI ในปี 2025: เอเจนต์ นวัตกรรม และการเปลี่ยนแปลง” ซึ่งเป็น ผลสำรวจของ McKinsey พบว่า 62% ขององค์กรกำลังทดลองใช้เอเจนต์ AI แต่มีเพียงประมาณ 10% เท่านั้นที่ไม่ได้ขยายการใช้งานในฟังก์ชันใดเลย การแสดงให้เพื่อนร่วมงานเห็นว่าเอเจนต์ทำงานได้นั้นเป็นเรื่องง่าย แต่การใช้งานอย่างปลอดภัยกับข้อมูลจริงและระบบที่เชื่อมต่อกันไม่ใช่เรื่องง่าย

เหตุใดเอไอแบบเอเจนต์จึงเพิ่มความเสี่ยงแบบทวีคูณ

เอเจนต์ผสานการให้เหตุผลเชิงความน่าจะเป็น การใช้เครื่องมือ และความเป็นอิสระในระดับหนึ่ง สิ่งนี้ทำให้มีประโยชน์ แต่ก็ทำให้บริษัทเผชิญข้อผิดพลาดที่ทวีความรุนแรงได้เร็วกว่าที่เกิดในแอปพลิเคชันแบบดั้งเดิม

บริบท

เอเจนต์ทำงานได้จากบริบทที่ได้รับเท่านั้น ดังนั้นหากบริบทไม่สมบูรณ์ ล้าสมัย หรือผิดพลาด การตีความที่ผิดตั้งแต่ต้นจะส่งต่อไปยังทุกขั้นตอนถัดมา คำตอบผิดของแชตบอตสร้างความรำคาญ แต่การตีความผิดที่เปลี่ยนสิทธิ์การเข้าถึงหรือแตะต้องโครงสร้างพื้นฐานถือเป็นเหตุการณ์ผิดปกติ หากเกิดปัญหา สิ่งสำคัญคือต้องรู้ว่าเอเจนต์ใช้หลักฐานที่ถูกต้อง ปฏิบัติตามนโยบาย และจำกัดขอบเขตผลกระทบให้อยู่ในระดับที่ยอมรับได้หรือไม่

ฐานความรู้

เอเจนต์ยังเชื่อมต่อกับฐานความรู้ ระบบทิกเก็ต และแพลตฟอร์มชำระเงินด้วย การเชื่อมต่อแต่ละครั้งทำให้พื้นผิวการโจมตีกว้างขึ้น เอเจนต์อาจเรียกเครื่องมือผิด เรียกเครื่องมือที่ถูกต้องแต่ผิดลำดับ หรือดำเนินการตามคำสั่งที่ซ่อนอยู่ในเนื้อหาที่ดึงมา สิ่งเหล่านี้เป็นรูปแบบความล้มเหลวที่เป็นที่ยอมรับแล้ว รวมถึงการสร้างข้อมูลเท็จและช่องโหว่ด้านความปลอดภัยที่เกิดจากกระบวนการเชื่อมโยงเครื่องมือและบริบทเข้าด้วยกัน

แดชบอร์ดสีเขียวอาจหลอกคุณได้ โครงสร้างพื้นฐานดูเป็นปกติ ขณะที่เอเจนต์กำลังสอบถามเครื่องมือเดิมซ้ำแล้วซ้ำเล่าอย่างเงียบๆ นี่เป็นสัญญาณเริ่มต้นของการเบี่ยงเบน ไม่ใช่เหตุระบบหยุดทำงานตามปกติ

ความไม่เป็นเชิงกำหนด

ความไม่เป็นเชิงกำหนดยังทำให้การตอบสนองต่อเหตุการณ์ยากขึ้น ความล้มเหลวของบริการแบบดั้งเดิมมักสร้างซ้ำได้ด้วยรหัสคำขอและเวอร์ชันซอฟต์แวร์ที่ทราบแน่ชัด แต่การทำงานของเอเจนต์ขึ้นอยู่กับเวอร์ชันโมเดล เอกสารที่ดึงมา ผลลัพธ์จากเครื่องมือ และชุดการตัดสินใจระหว่างทาง หากไม่มีบันทึกว่าเอเจนต์ได้รับอะไรและพยายามทำอะไร การวิเคราะห์สาเหตุรากและการกำกับดูแลจะยากขึ้นมาก

ต้นทุนและเวลาแฝง

ต้นทุนและเวลาแฝงบอกเล่าเรื่องเดียวกันจากอีกมุมหนึ่ง การใช้โทเค็นหรือการลองซ้ำที่เพิ่มขึ้นอย่างฉับพลันอาจบ่งชี้ถึงแผนที่ไม่ดีหรือวงวน แม้ในท้ายที่สุดผู้ใช้จะได้รับคำตอบก็ตาม ต้นทุนการอนุมานลดลงอย่างมาก ในช่วงไม่กี่ปีที่ผ่านมา และการอนุมานที่ถูกลงทำให้มองข้ามพฤติกรรมที่ไม่มีประสิทธิภาพได้ง่าย จนกระทั่งพฤติกรรมนั้นเกิดซ้ำในเวิร์กโฟลว์นับพัน ให้ถือว่าต้นทุน เวลาแฝง และการลองซ้ำเป็นสัญญาณด้านความน่าเชื่อถือ ไม่ใช่เพียงตัวชี้วัดทางการเงิน

AI แบบกระจายศูนย์ยังต้องการการมองเห็นจากส่วนกลาง

การกระจายศูนย์จะล้มเหลวหากไม่มีแนวป้องกันที่ชัดเจน ให้อำนาจดูแลเวิร์กโฟลว์และการส่งต่อปัญหาอยู่กับทีมแนวหน้า แต่คงการจัดการตัวตน การเข้าถึง และการตอบสนองต่อเหตุการณ์ไว้ในระดับองค์กร ทีมการเงินสามารถแยกแยะข้อยกเว้นของใบแจ้งหนี้ที่ถูกต้องออกจากการตัดสินใจชำระเงินที่ไม่เหมาะสมได้ในแบบที่เกณฑ์มาตรฐานทั่วไปทำไม่ได้ ในการสำรวจเดียวกัน McKinsey พบว่าองค์กรที่รายงานผลกระทบจริงจาก AI มีแนวโน้มที่จะออกแบบเวิร์กโฟลว์ใหม่มากกว่าเกือบสามเท่า เมื่อเทียบกับการนำ AI ไปติดเพิ่มบนสิ่งที่มีอยู่แล้ว

อย่างไรก็ตาม ข้อแลกเปลี่ยนนั้นมีอยู่จริง ความรับผิดชอบจะคลุมเครืออย่างรวดเร็วเมื่อเหตุการณ์หนึ่งข้ามหลายระบบ วิธีแก้คือมุมมองการดำเนินงานร่วมกันของเอเจนต์ทุกตัว เครื่องมือ การเข้าถึงข้อมูล และประวัติเหตุการณ์ของเอเจนต์

สถาปัตยกรรมแบบกระจายทำให้สูญเสียภาพรวมได้ง่ายเมื่อมีบางอย่างขัดข้อง หลายทีมมองเห็นปริมาณโทเค็นและต้นทุน แต่ไม่เห็นว่าเอเจนต์บรรลุผลลัพธ์ที่ตั้งใจไว้อย่างปลอดภัยจริงหรือไม่ เมื่อบันทึกตลอดเวิร์กโฟลว์อยู่คนละที่ ทีมต่างๆ จะลงเอยด้วยการไล่ตามอาการแทนที่จะหาสาเหตุ

สัญญาณเทเลเมทรีที่เป็นมาตรฐาน เช่น อัตลักษณ์ของโมเดลและการเรียกเครื่องมือ สามารถช่วยได้ เส้นฐานพฤติกรรม เช่น จำนวนขั้นตอนตามปกติในเวิร์กโฟลว์ ก็จำเป็นต่อการแยกความพยายามที่เป็นประโยชน์ออกจากระบบที่ติดค้าง การประเมินไม่ใช่ด่านครั้งเดียวก่อนเปิดตัว แต่เป็นวงจรต่อเนื่อง

AI ที่น่าเชื่อถือในระบบใช้งานจริงเป็นอย่างไร

AI ที่น่าเชื่อถือคือการจัดการข้อผิดพลาด ไม่ใช่การหลีกเลี่ยงข้อผิดพลาด ทีมต้องมองเห็นพฤติกรรม ได้รับการแจ้งเตือนเมื่อประสิทธิภาพเบี่ยงเบน และมีแผนควบคุมเมื่อเกิดปัญหา ที่สำคัญที่สุด เอเจนต์ทุกตัวต้องมีแนวป้องกันที่ชัดเจนเกี่ยวกับการเข้าถึงและการกระทำโดยอิสระ และยังต้องได้รับการอนุมัติจากมนุษย์

เริ่มจากการกระทำที่มีความเสี่ยงต่ำและย้อนกลับได้ เก็บการกระทำที่มีผลกระทบสูง เช่น การเปลี่ยนแปลงระบบใช้งานจริงและธุรกรรมทางการเงิน ไว้หลังการควบคุมที่แท้จริง เวิร์กโฟลว์ที่มีผลกระทบสูงควรสร้างย้อนกลับได้หลังเหตุการณ์ รวมถึงบริบทที่เอเจนต์ดึงมา เครื่องมือที่เรียก การอนุมัติที่ได้รับ และผลลัพธ์ถูกต้องจริงหรือไม่

วัตถุประสงค์ระดับบริการแบบดั้งเดิมต้องขยายให้ครอบคลุมคุณภาพและความปลอดภัยของเอเจนต์ด้วย ซึ่งรวมถึงอัตราความสำเร็จของงานที่ผ่านการตรวจสอบ อัตราการปฏิบัติตามนโยบาย อัตราการส่งต่อให้มนุษย์ ต้นทุนต่องานที่สำเร็จ และความถี่ของผลลัพธ์ที่ไม่พึงประสงค์ เกณฑ์ควรแตกต่างกันตามกรณีใช้งาน ผู้ช่วยความรู้ภายในยอมรับรูปแบบข้อผิดพลาดได้ต่างจากเอเจนต์ที่ทำงานกับข้อมูลภายใต้การกำกับดูแล

ระบบความน่าเชื่อถือที่มีประโยชน์ที่สุดจะเรียนรู้ที่จะตรวจจับเงื่อนไขที่มักเกิดก่อนความล้มเหลว เช่น การลองซ้ำที่เพิ่มขึ้นผิดปกติ หรือเส้นทางที่ในอดีตนำไปสู่การที่มนุษย์เข้ามาแก้ไข เวิร์กโฟลว์ความเสี่ยงต่ำอาจเรียกใช้การแก้ไขอัตโนมัติ ส่วนเวิร์กโฟลว์ที่มีความเสี่ยงสูงกว่าควรหยุดชั่วคราวและส่งการตัดสินใจให้ผู้มีอำนาจ เป้าหมายไม่ใช่การกระทำอัตโนมัติเพียงเพื่อให้เป็นอัตโนมัติ แต่คือการดำเนินการที่เร็วและปลอดภัยขึ้นเมื่อมีหลักฐานสนับสนุน

AI SRE ปิดวงจร

นี่คือจุดที่ AI SRE เข้ามามีบทบาท เอเจนต์ AI SRE สามารถรวบรวมลำดับเวลาของเหตุการณ์ เปรียบเทียบพฤติกรรมปัจจุบันกับเหตุการณ์ในอดีต และเตรียมการดำเนินการที่แนะนำ ขณะที่องค์กรยังคงใช้การแก้ไขแบบควบคุมสำหรับงานที่ย้อนกลับได้ และขอการอนุมัติจากมนุษย์สำหรับทุกสิ่งที่มีผลกระทบสูง

การนำ AI มาใช้กำลังเดินหน้าอย่างรวดเร็ว แต่การนำมาใช้ไม่เหมือนกับวุฒิภาวะในการดำเนินงาน องค์กรที่ขยายเอไอแบบเอเจนต์ได้สำเร็จไม่จำเป็นต้องเป็นองค์กรที่ใช้โมเดลที่มีความสามารถสูงสุดแบบแยกส่วน แต่จะเป็นองค์กรที่มองเห็นพฤติกรรมของเอเจนต์ทั่วทั้งธุรกิจ ตรวจพบสัญญาณเริ่มต้นของการเบี่ยงเบน และเข้าแทรกแซงก่อนที่ข้อผิดพลาดเล็กน้อยจะกลายเป็นเหตุการณ์ด้านลูกค้า ความปลอดภัย หรือการปฏิบัติตามข้อกำหนด

นี่คือบทบาทที่ AI SRE กำลังทำอยู่ นั่นคือเชื่อมโยงนวัตกรรมแบบกระจายศูนย์เข้ากับการมองเห็นจากส่วนกลาง และเปลี่ยนเอไอแบบเอเจนต์ให้เป็นระบบที่องค์กรไว้วางใจได้