Sushil Kumar, CEO ของ Cyara – ซีรีส์สัมภาษณ์

Sushil Kumar, CEO ของ Cyara เป็นผู้บริหารซอฟต์แวร์ระดับองค์กรและผู้ประกอบการที่มีประสบการณ์มากกว่า 25 ปีในการเป็นผู้นำด้านปัญญาประดิษฐ์, DevOps, โครงสร้างพื้นฐานคลาวด์, กลยุทธ์ผลิตภัณฑ์, และการทดสอบซอฟต์แวร์. เขาเข้าร่วม Cyara ในตำแหน่ง CEO ในเดือนธันวาคม 2025 หลังจากที่ดำรงตำแหน่งผู้ร่วมก่อตั้งและ CEO ของ RelicX.ai ซึ่งเขาได้สร้างแพลตฟอร์มการทดสอบอัตโนมัติโดยใช้ AI สร้างสรรค์และอิงเจตนา ซึ่งต่อมาถูกบริษัท Harness เข้าซื้อ. ต่อมาเขาเป็นผู้นำการบูรณาการเทคโนโลยีของ RelicX เข้าสู่ Harness และช่วยกำหนดกลยุทธ์ AI Test Automation. ในช่วงแรกของอาชีพ, Kumar ทำหน้าที่ผู้จัดการทั่วไปของ DevOps ที่ Broadcom, รองประธานอาวุโสฝ่ายผลิตภัณฑ์ที่ CA Technologies, และทำงานที่ Oracle มากกว่า 16 ปีโดยดำรงตำแหน่งผู้นำระดับสูงด้านผลิตภัณฑ์และช่วยขยายธุรกิจซอฟต์แวร์ระดับองค์กรใหญ่. ในทุกบทบาทเหล่านี้ เขามุ่งเน้นการสร้างและขยายแพลตฟอร์ม AI, คลาวด์, DevOps, และระบบอัตโนมัติสำหรับองค์กรขนาดใหญ่. การแต่งตั้งของเขาที่ Cyara มุ่งเน้นการขยายความสามารถในการรับประกันประสบการณ์ลูกค้าด้วย AI และการเข้าถึงระดับโลกของบริษัท.

Cyara เป็นบริษัทรับประกันประสบการณ์ลูกค้าที่ช่วยองค์กรทดสอบ, ตรวจสอบ, และตรวจสอบความถูกต้องของการโต้ตอบกับลูกค้าผ่านช่องเสียง, ดิจิทัล, การส่งข้อความ, และช่อง AI การสนทนา. แพลตฟอร์ม Cyara Agentic Platform ของบริษัทถูกออกแบบมาเพื่อแก้ไขความท้าทายที่เพิ่มขึ้นจากประสบการณ์ลูกค้าที่ขับเคลื่อนด้วย AI, รวมถึงการทดสอบเอเย่นต์ AI ที่ไม่กำหนดผลลัพธ์ล่วงหน้า, การตรวจจับการหลงลืมและการเปลี่ยนแปลงพฤติกรรม, การตรวจสอบการปฏิบัติตามกฎ, การตรวจสอบระบบการผลิต, และการประเมินเส้นทางลูกค้าตั้งแต่ต้นจนจบ. แพลตฟอร์มนี้รวมการทดสอบเอเย่นต์ AI, การตรวจสอบการผลิต, การรับประกันเสียงและโทรคมนาคม, การทดสอบช่องดิจิทัล, และการมองเห็น CX, รองรับการเดินทางของลูกค้ามากกว่า 350 ล้านครั้งต่อปีทั่วโลกที่ครอบคลุมกว่า 140 ประเทศ. เมื่อองค์กรนำเอเย่นต์ AI ที่มีความอิสระเพิ่มขึ้นเข้าสู่กระบวนการทำงานที่ติดต่อกับลูกค้า, Cyara กำหนดตำแหน่งเทคโนโลยีของตนเป็นชั้นรับประกันเพื่อประเมินว่าระบบเหล่านั้นทำงานอย่างน่าเชื่อถือ, ปลอดภัย, และสม่ำเสมอก่อนและหลังการใช้งาน.

คุณได้ใช้ส่วนใหญ่ของอาชีพของคุณในการสร้างและขยายซอฟต์แวร์ระดับองค์กร ตั้งแต่ Oracle และ CA/Broadcom ไปจนถึงการก่อตั้ง Relicx และตอนนี้เป็นผู้นำ Cyara. ประสบการณ์นี้มีผลต่อมุมมองของคุณอย่างไรที่ว่าเอเย่นต์ AI ควรได้รับการจัดการไม่เหมือนซอฟต์แวร์แบบดั้งเดิม แต่เหมือนกับสมาชิกของแรงงาน?

ฉันใช้ส่วนใหญ่ของอาชีพของฉันในการสร้างและขยายซอฟต์แวร์ระดับองค์กร, และวินัยที่เราสร้างขึ้นนั้นเป็นวินัยที่เน้นระบบที่กำหนดผลลัพธ์ได้. คุณรู้ว่าซอฟต์แวร์ควรทำอะไร. คุณตรวจสอบความถูกต้องตามความคาดหวังนั้น. เมื่อมันล้มเหลว, มันจะแจ้งให้คุณทราบ: ข้อผิดพลาด, ธุรกรรมที่ล้มเหลว, การแจ้งเตือน.

เอเย่นต์ AI ไม่ทำงานแบบนั้น. พวกมันไม่กำหนดผลลัพธ์ได้, ดังนั้นข้อมูลเข้าเดียวกันอาจนำไปสู่เส้นทางที่แตกต่างกัน. ที่สำคัญยิ่งกว่านั้น, พวกมันสามารถทำหน้าที่แทนบริษัทได้. พวกมันทำคำสัญญา: การคืนเงิน, นโยบาย, สัญญา. และเมื่อหนึ่งในนั้นผิดพลาด, ไม่มีอะไรเสียหาย. คำตอบที่ผิดพลาดฟังดูเหมือนคำตอบที่ถูกต้อง. ธุรกรรมสำเร็จ, แดชบอร์ดยังคงเป็นสีเขียว, และลูกค้าเดินออกไปพร้อมกับสิ่งที่บริษัทไม่เคยยอมรับ.

เมื่อซอฟต์แวร์สามารถตัดสินใจและทำคำสัญญา, และอาจผิดพลาดโดยไม่แจ้งให้คุณทราบ, มันต้องการโมเดลการทำงานที่แตกต่าง.

นี่คือจุดที่การเปรียบเทียบกับแรงงานมีความหมาย. คุณไม่ได้จัดการพนักงานโดยเขียนสคริปต์ทุกการตัดสินใจที่พวกเขาจะทำ. คุณมอบบทบาทให้พวกเขา, กำหนดอำนาจที่มาพร้อมกับบทบาทนั้น, และขยายอำนาจนั้นเมื่อพวกเขาแสดงความสามารถ. เอเย่นต์ก็ทำงานเช่นเดียวกันภายใต้โครงสร้างเดียวกัน.

ตามที่ผมเห็น, ความอิสระไม่ใช่การตัดสินใจในการปรับใช้. มันเป็นชุดของการเลื่อนขั้น. เอเย่นต์จะได้รับการเลื่อนขั้นแต่ละขั้นโดยแสดงให้เห็นว่าสามารถทำงานได้, อยู่ภายในอำนาจของตน, และรับรู้เมื่อจำเป็นต้องขอความช่วยเหลือ.

โมเดลการดำเนินงานแบบ “HR-like” สำหรับเอเย่นต์ AI มีลักษณะอย่างไรในองค์กร, และองค์ประกอบใดที่บริษัทควรจัดตั้งเป็นอันดับแรก?

เริ่มจากงาน. ทุกเอเย่นต์ควรมีรายละเอียดงานที่คล้ายกับคำอธิบายงานก่อนที่จะเข้าสู่การผลิต. งานนั้นคืออะไร, ข้อมูลใดเป็นข้อมูลอ้างอิงสำหรับมัน, ข้อมูลลูกค้าใดที่มันสามารถใช้, การตัดสินใจใดที่มันสามารถทำได้ด้วยตนเอง, และความรับผิดชอบของมันสิ้นสุดที่ไหน. หากบริษัทไม่สามารถเขียนสิ่งเหล่านี้ลงในย่อหน้าได้, เอเย่นต์ยังไม่พร้อมสำหรับบทบาท. มันพร้อมสำหรับการสาธิต.

มีสี่สิ่งที่ตามมาจากบทบาทนั้น, และลำดับมีความสำคัญ. หลักฐานก่อนการเปิดใช้งาน, หมายถึงการพิสูจน์ว่าเอเย่นต์ทำงานได้ภายใต้เงื่อนไขที่คล้ายกับโลกจริงแทนการทดสอบที่ควบคุม. การกำกับดูแลขณะทำงาน, เพื่อให้คุณทราบว่าเอเย่นต์ทำอะไรจริง ๆ ไม่ใช่แค่ระบบตอบสนองหรือไม่. ประตูการเลื่อนขั้น, เพื่อให้มอบอำนาจเพิ่มเมื่อมีหลักฐานสนับสนุนและไม่ก่อนหน้า. และเจ้าของในธุรกิจ, ไม่ใช่ในฝ่ายวิศวกรรม, ผู้รับผิดชอบต่อสิ่งที่เอเย่นต์ได้รับอนุญาตให้ทำ.

หากลำดับผิดพลาด สิ่งที่เหลือจะไม่คงอยู่. หากความรับผิดชอบไม่ชัดเจน, การพิสูจน์ประสิทธิภาพที่ดีเป็นไปไม่ได้, และการพิสูจน์ความล้มเหลวก็เช่นกัน. บทบาทมาก่อน, แล้วตามด้วยหลักฐาน.

หากเอเย่นต์ AI ถูกมอบหมายบทบาทเฉพาะ, องค์กรควรกำหนดความรับผิดชอบ, สิทธิ์, และขอบเขตของมันอย่างไรก่อนที่จะให้มันโต้ตอบกับลูกค้าหรือระบบสำคัญ?

บทบาทบอกว่าเอเจนต์ทำอะไร สิทธิ์การเข้าถึงบอกว่าเอเจนต์ทำอะไรได้ สิ่งเหล่านี้เป็นการสนทนาที่แตกต่างกันสองเรื่อง และบริษัทมักจะกำหนดแค่เรื่องแรกเท่านั้น

ต้องระบุให้ชัดเจนสามประการ คือ ระบบและข้อมูลที่เอเจนต์สามารถเข้าถึงได้และในทิศทางใด เนื่องจากการอ่านบันทึกลูกค้าและการเปลี่ยนแปลงบันทึกเป็นสิทธิ์ที่ต่างกัน สิ่งที่เอเจนต์สามารถทำได้ด้วยตนเอง ซึ่งเป็นที่ที่เงินและความรับผิดชอบอยู่ เช่น การคืนเงิน เครดิต หรือการยกเว้นนโยบาย และสิ่งที่ทำให้ต้องส่งต่องาน ทั้งกรณีที่คุณสามารถระบุล่วงหน้าได้และสัญญาณที่บ่งบอกว่าเอเจนต์ได้ออกนอกขอบเขตความสามารถของตน

นี่ไม่ใช่การตัดสินใจที่ควรปล่อยให้ทีมเทคโนโลยีทำเพียงอย่างเดียว พวกเขากำหนดความเสี่ยงที่บริษัทรับไว้ ผู้ที่รับผิดชอบประสบการณ์ลูกค้าและการเปิดเผยด้านการปฏิบัติตามกฎระเบียบต้องมีส่วนร่วมในการกำหนดเส้นแบ่งเหล่านี้ และโดยทั่วไปพวกเขาจะเป็นคนสุดท้ายที่ถูกถาม

จากนั้นคุณต้องพิสูจน์ว่าเอเจนต์อยู่ภายในขอบเขตที่กำหนดไว้ เป้าหมายไม่ใช่การกำจัดข้อผิดพลาดทุกอย่าง จะมีข้อผิดพลาดเกิดขึ้น คำถามคือเอเจนต์เข้าใจขอบเขตของตนเองหรือไม่ รู้ว่าเมื่อไหร่ควรหยุดทำงาน และสามารถทำหน้าที่ที่ได้รับมอบหมายได้โดยไม่ก่อให้เกิดผลกระทบในส่วนอื่นของเส้นทางลูกค้า

คุณโต้แย้งว่าความอิสระที่มากขึ้นควรได้รับหลังจากพิสูจน์ความสามารถ ไม่ใช่ให้มอบตั้งแต่แรก ก่อนที่องค์กรจะขยายขอบเขตการกระทำที่เอเจนต์ทำได้ด้วยตนเอง ควรให้เอไอเอเจนต์แสดงอะไรบ้าง?

ตอนนี้การสร้างเอไอเอเจนต์ทำได้ง่ายแล้ว ส่วนที่ยากคือการพิสูจน์ว่าเอเจนต์นั้นสมควรได้รับอิสระหรือไม่

ก่อนที่จะขยายขอบเขตการทำงานของเอเจนต์ด้วยตนเอง องค์กรต้องมีหลักฐานว่าเอเจนต์ทำงานตามหน้าที่ที่มอบหมายอย่างสม่ำเสมอและอยู่ภายในขอบเขตนั้น ซึ่งหมายถึงการจัดการกับสถานการณ์ที่คุณคาดหวังไว้และสถานการณ์ที่คุณไม่ได้คาดคิด เอเจนต์อาจดูแข็งแกร่งในสภาวะที่ควบคุมได้ แต่พฤติกรรมอาจเปลี่ยนแปลงเมื่อบริบทหรือระบบรอบข้างเปลี่ยนไป

ลูกค้าอาจเริ่มด้วยคำถามเรื่องบิลง่าย ๆ แล้วรู้สึกหงุดหงิดเมื่อการชำระเงินล้มเหลว เอเจนต์ต้องรับรู้การเปลี่ยนแปลงนี้ในขณะเกิดขึ้นและปรับเส้นทางการทำงาน แทนที่จะดำเนินต่อไปตามเส้นทางที่ได้รับการตรวจสอบแล้ว

ต้องเป็นจริงสามประการก่อนที่อำนาจจะขยายออกไป เอเจนต์ทำงานภายใต้สภาวะจริง ไม่ใช่แค่สภาวะที่สะอาดตาเท่านั้น มันต้องรู้ขอบเขตความสามารถของตนเองและหยุดที่จุดนั้น และต้องมีผู้ที่สามารถจัดเตรียมหลักฐานสำหรับทั้งสองอย่างได้ตามต้องการ

ระดับของหลักฐานต้องสอดคล้องกับระดับของอิสระ การตัดสินใจเล็ก ๆ ต้องใช้หลักฐานเบา ๆ แต่การเข้าถึงระบบการชำระเงินหรือความสามารถในการทำให้บริษัทยอมรับการยกเว้นนโยบายต้องมีเกณฑ์ที่สูงกว่ามาก

บริษัทควรประเมินประสิทธิภาพของเอไอเอเจนต์อย่างต่อเนื่องอย่างไรหลังจากที่นำไปใช้งาน โดยเฉพาะเมื่อคุณภาพของการตัดสินใจไม่สามารถวัดได้ด้วยเมตริกการทดสอบซอฟต์แวร์แบบดั้งเดิมเพียงอย่างเดียว?

นี่คือจุดที่แนวคิดการทดสอบซอฟต์แวร์แบบดั้งเดิมล้มเหลว กับซอฟต์แวร์ที่กำหนดผลลัพธ์ได้ คุณทดสอบว่าระบบผ่านหรือไม่ผ่านได้ แต่กับเอไอเอเจนต์คุณอาจได้รับการตอบสนองที่สำเร็จจากระบบแต่ยังคงเกิดการโต้ตอบกับลูกค้าที่ล้มเหลว

ดังนั้นคุณต้องประเมินผลลัพธ์ ไม่ใช่การตอบสนอง เอเจนต์เข้าใจว่าลูกค้าต้องการทำอะไรหรือไม่? ใช้ข้อมูลที่ถูกต้องหรือไม่? ทำภารกิจให้เสร็จสมบูรณ์หรือไม่? อยู่ภายในขอบเขตของตนและส่งต่อเมื่อควรหรือไม่?

การประเมินพื้นฐาน การให้คะแนนคำตอบเทียบกับชุดมาตรฐานเป็นระดับพื้นฐาน ทุกบริษัทจะมีสิ่งเหล่านี้ มิติที่กำหนดว่าลูกค้าจะยังคงไว้ใจคุณหรือไม่คือมิติที่อยู่ด้านล่าง ได้แก่ การปฏิบัติตามกฎ ความลำเอียง การใช้ในทางที่ผิด และวิธีที่เอเจนต์รับมือกับผู้โทรจริง ๆ เสียงสำเนียงของผู้พูด สภาพแวดล้อมเสียงรบกวน โทรศัพท์ราคาถูก การขัดจังหวะกลางประโยค ในเสียงพูดเรื่องนี้สำคัญกว่าที่คนส่วนใหญ่คาดคิด เพราะทุกคะแนนอิงจากการถอดข้อความ หากชั้นเสียงเข้าใจคำถามผิด เอเจนต์ก็จะตอบคำถามที่ไม่มีใครถาม

การคำนวณนี้คุ้มค่าที่จะไตร่ตรอง คะแนนการประเมิน 99% ฟังดูยอดเยี่ยม แต่เมื่อมีการสนทนาหนึ่งล้านครั้งต่อปี จะหมายถึงการล้มเหลวสิบพันครั้ง

มีสองหลักการที่ยืนหยัด การตรวจสอบต้องเป็นอิสระจากเอเจนต์และแพลตฟอร์มโมเดล เราไม่ได้สร้างเอเจนต์ด้วยตนเอง ซึ่งเป็นเหตุผลที่ฉันสามารถบอกอย่างชัดเจนว่าไม่มีผู้ขายคนใดควรเป็นผู้ตัดสิน AI ของตนเอง มาตรฐานคือแนวนโยบายขององค์กรเอง ความมุ่งมั่นต่อผู้ลูกค้าและข้อผูกพันตามกฎระเบียบ ไม่ใช่คะแนนของผู้ขาย

และความล้มเหลวทุกกรณีในการผลิตควรกลายเป็นประตู ไม่ใช่ตั๋วงานหรือรายการค้างใน backlog แต่เป็นการทดสอบที่เอเจนต์ต้องผ่านก่อนการปล่อยเวอร์ชันถัดไป หากปัญหาเกิดขึ้นในการผลิตและไม่ได้กลายเป็นสิ่งที่เอเจนต์ต้องผ่าน คุณกำลังจ่ายค่าใช้จ่ายเพื่อค้นพบปัญหาเดียวกันสองครั้ง

ความเชื่อถือและการกำกับดูแลถูกอ้างอิงบ่อยว่าเป็นอุปสรรคสำคัญต่อการขยาย AI ที่มีเอเจนต์ คุณเชื่อว่าเทคโนโลยีกำลังพัฒนาเร็วเกินกว่าความสามารถขององค์กรในการควบคุมหรือไม่ และความเสี่ยงที่เกิดจากนั้นคืออะไร?

ผมคิดว่าเป็นสิ่งที่กำลังเกิดขึ้นจริง ๆ และช่องว่างนั้นเป็นโครงสร้างมากกว่าความล้มเหลวของความพยายาม ความคิดหนึ่งสามารถกลายเป็นเอเจนต์ที่ติดต่อกับลูกค้าได้ภายในไม่กี่สัปดาห์ แต่ระเบียบวินัยการดำเนินงานรอบเอเจนต์นั้น การเป็นเจ้าของ การมีหลักฐาน การกำกับดูแล ใช้เวลานานกว่ามาก เพราะต้องเกี่ยวข้องกับคนและความรับผิดชอบ ไม่ได้เป็นแค่ซอฟต์แวร์

ความเสี่ยงคือช่องว่างจะคงอยู่โดยไม่เห็นได้ขณะกว้างขึ้น ตัวแทนอาจให้คำตอบที่ผิดอย่างมั่นใจแก่ลูกค้าโดยไม่มีข้อผิดพลาด ไม่มีธุรกรรมล้มเหลวและไม่มีการแจ้งเตือน ทุกแดชบอร์ดดูเป็นสีเขียว การดำเนินงานแบบดั้งเดิมพึ่งพาระบบบอกคุณเมื่อมีปัญหา และตัวแทนไม่สามารถทำเช่นนั้นได้อย่างเชื่อถือได้

ฉันไม่คิดว่าคำตอบคือการชะลอ บริษัทที่ชนะในที่นี้จะเคลื่อนที่อย่างรวดเร็ว คำตอบคือการสร้างหลักฐานและการกำกับดูแลที่ทำให้คุณเคลื่อนที่เร็วด้วยความมั่นใจ ยิ่งตัวแทนได้รับอิสระมากเท่าไหร่ คุณก็ต้องมีหลักฐานมากเท่าไหร่เพื่อพิสูจน์ว่ามันสามารถรับผิดชอบได้

เมื่อเอเจนต์อิสระทำการตัดสินใจที่แย่, ใครควรรับผิดชอบในที่สุด: นักพัฒนา, หน่วยธุรกิจที่ใช้งาน, ผู้ให้บริการโมเดล, หรือผู้บริหารที่อนุมัติการใช้งาน?

ในที่สุดบริษัทที่ใช้งานเอเจนต์เป็นผู้รับผิดชอบผลลัพธ์หลายฝ่ายมีส่วนร่วมในการสร้างและดำเนินระบบ แต่ลูกค้าไม่มีความสัมพันธ์กับผู้ให้บริการโมเดล ลูกค้ามีความสัมพันธ์กับบริษัทที่ชื่อปรากฏบนการโต้ตอบ

นั่นไม่ได้หมายความว่าความรับผิดชอบอยู่กับคนคนเดียว มันไหลผ่านห่วงโซ่การตัดสินใจ นักพัฒนารับผิดชอบวิธีที่ระบบถูกสร้าง ธุรกิจกำหนดว่าเอเจนต์สามารถทำอะไรได้ ผู้ให้บริการรับผิดชอบเทคโนโลยีที่ให้ไว้ ผู้นำระดับสูงรับผิดชอบให้บริษัทมีการควบคุมและการกำกับดูแลเพื่อจัดการความเสี่ยงทั้งหมด

ความผิดพลาดคือการคิดว่าเพราะโมเดลทำการตัดสินใจ โมเดลจึงเป็นเจ้าของมัน ไม่เป็นเช่นนั้น หากเอเจนต์ทำสัญญากับลูกค้าในนามของคุณ สัญญานั้นเป็นของแบรนด์ ลูกค้าเข้าใจเรื่องนี้โดยธรรมชาติและผู้กำกับก็เช่นกัน

เอเจนต์ AI อาจทำพฤติกรรมที่ไม่คาดคิดเมื่อเจอสถานการณ์ที่ไม่ได้คาดการณ์ไว้ในการทดสอบ บริษัทควรทดสอบกรณีขอบเหล่านี้อย่างไรก่อนที่เอเจนต์จะได้รับการเข้าถึงลูกค้า ระบบการเงิน หรือข้อมูลที่ละเอียดอ่อน?

คุณต้องสมมติว่าเอเจนต์ในที่สุดจะเจอสิ่งที่ไม่ได้ออกแบบไว้ คำถามคือจะเกิดอะไรขึ้นเมื่อมันเกิดขึ้น

ดังนั้นให้ตรวจสอบนอกเหนือจากเส้นทางที่คาดหวัง ให้เอเจนต์รับคำขอที่คลุมเครือ ให้ข้อมูลที่ขัดแย้ง ให้บริบทที่ไม่สมบูรณ์ นำไปสู่สถานการณ์ที่คำตอบที่ถูกต้องคือการหยุดและส่งต่อแทนการดำเนินต่อ เพิ่มเงื่อนไขของโลกจริง ซึ่งในรูปแบบเสียงหมายถึงสำเนียง, เสียงรบกวน, การเชื่อมต่อที่แย่, และผู้โทรที่เปลี่ยนหัวข้อกลางคัน จุดมุ่งหมายไม่ใช่เพื่อยืนยันว่าเอเจนต์ทำงานได้ แต่เพื่อค้นหาว่ามันทำพฤติกรรมอย่างไรเมื่อเงื่อนไขไม่สะอาด

ประเด็นที่สำคัญยิ่งคือคุณต้องตรวจสอบทั้งเส้นทางการเดินทาง ไม่ใช่แค่เอเจนต์แยกส่วน โมเดลมักไม่ใช่สาเหตุ เมื่อมีอะไรผิดพลาด คำถามแรกของฉันคือโมเดลได้รับบริบทอะไรบ้าง อาจเป็นบทความความรู้ที่ล้าสมัย หรือสองระบบที่มีนโยบายขัดแย้งกัน หรือการส่งต่อที่ทำให้ข้อมูลที่ลูกค้าอธิบายไว้หายไป ทุกส่วนประกอบอาจผ่านการทดสอบของตนเองได้ แต่เส้นทางลูกค้าก็อาจล้มเหลวที่จุดเชื่อมต่อระหว่างส่วนเหล่านั้น

ชั้นระหว่างระบบนั้นคือสิ่งที่เราผ่านการวัดผลมาหลายปี ครอบคลุม 450 บริษัทและมากกว่า 350 ล้านเส้นทางลูกค้าต่อปี ไม่ว่าจะเป็นเอเจนต์หรือไม่ มันก็พังในแบบเดียวกัน เราเห็นเอเจนต์ที่สร้างบนเทคโนโลยีของผู้ให้บริการกว่า 55 ราย รวมถึงทุกแพลตฟอร์มศูนย์ติดต่อหลัก ซึ่งทำให้เรารู้ว่ารูปแบบนี้ยังคงอยู่ไม่ว่ารุ่นโมเดลใดอยู่ข้างใต้

ก่อนที่เอเจนต์จะเข้าถึงสิ่งที่สำคัญ ธุรกิจควรมีหลักฐานว่ามันทำอะไรเมื่อทุกอย่างเป็นไปได้ดีและเมื่อไม่เป็นไปดี

คุณมองว่าการทดสอบ AI จะพัฒนาอย่างไรเมื่อบริษัทย้ายจากซอฟต์แวร์เชิงกำหนดไปสู่ระบบที่ให้เหตุผล, วางแผน, สื่อสาร, และดำเนินการข้ามหลายแอปพลิเคชัน?

การทดสอบต้องเปลี่ยนจากการถามว่าระบบให้คำตอบที่คาดหวังหรือไม่ ไปเป็นการถามว่ามันบรรลุผลลัพธ์ที่ถูกต้องหรือไม่

นั่นเป็นการเปลี่ยนแปลงที่สำคัญ เอเจนต์อาจใช้หลายเส้นทางต่างกันเพื่อแก้ปัญหาลูกค้าเดียวกัน และเส้นทางเหล่านั้นอาจเปลี่ยนตามเวลาเมื่อโมเดลและความรู้ที่อยู่เบื้องหลังเปลี่ยน คุณไม่สามารถเขียนสคริปต์สำหรับทุกการโต้ตอบได้ คุณต้องประเมินว่าเอเจนต์เข้าใจเจตนาหรือไม่, ตัดสินใจอย่างมีเหตุผลระหว่างทาง, และอยู่ในขอบเขตที่กำหนดไว้หรือไม่

ฉันต้องระมัดระวังเรื่องหนึ่ง เพราะอุตสาหกรรมกำลังทำผิดและเสียค่าใช้จ่ายสูง การทดสอบก่อนเปิดใช้งานสำคัญยิ่งขึ้น ไม่ใช่น้อยลง มันเป็นสิ่งที่กำหนดว่าเอเจนต์พร้อมหรือไม่ การอ้างว่าเราสามารถข้ามขั้นตอนนี้และดูการทำงานในผลิตภัณฑ์จริงเป็นการอ้างที่ทำให้ต้องพบปัญหาเมื่อลูกค้าพบ

สิ่งที่เปลี่ยนแปลงคือการทดสอบก่อนเปิดใช้งานไม่ใช่จุดจบของกระบวนการ ผลการผลิตเปิดเผยเงื่อนไขที่สภาพแวดล้อมควบคุมไม่สามารถจำลองได้อย่างสมบูรณ์ และสิ่งที่ผลิตภัณฑ์เปิดเผยกลายเป็นการทดสอบที่เอเจนต์ต้องผ่านก่อนการปล่อยครั้งถัดไป การพิสูจน์ก่อนเปิดใช้งาน, ความระมัดระวังในผลิตภัณฑ์, และการป้อนข้อมูลซึ่งกันและกัน เอเจนต์ที่ทำงานในเดือนหกควรดีกว่าที่เปิดตัวอย่างชัดเจน

มองไปข้างหน้า สิ่งใดจะทำให้องค์กรที่สร้างแรงงาน AI ที่เชื่อถือได้แตกต่างจากองค์กรที่ยังคงทำโครงการทดลองเอเจนต์ AI ขนาดเล็กอยู่?

องค์กรที่ได้รับผลตอบแทนจริงจากเอเจนต์คือองค์กรที่สร้างโมเดลการดำเนินงานโดยอิงหลักฐานไว้แล้ว ส่วนองค์กรที่หยุดชะงักมักไม่ได้ถูกบล็อกโดยเทคโนโลยี แต่ถูกบล็อกเพราะไม่มีใครสามารถผลิตสิ่งที่ระดับการอนุมัติขั้นต่อไปต้องการ กฎหมายหรือคณะกรรมการความเสี่ยงอาจตั้งคำถามที่สมเหตุสมผล แต่ไม่มีคำตอบ จึงทำให้โครงการนำร่องยังคงเป็นโครงการนำร่อง แม้เทคโนโลยีอาจพร้อมแล้ว องค์กรก็ยังไม่สามารถชี้แจงให้เหตุผลว่าควรให้สิทธิ์เพิ่มขึ้นได้

นั่นคือความแตกต่างระหว่างโครงการนำร่องกับแรงงานที่ดำเนินการจริง ในโครงการนำร่องจะมีคนคอยเฝ้าติดตามอยู่เสมอ ในโมเดลการดำเนินงานแต่ละเอเจนต์จะมีหน้าที่ที่สามารถอธิบายได้ในประโยคเดียว สิทธิ์ของมันถูกจำกัดและบันทึกไว้ การประเมินผลการทำงานของมันจะทำโดยสิ่งอื่นที่ไม่ใช่ทีมที่สร้างมัน ความล้มเหลวในการผลิตจะกลายเป็นประตูปล่อยให้ผ่านได้ และอิสระภาพที่มากขึ้นจะตามมาหลังจากได้รับการพิสูจน์

ความแตกต่างที่สองคือความเป็นเจ้าของ ในบริษัทที่ขยายตัวได้ เอเจนต์จะเป็นส่วนของฟังก์ชันธุรกิจที่มันให้บริการ โดยมีเจ้าของที่ระบุชื่อซึ่งรับผิดชอบต่อสิ่งที่เอเจนต์ทำ ส่วนที่ยังคงเป็นโครงการ AI ที่เป็นของทีม AI จะคงอยู่ในขนาดเล็ก เพราะไม่มีผู้นำธุรกิจคนใดยอมรับความเสี่ยงของสิ่งที่เขาไม่สามารถควบคุมได้

ทั้งหมดนี้ไม่ได้แปลกใหม่ มันคล้ายกับวิธีที่บริษัทจัดการกับคนที่ได้รับความไว้วางใจให้รับผิดชอบจริง ๆ อยู่แล้ว

โครงการนำร่องอาจดำเนินได้ด้วยความเชื่อมั่นขององค์กร การขยายขนาดต้องอาศัยหลักฐาน

ขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม, ผู้อ่านที่ต้องการเรียนรู้เพิ่มเติมควรเยี่ยมชม Cyara