Dhivya Nagasubramanian, รองประธานฝ่ายการเปลี่ยนแปลงและนวัตกรรม AI – สัมภาษณ์เชิงลึก

Dhivya Nagasubramanian เป็นรองประธานฝ่ายการเปลี่ยนแปลงและนวัตกรรม AI ในสถาบันการเงินชั้นนำของสหรัฐฯ โดยที่เธอเป็นผู้นำในการออกแบบ การใช้งาน และการกำกับดูแลระบบ AI ที่มีประสิทธิภาพในการผลิต เธอยังเป็นนักเขียนหนังสือ Agentic AI for Engineers (Apress/Springer Nature) ซึ่งเป็นคู่มือปฏิบัติการในการสร้างระบบ AI ที่มีประสิทธิภาพและเชื่อถือได้ในการผลิต ตั้งแต่การเปิดตัว หนังสือเล่มนี้ได้รับการเข้าถึงมากกว่า 6,000 ครั้งจากสถาบันการเงินต่างๆ ทั่วโลก และมีการจัดเก็บในห้องสมุดมากกว่า 260 แห่งทั่วโลก นอกจากนี้เธอยังเป็นผู้ถือสิทธิบัตรที่ได้รับการอนุมัติจาก USPTO ในด้านการเรียนรู้ของเครื่อง และความสนใจในการวิจัยของเธอรวมถึงการสร้างแอปพลิเคชันที่สามารถต้านทานการโจมตีจากภายนอก และการมีส่วนร่วมในการพัฒนามาตรฐานความปลอดภัยและความมั่นคงสำหรับอุตสาหกรรม เธอยังเป็นผู้เชี่ยวชาญที่ได้รับการยอมรับในหลายๆ การประชุมและงานสัมมนา

การทำงานของคุณได้พัฒนาจากการให้คำปรึกษาด้านการเงินและการวิทยาศาสตร์ข้อมูลไปสู่การนำ AI มาใช้ในการเปลี่ยนแปลงการให้บริการทางการเงิน อย่างไรที่ประสบการณ์เหล่านี้ได้ định hìnhหนังสือ Agentic AI for Engineers และอะไรคือช่องว่างที่เกิดซ้ำระหว่างการวิจัย AI และการนำไปใช้จริงที่ทำให้คุณตัดสินใจเขียนหนังสือเล่มนี้?

ฉันเริ่มต้นในปี 2008 โดยการสร้างระบบบัญชีและวัดผลการดำเนินงานสำหรับแพลตฟอร์มการเงิน หนึ่งในโครงการเหล่านั้นคือเครื่องมือที่คำนวณผลตอบแทนตามเวลา ซึ่งถูกใช้โดยสถาบันการเงินในมากกว่า 80 ประเทศ การทำงานนั้นสอนฉันบทเรียนที่มีผลกระทบต่ออาชีพของฉันอย่างมาก ในการเงินที่มีการควบคุม การล้มเหลวที่อันตรายที่สุดคือตัวเลขที่ไม่ถูกต้องที่ดูเหมือนถูกต้อง การคำนวณที่ไม่ถูกต้องอาจถูกเชื่อถือและใช้งานเป็นเวลานาน เพราะไม่มีอะไรดูเหมือนจะผิดปกติ

ฉันเห็นรูปแบบเดียวกันนี้อีกครั้งเมื่อฉันพบช่องว่างเชิงโครงสร้างในแบบจำลอง Markov ของโมเดลการตลาดที่ใช้กันอย่างแพร่หลาย โมเดลนั้นถูกใช้โดยผู้ใช้หลายร้อยพันคน และข้อผิดพลาดนั้นอยู่มานานเพราะว่าผลลัพธ์ดูสมเหตุสมผล เมื่อฉันเข้าสู่การเปลี่ยนแปลง AI ในการเงิน ฉันเห็นระบบ agentic ทำซ้ำรูปแบบเดียวกันนี้ แต่มีผลกระทบสูงกว่ามาก ระบบ agentic ไม่เพียงแต่ผลิตผลลัพธ์ที่ไม่ถูกต้อง แต่ยังดำเนินการตามผลลัพธ์นั้นด้วย

ช่องว่างที่ทำให้ฉันตัดสินใจเขียนหนังสือเล่มนี้คือการวิจัยและใช้งานจริงมีความสนใจที่แตกต่างกัน การวิจัยวัดความสามารถตามมาตรฐาน ในขณะที่การใช้งานจริงขึ้นอยู่กับว่าระบบจะทำงานอย่างไรภายใต้ความไม่แน่นอน ข้อมูลที่เปลี่ยนแปลง และแรงกดดันจากภายนอก ส่วนใหญ่ของการเขียนเกี่ยวกับระบบ agentic หยุดอยู่ที่ขั้นตอนการแสดงผล ฉันเขียน Agentic AI for Engineers สำหรับวิศวกรที่ต้องลงชื่อในระบบที่จะทำงานด้วยการกำกับดูแลที่จำกัดภายในสถาบันที่มีการควบคุม

หนังสือของคุณอธิบายการเปลี่ยนแปลงจากอัตโนมัติไปสู่ความเป็นอิสระเป็นมุมมองใหม่ของวิศวกรรมอะไรคือสิ่งที่ทำให้ระบบ AI ที่มีความเป็นอิสระแตกต่างจากกระบวนการทำงานอัตโนมัติที่ซับซ้อน และที่ไหนที่องค์กรมักจะสับสนระหว่างทั้งสอง?

ฉันให้การทดสอบแก่ทีมงานได้ หากคุณสามารถแสดงเส้นทางที่ระบบสามารถดำเนินการได้ก่อนที่จะเรียกใช้ระบบ คุณมีอัตโนมัติ หากคุณไม่สามารถแสดงเส้นทางเหล่านั้นได้ คุณมีความเป็นอิสระ ความแตกต่างไม่ได้ขึ้นอยู่กับโมเดลที่คุณใช้ แต่ขึ้นอยู่กับว่าการตัดสินใจจะเกิดขึ้นที่ไหน

องค์กรสับสนระหว่างทั้งสองในทิศทางทั้งสอง แต่ทิศทางเดียวที่มีค่าใช้จ่ายคือการเรียกกระบวนการทำงานอัตโนมัติว่า agentic การเรียกกระบวนการทำงานอัตโนมัติว่า agentic เป็นเพียงปัญหาในการตลาด แต่การเรียกระบบที่มีความเป็นอิสระจริงๆ ว่าเป็นอัตโนมัติเป็นข้อผิดพลาดที่มีค่าใช้จ่ายมาก ทีมงานนำระบบที่มีความเป็นอิสระไปใช้ภายใต้การกำกับดูแลที่ออกแบบมาเพื่ออัตโนมัติ การทดสอบของพวกเขาขึ้นอยู่กับการทำซ้ำ การติดตามของพวกเขาขึ้นอยู่กับรูปแบบการล้มเหลวที่ทราบ และหลักฐานการตรวจสอบของพวกเขาขึ้นอยู่กับกฎที่มีเหตุผลเบื้องหลังทุกการดำเนินการ ไม่หนึ่งในสมมติฐานเหล่านั้นใช้ได้กับระบบ agentic

นี่คือการเปลี่ยนแปลงมุมมองที่ฉันให้เหตุผลในหนังสือ ด้วยอัตโนมัติ คำถามหลักคือว่าระบบได้ทำงานอย่างถูกต้องหรือไม่ ด้วยความเป็นอิสระ คำถามคือว่าระบบตัดสินใจอย่างถูกต้องหรือไม่ การตอบคำถามนั้นต้องการเครื่องมือและวิธีการประเมินที่แตกต่าง และระดับความระมัดระวังที่สูงกว่า

ระบบ AI ที่มีความเป็นอิสระหลายระบบแสดงผลลัพธ์ที่น่าประทับใจในการสาธิต แต่ประสบปัญหาเมื่อเผชิญกับผู้ใช้จริง ข้อมูลที่เปลี่ยนแปลง และเครื่องมือที่ไม่คาดคิด องค์ประกอบใดที่ควรพิจารณาว่าเป็นองค์ประกอบที่จำเป็นในระบบ agentic ที่พร้อมสำหรับการผลิต?

คำตอบที่ซื่อสัตย์คือว่าระบบการผลิตต้องการทุกสิ่งที่การสาธิตให้คุณข้ามได้ การสาธิตทำงานเพราะมีคนควบคุมสภาพแวดล้อม การผลิตนำการควบคุมนั้นออกไป

ในหนังสือ ฉันบรรยายถึงโครงสร้างอ้างอิงที่มี 7 ชั้น แต่สิ่งเหล่านี้คือองค์ประกอบที่ฉันพิจารณาว่าจำเป็น สัญญาเครื่องมือที่มีการเข้าและอ่านข้อมูลที่ชัดเจนและอนุญาตที่ชัดเจน เพื่อให้การเข้าถึงของตัวแทนจำกัดด้วยการออกแบบ ไม่ใช่ด้วยความหวัง การจัดการสถานะที่สามารถอยู่รอดได้จากการหยุดทำงานและการล้มเหลว การจัดการการล้มเหลวที่มีโครงสร้างพร้อมกับเส้นทางการเพิ่มระดับ และเครื่องมือประเมินที่ทำงานอย่างต่อเนื่อง ไม่ใช่เพียงครั้งเดียวก่อนการเปิดตัว และหลักฐานการตรวจสอบที่บันทึกการตัดสินใจและเหตุผลเบื้องหลังการตัดสินใจ ไม่ใช่เพียงการดำเนินการเท่านั้น

องค์ประกอบที่ทีมงานมักจะข้ามคือการตรวจสอบในขณะทำงาน สิ่งนี้คือชั้นที่ตรวจสอบการดำเนินการแต่ละครั้งเทียบกับวัตถุประสงค์ที่ระบุของตัวแทนและนโยบายที่ใช้กับมัน ระบบโครงสร้างมาตรฐานจะบอกคุณว่าการเรียกใช้สำเร็จหรือไม่ การตรวจสอบถามว่าการเรียกใช้นั้นควรเกิดขึ้นหรือไม่ มันไม่เคยแสดงคุณค่าในระหว่างการสาธิต เพราะไม่มีสิ่งใดที่ต้องถูกจับ แต่ในการผลิต มันเป็นสิ่งแรกที่คุณจะปรารถนา

หนังสือของคุณครอบคลุมเรื่องความปลอดภัย การจัดตำแหน่ง การวนซ้ำ การทดสอบ การแก้ปัญหา การประเมิน และการนำไปใช้ อย่างไรที่ทีมวิศวกรรมควรรวมองค์ประกอบเหล่านี้เข้าด้วยกันเพื่อสร้างกระบวนการรับประกันความต่อเนื่องแทนการรักษาความปลอดภัยเป็นการตรวจสอบก่อนการเปิดตัวครั้งสุดท้าย?

การตรวจสอบครั้งสุดท้ายพึ่งพาสมมติฐานที่ว่าระบบที่คุณตรวจสอบคือระบบที่จะทำงาน สำหรับ AI ที่มีความเป็นอิสระ สมมติฐานนั้นล้มเหลวในสามวิธี โมเดลที่อยู่เบื้องหลังได้รับการอัปเดต เครื่องมือและ API ที่ตัวแทนพึ่งพาเปลี่ยนแปลงไป และข้อมูลและสภาพแวดล้อมที่ตัวแทนดำเนินการเปลี่ยนแปลงอย่างต่อเนื่อง การตรวจสอบความปลอดภัยครั้งเดียวอธิบายระบบที่ไม่มีอยู่อีกต่อไปหลังจากผ่านไปไม่กี่เดือน

การรับประกันความต่อเนื่องหมายถึงการปิดวงจร การประเมินพฤติกรรมที่ทำงานใน CI (การบูรณาการอย่างต่อเนื่อง) ในลักษณะเดียวกับการทดสอบหน่วย และเป็นเกตทุกการเปลี่ยนแปลงของคำสั่ง เครื่องมือ และโมเดล การติดตามในขณะทำงานให้ผลการตรวจสอบการผลิตกลับเข้าไปในเซตการประเมิน รูปแบบการติดตามที่ฉันบรรยายไว้ในหนังสือเนื่องจากไม่มีรูปแบบเดียวที่ครอบคลุมพื้นผิวการล้มเหลวทั้งหมด ทุกเหตุการณ์สร้างการตรวจสอบใหม่ในลักษณะเดียวกับที่ทุกข้อผิดพลาดควรสร้างการทดสอบการถดถอย การทดสอบการโจมตีแบบก้าวร้าวทำงานในตารางเวลาแทนการทำงานเพียงครั้งเดียวก่อนการเปิดตัว

ด้านองค์กรมีความสำคัญมากเท่ากับด้านเทคนิค ความปลอดภัยไม่สามารถเป็นทีมที่แยกออกมาได้ ทีมวิศวกรที่สร้างตัวแทนควรเป็นเจ้าของชุดการประเมิน ชุดอินวาเรียนต์ และการออกแบบการเพิ่มระดับ เพราะพวกเขาเป็นคนที่รู้จุดอ่อนของระบบมากกว่าใคร

คุณเน้นย้ำถึงการตรวจสอบเชิงความหมายของการเรียกใช้เครื่องมือของตัวแทน สิ่งใดที่การตรวจสอบเชิงความหมายเปิดเผยที่เครื่องมือการตรวจสอบและติดตามที่ตามมาไม่สามารถทำได้ และอย่างไรที่สามารถตรวจจับได้ว่าตัวแทนกำลังทำงานอย่างถูกต้องแต่กำลังติดตามวัตถุประสงค์ที่ไม่ถูกต้อง?

การตรวจสอบที่ตามมาตอบคำถามเดียว คือว่าการเรียกใช้สำเร็จหรือไม่ มันครอบคลุมรหัสสถานะ สกีมา ละตี และอัตราการเกิดข้อผิดพลาด มันไม่สามารถตอบคำถามที่สำคัญที่สุดสำหรับตัวแทน ซึ่งก็คือว่าการเรียกใช้ควรเกิดขึ้นหรือไม่ การเรียกใช้เครื่องมือสามารถทำงานได้อย่างสมบูรณ์แบบและยังเป็นการกระทำที่ไม่ถูกต้อง รูปแบบที่ถูกต้อง อนุญาตที่ถูกต้อง การตอบสนองที่สำเร็จ การกระทำที่ไม่ถูกต้อง

การตรวจสอบเชิงความหมายประเมินการดำเนินการแต่ละครั้งเทียบกับวัตถุประสงค์ที่ระบุของตัวแทนและนโยบายที่ใช้กับมัน ในหนังสือ ฉันบรรยายสิ่งนี้ว่าเป็นการกำหนดอินวาเรียนต์เชิงความหมายเหนือการเรียกใช้เครื่องมือของตัวแทน สิ่งเหล่านี้คือคุณสมบัติที่ต้องคงไว้ไม่ว่าตัวแทนจะดำเนินการไปตามเส้นทางใด เมื่ออินวาเรียนต์ถูกฝ่าฝืน คุณจับปัญหา ณ ขณะที่การดำเนินการเกิดขึ้น แทนที่จะเกิดขึ้นในระหว่างการตรวจสอบรายไตรมาส

สิ่งนี้ยังเป็นวิธีที่คุณตรวจจับการเปลี่ยนแปลงวัตถุประสงค์ ซึ่งฉันพิจารณาว่าเป็นความล้มเหลวที่กำหนดของระบบ agentic การเปลี่ยนแปลงวัตถุประสงค์ทำให้ดูเหมือนว่าตัวแทนกำลังทำงานอย่างถูกต้องตามบันทึก แต่กำลังทำงานเพื่อวัตถุประสงค์ที่ไม่ถูกต้องโดยเงียบๆ มันไม่ปรากฏในบันทึก เพราะไม่มีสิ่งใดที่ล้มเหลว การตรวจสอบเชิงความหมายปฏิบัติต่อความตั้งใจเป็นสิ่งที่วัดได้โดยตรง และความตั้งใจคือที่ที่ตัวแทนผิดพลาด

เมื่อตัวแทนพบกับคำสั่งที่ไม่ชัดเจน นโยบายที่ขัดแย้งกัน เครื่องมือที่ไม่สามารถใช้งานได้ หรือความมั่นใจที่ไม่เพียงพอ การจัดการการล้มเหลวที่มีโครงสร้างควรเป็นอย่างไร ทีมพัฒนาควรให้ระบบหยุด พาไปสู่การเพิ่มระดับ หรือฟื้นตัวแทนของการทำงานแทนการประดิษฐ์?

ปัญหาที่ต้องออกแบบคือว่าตัวแทนมีทางออกเพียงทางเดียวในการสิ้นสุดงาน ซึ่งก็คือการผลิตคำตอบ เมื่อคำสั่งไม่ชัดเจนหรือนโยบายขัดแย้งกัน ตัวแทนจะประดิษฐ์ ไม่ใช่เพราะโมเดลมีความเสี่ยง แต่เพราะการประดิษฐ์เป็นพฤติกรรมเดียวที่โครงสร้างอนุญาตให้ทำได้ การจัดการการล้มเหลวที่มีโครงสร้างหมายถึงการให้ระบบตัวเลือกที่ดีกว่าและทำให้ตัวเลือกเหล่านั้นง่ายต่อการเข้าถึงมากกว่าคำตอบที่ประดิษฐ์ขึ้น

ในทางปฏิบัติ สิ่งนี้หมายถึงการปฏิเสธและเพิ่มระดับถูกออกแบบและทดสอบด้วยความระมัดระวังเท่ากับการสำเร็จ ฉันแนะนำให้กำหนดสถานะการล้มเหลวที่มีประเภท: คำสั่งที่ไม่ชัดเจน นโยบายที่ขัดแย้งกัน เครื่องมือที่ไม่สามารถใช้งานได้ และความมั่นใจที่ไม่เพียงพอ แต่ละอย่างสอดคล้องกับการดำเนินการเฉพาะ อาจถามคำถามที่ชี้แจง มอบหมายงานให้คนด้วยบริบทที่สมบูรณ์ ลดลงเหลือการดำเนินการแบบอ่านเท่านั้น ลองใหม่ภายในขอบเขตที่แคบลง หรือหยุด ความมั่นใจที่ต้องการควรตรงกับความเสี่ยงของการดำเนินการเฉพาะ แท่งสำหรับการสร้างสรุปภายในและแท่งสำหรับการสัมผัสบัญชีลูกค้าไม่ควรเป็นตัวเลขเดียวกัน

สองแนวทางปฏิบัติทำให้สิ่งนี้เป็นจริง อันดับแรก คือการออกแบบเส้นทางการเพิ่มระดับก่อนเส้นทางที่สำเร็จ หากคนจะรับงาน ม quyết địnhว่าคนนั้นจะได้รับบริบทอะไรและจะมีอำนาจอะไรก่อนที่จะเขียนคำสั่งแรก อันดับสอง คือการทดสอบการล้มเหลวในลักษณะเดียวกับการทดสอบคุณสมบัติ ฉีดคำสั่งที่ไม่ชัดเจนในระบบ ระบบที่ไม่เคยฝึกการล้มเหลวจะดำเนินการโดยไม่มีการชี้นำเมื่อมันเกิดขึ้นในการผลิต

สถาบันการเงินต้องสร้างสมดุลระหว่างการลองผิดลองถูกกับความต้องการที่เข้มงวดเกี่ยวกับความเป็นส่วนตัว การตรวจสอบ การเสี่ยงของโมเดล และการปฏิบัติตามกฎระเบียบ ที่ไหนที่การอนุมัติของมนุษย์ควรยังคงจำเป็น และที่ไหนที่ตัวแทนสามารถได้รับการอนุญาตให้ทำงานอิสระได้อย่างปลอดภัย?

กฎของฉันคือการอนุมัติของมนุษย์ควรยังคงจำเป็นสำหรับการดำเนินการใดๆ ที่ไม่สามารถย้อนกลับได้ ที่ย้ายเงินหรือส่งผลกระทบต่อผลลัพธ์ของผู้ป่วย ที่เกี่ยวข้องกับการสื่อสารกับลูกค้าที่มีน้ำหนักทางกฎระเบียบ ที่ให้อาหารการรายงานทางกฎระเบียบ หรือที่เปลี่ยนแปลงเครื่องมือ นโยบาย หรือการอนุญาตของตัวแทนเอง ตัวแทนสามารถรับอิสระที่มากขึ้นในการทำงานอ่านและให้เหตุผล: การวิจัย การดึงข้อมูล การวิเคราะห์เอกสาร การจัดลำดับความสำคัญ การสร้าง และการปรองดองที่ระบุความไม่สอดคล้องให้กับการทบทวนของมนุษย์แทนการแก้ไขมันเอง

ข้อผิดพลาดทั่วไปคือการกำหนดการอนุมัติของมนุษย์ที่ทุกขั้นตอน สิ่งนี้ไม่ทำให้ระบบปลอดภัยยิ่งขึ้น มันสร้างกระบวนการด้วยมือที่มีขั้นตอนพิเศษและฝึกให้ผู้ตรวจสอบยอมรับโดยไม่ต้องคิด มีการอนุมัติควรอยู่ที่จุดตัดสินใจที่แท้จริง และแต่ละจุดควรได้รับการจัดสรรโดยบุคคลที่มีอำนาจที่แท้จริงในการพูดว่า “ไม่”

หลักการอื่นคือการให้อิสระควรได้รับมากกว่าการให้ อันดับแรกเริ่มต้นด้วยการแคบๆ และขยายเมื่อระบบพิสูจน์ตัวเองภายใต้การตรวจสอบ รักษาบันทึกไว้ ในแง่ของความเสี่ยงของโมเดล สภาพแวดล้อมการควบคุมของคุณควรให้คุณแสดงให้เห็นแก่ผู้ควบคุมไม่เพียงแต่ว่าตัวแทนได้ทำอะไร แต่ทำไมคุณจึงมีเหตุผลที่จะให้อิสระระดับนั้นให้กับมัน บันทึกนั้นคือใบอนุญาตที่แท้จริงในการดำเนินการ

ผ่านการทำงานของคุณเกี่ยวกับมาตรการและมาตรฐานความปลอดภัย AI คุณกำลังช่วยกำหนดกฎสำหรับระบบที่ความสามารถยังคงเปลี่ยนแปลงอยู่ ใดคือมาตรการความปลอดภัยที่สามารถมาตรฐาน化ได้ในปัจจุบัน และพื้นที่ใดที่ยังคงพึ่งพาความแตกต่างของบริบท อุตสาหกรรม หรือการใช้งาน?

มาตรการความปลอดภัยที่เราสามารถมาตรฐาน化ได้ในปัจจุบันคือโครงสร้าง มันกำหนดให้มีการควบคุมที่แน่นอน มีการจัดทำเอกสาร และสามารถตรวจสอบได้ ขอบเขตความสามารถและอนุญาตที่ชัดเจนสำหรับระบบอิสระ โครงสร้างการกำกับดูแลและการเพิ่มระดับของมนุษย์ที่ชัดเจน ความจำเป็นในการตรวจจับและรายงานเหตุการณ์ วิธีการประเมินและหลักฐานที่ต้องการ ความรับผิดชอบที่ชัดเจนตลอดวงจรชีวิตของระบบ เพื่อให้เมื่อมีอะไรผิดพลาด คำตอบที่ว่า “ใครรับผิดชอบ” ไม่ใช่แค่ “AI” เท่านั้น สิ่งเหล่านี้สามารถมาตรฐาน化ได้เพราะว่ามันเกี่ยวข้องกับการควบคุมที่มีอยู่และคุณภาพของการควบคุม ไม่ใช่ค่าเฉพาะที่พวกมันใช้

สิ่งที่เรายังไม่สามารถมาตรฐาน化ได้คือการตั้งค่าเอง ค่าความมั่นใจที่เฉพาะเจาะจง การจำแนกประเภทของอันตราย และระดับการอนุญาตที่เหมาะสมขึ้นอยู่กับบริบทอย่างมาก ความทนทานต่อความล้มเหลวที่ยอมรับได้สำหรับตัวแทนการตลาดและสำหรับระบบที่สัมผัสกับการตัดสินใจทางคลินิกหรือทางการเงินไม่ได้อยู่ในระดับเดียวกัน พวกมันอยู่ในระบอบที่แตกต่างกัน ซึ่งถูกกำหนดโดยโดเมน เขตอำนาจศาล และผู้ที่ต้องแบกรับอันตรายเมื่อมีอะไรผิดพลาด

การควบคุมทางการเงินเป็นตัวอย่างที่มีประโยชน์ที่นี่ ความต้องการการตรวจสอบถูกมาตรฐาน化ทั่วโลก แต่ความสำคัญถูกตัดสินในบริบท มาตรฐานที่เคารพการแบ่งแยกนี้มักจะถูกนำมาใช้ มาตรฐานที่พยายามกำหนดค่าในบริบทขึ้นอยู่กับบริบทมักจะถูกละเลย และมาตรการความปลอดภัยที่ไม่มีใครปฏิบัติตามไม่ได้ปกป้องใคร

การวิจัยล่าสุดของคุณได้สำรวจความแข็งแกร่งของระบบ AI ที่มีหลายวัฒนธรรมและความแข็งแกร่งในการโจมตีในด้านการประเมินความปลอดภัย AI อะไรคือความล้มเหลวของโมเดลที่อาจถูกพลาดไปโดยมาตรฐานที่มีศูนย์กลางอยู่ที่ตะวันตกหรือค่าเฉลี่ยทั่วโลก และอย่างไรที่องค์กรควรประเมินระบบที่ตั้งใจให้ใช้งานในหลายวัฒนธรรม?

การมองเฉพาะมาตรฐานที่เฉลี่ยอาจพลาดความล้มเหลวที่สำคัญ โมเดลอาจมีคะแนนความปลอดภัยโดยรวมที่แข็งแกร่งในขณะที่ล้มเหลวอย่างมากสำหรับภาษา วัฒนธรรม หรือบริบทเฉพาะ เนื่องจากความล้มเหลวเหล่านั้นหายไปในค่าเฉลี่ย การประเมินแบบตะวันตกเพิ่มจุดบอดอีกจุดหนึ่ง มันพลาดอันตรายที่เฉพาะทางวัฒนธรรม เช่น อิดิอม การแสดงออกทางสัญลักษณ์ และบริบททางศาสนาหรือภูมิภาคที่ผลลัพธ์เดียวกันไม่เป็นอันตรายในวัฒนธรรมหนึ่งและเป็นอันตรายในอีกวัฒนธรรมหนึ่ง มันยังทดสอบการเปลี่ยนรหัส การเขียนด้วยอักษรที่ไม่ใช่ของตะวันตก และชื่อและหน่วยงานที่ไม่ใช่ของตะวันตกไม่เพียงพอ มีจุดอ่อนในการโจมตีด้วย

สิ่งนี้ทำให้ฉันเข้าสู่การวิจัยเกี่ยวกับมาตรฐานความปลอดภัย AI ที่มีหลายวัฒนธรรม ผลการวิจัยหลักคือ การประเมินความปลอดภัยข้ามวัฒนธรรมต้องการข้อมูลการประเมินและความเชี่ยวชาญของมนุษย์ที่มาจากวัฒนธรรมเหล่านั้น คุณไม่สามารถประเมินอันตรายจากภายนอกบริบทที่เกิดขึ้นได้

สำหรับองค์กร ฉันแนะนำสามกฎ ประเมินทุกส่วนของคุณ และไม่เคยยอมรับค่าเฉลี่ยเป็นหลักฐาน สร้างชุดการประเมินจากประชากรลูกค้าจริงของคุณ ทดสอบการโจมตีแบบก้าวร้าวในภาษาที่ลูกค้าของคุณใช้ หากคุณให้บริการลูกค้าใน 40 ประเทศและประเมินเฉพาะภาษาอังกฤษ คุณได้วัดระบบสำหรับการใช้งานของคนอื่น

คุณยังถือสิทธิบัตรที่ได้รับการอนุมัติจากสำนักงานสิทธิบัตรและเครื่องหมายการค้าของสหรัฐอเมริกาในด้านการเรียนรู้ของเครื่องใช้ คุณพยายามแก้ปัญหาใด และกระบวนการนี้สอนคุณอะไรเกี่ยวกับการเปลี่ยนการวิจัย AI เป็นนวัตกรรมที่ใช้ได้จริง และคุณสนใจที่จะแก้ไขความท้าทาย AI ที่มีความเป็นอิสระใดต่อไป?

สิทธิบัตรที่ได้รับการอนุมัติเมื่อเร็วๆ นี้แก้ไขปัญหาเรื่องขนาดและความสอดคล้องในการทบทวนคุณภาพการให้บริการทางการเงิน – การทบทวนการโทรแบบดั้งเดิมเป็นแบบมือ และผู้ทบทวนทางมนุษย์สามารถตัวอย่างเพียงเศษเสี้ยวของการโทรได้ และการประเมินของพวกเขามีความแตกต่างกันไปในแต่ละคน วิธีการของฉันส่งคำถามคุณภาพและความสอดคล้องแต่ละข้อไปยังวิธีที่เหมาะสมที่สุดในการตอบมัน โดยมีการตัดสินใจที่บันทึกและสามารถตรวจสอบได้

คุณสามารถเห็นธีมเดียวกันที่ฉันพูดถึงตลอดการสัมภาษณ์นี้ ส่งงานแต่ละงานไปยังเครื่องมือที่มีประสิทธิภาพที่สุดในการทำงานนั้น รักษามนุษย์ไว้ในวงจรที่ที่การตัดสินใจมีความสำคัญ และทำให้การตัดสินใจอัตโนมัติทุกการตัดสินใจสามารถตรวจสอบได้ เพราะในองค์กรที่มีการควบคุม คำตอบที่ไม่มีหลักฐานไม่ใช่คำตอบ

สิ่งที่กระบวนการนี้สอนฉันคือวินัยอยู่ในรายละเอียด คุณไม่สามารถจดสิทธิบัตรความคิดที่คลุมเครือได้ คุณต้องแสดงให้เห็นว่าวิธีการของคุณแตกต่างอย่างไร และแสดงให้เห็นอย่างไรว่ามันใช้ได้ การมีรายละเอียดที่แม่นยำนี้ทำให้การทำงานพื้นฐานดีขึ้น

ความท้าทายที่ไม่ได้รับการแก้ไขที่ฉันสนใจมากที่สุดในขณะนี้คือการตรวจสอบในขณะทำงานสำหรับระบบหลายตัวแทน การกำหนดอินวาเรียนต์เชิงความหมายสำหรับตัวแทนเดียวเป็นเรื่องที่ทำได้ ฉันรู้เพราะเราทำมันในการผลิต แต่เมื่อตัวแทนมอบหมายงานให้กับตัวแทนอื่น พฤติกรรมกลายเป็นแบบเกิดจากการทำงานร่วมกัน และความล้มเหลวเคลื่อนไปสู่การมอบหมายงาน การสั่งซื้อถูกตีความเล็กน้อยที่แต่ละขั้นตอน นโยบายใช้กับตัวแทนหนึ่ง แต่ไม่ใช่กับตัวแทนหนึ่งที่มอบหมายงานให้ การตรวจสอบการโต้ตอบระหว่างตัวแทน ไม่ใช่แค่การกระทำของแต่ละตัวแทน คือที่ที่ฉันคาดหวังว่าความล้มเหลวเงียบๆ รุ่นต่อไปจะปรากฏขึ้น นี่คือปัญหาที่ฉันต้องการทำงานต่อไป

ขอขอบคุณสำหรับการสัมภาษณ์ที่ดี ผู้อ่านอาจต้องการสั่งหนังสือ Agentic AI for Engineers ของเธอ