ระบบกำกับดูแล AI มีจุดบอดสามจุด — และบริษัทส่วนใหญ่ไม่ได้ดูแลจุดใดเลย

ส่วนใหญ่ของการอภิปรายเรื่องความปลอดภัยของ AI ภายในบริษัทมุ่งเป้าไปที่เป้าหมายที่ไม่ถูกต้อง ทีมงานใช้เวลาสัปดาห์ในการถกเถียงเกี่ยวกับแบบจำลองที่จะใช้ จากนั้นเชื่อมต่อแบบจำลองนั้นเข้ากับอีเมล การชำระเงิน ฐานข้อมูลลูกค้า และโค้ดของพวกเขา โดยไม่หยุดเพื่อถามคำถามที่ง่ายกว่ามาก: เมื่อระบบนี้ทำอะไรสักอย่าง ใครคือผู้ที่ดูแล และใครสามารถหยุดมันได้?

ตัวเลขบอกว่าสิ่งนี้กำลังจะกลายเป็นเรื่องแพง Gartner คาดว่าอย่างน้อย 15% ของการตัดสินใจงานประจำจะถูกทำโดย AI ในปี 2028 ซึ่งเพิ่มขึ้นจากเกือบไม่มีเลยในปี 2024 ในการวิจัยเดียวกัน họเตือนว่า มากกว่า 40% ของโครงการ AI ที่มีหน่วยงานจะถูกยกเลิกภายในสิ้นปี 2027 และหนึ่งในเหตุผลที่ให้คือการควบคุมความเสี่ยงที่อ่อนแอ อ่านสิ่งนั้นอีกครั้ง โครงการเหล่านั้นไม่ตายเพราะแบบจำลองไม่ดี แต่เพราะไม่มีใครสร้างระบบกำกับดูแลให้พวกมัน

ฉันสร้างระบบกำกับดูแลสำหรับ AI เป็นงานประจำของฉัน ดังนั้นฉันเห็นช่องว่างเดียวกันซ้ำๆ มีช่องว่างอยู่สามประการ บริษัทส่วนใหญ่ดูแลจุดเหล่านี้อย่างเหมาะสม และหลายแห่งดูแลจุดเหล่านี้ไม่เพียงพอ

ตัวแทนคือจุดที่ดังที่สุด

ทุกคนกังวลเกี่ยวกับตัวแทนอัตโนมัติ และพวกเขามีสิทธิ์ที่จะกังวล แต่ส่วนใหญ่คนกังวลเกี่ยวกับส่วนที่ไม่ถูกต้อง สิ่งที่น่าหงุดหงิดเกี่ยวกับตัวแทนคือไม่ใช่เพราะมันให้เหตุผล แต่เพราะมันกระทำการ มันไม่เสนอการคืนเงิน แต่มันจ่ายเงิน มันไม่เขียนอีเมล แต่มันส่งอีเมล เมื่อคุณมอบเครื่องมือให้แบบจำลอง คุณได้มอบความสามารถให้มันในการเข้าถึงระบบจริงและเปลี่ยนแปลงสิ่งเหล่านั้น

หากคุณทำผิดพลาดและความล้มเหลวไม่ใช่การเขียนประโยคที่ไม่ดี แต่เป็นการโอนเงินออกไปหรือการลบตารางอย่างเงียบๆ จากฐานข้อมูล และมีจุดคมที่คมกว่านั้น การฉีดข้อมูลเข้าไปในแบบจำลองอยู่ที่ด้านบนของ รายการความเสี่ยงของ OWASP สำหรับแอปพลิเคชัน LLM และมีเหตุผลที่ดี: หากคุณให้ข้อมูลที่ไม่ถูกต้องแก่แบบจำลอง มันสามารถถูกชักชวนให้ทำสิ่งที่ไม่มีใครขอให้ทำ เมื่อแบบจำลองสามารถพูดได้เท่านั้น นั่นคือเรื่องน่ารำคาญ แต่เมื่อแบบจำลองสามารถเรียกใช้เครื่องมือได้ นั่นคือผู้โจมตีที่ถือคีย์ API ของคุณ

คำตอบมาตรฐานคือการบันทึกทุกสิ่งที่ตัวแทนทำและดูการตรวจสอบ แต่การตรวจสอบคือคำอธิบายของสิ่งที่เกิดขึ้นแล้ว มันคือการบันทึกจากกล้องวงจรปิดหลังจากที่ถูกขโมยไปแล้ว มันใช้ได้สำหรับการสืบสวน แต่ไม่มีประโยชน์ในการหยุดการขโมย

จุดที่เงียบๆ ที่ไม่มีใครพูดถึง

จุดที่สองไม่เคยปรากฏบนสไลด์เพราะมันไม่น่าสนใจ มันคือการเรียก API ทั่วไป ไม่ใช่ตัวแทน ไม่ใช่เฟรมเวิร์ก แต่เป็นเพียงชิ้นส่วนของโค้ดที่อยู่ในบริการที่สร้างข้อความและยิงไปที่แบบจำลอง

ส่วนใหญ่ของ AI ในการผลิตดูเหมือนกับแบบนี้ และมันเป็นส่วนที่ไม่ได้รับการกำกับดูแลมากที่สุดในกลุ่มทั้งหมดเพราะมันไม่น่าสนใจ มันเป็นการเรียก HTTP ที่ถูกฝังอยู่ลึกๆ ในบริการบางอย่างที่เขียนโดยวิศวกรที่ไม่เคยได้ยินเกี่ยวกับนโยบาย AI ของคุณและไม่รู้ว่าจะหามันจากที่ไหน การเรียกใช้นั้นอาจส่งข้อมูลลูกค้าไปยังแบบจำลองของบุคคลที่สามหรือเรียกใช้การดำเนินการในภายหลัง และไม่มีอะไรที่ตรวจสอบว่ามันควรทำหรือไม่ และไม่มีอะไรที่บันทึกการดำเนินการนั้น

จุดที่ยุ่งเหยิงคือคน

จุดที่สามคือคน ซึ่งเป็นเหตุผลที่มันเป็นจุดที่แย่ที่สุด คุณงานของคุณพบวิธีแก้ปัญหาโดยการวางงานใน ChatGPT หรือ Claude เพื่อให้เสร็จสิ้นเร็วขึ้น ดังนั้นพวกเขาจึงทำสิ่งนั้นทั้งวัน โดยทั่วไปจากบัญชีส่วนตัวที่คุณไม่สามารถเห็นได้ สิ่งนี้ไม่ใช่เรื่องสมมติ การตรวจสอบการใช้งานจริงในสถานที่ทำงานโดย Cyberhaven พบว่าส่วนแบ่งที่แท้จริงของพนักงานได้วางข้อมูลบริษัทที่เป็นความลับลงใน ChatGPT ส่วนใหญ่ผ่านบัญชีที่บริษัทไม่มีหน้าต่างให้เห็น

หากคุณต้องการเรื่องราวที่น่าสนใจ มันคือ Samsung ในปี 2023 บริษัท ห้ามใช้ AI ที่สร้างข้อความภายในบริษัทหลังจากที่วิศวกรวางโค้ดที่เป็นความลับลงใน ChatGPT สามครั้งในเวลาไม่ถึงหนึ่งเดือน นี่ไม่ใช่ผู้กระทำที่ไม่ดี แต่เป็นวิศวกรที่ดีที่พยายามแก้ปัญหาให้เร็วขึ้น นั่นคือการหลอกลวงทั้งหมด: การรั่วไหลดูเหมือนกับการเพิ่มผลผลิต และเครื่องมือป้องกันการรั่วไหลของข้อมูลเก่าของคุณจะไม่จับได้เพราะมันเป็นการคัดลอกและวางในแท็บเบราว์เซอร์ ไม่ใช่ไฟล์ที่ออกจากอาคาร

สิ่งที่ทำงานจริงๆ

เมื่อจัดเรียงสามจุดนี้แล้ว วิธีแก้ปัญหาไม่ใช่เรื่องของตัวแทนโดยเฉพาะ แต่กลายเป็นความคิดเดียว: ควรกำกับว่า AI จะทำอะไรก่อนที่มันจะทำ ไม่ใช่หลังจากที่มันทำแล้ว สิ่งบางอย่างที่แท้จริงที่ได้เรียนรู้ส่วนใหญ่จากประสบการณ์ที่ยาก

นั่งอยู่หน้าการกระทำ ไม่ใช่หลังการกระทำ สิ่งนี้คือเกมทั้งหมด และเป็นเหตุผลที่ฉันย้ำว่าการตรวจสอบและกำกับดูแลไม่ใช่คำเดียวกัน แดชบอร์ดที่บอกคุณว่าตัวแทนโอนเงิน 40,000 ปอนด์เมื่อวานนี้คือรายงานการสูญเสีย สิ่งที่สามารถหยุดการโอนเงินให้คนดูได้ก่อนที่จะออกไปคือการควบคุม หากการตั้งค่าของคุณสามารถบอกคุณได้เพียงว่าเกิดอะไรขึ้น คุณไม่มีการกำกับดูแล คุณมีเพียงการมองย้อนหลัง

ใช้ประตูตรวจสอบเดียว ไม่ใช่ประตูหนึ่งสำหรับเครื่องมือแต่ละตัว ตัวแทน การเรียก API และพนักงานที่วางข้อความในแชทบอทรู้สึกเหมือนเป็นปัญหาแยกกัน ดังนั้นบริษัทจึงซื้อเครื่องมือแยกกันและจบด้วยช่องว่างระหว่างเครื่องมือเหล่านั้น สิ่งที่ไม่ดีๆ อาศัยอยู่ในช่องว่างนั้น ทุกสิ่งที่ AI ทำ ไม่ว่าจะมาจากที่ไหน ก็ควรต้องผ่านประตูเดียวกัน

เก็บบันทึกที่ AI ไม่สามารถแก้ไขได้ หากระบบที่ทำสิ่งนั้นเป็นระบบเดียวที่บันทึกว่ามันทำสิ่งนั้น คุณไม่มีบันทึก คุณมีเพียงบันทึกที่มันสามารถแก้ไขได้ สิ่งนี้คือที่ที่กฎข้อบังคับกำลังจะไป มีข้อกำหนดการบันทึกของ EU AI Act บทความ 12 ซึ่ง tồn tạiเพื่อให้สามารถสร้างสิ่งที่ระบบความเสี่ยงที่สูงทำได้โดยบุคคลอื่นที่ไม่ใช่ระบบ ในทางปฏิบัติหมายความว่าบันทึกที่เก็บไว้นอกเหนือจากสิ่งที่ถูกบันทึก ซึ่งไม่สามารถแก้ไขได้หลังจากที่เกิดขึ้น

วางคนไว้บนการเรียกที่ไม่สามารถกลับไปได้ ไม่ใช่ทุกอย่าง คุณทำสิ่งนั้นและคุณจะทำให้คนจมอยู่ในกระบวนการอนุมัติจนกระทั่งพวกเขารับรองการอนุมัติทั้งหมด แต่การเรียกที่คุณไม่สามารถกลับไปได้ เช่น การโอนเงิน การส่งออกข้อมูล หรือการลบข้อมูล ควรหยุดและรอ EU AI Act กำหนดให้ การกำกับดูแลของมนุษย์เป็นข้อบังคับสำหรับระบบความเสี่ยงที่สูง บทความ 14 แต่จุดสำคัญที่ต้องจำคือการกำกับดูแลนั้นมีผลเฉพาะเมื่อบุคคลนั้นมีเวลาและบริบทที่จะพูดว่า “ไม่” ได้จริงๆ การอนุมัติที่ไม่มีใครอ่านคือเพียงการแสดง

การตรวจสอบอย่างซื่อสัตย์

ไม่มีจุดใดที่เป็นกรณีเฉพาะ จุดเหล่านี้คือวิธีที่ปกติที่สุดในการทำงาน AI ในบริษัทส่วนใหญ่โดยไม่มีเครือข่ายความปลอดภัยมากนัก ทีมที่ผ่านช่วงสองสามปีที่จะมาถึงโดยไม่มีเหตุการณ์ที่ไม่ดีจะไม่ใช่ทีมที่มีแผนภูมิที่สวยงาม แต่จะเป็นทีมที่ตัดสินใจว่า ทุกสิ่งที่ AI ทำ ตัวแทน การเรียก API และข้อความที่วางไว้ จะต้องผ่านประตูเดียวก่อนที่จะเกิดขึ้น ไม่ใช่หลังจากที่เกิดขึ้น

หากคุณต้องการการทดสอบอย่างรวดเร็วสำหรับการตั้งค่าของคุณ ตอบคำถามสองข้ออย่างซื่อสัตย์ จุดสามจุดนั้น คุณสามารถเห็นได้กี่จุด และจุดที่คุณเห็น คุณสามารถหยุดได้กี่จุด สำหรับบริษัทหลายแห่ง คำตอบที่ซื่อสัตย์สำหรับคำถามที่สองคือศูนย์ นั่นคือตัวเลขที่คุณควรแก้ไขก่อน