จากความฉลาดสู่การมีอำนาจดำเนินการ

ปัญญาประดิษฐ์กำลังก้าวข้ามการตอบคำถามและสร้างเนื้อหา ปัจจุบันระบบ AI สามารถตีความคำสั่ง วางแผน เลือกใช้เครื่องมือ และดำเนินงานได้โดยไม่ต้องมีมนุษย์คอยกำกับอย่างต่อเนื่องมากขึ้นเรื่อย ๆ

ความแตกต่างนี้มีความสำคัญ

ระบบ AI ที่ให้คำแนะนำเกี่ยวกับการดำเนินการย่อมแตกต่างจากระบบที่ได้รับอนุญาตให้ลงมือทำ ความแตกต่างนี้ไม่จำเป็นต้องอยู่ที่ระดับความฉลาดหรือความซับซ้อน แต่อยู่ที่อำนาจในการดำเนินการ

ระบบอัตโนมัติไม่ได้จำกัดอยู่แค่โมเดลภาษาขนาดใหญ่แนวหน้ารุ่นใหม่ แต่ยังรวมถึงระบบแมชชีนเลิร์นนิงเฉพาะทาง หุ่นยนต์ ยานยนต์ไร้คนขับ เอเจนต์ซอฟต์แวร์ และเทคโนโลยีที่ผสานกัน ซึ่งสามารถตัดสินใจหรือดำเนินการได้เองภายใต้เงื่อนไขการทำงานที่กำหนดไว้

ระบบเหล่านี้มีศักยภาพที่จะก่อประโยชน์อย่างมาก โดยสามารถสนับสนุนการค้นพบทางวิทยาศาสตร์ การดำเนินงานในภาคอุตสาหกรรม การดูแลสุขภาพ การพัฒนาซอฟต์แวร์ และความมั่นคงปลอดภัยทางไซเบอร์ ขณะเดียวกันก็อาจก่อให้เกิดผลลัพธ์ที่ไม่คาดคิด เปิดเผยข้อมูลที่ละเอียดอ่อน หรือเริ่มดำเนินการเกินกว่าที่ผู้ควบคุมตั้งใจไว้

ใน ความท้าทายด้านความมั่นคงปลอดภัยในการออกแบบระบบอัตโนมัติ Mohammad Hamad และ Sebastian Steinhorst ศึกษาความท้าทายด้านความมั่นคงปลอดภัยที่เกี่ยวข้องกับการตอบสนองต่อเหตุการณ์โดยอัตโนมัติ การประเมินความเสี่ยง การควบคุมการเข้าถึง ความน่าเชื่อถือของข้อมูล และปฏิสัมพันธ์ระหว่างระบบอัตโนมัติ งานวิจัยของพวกเขาซึ่งส่วนใหญ่เกี่ยวข้องกับระบบไซเบอร์-กายภาพ แสดงให้เห็นว่าความท้าทายในการรักษาความมั่นคงปลอดภัยของการดำเนินการโดยเครื่องจักรอย่างเป็นอิสระนั้นมีขอบเขตกว้างกว่าบรรดาเอเจนต์ LLM ในปัจจุบัน

ผลกระทบในวงกว้างของระบบอัตโนมัติควรได้รับการพิจารณาอย่างจริงจัง รวมถึงความเป็นไปได้ที่จะเกิดอันตรายทางกายภาพ อย่างไรก็ตาม ต้องตีความหลักฐานอย่างรอบคอบ ตัวอย่างเช่น เหตุการณ์ที่เกี่ยวข้องกับยานยนต์อัตโนมัติไม่อาจสรุปได้โดยอัตโนมัติว่าเกิดจากกลไกเดียวกับที่ส่งผลต่อเอเจนต์ความมั่นคงปลอดภัยทางไซเบอร์แบบอัตโนมัติ ระดับความเป็นอิสระ สภาพแวดล้อมการทำงาน การมีส่วนร่วมของมนุษย์ และหลักฐานเชิงสาเหตุ ล้วนมีความสำคัญ

ในทำนองเดียวกัน หลักฐานที่แสดงว่า AI อัตโนมัติอาจก่อให้เกิดอันตราย ไม่ได้ยืนยันว่าการกำกับดูแลกำลังตามไม่ทันเสมอไป และเราไม่ควรตั้งสมมติฐานว่าระบบอัตโนมัติรักษาความมั่นคงปลอดภัยได้ยากโดยเนื้อแท้

คำถามสำคัญไม่ใช่ว่า AI สามารถทำงานซับซ้อนได้หรือไม่ แต่อยู่ที่กรอบด้านสถาปัตยกรรม ความมั่นคงปลอดภัย และองค์กรซึ่งกำกับดูแลระบบอัตโนมัติ จะสามารถกำหนดขอบเขตที่เหมาะสมสำหรับอำนาจที่มอบหมายให้ระบบได้หรือไม่ และจะมีหลักฐานที่ตรวจสอบยืนยันได้หรือไม่ว่าระบบปฏิบัติตามขอบเขตเหล่านั้น

ความมั่นคงปลอดภัยทางไซเบอร์เป็นมุมมองที่มีประโยชน์อย่างยิ่งต่อคำถามนี้ เพราะผู้เชี่ยวชาญด้านความมั่นคงปลอดภัยใช้เวลาหลายสิบปีในการตั้งข้อสงสัยต่อสมมติฐานเกี่ยวกับความไว้วางใจ สิทธิ์ การเข้าถึง และพฤติกรรมของระบบ

เกมไล่จับระหว่างผู้โจมตีกับผู้ป้องกันในความเร็วระดับเครื่องจักร

ความมั่นคงปลอดภัยทางไซเบอร์มักถูกอธิบายว่าเป็นเกมไล่จับระหว่างผู้โจมตีกับผู้ป้องกัน

ผู้โจมตีค้นหาจุดอ่อน ผู้ป้องกันนำมาตรการป้องกันมาใช้ และทั้งสองฝ่ายต่างปรับตัว วงจรนี้ดำเนินต่อไปเมื่อเทคโนโลยี กลยุทธ์ และสภาพแวดล้อมการทำงานเปลี่ยนแปลงไป

AI อัตโนมัติไม่ได้เปลี่ยนกติกาพื้นฐานของเกมนี้เสมอไป แต่อาจเปลี่ยนว่าใครหรืออะไรเป็นผู้เล่น เปลี่ยนความเร็วในการลงมือ และเปลี่ยนปริมาณงานที่ดำเนินต่อไปได้โดยไม่ต้องมีมนุษย์แทรกแซงอย่างต่อเนื่อง

ระบบความมั่นคงปลอดภัยเชิงรุกแบบอัตโนมัติอาจค้นหาบริการที่เปิดเผย ตรวจสอบช่องโหว่ พัฒนาแนวทางการโจมตีที่เป็นไปได้ และทดสอบว่าแนวทางเหล่านั้นใช้โจมตีได้จริงหรือไม่ ส่วนระบบป้องกันอาจใช้ขีดความสามารถคล้ายกันเพื่อตรวจสอบภัยคุกคาม ค้นหาจุดอ่อน และยืนยันผลการแก้ไข

ศักยภาพในการนำไปใช้ได้สองทางนี้เป็นหัวใจสำคัญของการทำความเข้าใจนัยด้านความมั่นคงปลอดภัยของ AI อัตโนมัติ

Project Glasswing ของ Anthropic เป็นตัวอย่างหนึ่งของการใช้ AI ช่วยค้นหาช่องโหว่ ในรายงานความคืบหน้าการวิจัยประจำเดือนพฤษภาคม 2026 Anthropic รายงานผลการค้นพบช่องโหว่จำนวนมาก พร้อมเน้นย้ำถึงความท้าทายในการปฏิบัติงานด้านการตรวจสอบยืนยัน การเปิดเผยข้อมูล และการออกแพตช์

ความแตกต่างนี้มีความสำคัญ การค้นพบช่องโหว่ไม่เท่ากับการยืนยันว่าช่องโหว่นั้นใช้โจมตีได้จริง การแก้ไขช่องโหว่ หรือการแสดงให้เห็นว่าระบบที่ได้รับผลกระทบมีความมั่นคงปลอดภัย

การค้นพบที่เพิ่มขึ้นอาจช่วยให้มองเห็นสถานการณ์ได้ชัดเจนขึ้น แต่ในขณะเดียวกันก็เพิ่มภาระให้แก่บุคลากรและกระบวนการที่รับผิดชอบในการจัดการแก้ไข

ผลลัพธ์ด้านความมั่นคงปลอดภัยขึ้นอยู่กับสิ่งที่จะเกิดขึ้นต่อจากนั้น

หากผู้โจมตีและผู้ป้องกันสามารถทำงานบางส่วนให้เป็นระบบอัตโนมัติได้ คำถามที่เกี่ยวข้องจึงไม่ใช่เพียงว่าฝ่ายใดมีโมเดลที่มีขีดความสามารถสูงที่สุด แต่อยู่ที่ว่าผู้ป้องกันสามารถเปลี่ยนการค้นพบให้เป็นการแก้ไขที่มีประสิทธิผล และตรวจสอบผลลัพธ์อย่างเป็นอิสระได้หรือไม่

การทดสอบเจาะระบบแบบดั้งเดิมไม่ได้หมดความจำเป็นเพียงเพราะ AI สามารถทำงานเชิงรุกได้ ขอบเขตการทดสอบต้องขยายให้ครอบคลุมระบบที่ตีความคำสั่ง เรียกใช้เครื่องมือ ผสานสิทธิ์ต่าง ๆ และดำเนินการตามเป้าหมายผ่านหลายขั้นตอน

เป้าหมายยังคงคุ้นเคย ได้แก่ ค้นหาจุดอ่อน ประเมินความสำคัญ แก้ไขจุดอ่อน และพิสูจน์ว่ามาตรการป้องกันใช้งานได้

รอยต่อทางสถาปัตยกรรม: จุดบรรจบของขอบเขตความมั่นคงปลอดภัย

หนึ่งในความเสี่ยงที่ละเอียดอ่อนกว่าของระบบอัตโนมัติเกิดขึ้นเมื่อองค์ประกอบแต่ละส่วนที่ได้รับอนุญาตให้ทำงานโต้ตอบกันจนก่อให้เกิดผลลัพธ์ที่ไม่ได้ตั้งใจ

ผมเรียกจุดที่เกิดปฏิสัมพันธ์เหล่านี้ว่า รอยต่อทางสถาปัตยกรรม

ลองพิจารณาตัวอย่างทั่วไป องค์กรหนึ่งจำกัดการเข้าถึงไฟล์ด้วยสิทธิ์ NTFS ขณะที่บริการแชร์ไฟล์บนคลาวด์อีกบริการหนึ่งอนุญาตให้ผู้ใช้ที่ได้รับสิทธิ์แชร์ข้อมูลดังกล่าวออกไปภายนอกได้

แต่ละระบบอาจทำงานตามกฎของตนเอง ทว่าการทำงานร่วมกันอาจส่งผลให้เกิดการแชร์ข้อมูลที่ละเมิดขอบเขตความปลอดภัยตามที่องค์กรตั้งใจไว้

นี่เป็นเพียงตัวอย่างของนโยบายที่อาจขัดแย้งกัน ไม่ใช่การกล่าวอ้างว่าผลิตภัณฑ์แชร์ไฟล์ใดมีช่องโหว่

ปัญหาอาจไม่ได้เกิดจากข้อบกพร่องของมาตรการควบคุมใดมาตรการหนึ่งโดยลำพัง แต่อาจเกิดจากการบังคับใช้นโยบายความปลอดภัยตามที่ตั้งใจไว้ไม่ครอบคลุมกระบวนการทำงานทั้งหมด

AI อัตโนมัติอาจเผชิญสถานการณ์คล้ายกันเมื่อเชื่อมต่อโมเดล แอปพลิเคชัน ข้อมูลระบุตัวตน เครื่องมือ คลังเก็บข้อมูล และบริการภายนอก

เอเจนต์อาจได้รับอนุญาตให้อ่านเอกสาร สร้างคลังเก็บโค้ด และอัปโหลดไฟล์ได้ แต่ไม่ได้หมายความว่าเอเจนต์มีอำนาจนำการดำเนินการเหล่านั้นมาประกอบกันในลักษณะที่ทำให้ข้อมูลลับถูกเปิดเผยได้เสมอไป

งานวิจัยชี้ให้เห็นเหตุผลเชิงปฏิบัติที่ควรตรวจสอบปฏิสัมพันธ์เหล่านี้

ใน AgentDojo นักวิจัยประเมินการโจมตีแบบแทรกพรอมป์ต์ที่มุ่งเป้าไปยังเอเจนต์ AI ซึ่งใช้เครื่องมือ โดยทดสอบกับงานสมจริง 97 รายการและกรณีทดสอบด้านความปลอดภัย 629 กรณี ผลการศึกษาพบว่า คำสั่งประสงค์ร้ายที่แทรกเข้ามาผ่านผลลัพธ์จากเครื่องมือที่ไม่น่าเชื่อถือสามารถบั่นทอนคุณสมบัติด้านความปลอดภัยบางประการได้ แม้การโจมตีและเอเจนต์จะไม่ได้ประสบความสำเร็จอย่างสม่ำเสมอก็ตาม

งานวิจัยนี้ไม่ได้ระบุว่าการโจมตีเหล่านี้ประสบความสำเร็จบ่อยเพียงใดในสภาพแวดล้อมการใช้งานจริง แต่แสดงให้เห็นว่าเหตุใดการประเมินเฉพาะการตอบสนองของโมเดลจึงไม่เพียงพอที่จะทำความเข้าใจพฤติกรรมของระบบที่เชื่อมต่อกับเครื่องมือ

ความเสี่ยงที่เกี่ยวข้องกันอีกประการหนึ่งบางครั้งเรียกว่า การฟอกสิทธิ์ กล่าวคือ การกระทำดูเหมือนชอบด้วยสิทธิ์เพราะดำเนินการผ่านเครื่องมือหรือตัวกลางที่ได้รับอนุญาต ทั้งที่พฤติกรรมโดยรวมละเมิดขอบเขตอำนาจที่ตั้งใจไว้

เมื่อเอเจนต์หลายตัวทำงานร่วมกัน ความสัมพันธ์เหล่านี้จำเป็นต้องมีกฎที่ชัดเจนว่าด้วยการมีส่วนร่วม การแลกเปลี่ยนข้อมูล และการกระทำที่ได้รับอนุญาต

นอกจากนี้ ยังต้องกำหนดความรับผิดชอบให้ครอบคลุมทั่วทั้งสถาปัตยกรรม

ผู้ให้บริการโมเดล ผู้ดำเนินงานแพลตฟอร์ม ผู้พัฒนาเอเจนต์ และองค์กรที่นำระบบไปใช้อาจควบคุมส่วนต่าง ๆ ของระบบ แบบจำลองความรับผิดชอบร่วมที่เป็นประโยชน์จะระบุว่าใครควบคุมขอบเขตแต่ละส่วน ใครมีอำนาจอนุมัติข้อยกเว้น ใครเฝ้าติดตามการทำงาน และใครรับมือเมื่อเกิดข้อผิดพลาด

ความเป็นอิสระในการทำงานไม่ได้ทำให้ความรับผิดชอบหมดไป แต่ยิ่งทำให้การรู้ว่าความรับผิดชอบนั้นอยู่ที่ใดมีความสำคัญมากขึ้น

ความเข้มงวดเชิงรุก: ทดสอบสิ่งที่เราคิดว่ารู้

สิ่งนี้นำเรามาสู่แนวคิดที่ผมเรียกว่า ความเข้มงวดเชิงรุก

ความเข้มงวดเชิงรุกคือแนวทางที่มีระเบียบแบบแผนในการทดสอบเชิงปฏิปักษ์ การตั้งคำถามอย่างมีวิจารณญาณ และการตรวจสอบยืนยันโดยอิงหลักฐาน เพื่อท้าทายสมมติฐานด้านความปลอดภัย แนวทางนี้ประเมินว่าระบบทำงานอย่างไรภายใต้สถานการณ์สมจริง แทนที่จะอาศัยเพียงแบบแปลนทางสถาปัตยกรรม มาตรการควบคุมที่บันทึกไว้ หรือการคุ้มครองที่เชื่อว่ามีอยู่

แนวปฏิบัติพื้นฐานเหล่านี้มีใช้อยู่แล้ว การทดสอบเจาะระบบ การสร้างแบบจำลองภัยคุกคาม การทดสอบโดยทีมจำลองฝ่ายโจมตี และการตรวจสอบยืนยันความปลอดภัย ล้วนใช้ท้าทายสมมติฐานด้านการป้องกันมาเป็นเวลานาน

ความเข้มงวดเชิงรุกเชื่อมโยงแนวปฏิบัติเหล่านั้นเข้าด้วยกัน โดยตั้งคำถามสำคัญว่า

มีหลักฐานใดที่ยืนยันว่าขอบเขตความปลอดภัยตามที่ตั้งใจไว้ยังคงทำงานได้?

องค์กรหนึ่งอาจมีนโยบายจำกัดการเข้าถึงข้อมูลสำคัญ มีโมเดลที่ตั้งค่าให้ปฏิเสธคำขอต้องห้าม และมีเอเจนต์ที่ทำงานด้วยสิทธิ์อย่างจำกัด

สิ่งเหล่านี้เป็นมาตรการป้องกันที่มีความหมาย อย่างไรก็ตาม การมีมาตรการดังกล่าวไม่ได้ยืนยันด้วยตัวมันเองว่าระบบทั้งหมดจะทำงานอย่างปลอดภัยภายใต้สถานการณ์ที่มีฝ่ายโจมตี

โมเดลอาจปฏิเสธคำสั่งประสงค์ร้าย ขณะที่เครื่องมือที่ได้รับอนุญาตยังคงยอมให้ดำเนินการโดยไม่ตั้งใจได้ นโยบายอาจดูเหมือนถูกต้อง แต่ปฏิสัมพันธ์ระหว่างระบบกลับสร้างช่องทางที่ไม่คาดคิดให้หลีกเลี่ยงนโยบายนั้น

บางครั้งผมเรียกสิ่งนี้ว่า “ภาพลวงตาว่ามีราวกั้น” คือการเข้าใจผิดว่าการมีราวกั้นเป็นหลักฐานว่าระบบไม่อาจข้ามขอบเขตที่ราวกั้นนั้นมีไว้เพื่อบังคับใช้

ราวกั้นมีประโยชน์ แต่ยังต้องพิสูจน์ให้เห็นว่ามีประสิทธิภาพจริง

ลองพิจารณาเอเจนต์อัตโนมัติที่ได้รับอนุญาตให้ตรวจสอบเหตุสงสัยว่ามีการบุกรุก โดยสามารถเรียกดูบันทึกเหตุการณ์ ตรวจสอบกิจกรรมของผู้ใช้ และแนะนำมาตรการควบคุมความเสียหาย

ระหว่างการทดสอบความปลอดภัยที่ได้รับอนุญาต ผู้ทดสอบเชิงปฏิปักษ์แทรกคำสั่งที่ทำให้เข้าใจผิดลงในข้อมูลที่คาดว่าเอเจนต์จะนำไปใช้

การทดสอบไม่ควรหยุดอยู่แค่การตรวจสอบว่าเอเจนต์ทำตามคำสั่งเหล่านั้นหรือไม่

แต่ควรตรวจสอบด้วยว่าเอเจนต์พยายามดำเนินการที่ไม่ได้รับอนุญาตหรือไม่ มาตรการควบคุมที่เป็นอิสระสามารถป้องกันไม่ให้ดำเนินการได้หรือไม่ มีการบันทึกความพยายามนั้นไว้หรือไม่ และระบบกู้คืนได้อย่างเหมาะสมหรือไม่

ความเข้มงวดในการทดสอบเชิงรุกเชื่อมโยงกิจกรรมห้าประการเข้าด้วยกัน ดังนี้:

1. กำหนดสมมติฐาน: ระบุคุณสมบัติด้านความปลอดภัยที่คาดว่าสถาปัตยกรรมจะบังคับใช้
2. ท้าทายสมมติฐาน: ทดสอบเส้นทางการโจมตีที่สมจริง อินพุตที่ถูกดัดแปลง และการผสมผสานความสามารถที่ชอบด้วยกฎหมาย
3. รวบรวมหลักฐาน: ตรวจสอบว่าระบบพยายามทำอะไร มีสิ่งใดดำเนินการสำเร็จ และมีการควบคุมใดทำงานบ้าง
4. แก้ไขจุดอ่อน: จัดการกับโมเดล เวิร์กโฟลว์ สิทธิ์ สถาปัตยกรรม หรือกระบวนการปฏิบัติงานที่เป็นสาเหตุของความล้มเหลว
5. ตรวจสอบการแก้ไข: ทดสอบเส้นทางการโจมตีที่เกี่ยวข้องอีกครั้ง และยืนยันว่ามีการบังคับใช้คุณสมบัติด้านความปลอดภัยตามที่ตั้งใจไว้

นี่คือความแตกต่างระหว่างการทดสอบการตอบสนองของโมเดลกับการทดสอบความปลอดภัยของระบบทั้งหมด

นอกจากนี้ ยังต้องตรวจสอบสิ่งที่เกิดขึ้นหลังจากผู้โจมตีเจาะเข้าระบบได้ในเบื้องต้น ผู้โจมตีอาจพยายามรวบรวมข้อมูลรับรอง ยกระดับสิทธิ์ รักษาการเข้าถึงไว้ หรือเคลื่อนย้ายไปยังส่วนอื่นของระบบ โดยอาศัยความสามารถที่มีอยู่แล้วในสภาพแวดล้อมนั้น

การที่เครื่องมือถูกต้องตามกฎหมาย ไม่ได้หมายความว่าการใช้เครื่องมือนั้นทุกครั้งจะชอบด้วยกฎหมาย

เป้าหมายของความเข้มงวดในการทดสอบเชิงรุกไม่ใช่การตั้งสมมติฐานว่าระบบอัตโนมัติไม่ปลอดภัย แต่คือการทดสอบเพื่อระบุว่าขอบเขตความปลอดภัยของระบบเหล่านั้นยังคงทำงานได้ในจุดใดบ้าง

ความเป็นอิสระแบบมีเงื่อนไข: แยกความฉลาดออกจากอำนาจ

แนวทางหนึ่งในการออกแบบสถาปัตยกรรมคือ แยกสิ่งที่ระบบ AI ทำได้ออกจากสิ่งที่ระบบได้รับอนุญาตให้ทำ

ฉันเรียกแนวทางนี้ว่า ความเป็นอิสระแบบมีเงื่อนไข

แนวคิดเรื่องความเป็นอิสระแบบมีเงื่อนไขยอมรับว่า ระดับความเป็นอิสระที่เหมาะสมขึ้นอยู่กับงาน สภาพแวดล้อมในการปฏิบัติงาน ผลกระทบที่อาจเกิดขึ้น ความไม่แน่นอน และหลักฐานที่มีเพื่อรองรับการดำเนินการ

ตัวแทนที่สรุปข้อมูลสาธารณะอาจไม่จำเป็นต้องได้รับการกำกับดูแลในระดับเดียวกับตัวแทนที่ได้รับอนุญาตให้ปิดบัญชีผู้ใช้ แก้ไขกฎไฟร์วอลล์ หรือเปลี่ยนแปลงโครงสร้างพื้นฐานที่ใช้งานจริง

ตัวแทนประเภทหลังอาจต้องปฏิบัติตามกฎการปฏิบัติงานที่กำหนดไว้อย่างชัดเจน ใช้สิทธิ์ที่มีการบังคับใช้อย่างเป็นอิสระ ได้รับอนุมัติในระดับที่เข้มงวดยิ่งขึ้น และต้องได้รับการอนุมัติจากมนุษย์ก่อนดำเนินการที่มีผลกระทบสำคัญ

ขอบเขตเหล่านี้ไม่ควรขยายออกไปเพียงเพราะตัวแทนตัดสินใจว่าการเข้าถึงที่กว้างขึ้นจะช่วยให้บรรลุเป้าหมายได้

ตัวแทนอาจพิจารณาวิธีดำเนินงานที่ได้รับอนุญาตอีกครั้งได้ โดยไม่ต้องได้รับอำนาจเพิ่มเติม

OWASP Top 10 สำหรับแอปพลิเคชัน LLM กล่าวถึงประเด็นนี้ผ่านหมวดหมู่ LLM06:2025 การให้อำนาจแก่ตัวแทนมากเกินไป OWASP ระบุว่าฟังก์ชันการทำงาน สิทธิ์ และความเป็นอิสระที่มากเกินไปเป็นแหล่งความเสี่ยง พร้อมแนะนำให้จำกัดความสามารถและบังคับใช้การอนุญาตอย่างเป็นอิสระ

ความเป็นอิสระแบบมีเงื่อนไขนำหลักการเหล่านี้มาปรับใช้ตามความเสี่ยงในการปฏิบัติงาน

ควรจำกัดการเข้าถึงข้อมูลให้เหลือเท่าที่งานจำเป็นต้องใช้ ควรกำหนดขอบเขตสิทธิ์การใช้เครื่องมือให้ครอบคลุมเฉพาะการดำเนินการที่ได้รับอนุมัติ นอกจากนี้ ยังสามารถควบคุมการดำเนินงานด้วยงบประมาณการดำเนินการ การจำกัดอัตรา เงื่อนไขการอนุมัติ และเงื่อนไขให้หยุดดำเนินการ

มาตรการป้องกันเหล่านี้มีความสำคัญเป็นพิเศษในการทดสอบเชิงรุกแบบอัตโนมัติ

ตัวแทนทดสอบอาจค้นพบข้อมูลรับรองหรือข้อมูลละเอียดอ่อนโดยชอบด้วยกฎหมายระหว่างดำเนินการตามเป้าหมายที่ได้รับอนุญาต แต่การค้นพบข้อมูลรับรองไม่ได้หมายความว่าโมเดลจำเป็นต้องได้รับข้อมูลดังกล่าวในรูปแบบข้อความธรรมดา

ระบบควบคุมความปลอดภัยสามารถแยกข้อมูลรับรองที่ละเอียดอ่อนออกจากโมเดล และจัดการการใช้งานผ่านการอนุญาตที่มีการบังคับใช้อย่างเป็นอิสระได้ ตัวอย่างเช่น ตัวกลางจัดการข้อมูลรับรองอาจส่งข้อมูลลับไปยังบริการที่ได้รับอนุมัติโดยตรง โดยไม่เปิดเผยข้อมูลนั้นแก่โมเดลโดยไม่จำเป็น

แนวทางนี้สอดคล้องกับหลักการที่เป็นที่ยอมรับ ได้แก่ การให้สิทธิ์เท่าที่จำเป็นและการแบ่งแยกหน้าที่

นอกจากนี้ ยังทำให้เกิดคำถามที่น่าสนใจเกี่ยวกับสถาปัตยกรรม Bring Your Own Model (BYOM) หรือ Bring Your Own LLM (BYO-LLM)

หากเปลี่ยนโมเดลพื้นฐานในวันพรุ่งนี้ การรับประกันด้านความปลอดภัยข้อใดจะยังคงอยู่

การอนุญาตให้ทำงาน การแยกข้อมูลรับรอง ข้อจำกัดด้านขอบเขต การบันทึกข้อมูล และการบังคับใช้นโยบาย อาจอยู่ในระบบควบคุมแวดล้อม แทนที่จะขึ้นอยู่กับพฤติกรรมของโมเดลทั้งหมด

นั่นไม่ได้หมายความว่าระบบควบคุมแวดล้อมจะปลอดภัยโดยอัตโนมัติ หรือโมเดลต่าง ๆ จะใช้แทนกันได้ โมเดลแต่ละตัวอาจตีความคำสั่งต่างกัน เรียกใช้เครื่องมือต่างกัน และก่อให้เกิดรูปแบบความล้มเหลวที่แตกต่างกัน

การประเมินที่มีความหมายต้องทดสอบทั้งมาตรการควบคุมที่ตั้งใจให้คงเดิม และพฤติกรรมที่เปลี่ยนแปลงไปเมื่อเปลี่ยนโมเดล

คุณสมบัติด้านความปลอดภัยที่ทนทานที่สุดบางประการอาจเป็นคุณสมบัติที่ยังบังคับใช้ได้อย่างเป็นอิสระ แม้องค์ประกอบด้านความฉลาดจะพัฒนาหรือเปลี่ยนแปลงไป

เมื่อ AI ลงมือกับ AI: ปัญหาด้านการตรวจสอบยืนยัน

ลองพิจารณาเวิร์กโฟลว์ของการปฏิบัติงานด้านความปลอดภัยในสถานการณ์สมมติต่อไปนี้:

ตรวจสอบเหตุการณ์นี้ รวบรวมหลักฐาน ระบุตัวตนที่ได้รับผลกระทบ เสนอแนวทางจำกัดผลกระทบ ดำเนินการตามมาตรการที่ได้รับอนุมัติ และตรวจสอบยืนยันผลลัพธ์

เอเจนต์สืบสวนวิเคราะห์ข้อมูลเทเลเมทรี อีกเอเจนต์หนึ่งเสนอแนวทางควบคุมเหตุการณ์ เอเจนต์ที่ได้รับอนุญาตให้ดำเนินการเป็นผู้เปลี่ยนแปลงระบบ ส่วนเอเจนต์ตรวจสอบจะประเมินผลลัพธ์

กรณีนี้แสดงให้เห็นการรับมือเหตุการณ์ด้านความปลอดภัยแบบอัตโนมัติที่ทำงานเป็นวงจรปิด ไม่ใช่ความล้มเหลวที่มีหลักฐานบันทึกไว้ทั่วทั้งอุตสาหกรรม

สมมติว่าเอเจนต์ตัวแรกระบุผิดว่าข้อมูลระบุตัวตนหนึ่งถูกบุกรุก เอเจนต์ตัวที่สองยอมรับข้อสรุปนั้นและปิดใช้งานบัญชี เอเจนต์ตัวที่สามยืนยันว่าบัญชีถูกปิดใช้งานแล้วและรายงานว่าดำเนินการสำเร็จ

การดำเนินการที่เลือกไว้เสร็จสมบูรณ์แล้ว

แต่การประเมินในตอนแรกถูกต้องหรือไม่ การดำเนินการนั้นได้รับอนุญาตหรือไม่ มาตรการควบคุมเหตุการณ์จัดการกับภัยคุกคามที่เกิดขึ้นจริงหรือไม่ และทำให้เกิดผลกระทบที่ไม่จำเป็นหรือไม่

การตรวจสอบไม่ควรจำกัดอยู่เพียงการยืนยันว่าเอเจนต์ดำเนินการตามที่เลือกไว้เสร็จแล้ว

การมอบหมายให้เอเจนต์ AI อีกตัวตรวจสอบก็ไม่ได้ทำให้ผลการตรวจสอบเป็นอิสระโดยอัตโนมัติ

เอเจนต์แต่ละตัวอาจอาศัยข้อมูลเทเลเมทรีที่ไม่ถูกต้อง ข้อมูลที่ถูกบุกรุก หรือสมมติฐานที่มีข้อบกพร่องเดียวกัน การเห็นพ้องกันของเอเจนต์ไม่ได้ยืนยันข้อเท็จจริงพื้นฐานด้วยหลักฐานที่เป็นอิสระ

ยิ่งการดำเนินการอัตโนมัติส่งผลร้ายแรงมากเท่าใด ก็ยิ่งจำเป็นต้องมีการตรวจสอบที่เป็นอิสระจากระบบซึ่งใช้ตัดสินใจมากขึ้นเท่านั้น

การตรวจสอบที่เป็นอิสระอาจอาศัยหลักฐานจากแหล่งข้อมูลแยกต่างหาก การตรวจสอบนโยบายแบบกำหนดผลแน่นอน สภาพแวดล้อมสำหรับดำเนินการที่มีข้อจำกัด การทบทวนโดยมนุษย์ หรือมาตรการป้องกันหลายอย่างร่วมกัน

มาตรการควบคุมที่เหมาะสมควรได้สัดส่วนกับผลกระทบที่เกิดจากข้อผิดพลาด

การดำเนินการที่มีผลกระทบต่ำและย้อนกลับได้อาจเหมาะกับการตรวจสอบโดยอัตโนมัติ ส่วนการดำเนินการที่มีผลกระทบสูงหรือย้อนกลับได้ยากอาจต้องมีการอนุมัติที่เข้มงวดกว่า การยืนยันจากแหล่งอิสระ และการอนุมัติโดยมนุษย์อย่างชัดเจน

คำถามสี่ข้อช่วยแยกแยะคุณสมบัติด้านความปลอดภัยที่เกี่ยวข้องได้ดังนี้

• ระบบตีความงานที่ต้องการได้ถูกต้องหรือไม่
• การดำเนินการอยู่ภายในขอบเขตอำนาจที่ได้รับมอบหมายหรือไม่
• การดำเนินการอยู่ภายในขอบเขตที่อนุญาตหรือไม่
• ผลลัพธ์ที่ได้บรรลุเป้าหมายด้านความปลอดภัยที่ต้องการหรือไม่

คำถามเหล่านี้เกี่ยวข้องกัน แต่ใช้แทนกันไม่ได้

เอเจนต์อาจดำเนินการที่ได้รับอนุญาต แต่กลับได้ผลลัพธ์ที่ไม่ตั้งใจไว้ อีกทั้งยังอาจได้ผลลัพธ์ที่ดูเหมือนเป็นประโยชน์จากการดำเนินการที่ไม่ได้รับอนุญาต

ไม่ควรถือว่ากรณีใดกรณีหนึ่งเป็นความสำเร็จด้านความปลอดภัยโดยอัตโนมัติ

เมื่อระบบอัตโนมัติมีความสามารถมากขึ้น ความท้าทายไม่ได้อยู่เพียงที่การทำให้ระบบทำงานที่ซับซ้อนให้เสร็จสิ้น แต่อยู่ที่การสร้างหลักฐานให้เพียงพอว่าการดำเนินการของระบบยังคงได้รับอนุญาต เหมาะสม และถูกต้อง

ซึ่งรวมถึงการรู้ว่าเมื่อใดควรหยุด ยกระดับเรื่องให้ผู้รับผิดชอบพิจารณา ย้อนกลับการดำเนินการ หรือยอมรับความเสี่ยงที่มีขอบเขตและเข้าใจอย่างชัดเจน

ความไว้วางใจต้องตั้งอยู่บนหลักฐาน

ผลกระทบด้านความปลอดภัยของ AI อัตโนมัติไม่ได้มีแต่ด้านลบ

ระบบอัตโนมัติช่วยให้ฝ่ายป้องกันค้นพบจุดอ่อน สืบสวนภัยคุกคาม และดำเนินการตรวจสอบยืนยัน ซึ่งหากไม่มีระบบเหล่านี้ งานดังกล่าวจะใช้แรงงานมนุษย์อย่างมาก

โมเดลที่ดีขึ้น มาตรการควบคุมจากภายนอกที่เข้มแข็งขึ้น และแนวปฏิบัติในการดำเนินงานที่เป็นระบบมากขึ้น อาจช่วยลดความเสี่ยงบางประการที่เกี่ยวข้องกับการมอบหมายอำนาจ

ดังนั้น จึงเร็วเกินไปที่จะสรุปว่า AI อัตโนมัติไม่ปลอดภัยโดยเนื้อแท้ หรือธรรมาภิบาลไม่อาจพัฒนาให้ทันความก้าวหน้าได้

นอกจากนี้ ยังมีข้อโต้แย้งสำคัญต่อแนวคิดที่ว่า AI อัตโนมัติต้องอาศัยหลักการด้านความปลอดภัยใหม่โดยพื้นฐาน

ปัญหาพื้นฐานหลายประการ เช่น การให้สิทธิ์มากเกินไป อินพุตที่ไม่น่าเชื่อถือ การอนุญาตที่อ่อนแอ การบังคับใช้นโยบายที่ไม่สอดคล้องกัน และการตรวจสอบที่ไม่เพียงพอ เป็นประเด็นที่มีการศึกษามานานหลายทศวรรษแล้ว

มาตรการควบคุมที่มีอยู่แล้วอาจเป็นแนวทางแก้ปัญหาที่ใช้ได้จริง หากนำไปใช้และทดสอบอย่างถูกต้อง

ระบบอัตโนมัติอาจเปลี่ยนความเร็ว ขนาด และความซับซ้อนในการนำมาตรการเหล่านั้นไปใช้ แต่ไม่ได้ทำให้มาตรการเหล่านั้นใช้ไม่ได้โดยอัตโนมัติ

หลักฐานชี้ให้เห็นคำถามที่เป็นประโยชน์ยิ่งกว่า นั่นคือ ระบบอัตโนมัติจะได้รับความไว้วางใจให้ใช้อำนาจที่ได้รับมอบหมายได้ภายใต้เงื่อนไขใด และเราจะพิสูจน์ได้อย่างไรว่าเงื่อนไขเหล่านั้นครบถ้วน

คำตอบไม่ได้ขึ้นอยู่กับความสามารถของโมเดลเพียงอย่างเดียว

คำตอบยังต้องอาศัยขอบเขตที่กำหนดไว้ในสถาปัตยกรรม การระบุผู้รับผิดชอบอย่างชัดเจน การบังคับใช้การอนุญาตโดยอิสระ การกำกับดูแลที่เหมาะสม และหลักฐานที่แสดงว่ามาตรการป้องกันทำงานได้ในสภาวะที่สมจริง

นอกจากนี้ ยังต้องมีวิสัยทัศน์ด้านความปลอดภัยและความเสี่ยงที่สอดคล้องกัน พร้อมปรับเปลี่ยนให้ทันต่อสถานการณ์

หลักการพื้นฐานด้านความปลอดภัยของเราไม่จำเป็นต้องเปลี่ยนทุกครั้งที่มีโมเดลใหม่ แต่เราต้องตั้งคำถามและทบทวนสมมติฐานเกี่ยวกับการนำหลักการเหล่านั้นไปใช้เสมอ เมื่อความสามารถ สภาพแวดล้อมในการดำเนินงาน และอำนาจที่มอบหมายเปลี่ยนแปลงไป

นี่คือจุดประสงค์ของ Offensive Rigor

ไม่ใช่เพื่อพิสูจน์ว่าระบบ AI จะล้มเหลว แต่เพื่อค้นหาว่าระบบเหล่านั้นอาจล้มเหลวตรงไหน กำหนดผลที่ตามมา และตรวจสอบมาตรการควบคุมที่มีไว้เพื่อป้องกันหรือจำกัดความล้มเหลวเหล่านั้น

บางทีความได้เปรียบที่ยั่งยืนกว่าอาจไม่ได้อยู่ที่การเลือกโมเดลที่มีความสามารถมากกว่าเพียงอย่างเดียว แต่อยู่ที่การสร้างสถาปัตยกรรมซึ่งเปลี่ยนโมเดลได้โดยไม่กระทบต่อขอบเขตด้านความไว้วางใจ อำนาจ และการตรวจสอบ

เกมไล่จับกันยังคงดำเนินต่อไป และทั้งสองฝ่ายอาจมีผู้เล่นที่ทำงานโดยอัตโนมัติมากขึ้นเรื่อย ๆ

สิ่งสำคัญคือการทำให้มั่นใจว่าความสามารถของเราในการค้นหาจุดอ่อน แก้ไขจุดอ่อนเหล่านั้น และพิสูจน์ผลลัพธ์ จะไม่สูญหายไปในระหว่างการแข่งขันเพื่อทำให้ทุกสิ่งทุกอย่างที่เหลือเป็นระบบอัตโนมัติ

ความไว้วางใจต้องตั้งอยู่บนหลักฐาน

หมายเหตุจากผู้เขียน: มุมมองและการตีความที่นำเสนอในบทความนี้เป็นของฉันเอง และไม่จำเป็นต้องสะท้อนจุดยืน นโยบาย หรือขีดความสามารถของผลิตภัณฑ์อย่างเป็นทางการของนายจ้าง