แผนการกำกับดูแล AI ของคุณมีปัญหาในกะดึก

ลองจินตนาการว่ากระบวนการทำงานของ AI ตรวจพบข้อยกเว้นเวลา 2:13 น. ระบบทำตามที่แผนการกำกับดูแลกำหนดไว้โดยตรง: หยุดทำงานและเรียกคนเข้ามา มีเพียงปัญหาเดียวคือ ผู้ที่มีคุณสมบัติเพื่อทำการตัดสินใจเริ่มทำงานเวลา 9 น.

ช่องว่างนั้นมีความสำคัญในทุกการดำเนินงานที่ทำการนอกเวลาทำการ นโยบายอาจกำหนดเจ้าของและวางเส้นการยกระดับอย่างชัดเจน แต่เวลา 2 น. ทั้งสองอย่างก็ไม่ได้ช่วยอะไรเลยหากคนเดียวที่เข้าใจการเรียกหรือมีสิทธิ์ทำการนั้นไม่ได้ออนไลน์

ดังนั้นความพร้อมใช้งานต้องเป็นส่วนหนึ่งของการควบคุมเอง สำหรับระบบที่ทำงานตลอดคืน คำถามเชิงปฏิบัติก็ตรงไปตรงมา: ใครคอยดูแล, พวกเขาสามารถตัดสินใจอะไรได้บ้าง, ต้องเห็นข้อมูลอะไร, และจะเกิดอะไรขึ้นหากไม่มีใครตอบรับ? คำตอบต้องคงอยู่แม้เปลี่ยนกะทำงาน

กฎระเบียบมีนาฬิกา การดำเนินงานมีหลายช่วงเวลา

ปฏิทินกฎระเบียบทำให้ประเด็นนี้มีความเร่งด่วน ในวันที่ 2 สิงหาคม 2026 European Commission’s AI Office และหน่วยงานระดับชาติเริ่มบังคับใช้ข้อกำหนดที่เกี่ยวข้องของ AI Act และกฎความโปร่งใสใหม่มีผลบังคับใช้

วันที่นั้นไม่ควรขยายเป็นการอ้างว่าแต่ละข้อผูกมัด AI ความเสี่ยงสูงทั้งหมดกลายเป็นบังคับใช้พร้อมกัน ตารางเวลาปัจจุบันของคณะกรรมาธิการกำหนดกฎสำหรับระบบความเสี่ยงสูงในภาคผนวก III ให้มีผลในวันที่ 2 ธันวาคม 2027 และกฎสำหรับ AI ความเสี่ยงสูงที่ฝังอยู่ในผลิตภัณฑ์ที่ได้รับการควบคุมจะตามมาในวันที่ 2 สิงหาคม 2028

จุดดำเนินงานที่แคบลงนั้นมีประโยชน์มากกว่าในทุกกรณี ข้อกำหนดการกำกับดูแลกำลังเปลี่ยนจากงานด้านนโยบายสู่การบังคับใช้ ในขณะที่ระบบที่กำกับดูแลอยู่แล้วทำงานตลอดคืน, วันหยุดสุดสัปดาห์และหลายโซนเวลา การควบคุมที่ออกแบบตามโครงสร้างองค์กรวันจันทร์ถึงศุกร์ในที่สุดจะต้องเผชิญกับข้อยกเว้นในเช้าวันเสาร์

แผนการกำกับดูแลหลายแผนไม่ได้อธิบายสถานการณ์นั้น พวกเขากำหนดว่าใครเป็นเจ้าของระบบ, ใครอนุมัติกรณีการใช้และคณะกรรมการใดตรวจสอบความเสี่ยง สิ่งเหล่านี้เป็นการตัดสินใจที่จำเป็น แต่ไม่ได้บอกผู้ปฏิบัติงานในช่วงดึกว่าธุรกรรมควรค้างไว้เป็นเวลาเจ็ดชั่วโมงหรือไม่, นักวิเคราะห์ที่อยู่ในสายด่วนสามารถปล่อยออกได้หรือไม่ หรือใครรับความเสี่ยงหากคิวยังคงเพิ่มขึ้น

นโยบายมีชื่ออยู่ในกล่อง การดำเนินงานต้องการคนที่คอยจับเวลา

มนุษย์ในวงจรต้องอาศัยรายชื่อผู้ปฏิบัติงาน

Unite.AI ได้แสดงให้เห็นแล้วว่า ประตูการตรวจสอบ ที่แท้จริงต้องมีการมองเห็นและควบคุมที่มีความหมาย ผู้ตรวจสอบต้องเห็นการกระทำที่เสนอและเหตุผลที่ระบบหยุดทำงาน ที่สำคัญยิ่งกว่านั้นหน้าจอต้องให้พวกเขาทำสิ่งที่เป็นประโยชน์ได้: อนุมัติ, ปรับเปลี่ยน, ปฏิเสธ หรือปิดกระบวนการ

การครอบคลุมเป็นปัญหาการออกแบบต่อไป หน้าจอการตรวจสอบที่ออกแบบอย่างดีไม่สามารถช่วยได้เมื่อผู้ตรวจสอบที่มีคุณสมบัติเพียงคนเดียวกำลังนอนหลับ, ลากิจหรือทำงานในภูมิภาคอื่นโดยไม่มีการส่งต่ออย่างเป็นทางการ

นี่คือจุดที่วลี “human in the loop” กลายเป็นคำที่กว้างเกินไป มันอาจซ่อนหลายบทบาท งานเจ้าของกระบวนการรับผิดชอบต่อการทำงานของกระบวนการ, ในขณะที่ผู้ตรวจสอบในกะตีความข้อยกเว้นและรวบรวมบริบทที่ขาดหาย ผู้เชี่ยวชาญด้านเนื้อหาตัดสินความเสี่ยงของโดเมน ผู้อนุมัติมีอำนาจในการอนุญาต, ปรับเปลี่ยน หรือหยุดการกระทำที่เสนอ เมื่อข้อยกเว้นบ่งชี้ความล้มเหลวที่กว้างขึ้น เจ้าของเหตุการณ์จะประสานการตอบสนอง

การรวมบทบาทเข้าด้วยกันไม่ได้หมายความว่าจะเป็นปัญหาโดยอัตโนมัติ ในกระบวนการทำงานความเสี่ยงต่ำอาจเป็นการจัดการที่เรียบง่ายที่สุด แต่ต้องบันทึกไว้ นักวิเคราะห์ที่เข้าใจผลลัพธ์ของโมเดลอาจยังขาดสิทธิ์ในการปล่อยการชำระเงินจำนวนมาก, ลบข้อจำกัดด้านความปลอดภัย หรืออนุมัติการกระทำที่ส่งผลต่อลูกค้า

NIST AI Risk Management Framework มีประโยชน์ในที่นี้เพราะมองการกำกับดูแลเป็นโครงสร้างการดำเนินงาน ฟังก์ชัน Govern ของมันเรียกร้องบทบาท, ความรับผิดชอบและเส้นการสื่อสารที่ชัดเจน พร้อมกับผู้ที่เหมาะสมได้รับอำนาจ, มีความรับผิดชอบและได้รับการฝึกอบรม นอกจากนี้ยังต้องกำหนด, ประเมินและบันทึกกระบวนการตรวจสอบโดยมนุษย์ “มนุษย์จะตรวจสอบมัน” ไม่ตรงตามมาตรฐานความชัดเจนนี้

กำหนดว่าคำว่า ‘มีคุณสมบัติ’ หมายถึงอะไรก่อนที่การแจ้งเตือนจะมาถึง

การอยู่ในหน้าที่ไม่ได้ทำให้ใครพร้อมที่จะตัดสินใจ พวกเขาอาจรู้กระบวนการธุรกิจเป็นอย่างดีแต่ยังไม่มีพื้นฐานในการตัดสินข้อยกเว้นของโมเดลนี้

คุณสมบัติควรกำหนดตามการตัดสินใจ ไม่ใช่ตามตำแหน่งงานทั่วไป องค์กรอาจต้องการให้ผู้ตรวจสอบเข้าใจวัตถุประสงค์ของกระบวนการทำงาน, หลักฐานที่ระบบแสดง, ขอบเขตของโมเดล, เกณฑ์นโยบายที่เกี่ยวข้องและผลของแต่ละการกระทำที่มี ตัวบทบาทบางอย่างอาจต้องการการฝึกอบรมล่าสุด, การรับรองหรือการปฏิบัติงานภายใต้การดูแลในช่วงเวลาใกล้เคียง

ความทันสมัยมีความสำคัญ คนที่ฝึกอบรมเสร็จสองปีที่แล้วอาจยังดูเหมือนมีคุณสมบัติในสเปรดชีตคงที่แม้ว่าตั้งแต่นั้นโมเดล, อินเทอร์เฟซและกฎการยกระดับได้เปลี่ยนสองครั้งแล้ว คำถามการกำกับดูแลคือหลักฐานของความพร้อมยังสอดคล้องกับกระบวนการทำงานปัจจุบันหรือไม่

อำนาจต้องบันทึกแยกต่างหาก พิจารณานักวิเคราะห์การฉ้อโกงที่สามารถอธิบายเหตุผลที่ทำรายการถูกทำเครื่องหมาย นักวิเคราะห์คนนั้นอาจมีคุณสมบัติเพื่อประเมินหลักฐานอย่างเต็มที่แต่ไม่สามารถปล่อยการชำระเงินเกินจำนวนที่กำหนดได้ การตัดสินใจในช่วงดึกจึงขึ้นอยู่กับการครอบคลุมสองประเภท: ผู้ที่สามารถตัดสินใจและผู้ที่ได้รับอนุญาตให้ให้การกระทำ

ความแตกต่างนี้ช่วยป้องกันความล้มเหลวที่พบบ่อย ทีมงานพบบุคคลที่มีความรู้และถือว่าการพร้อมใช้นั้นเป็นการครอบคลุมเต็มที่ แต่ในระหว่างเหตุการณ์กลับพบว่าบุคคลนั้นไม่สามารถดำเนินขั้นตอนที่ต้องการได้ การยกระดับต่อไปยังระดับบนจนกว่าจะถึงผู้ที่มีคุณสมบัติและอำนาจครบถ้วน ซึ่งมักเกิดขึ้นหลังจากกำหนดเวลาการดำเนินงานผ่านไปแล้ว

การกำหนดการครอบคลุมที่ใช้งานได้เริ่มจากสี่คำถาม สิ่งที่ผู้ตรวจสอบต้องรู้คืออะไร? หลักฐานใดที่พิสูจน์ได้? ผู้ตรวจสอบยังต้องการขีดจำกัดการตัดสินใจที่กำหนดไว้ สุดท้าย สิทธิ์นั้นหมดอายุหรือจำเป็นต้องประเมินใหม่เมื่อใด? หากคำตอบเหล่านี้อยู่ในระบบต่างกัน กระบวนการยกระดับจะต้องประสานข้อมูลเหล่านั้นก่อนมอบหมายกรณี

มอบอำนาจให้ผู้ตรวจสอบและตั้งค่าปริยายที่ปลอดภัยให้ระบบ

ผู้ตรวจสอบในช่วงนอกเวลาไม่เพียงต้องการการแจ้งเตือนเท่านั้น ควรได้รับการแจ้งพร้อมกับการกระทำที่เสนอ แหล่งข้อมูลหรือบันทึกที่อยู่เบื้องหลัง ข้อยกเว้นที่ทำให้ต้องตรวจสอบ เวลาที่มีอยู่และผลกระทบจากความล่าช้า นอกจากนี้ยังต้องแสดงว่าผู้ตรวจสอบได้รับอนุญาตให้ทำอะไรได้บ้าง

สิทธิ์เหล่านี้ต้องกำหนดขอบเขต ผู้ตรวจสอบได้รับอนุญาตให้อนุมัติการกระทำตามที่เสนอหรือแก้ไขได้หรือไม่? การปฏิเสธอาจเป็นถาวร หรืออาจเพียงส่งกรณีกลับไปยังคิว ข้อยกเว้นที่คล้ายกันหลายกรณีอาจเป็นเหตุผลให้หยุดกระบวนการทำงานที่กว้างขึ้น ขอบเขตสุดท้ายคือจุดที่ต้องเรียกผู้อนุมัติคนที่สองเข้ามา

คำถามเหล่านี้ควรอยู่ในขั้นตอนการออกแบบ การควบคุมการทำงานของ AI agents ไม่ใช่ในการสนทนาเร่งด่วนหลังจากคิวได้ถูกสร้างขึ้นแล้ว การหยุดชั่วคราว การกักกัน และสถานะการอนุญาตจำกัดให้ทีมปฏิบัติการมีพื้นที่ปลอดภัยสำหรับงานที่ไม่แน่นอน การบันทึกข้อมูลเทเลเมทรีและการตรวจสอบแสดงให้เห็นว่ามีอะไรเกิดขึ้นขณะกระบวนการกำลังรอคอย

กรณีที่ยากที่สุดคือไม่มีการตอบสนอง ทุกกระบวนการทำงานที่อยู่ภายใต้การกำกับต้องมีคำตอบที่ได้รับการอนุมัติล่วงหน้าสำหรับสถานการณ์นั้น ขึ้นอยู่กับความเสี่ยง ระบบอาจระงับการกระทำ คิวไว้สำหรับกะต่อไปที่มีคุณสมบัติเหมาะสม ทำงานต่อในโหมดที่ลดลง หรือหยุดกระบวนการที่ได้รับผลกระทบ ระบบสนับสนุนลูกค้าอาจหยุดการคืนเงินจำนวนมหาศาลที่ผิดปกติในขณะที่ดำเนินการตามคำขอทั่วไปต่อไป กระบวนการคุณภาพการผลิตอาจกักกันชุดสินค้าที่สงสัยได้ แทนที่จะให้สายการผลิตตีความความเงียบเป็นการอนุมัติ

ความเงียบไม่สามารถถือเป็นการอนุมัติได้

การมอบหมายทำงานได้ผลเฉพาะเมื่อมีแนวป้องกัน บันทึกว่าผู้ใดส่งต่ออำนาจให้ผู้ใด, ครอบคลุมการเรียกใดบ้าง, หมดอายุเมื่อใดและมีข้อจำกัดอะไร หากไม่มีร่องรอยเหล่านี้ กระบวนการทำงานในช่วงนอกเวลาจะกลายเป็นเพียงสายข้อความที่ต่อเนื่องซึ่งต่อมาจะเรียบเรียงได้ยาก

การส่งมอบกะงานเป็นส่วนหนึ่งของการควบคุม

ข้อยกเว้นบางกรณีอาจยาวนานกว่ากะงาน ผู้ตรวจสอบที่ออกจากกะอาจได้รวบรวมหลักฐาน ติดต่อผู้เชี่ยวชาญ และตัดตัวเลือกหนึ่งออกโดยยังไม่ได้ตัดสินใจขั้นสุดท้าย หมายเลขตั๋วและบันทึกเร่งรีบไม่ถือเป็นการส่งมอบที่ดี ผู้ตรวจสอบคนต่อไปจะเสียเวลามูลค่ามากในการสร้างงานที่ทำไปแล้วใหม่

นี่ไม่ใช่ปัญหาใหม่ การดำเนินงานที่ต้องคำนึงถึงความปลอดภัยเป็นเวลานานได้มองการส่งมอบเป็นงานที่มีคุณค่าโดยตนเอง หน่วยงานสุขภาพและความปลอดภัยของสหราชอาณาจักร (UK Health and Safety Executive) อธิบาย การส่งมอบกะงานที่มีประสิทธิภาพ ว่าเป็นกระบวนการสามขั้นตอน: การเตรียมโดยบุคลากรที่ออกจากกะ การแลกเปลี่ยนข้อมูลที่เกี่ยวข้องกับงาน และการตรวจสอบข้ามโดยบุคลากรที่เข้ามารับผิดชอบ คำแนะนำของพวกเขาเน้นการสื่อสารสองทางที่สนับสนุนด้วยข้อมูลเป็นลายลักษณ์อักษรและวาจา พร้อมด้วยเวลาและทรัพยากรที่เพียงพอเพื่อทำงานให้สำเร็จ

การส่งมอบข้อยกเว้นของ AI ต้องการวินัยเดียวกัน ปรับให้สอดคล้องกับกระบวนการทำงาน บันทึกควรบรรจุการกระทำที่เสนอ, หลักฐานที่ระบบแสดง, เหตุผลของการยกระดับ, ขั้นตอนที่ทำแล้ว, ตัวเลือกที่ถูกตัดออก, เวลาที่เหลือและระดับความเสี่ยงปัจจุบัน นอกจากนี้ยังต้องระบุเจ้าของความรับผิดชอบทั้งสองฝ่ายของการโอน

ส่วนสำคัญที่สุดคือการรับทราบ บันทึกสามารถแสดงว่าข้อมูลได้ถูกบันทึกไว้แล้ว แต่ไม่สามารถพิสูจน์ได้ว่าผู้ตรวจสอบคนใหม่เข้าใจสถานะของกรณีหรือรับผิดชอบต่อการตัดสินใจต่อไป การตรวจสอบข้ามให้ผู้รับเข้ามามีโอกาสท้าทายหลักฐานที่หายไป ยืนยันกำหนดเวลา และระบุการกระทำที่อนุญาตต่อไปอีกครั้ง

การออกแบบส่วนต่อประสานมีความสำคัญในที่นี้ หน้าจอการส่งมอบไม่ควรซ่อนเหตุผลของโมเดล, โน้ตของมนุษย์และสถานะการอนุญาตในแท็บแยกต่างหาก ผู้ตรวจสอบคนใหม่ต้องเห็นว่ามีการเปลี่ยนแปลงอะไรบ้างในกะก่อนและข้อเท็จจริงใดที่ยังต้องตรวจสอบ มิฉะนั้น การส่งมอบแต่ละครั้งจะเป็นโอกาสใหม่ให้บริบทหายไป

ทำแผนที่การครอบคลุมที่มีคุณสมบัติเหมาะสมตามกะงาน

ทีมส่วนใหญ่สามารถจัดทำรายการบุคคลที่เกี่ยวข้องกับกระบวนการทำงานของ AI ได้ แต่มีน้อยกว่าที่สามารถแสดงให้เห็นว่าทุกช่วงเวลาการดำเนินงานมีการผสมผสานของความรู้และอำนาจที่เหมาะสม

จุดเริ่มต้นที่เป็นประโยชน์คือการมองตามบทบาทต่อกะ สร้างมุมมองโดยอิงการตัดสินใจจริง ไม่ใช่ชื่อบนรายชื่อ สำหรับการยกระดับแต่ละกรณีบันทึกความรู้ที่ต้องการ วิธีการพิสูจน์ความเชี่ยวชาญปัจจุบันและอำนาจที่จำเป็นต่อการดำเนินการ จากนั้นนำข้อมูลนี้เทียบกับบุคคลที่ครอบคลุมช่วงกลางคืน, วันหยุดสุดสัปดาห์และวันหยุดราชการ

เมทริกซ์ทักษะหรือความสามารถสามารถทำให้ความเสี่ยงด้านการจัดบุคลากรชัดเจนได้โดยการ ทำแผนที่การครอบคลุมที่มีคุณสมบัติตามกะ บทบาทและสถานที่ก่อนที่ข้อยกเว้นจะเกิดขึ้น เมทริกซ์อาจเปิดเผยว่ามีเพียงบุคคลเดียวที่มีคุณสมบัติที่จำเป็นสำหรับการตรวจสอบสำคัญในปัจจุบัน, ว่าการรับรองหนึ่งจะหมดอายุระหว่างการปรับใช้ที่วางแผนไว้ หรือว่ากะสุดสัปดาห์มีความเชี่ยวชาญด้านเทคนิคแต่ไม่มีผู้อนุมัติขั้นสุดท้าย.

ช่องว่างเหล่านั้นกลายเป็นรูปธรรม ความชัดเจนนี้ไม่ได้หมายความว่าใครก็สามารถทำงานได้ เนื่องจากการปฏิบัติที่แสดงผล, การฝึกอบรมปัจจุบันและการตัดสินใจที่สังเกตเห็นยังคงมีความสำคัญ และเมทริกซ์ไม่สามารถมอบอำนาจทางกฎหมายหรือองค์กรได้ หน้าที่ของมันแคบลง: แสดงว่ารูปแบบการครอบคลุมพึ่งพาการสมมติ, บันทึกที่ล้าสมัย หรือบุคคลคนเดียวที่ไหน

เมื่อช่องว่างปรากฏให้เห็น ทีมงานมีทางเลือก พวกเขาสามารถฝึกอบรมข้ามหน้าที่ให้ผู้ตรวจสอบคนอื่น, ปรับการครอบคลุมแบบเรียกตอบ, จำกัดสิทธิ์ของกระบวนการทำงานยามดึก หรือเปลี่ยนวิธีสำรองที่ปลอดภัยจนกว่าการครอบคลุมจะดีขึ้น การตอบสนองที่เหมาะสมขึ้นอยู่กับผลของความล่าช้าและผลของการตัดสินใจผิด คิวความเสี่ยงต่ำสามารถรอได้ ข้อยกเว้นที่เกี่ยวกับความปลอดภัยอาจต้องการการครอบคลุมจากผู้เชี่ยวชาญทันทีหรือการหยุดทำงานอย่างเด็ดขาด

การครอบคลุมควรได้รับการทดสอบ ไม่ใช่เพียงบันทึกเท่านั้น ให้ดำเนินการฝึกซ้อมหลังเวลางาน กระตุ้นข้อยกเว้นตัวอย่าง, ติดตามเส้นทางการยกระดับและวัดว่าบุคคลที่ได้รับมอบหมายได้รับข้อมูลบริบทเพียงพอที่จะดำเนินการภายในเวลาที่กำหนดหรือไม่ จากนั้นทำซ้ำการทดสอบเมื่อเปลี่ยนกะ การครอบคลุมบนกระดาษมักดูให้ความมั่นใจจนกระทั่งข้อความแรกส่งไปยังหมายเลขโทรศัพท์ที่ล้าสมัยหรือถึงผู้ที่ขีดจำกัดการอนุมัติต่ำเกินไป

ดำเนินการทดสอบกะกลางคืน

การกำกับดูแลระดับองค์กรพึ่งพาเจ้าของและเส้นทางการยกระดับที่กำหนดไว้แล้ว ทดสอบกะกลางคืนตรวจสอบว่าโครงสร้างเหล่านั้นยังคงใช้งานได้เมื่อบุคคลปกติไม่ได้อยู่ที่โต๊ะทำงาน

เริ่มด้วยกระบวนการทำงานจริงและข้อยกเว้นที่เป็นไปได้หนึ่งรายการ ถามว่าใครรับการแจ้งเตือนในชั่วโมงที่ไม่สะดวกที่สุด ยืนยันว่าบุคคลนั้นมีคุณสมบัติเพื่อการตัดสินใจที่แม่นยำนั้น แล้วตรวจสอบว่าพวกเขาสามารถอนุมัติ, แก้ไข, หยุดหรือมอบหมายอะไรได้บ้าง ติดตามเส้นทางที่ไม่มีการตอบกลับ สุดท้าย นำกรณีที่ยังไม่ได้แก้ไขผ่านการส่งต่อกะและดูว่าผู้ตรวจสอบที่เข้ามาสามารถอธิบายสถานะของมันได้โดยไม่ต้องสร้างการสอบสวนใหม่หรือไม่

การทดสอบมักจะเปิดเผยปัญหาธรรมดา เช่น บทบาทที่ไม่มีตารางเรียกตอบ, บันทึกคุณสมบัติที่ไม่ตรงกับโมเดลปัจจุบัน, ผู้อนุมัติที่ขีดจำกัดต่ำเกินไป หรือการส่งต่อที่ย้ายโน้ตโดยไม่ย้ายความเป็นเจ้าของ ความธรรมดานั้นดี เพราะเป็นปัญหาการดำเนินงานที่สามารถแก้ไขได้ หากพบก่อนที่ข้อยกเว้นจริงจะทำให้ต้องเร่งแก้

กระบวนการทำงาน AI สามารถทำงานตลอดคืน การกำกับดูแลของมันก็ต้องทำเช่นเดียวกัน