พื้นฐาน AI
Explainable AI คืออะไร?
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
Explainable AI (XAI) ประกอบด้วยวิธีการและแนวปฏิบัติที่ช่วยให้ผู้คนเข้าใจพฤติกรรมหรือผลลัพธ์ของระบบ AI คำอธิบายอาจบรรยายอินพุตที่มีอิทธิพล แสดงตัวอย่างที่คล้ายกัน นำเสนอการเปลี่ยนแปลงแบบคอนทราฟัคชวล สรุปกฎระดับโลก หรือสื่อสารเมื่อระบบไม่ทราบข้อมูล
ไม่มีคำอธิบายใดที่ดีที่สุดสำหรับทุกกรณี นักพัฒนาที่กำลังดีบักโมเดล ผู้ตรวจสอบที่ทดสอบการปฏิบัติตามนโยบาย และบุคคลที่ได้รับผลกระทบจากการตัดสินใจต้องการหลักฐานที่แตกต่างกัน ดังนั้นคำอธิบายต้องได้รับการประเมินในด้านความแม่นยำ ความหมาย และการใช้งานที่ตั้งใจ—not เพียงแค่ความสวยงามของภาพ
ประเด็นสำคัญ
- ความโปร่งใสอธิบายข้อมูลที่พร้อมให้ใช้; ความสามารถในการตีความเกี่ยวกับความหมาย; คำอธิบายสื่อสารหลักฐานหรือเหตุผล
- วิธีการระดับโลกสรุปโมเดลทั้งหมด ในขณะที่วิธีการระดับท้องถิ่นมุ่งเน้นการทำนายเดียวหรือพื้นที่เล็ก ๆ
- คำอธิบายแบบหลังเหตุการณ์อาจเป็นประโยชน์แต่บางครั้งอาจไม่เสถียรหรือไม่สอดคล้องกับโมเดลพื้นฐาน
- คำอธิบายไม่ได้พิสูจน์ความเป็นธรรม ความเป็นสาเหตุ ความทนทาน หรือความถูกต้อง
สี่หลักการสำหรับคำอธิบายที่มีประโยชน์
NIST เสนอว่าระบบควรให้คำอธิบาย ทำให้คำอธิบายมีความหมายต่อผู้ใช้ที่ตั้งใจไว้ ตรวจสอบให้แน่ใจว่าตรงกับกระบวนการของระบบอย่างแม่นยำ และสื่อสารขอบเขตความรู้ของระบบ หลักการเหล่านี้แยกความมีอยู่ของคำอธิบายออกจากคุณภาพของมัน
ความหมายขึ้นอยู่กับผู้ฟัง รหัสเหตุผลสั้น ๆ อาจช่วยผู้สมัคร ในขณะที่นักพัฒนาโมเดลอาจต้องการการกระจาย, พฤติกรรมของฟีเจอร์ และกลุ่มความล้มเหลว ทั้งสองควรเชื่อมโยงกับระบบที่บันทึกไว้และบริบทการตัดสินใจเดียวกัน
วิธีการภายในและหลังเหตุการณ์
โมเดลเชิงเส้นแบบกระจ่างหรือ decision tree ที่จำกัดสามารถตีความได้โดยตรงภายในขอบเขตที่เป็นไปได้ โมเดลที่ซับซ้อนอาจใช้การอธิบายคุณลักษณะแบบหลังเหตุการณ์, ตัวแทนท้องถิ่น, ตัวอย่าง, แผนที่ความสำคัญ หรือคอนทราฟัคชวล
ความเรียบง่ายโดยธรรมชาติไม่ได้หมายความว่าจะตรงกับความเป็นจริงเสมอเมื่อฟีเจอร์กำหนดไม่ชัดหรือกระบวนการถูกซ่อนอยู่ ความซับซ้อนแบบหลังเหตุการณ์ก็ไม่ได้หมายความว่าจะทำให้เข้าใจผิด วิธีการต้องถูกทดสอบกับคำถามที่ตั้งใจจะตอบ
การอธิบายคุณลักษณะและอินพุตที่สัมพันธ์กัน
วิธีการอธิบายมอบส่วนของผลลัพธ์ให้กับฟีเจอร์อินพุตภายใต้สมมติฐานที่ชัดเจน LIME สร้างตัวแทนท้องถิ่นแบบง่ายรอบการทำนาย; วิธีการที่เกี่ยวข้องกับ SHAP เชื่อมการอธิบายแบบบวกกับแนวคิดค่า Shapley
ฟีเจอร์ที่สัมพันธ์กันอาจแบ่งหรือแลกเปลี่ยนการอธิบาย และการอธิบายที่สูงไม่ได้หมายถึงผลกระทบเชิงสาเหตุ การเปลี่ยนฟีเจอร์แยก ๆ อาจทำให้เกิดบุคคล, ภาพ หรือธุรกรรมที่เป็นไปไม่ได้ คำอธิบายควรระบุฐานข้อมูล, การสุ่มตัวอย่างและสมมติฐานความขึ้นต่อกัน
คอนทราฟัคชวล, ตัวอย่างและพฤติกรรมระดับโลก
คอนทราฟัคชวลถามว่าการเปลี่ยนแปลงที่เป็นไปได้ใดจะทำให้ผลลัพธ์เปลี่ยนไป ข้อจำกัดเป็นสิ่งสำคัญ: คำอธิบายที่นำไปปฏิบัติได้ไม่ควรแนะนำการเปลี่ยนแปลงที่ไม่สามารถเปลี่ยนแปลงได้, ผิดกฎหมาย หรือไม่เป็นจริง วิธีการอิงตัวอย่างแสดงต้นแบบหรือกรณีการฝึกที่มีอิทธิพลแต่สามารถเปิดเผยข้อมูลส่วนบุคคลได้
การวิเคราะห์ระดับโลกตรวจสอบประสิทธิภาพ, การพึ่งพาบางส่วน, ความเป็นโมโนโทน, การโต้ตอบและพฤติกรรมของกลุ่มย่อย สำหรับอันซัมเบิลเช่น gradient boosting ให้รวมสรุปกับหลักฐานท้องถิ่นและการทดสอบโดยตรงของข้อจำกัดที่คาดหวัง
ตรวจสอบความถูกต้องของคำอธิบายและระบบ
ทดสอบความตรง, ความเสถียรต่อการเปลี่ยนแปลงเล็กน้อย, ความสอดคล้องระหว่างอินพุตที่เท่าเทียม, ความเข้าใจของผู้ใช้และว่าคำอธิบายสนับสนุนการตัดสินใจที่เหมาะสมหรือไม่ การทดสอบแบบศัตรูควรตรวจสอบว่าคำอธิบายที่โน้มน้าวสามารถมาพร้อมกับผลลัพธ์ที่ผิดหรือถูกดัดแปลงได้หรือไม่
XAI อยู่ภายในการประเมินที่กว้างขึ้น: คุณภาพที่แยกออก, การปรับเทียบ, ความเป็นธรรม, ความเป็นส่วนตัว, ความปลอดภัย, การเฝ้าติดตามและกลไกการอุทธรณ์ คำอธิบายสามารถสนับสนุนความรับผิดชอบได้ แต่ไม่สามารถทดแทนการกำกับดูแลที่รับผิดชอบได้
เป้าหมายของคำอธิบายและกลุ่มวิธีการ
Explainable AI ควรเริ่มด้วยคำถามและผู้ฟัง: ทำไมการตัดสินใจหนึ่งเกิดขึ้น, โมเดลทำงานโดยทั่วไปอย่างไร, หลักฐานใดที่มีอิทธิพล, สิ่งใดจะเปลี่ยนผลลัพธ์, หรือมีการปฏิบัติตามนโยบายหรือไม่ คำอธิบายระดับท้องถิ่นมุ่งเน้นการทำนายเดียว; คำอธิบายระดับโลกสรุปพฤติกรรมที่กว้างขึ้น โมเดลที่ตีความได้โดยธรรมชาติเปิดเผยค่าสัมประสิทธิ์, กฎ, หรือโครงสร้าง ในขณะที่วิธีการหลังเหตุการณ์ประมาณโมเดลที่ซับซ้อน คำอธิบายพฤติกรรมของโมเดลไม่ได้หมายความว่าจะเป็นคำอธิบายเชิงสาเหตุของโลกหรือเป็นการพิสูจน์ว่าการตัดสินใจเป็นธรรม
วิธีการอธิบายคุณลักษณะรวมถึง gradient, integrated gradient, ค่าแบบ SHAP, การสลับตำแหน่ง, และโมเดลตัวแทนท้องถิ่น คำอธิบายแบบอิงตัวอย่างดึงกรณีที่มีอิทธิพลหรือคล้ายคลึง; คอนทราฟัคชวลเสนอการเปลี่ยนแปลงที่เชื่อมโยงกับผลลัพธ์ที่แตกต่าง; วิธีการแนวคิดเชื่อมการแสดงผลภายในกับหมวดหมู่ของมนุษย์ แต่ละวิธีมีสมมติฐานเกี่ยวกับฐานข้อมูล, ความเป็นอิสระของฟีเจอร์, ความเป็นเชิงเส้นท้องถิ่น, หรือการเข้าถึงโมเดล ตัวแปรที่สัมพันธ์กัน, การโต้ตอบ, และการเตรียมข้อมูลล่วงหน้าอาจทำให้การอธิบายไม่เสถียรหรือทำให้เข้าใจผิด เปรียบเทียบวิธีและทำการเปลี่ยนแปลงอินพุตเพื่อทดสอบว่าคำอธิบายทำนายพฤติกรรมได้หรือไม่
การประเมินและปัจจัยมนุษย์
ประเมินความตรง—ว่าคำอธิบายสอดคล้องกับโมเดลหรือไม่—แยกจากความน่าเชื่อถือต่อบุคคล ทดสอบความเสถียร, ความไว, ความครบถ้วน, ความกระจ่าง, และประโยชน์ต่อภารกิจที่กำหนดเช่นการดีบักหรือการอุทธรณ์ การศึกษาเชิงมนุษย์ต้องมีผู้เข้าร่วมที่เป็นตัวแทนและควรวัดคุณภาพการตัดสินใจ, การตรวจจับข้อผิดพลาด, การพึ่งพา, และเวลา ไม่ใช่เพียงว่าผู้ใช้บอกว่าแผนภูมิดูชัดหรือไม่ คำอธิบายที่โน้มน้าวอาจเพิ่มความเชื่อมั่นในโมเดลที่ผิดพลาด ดังนั้นอินเทอร์เฟซต้องแสดงความไม่แน่นอน, ทางเลือก, และข้อจำกัด
คอนทราฟัคชวลควรเป็นไปได้, สามารถนำไปปฏิบัติได้, และไม่แนะนำให้เปลี่ยนแปลงคุณลักษณะที่ได้รับการคุ้มครองหรือไม่สามารถเปลี่ยนแปลงได้ คำอธิบายอาจทำให้ข้อมูลโมเดลหรือข้อมูลส่วนบุคคลรั่วไหลและช่วยผู้โจมตีย้อนกลับการตัดสินใจ ใช้มาตรการควบคุมการเข้าถึงและการลดผลลัพธ์ สำหรับการใช้งานที่อยู่ภายใต้การกำกับหรือมีผลกระทบสูง ควรเก็บบันทึกแหล่งที่มาของข้อมูล, รุ่นโมเดล, ค่าเกณฑ์, และตรรกะการตัดสินใจจริง; กราฟิกความสำคัญของฟีเจอร์ทั่วไปไม่สามารถทดแทนเหตุผลที่มีความหมายทางกฎหมายหรือการตรวจสอบโดยมนุษย์ได้
การใช้คำอธิบายอย่างรับผิดชอบ
เลือกโมเดลที่ง่ายที่สุดที่ตอบสนองต่อประสิทธิภาพและความต้องการการดำเนินงาน, แต่ไม่ควรละทิ้งความถูกต้องเพื่อความตีความที่ผิวเผิน ผสานคำอธิบายกับการทดสอบกลุ่มย่อย, การตรวจสอบความทนทาน, การวิเคราะห์เชิงสาเหตุเมื่อจำเป็น, และการเฝ้าติดตามผลลัพธ์ บันทึกผู้ฟังที่ตั้งใจและการสรุปที่ไม่ถูกต้อง หากคำอธิบายเปลี่ยนแปลงหลังจากการเปลี่ยนแปลงที่ไม่มีอันตราย ควรตรวจสอบก่อนการใช้งานจริง Explainability เป็นหลักฐานเกี่ยวกับระบบภายใต้วิธีการ; มีคุณค่าในการดีบัก, การกำกับดูแล, และการสื่อสาร, แต่ไม่เป็นการรับรองความจริง, ความเป็นธรรม, ความปลอดภัย, หรือความเข้าใจ
ตัวอย่างการทำงาน: การอธิบายโมเดลความเสี่ยงเครดิต
ผู้ให้กู้เริ่มโดยกำหนดผู้ฟังและเหตุผลที่ต้องการ: ผู้สมัครต้องการปัจจัยการตัดสินใจที่แม่นยำและเส้นทางการแก้ไข, ในขณะที่นักพัฒนาต้องการการวินิจฉัย ฐานข้อมูลที่ตีความได้และผ่านการปรับเทียบจะถูกเปรียบเทียบกับโมเดลบูสต์ การอธิบายระดับท้องถิ่น, คอนทราฟัคชวล, และการวิเคราะห์ข้อผิดพลาดระดับโลกจะถูกทดสอบในด้านความตรง, ความเสถียร, พฤติกรรมของฟีเจอร์ที่สัมพันธ์กัน, และประโยชน์ คำอธิบายไม่สามารถแนะนำให้เปลี่ยนแปลงอายุ, ความพิการ, หรือคุณลักษณะที่ไม่สามารถเปลี่ยนแปลงได้ และไม่ได้นำเสนอเป็นผลกระทบเชิงสาเหตุ
บันทึกการตัดสินใจการผลิตเก็บรักษาข้อมูลต้นฉบับ, การแปลงฟีเจอร์, โมเดล, ค่าเกณฑ์, นโยบาย, และการกระทำของมนุษย์ ผู้สมัครสามารถท้าทายข้อมูลที่ไม่ถูกต้องและรับการตรวจสอบที่มีความหมาย การเฝ้าติดตามตรวจสอบผลลัพธ์และความเสถียรของคำอธิบายระหว่างกลุ่มและการอัปเดตโมเดล หากคำอธิบายที่น่าเชื่อถือเปลี่ยนแปลงหลังจากการเปลี่ยนแปลงฟีเจอร์ที่ไม่มีอันตรายหรือข้ามกฎนโยบายที่สำคัญ การเปิดใช้งานจะหยุดลง Explainability เสริมการตรวจสอบและสิทธิขั้นตอน; ไม่เป็นการอธิบายเหตุผลให้กับเป้าหมายที่ไม่ถูกต้อง, ผลลัพธ์ที่ก่อให้เกิดการเลือกปฏิบัติ, หรือการขาดอำนาจของมนุษย์ที่รับผิดชอบ
หลักฐานการดำเนินการและความพร้อมในการปฏิบัติการ
การตัดสินใจในการผลิตต้องการมากกว่าการสาธิตที่ประสบความสำเร็จ กำหนดผู้ใช้ที่ตั้งใจ, สภาพแวดล้อมการทำงาน, อินพุต, เอาต์พุต, การพึ่งพา, เจ้าของ, และผลของความล้มเหลวที่สำคัญแต่ละรายการ สร้างฐานข้อมูลที่ทำซ้ำได้และชุดการประเมินที่เวอร์ชันก่อนการปรับแต่ง ทดสอบกรณีทั่วไป, เงื่อนไขขอบเขต, อินพุตที่ผิดรูปหรือขาดหาย, การเปลี่ยนแปลงการกระจาย, การขัดข้องของการพึ่งพา, การใช้งานผิดวิธี, และกลุ่มหรือสภาพแวดล้อมที่อาจไม่ได้รับการบริการอย่างเพียงพอ วัดคุณภาพงานพร้อมกับการปรับเทียบหรือความไม่แน่นอน, ความหน่วง, ปริมาณการทำงาน, ต้นทุนทรัพยากร, การเข้าถึง, ความเป็นส่วนตัว, และความปลอดภัย บันทึกการแปลงทุกขั้นตอนและค่าเกณฑ์เพื่อให้ผู้ตรวจสอบอิสระสามารถทำซ้ำผลลัพธ์และแยกแยะหลักฐานจากต้นแบบที่ดึงดูด
ก่อนการเปิดใช้งาน ให้กำหนดอำนาจสำหรับการปล่อย, ข้อยกเว้น, การเปลี่ยนแปลง, การย้อนกลับ, และการยุติ ใช้การเปิดตัวแบบขั้นตอน, รักษาการสำรองที่ปลอดภัย, และตรวจสอบการเฝ้าติดตามด้วยความล้มเหลวที่ใส่เข้าไปโดยเจตนา ระบบเทเลเมทรีการปฏิบัติงานควรเปิดเผยคุณภาพอินพุต, พฤติกรรมเอาต์พุต, รุ่นโมเดลหรือกฎ, สภาพการทำงานของการพึ่งพา, การแทรกแซงของมนุษย์, และผลลัพธ์ที่ยืนยันโดยไม่เก็บข้อมูลที่ละเอียดอ่อนที่ไม่จำเป็น กำหนดค่าเกณฑ์การแจ้งเตือนและผู้รับผิดชอบต่อการตอบสนอง, จากนั้นตรวจสอบหลักฐานในโลกจริงหลังการเปิดใช้งานแทนการสมมติว่าประสิทธิภาพแบบออฟไลน์จะคงอยู่ ประเมินใหม่เมื่อแหล่งข้อมูล, ผู้ใช้, โมเดล, ผู้จำหน่าย, นโยบาย, ฮาร์ดแวร์, หรือเป้าหมายเปลี่ยนแปลง ระบบที่ดูแลต้องมีการบันทึกขั้นตอนการกู้คืน, การเรียนรู้จากเหตุการณ์, ขั้นตอนการลบและการเก็บรักษา, และจุดชัดเจนที่ควรปิดใช้งานหรือเปลี่ยนทดแทน
คำถามที่พบบ่อย
แผนที่ความสนใจเป็นคำอธิบายหรือไม่?
พวกมันอาจเป็นสัญญาณการวินิจฉัย, แต่ค่าความสนใจเพียงอย่างเดียวไม่ได้รับประกันว่าจะสะท้อนเหตุผลของผลลัพธ์โมเดลอย่างตรงตามความเป็นจริง
Explainable AI จำเป็นต้องใช้โมเดลง่ายหรือไม่?
ไม่เสมอไป โมเดลที่ซับซ้อนสามารถวิเคราะห์ด้วยวิธีการหลังเหตุการณ์, แต่คำอธิบายนั้นต้องได้รับการตรวจสอบอย่างอิสระและระบุขอบเขตอย่างชัดเจน
อ้างอิงหลัก
