นักวิจัย AI พัฒนาแนวทางเร็วสำหรับการคำนวณช่วงความเชื่อมั่น โดยรายงานเมื่อไม่ควรเชื่อถือโมเดล

นักวิจัยจาก MIT ได้พัฒนาเทคนิค ที่ช่วยให้โมเดลเครือข่ายการเรียนรู้ลึกสามารถคำนวณระดับความเชื่อมั่นได้อย่างรวดเร็ว ซึ่งจะช่วยให้นักวิทยาศาสตร์ข้อมูลและผู้ใช้ AI อื่นๆ รู้ว่าเมื่อใดที่ควรเชื่อถือการคาดการณ์ของโมเดล

ระบบ AI ที่ใช้เครือข่ายประสาทเทียมมีบทบาทในการตัดสินใจมากขึ้น ซึ่งรวมถึงการตัดสินใจที่เกี่ยวข้องกับสุขภาพและความปลอดภัยของมนุษย์ ด้วยเหตุนี้ เครือข่ายประสาทเทียมจึงควรจะมีวิธีการประมาณการระดับความเชื่อมั่นในการผลิต ซึ่งช่วยให้นักวิทยาศาสตร์ข้อมูลสามารถบอกได้ว่าการคาดการณ์ของโมเดลนั้นเชื่อถือได้หรือไม่ ทีมนักวิจัยจากฮาร์วาร์ดและ MIT ได้ออกแบบวิธีการที่รวดเร็วสำหรับเครือข่ายประสาทเทียมในการสร้างสัญลักษณ์ของระดับความเชื่อมั่นของโมเดลพร้อมกับการคาดการณ์

โมเดลการเรียนรู้ลึกได้พัฒนามาเป็นอย่างมากในช่วงสิบปีที่ผ่านมา และตอนนี้สามารถทำได้ดีกว่ามนุษย์ในงานจำแนกข้อมูลได้อย่างง่ายดาย โมเดลการเรียนรู้ลึกถูกใช้ในสาขาที่มีความเสี่ยงต่อชีวิตและความปลอดภัยของมนุษย์ เช่น การขับรถยนต์โดยไม่มีมนุษย์และการวินิจฉัยสภาพร่างกายจากการสแกน ในกรณีเหล่านี้ การที่โมเดลมีความแม่นยำ 99% ไม่เพียงพอ เนื่องจาก 1% ที่โมเดลล้มเหลวอาจนำไปสู่การเกิดภัยพิบัติ ดังนั้นจึงจำเป็นต้องมีวิธีการที่นักวิทยาศาสตร์ข้อมูลสามารถระบุได้ว่าการคาดการณ์ใดๆ นั้นเชื่อถือได้หรือไม่

มีหลายวิธีในการสร้างช่วงความเชื่อมั่นพร้อมกับการคาดการณ์ของเครือข่ายประสาทเทียม แต่วิธีการประมาณการความไม่แน่นอนแบบดั้งเดิมสำหรับเครือข่ายประสาทเทียมมีความช้าและต้องใช้การคำนวณมาก เครือข่ายประสาทเทียมสามารถมีขนาดใหญ่และซับซ้อน โดยมีพารามิเตอร์หลายพันล้าน การสร้างการคาดการณ์อาจต้องใช้การคำนวณมากและใช้เวลานาน และการสร้างระดับความเชื่อมั่นสำหรับการคาดการณ์ใช้เวลานานกว่านั้น วิธีการประมาณการความไม่แน่นอนส่วนใหญ่ในอดีตได้พึ่งพาการสุ่มตัวอย่างหรือการทำงานเครือข่ายหลายครั้งเพื่อให้ได้การประมาณการความเชื่อมั่น ซึ่งไม่เหมาะสมสำหรับการใช้งานที่ต้องการการจราจรที่รวดเร็ว

ตามรายงานของ MIT News อเล็กซานเดอร์ อามินี เป็นผู้นำทีมนักวิจัยจาก MIT และฮาร์วาร์ด และตามที่อามินีกล่าว วิธีการที่นักวิจัยพัฒนาเร่งการสร้างการประมาณการความไม่แน่นอนโดยใช้เทคนิคที่เรียกว่า “การถดถอยเชิงประจักษ์” อามินี อธิบายผ่าน MIT ว่านักวิทยาศาสตร์ข้อมูลต้องการทั้งโมเดลที่มีความเร็วสูงและประมาณการความไม่แน่นอนที่เชื่อถือได้ เพื่อให้สามารถแยกแยะโมเดลที่ไม่น่าเชื่อถือได้ ทีมนักวิจัยได้ออกแบบวิธีการเพื่อประมาณการความไม่แน่นอนจากเพียงการทำงานของโมเดลครั้งเดียว

นักวิจัยได้ออกแบบโมเดลเครือข่ายประสาทเทียมเพื่อให้สร้างการกระจายความน่าจะเป็นพร้อมกับการตัดสินใจทุกครั้ง เครือข่ายจะเก็บหลักฐานสำหรับการตัดสินใจระหว่างกระบวนการฝึกอบรม และสร้างการกระจายความน่าจะเป็นตามหลักฐานนั้น การกระจายความน่าจะเป็นเชิงประจักษ์แสดงถึงระดับความเชื่อมั่นของโมเดล และแสดงถึงความไม่แน่นอนสำหรับทั้งการตัดสินใจสุดท้ายและข้อมูลนำเข้าดั้งเดิม การจับความไม่แน่นอนสำหรับทั้งข้อมูลนำเข้าและการตัดสินใจมีความสำคัญ เนื่องจากการลดความไม่แน่นอนขึ้นอยู่กับการทราบแหล่งที่มาของความไม่แน่นอน

นักวิจัยได้ทดสอบเทคนิคการประมาณการความไม่แน่นอนโดยการนำไปใช้กับงานการมองเห็นคอมพิวเตอร์ หลังจากที่โมเดลได้รับการฝึกอบรมจากชุดรูปภาพแล้ว ก็จะสร้างการคาดการณ์และการประมาณการความไม่แน่นอน “มันถูกปรับให้เหมาะสมกับข้อผิดพลาดที่เครือข่ายทำ ซึ่งเราเชื่อว่าเป็นสิ่งสำคัญที่สุดในการประเมินคุณภาพของตัวประมาณการความไม่แน่นอนใหม่” อามินีกล่าวเกี่ยวกับผลการทดสอบของโมเดล

ทีมนักวิจัยได้ดำเนินการทดสอบเพิ่มเติมกับโครงสร้างเครือข่ายของตน เพื่อทดสอบเทคนิคนี้อย่างเข้มข้น พวกเขายังได้ทดสอบข้อมูล “นอกการกระจาย” ซึ่งเป็นชุดข้อมูลที่ประกอบด้วยวัตถุที่เครือข่ายไม่เคยเห็นมาก่อน ตามที่คาดไว้ เครือข่ายรายงานความไม่แน่นอนสูงสำหรับวัตถุเหล่านั้น เมื่อฝึกอบรมในพื้นที่ในร่ม เครือข่ายแสดงความไม่แน่นอนสูงเมื่อทดสอบกับรูปภาพจากพื้นที่กลางแจ้ง การทดสอบแสดงให้เห็นว่าเครือข่ายสามารถเน้นย้ำเมื่อตัดสินใจมีความไม่แน่นอนสูงและไม่ควรเชื่อถือในสถานการณ์ที่มีความเสี่ยงสูง

ทีมนักวิจัยรายงานว่าเครือข่ายสามารถแยกแยะเมื่อรูปภาพถูกดัดแปลง เมื่อทีมนักวิจัยดัดแปลงรูปภาพด้วยสัญญาณที่เป็นปฏิปักษ์ เครือข่ายติดป้ายกำกับภาพที่ดัดแปลงใหม่ด้วยการประมาณการความไม่แน่นอนสูง แม้ว่าผลกระทบจะซับซ้อนเกินกว่าที่ผู้สังเกตการณ์โดยเฉลี่ยจะเห็นได้

หากเทคนิคนี้มีความน่าเชื่อถือ การถดถอยเชิงประจักษ์แบบลึกสามารถปรับปรุงความปลอดภัยของโมเดล AI โดยรวม ตามที่อามินีกล่าว การถดถอยเชิงประจักษ์แบบลึกสามารถช่วยให้ผู้คนตัดสินใจอย่างระมัดระวังเมื่อใช้โมเดล AI ในสถานการณ์ที่มีความเสี่ยง ตามที่อามินีกล่าวผ่าน MIT News:

“เริ่มเห็นโมเดลเหล่านี้ (เครือข่ายประสาทเทียม) ที่เริ่มออกจากห้องทดลองและเข้าสู่โลกแห่งความเป็นจริง ในสถานการณ์ที่สัมผัสกับมนุษย์ที่มีผลกระทบที่อาจเป็นอันตรายต่อชีวิต ผู้ใช้ใดๆ ของวิธีการ ไม่ว่าจะเป็นแพทย์หรือคนในรถยนต์ ต้องตระหนักถึงความเสี่ยงหรือความไม่แน่นอนใดๆ ที่เกี่ยวข้องกับการตัดสินใจนั้น”