การตีความมากเกินไปอาจเป็นภัยคุกคามที่ใหญ่กว่าและยากต่อการแก้ไขมากกว่าการเรียนรู้ที่มากเกินไป

หากเพื่อนดีของคุณชื่อ Alice ชอบสวมเสื้อสีเหลือง คุณจะเห็นเสื้อสีเหลืองมากกว่าคนอื่น หลังจากผ่านไปสักพัก คุณอาจจะนึกถึง Alice เมื่อเห็นหญิงคนอื่นสวมเสื้อสีเหลือง

หากคุณเห็นหญิงคนอื่นสวมเสื้อสีเหลืองที่มีลักษณะคล้ายกับ Alice คุณอาจจะสับสนคิดว่าเป็น Alice ในช่วงแรก

แต่ไม่ใช่ Alice ในที่สุด คุณจะรู้ว่าเสื้อสีเหลืองไม่ใช่สิ่งที่มีประโยชน์ในการระบุ Alice เนื่องจากเธอไม่สวมเสื้อสีเหลืองในฤดูร้อน และไม่สวมเสื้อสีเหลืองเสมอไปในฤดูหนาว เมื่อเวลาผ่านไป คุณจะเริ่มลดความสำคัญของเสื้อสีเหลืองในการระบุ Alice เนื่องจากประสบการณ์ของคุณไม่ดี และพลังงานทางปัญญาที่ใช้ในการรักษาสิ่งนี้ไม่ได้รับการตอบแทนบ่อยนัก

หากคุณเป็นระบบการรู้จำภาพที่ใช้การเรียนรู้ของเครื่อง คุณอาจจะเห็น Alice ทุกที่ที่คุณเห็นเสื้อสีเหลือง

ไม่ใช่ความผิดของคุณ คุณได้รับมอบหมายให้ระบุ Alice ทุกวิธีจากข้อมูลที่มีอยู่ และไม่มีการขาดแคลนพลังงานทางปัญญาในการรักษาสิ่งนี้

การตีความมากเกินไป

ตามรายงานล่าสุดจาก MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) และ Amazon Web Services สิ่งนี้เรียกว่า การตีความมากเกินไป เป็นปัญหาที่พบได้ทั่วไปในด้านการวิจัยการรู้จำภาพ (CV) ไม่สามารถแก้ไขได้ด้วยการแก้ไขการเรียนรู้ที่มากเกินไป (เนื่องจากไม่ใช่ส่วนหนึ่งของการเรียนรู้ที่มากเกินไป) และพบได้ทั่วไปในการวิจัยที่ใช้ฐานข้อมูลที่มีอิทธิพลมากที่สุดสองฐานข้อมูลในการรู้จำภาพและแปลงภาพ CIFAR-10 และ ImageNet และไม่มีวิธีแก้ไขที่ง่าย – แน่นอนไม่มีวิธีแก้ไขที่ ราคาถูก

นักวิจัยพบว่าเมื่อลดภาพที่ใช้ในการฝึกอบรมลงเหลือเพียง 5% ของเนื้อหาที่มี意义 ภาพเหล่านั้นยังคงถูกจำแนกประเภทได้อย่างถูกต้องโดยเฟรมเวิร์กที่ได้รับความนิยม ซึ่งดูเหมือนจะเป็น “ความวุ่นวาย” ที่มองไม่เห็นสำหรับผู้สังเกตการณ์

ภาพที่ใช้ในการฝึกอบรมจาก CIFAR-10 ที่ลดลงเหลือเพียง 5% ของเนื้อหาที่มี意义 ยังคงถูกจำแนกประเภทได้อย่างถูกต้องโดยเฟรมเวิร์กที่ได้รับความนิยมที่สุด โดยมีระดับความแม่นยำระหว่าง 90-99% Source: https://arxiv.org/pdf/2003.08907.pdf

ในบางกรณี เฟรมเวิร์กเหล่านี้พบว่าภาพที่ลดลงเหลือเพียง 5% ของเนื้อหาที่มี意义 นั้นเป็นภาพที่ ง่ายต่อการจำแนกประเภท มากกว่าภาพที่มีเนื้อหาที่มี意义ทั้งหมดในฐานข้อมูลที่ใช้ในการฝึกอบรม

สิ่งนี้บ่งชี้ถึงการ “โกง” ที่อาจเกิดขึ้นซึ่งเป็นแนวปฏิบัติทั่วไปสำหรับระบบการรู้จำภาพที่ใช้ฐานข้อมูลมาตรฐาน เช่น CIFAR-10 และ ImageNet และเฟรมเวิร์กมาตรฐาน เช่น VGG16, ResNet20 และ ResNet18

การตีความมากเกินไปมีผลกระทบอย่างมีนัยสำคัญต่อระบบการรู้จำภาพอัตโนมัติสำหรับยานพาหนะ ซึ่งได้รับความสนใจล่าสุดจาก การตัดสินใจของ Tesla ที่จะใช้การรู้จำภาพมากกว่า LiDAR และระบบการรู้จำอื่นๆ สำหรับอัลกอริทึมการขับขี่อัตโนมัติ

แม้ว่าการเรียนรู้ที่มากเกินไปจะเป็นเรื่องที่ทราบกันดีแล้ว และเป็นเรื่องที่กำลังวิจัยอยู่ในด้านการรู้จำภาพ แต่นักวิจัยพบว่า การวิจัยของเยอรมันและแคนาดา ซึ่งกำหนดปัญหาในปี 2019 ไม่ได้ทราบว่า “ชุดพิกเซลที่ไม่เกี่ยวข้อง” ที่ทำให้เกิดการตีความมากเกินไปเป็น “ข้อมูลที่มีจริง” ซึ่งอาจต้องแก้ไขด้วยการออกแบบและแนวทางระดับสูงมากกว่าการดูแลฐานข้อมูลอย่างระมัดระวัง

การลดข้อมูลลง

ภาพที่ลดลงซึ่งผู้วิจัยใช้เรียกว่า ชุดข้อมูลที่เพียงพอ (SIS) – ซึ่งภาพ SIS มี “โครงร่างภายนอก” ที่น้อยที่สุดที่สามารถระบุภาพได้ดีเพียงพอสำหรับระบบการรู้จำภาพในการระบุวัตถุในภาพ (เช่น สุนัข, เรือ เป็นต้น)

ในแถวบน เราจะเห็นภาพที่สมบูรณ์จาก ImageNet ในแถวล่าง เราจะเห็นภาพ SIS ที่ถูกจำแนกประเภทได้อย่างถูกต้องโดยโมเดล Inception V3 โดยมีความแม่นยำ 90% โดยอาศัยพื้นหลังของภาพ

‘เราพบว่าพิกเซล SIS มีความเข้มข้นนอกเหนือจากวัตถุจริงที่กำหนดชื่อคลาส For example, ในภาพ “พิซซ่า” พิกเซล SIS มีความเข้มข้นบนจานและพื้นหลัง ไม่ใช่พิซซ่าเอง ซึ่งบ่งชี้ว่าโมเดลอาจมีการเรียนรู้ที่ไม่ดีสำหรับภาพที่มีวัตถุวงกลมบนโต๊ะ ในภาพ “แพนด้าใหญ่” พิกเซล SIS มีไม้ไผ่ ซึ่งอาจปรากฏในภาพ ImageNet สำหรับคลาสนี้’

‘ในภาพ “ไฟจราจร” และ “ป้ายจราจร” พิกเซล SIS ประกอบด้วยพิกเซลในพื้นหลังฟ้า ซึ่งบ่งชี้ว่าระบบการขับขี่อัตโนมัติที่อาจพึ่งพาโมเดลเหล่านี้ควรได้รับการประเมินอย่างรอบคอบสำหรับโรคทางจิตของการตีความมากเกินไป’

เกินการเรียนรู้มากเกินไป

การเรียนรู้มากเกินไปเกิดขึ้นเมื่อโมเดลการเรียนรู้ของเครื่องฝึกอบรมมากเกินไปบนฐานข้อมูลจนกลายเป็นโมเดลที่มีความสามารถในการทำนายสำหรับ ฐานข้อมูลนั้น แต่มีความสามารถน้อยหรือไม่มีความสามารถในการทำนายสำหรับข้อมูลใหม่ที่นำเข้ามาหลังจากการฝึกอบรม (ข้อมูลนอกกลุ่ม)

นักวิจัยสังเกตว่าความสนใจในปัจจุบันในด้านการวิจัยและอุตสาหกรรมในการต่อสู้กับการเรียนรู้มากเกินไปจะไม่แก้ไขปัญหาการตีความมากเกินไป เนื่องจากชุดพิกเซลที่ลดลงซึ่งแสดงถึงภาพที่สามารถระบุได้สำหรับระบบการรู้จำภาพ แต่ดูเหมือนจะเป็น “สิ่งไร้สาระ” สำหรับผู้สังเกตการณ์มนุษย์ เป็น ข้อมูลที่มีจริง ไม่ใช่การมุ่งเน้นที่ “ผิดปกติ” ต่อข้อมูลที่ดูแลอย่างไม่ดีหรือไม่สมบูรณ์:

‘การตีความมากเกินไปเกี่ยวข้องกับการเรียนรู้มากเกินไป แต่การเรียนรู้มากเกินไปสามารถวินิจฉัยได้ด้วยความแม่นยำในการทดสอบที่ลดลง การตีความมากเกินไปสามารถเกิดจากสัญญาณทางสถิติที่แท้จริงในกระจายตัวของฐานข้อมูลที่เกิดขึ้นจากคุณสมบัติพิเศษของแหล่งข้อมูล (เช่น ไม้ขีดของแพทย์ผิวหนัง)’

‘ดังนั้น การตีความมากเกินไปจึงยากต่อการวินิจฉัยเนื่องจากการตัดสินใจที่ทำโดยเกณฑ์ทางสถิติที่ถูกต้อง และโมเดลที่ใช้เกณฑ์เหล่านี้สามารถทำได้ดีในมาตรฐาน’

วิธีแก้ปัญหา

ผู้เขียนแนะนำว่า การรวมโมเดล โดยที่โครงสร้างหลายแบบมีส่วนร่วมในการประเมินและฝึกอบรมอาจช่วยลดการตีความมากเกินไปได้บ้าง พวกเขายังพบว่าการใช้ การลบข้อมูลเข้า ซึ่งออกแบบมาเพื่อป้องกันการเรียนรู้มากเกินไป ทำให้ความแม่นยำในการทดสอบของ CIFAR-10 ลดลงเล็กน้อย (ซึ่งอาจเป็นสิ่งที่ต้องการ) แต่เพิ่มขึ้นอย่างมีนัยสำคัญ (∼ 6%) ในความแม่นยำของโมเดลสำหรับข้อมูลที่ไม่เคยเห็นมาก่อน

ผู้เขียนยอมรับถึงความเป็นไปได้ในการใช้ แผนที่ความสำคัญ เพื่อแสดงพื้นที่ของภาพที่เกี่ยวข้องกับการทำนายคุณลักษณะ แต่สังเกตว่าสิ่งนี้ขัดแย้งกับวัตถุประสงค์ของการรู้จำภาพอัตโนมัติ และต้องมีการทำเครื่องหมายโดยมนุษย์ซึ่งไม่เหมาะสมในระดับใหญ่ พวกเขายังพบว่าแผนที่ความสำคัญได้รับการพิสูจน์แล้วว่าเป็น ตัวประมาณค่าแบบหยาบ ในแง่ของการให้ข้อมูลเชิงลึกเกี่ยวกับการทำงานของโมเดล

บทความสรุปว่า:

‘เมื่อถึงขั้นที่มีพิกเซลที่ไม่เกี่ยวข้องซึ่งเพียงพอสำหรับการจำแนกประเภทที่ถูกต้อง โมเดลอาจพึ่งพารูปแบบเหล่านี้เพียงอย่างเดียว ในกรณีนี้ วิธีการตีความที่อธิบายโมเดลอย่างถูกต้องควรให้เหตุผลที่ไม่มีเหตุผลเหล่านี้ ในขณะที่วิธีการตีความที่มีอคติในการให้เหตุผลตามความเชื่อของมนุษย์อาจให้ผลลัพธ์ที่ทำให้ผู้ใช้คิดว่าโมเดลของตนทำงานตามที่ตั้งใจ’

เผยแพร่ครั้งแรกเมื่อวันที่ 13 มกราคม 2022