นักวิจัยของ Google ค้นพบปัญหา Underspecification ที่ขัดขวาง AI หลายรุ่น

ทีมนักวิจัยจาก Google (GOOGL ) ได้ระบุสาเหตุหลักที่ทำให้ AI ล้มเหลว ซึ่งก็คือปัญหา Underspecification ที่ทำให้โมเดลการเรียนรู้ของเครื่องจักรทำงานต่างออกไปในโลกแห่งความเป็นจริงเมื่อเทียบกับการทดสอบและพัฒนา

โมเดลการเรียนรู้ของเครื่องจักรมักล้มเหลวเมื่อทำงานในสถานการณ์จริง แม้ว่าจะทำงานได้ดีในห้องปฏิบัติการ ก็มีหลายสาเหตุที่ทำให้ประสิทธิภาพของ AI ต่างออกไปในโลกแห่งความเป็นจริง หนึ่งในสาเหตุที่พบบ่อยที่สุดคือการเปลี่ยนแปลงของข้อมูล (Data Shift) ซึ่งหมายถึงความแตกต่างระหว่างข้อมูลที่ใช้ในการพัฒนาโมเดลและการใช้งานในโลกแห่งความเป็นจริง ตัวอย่างเช่น โมเดลการมองเห็นของคอมพิวเตอร์ที่ฝึกอบรมด้วยข้อมูลภาพคุณภาพสูงจะทำงานไม่ได้ดีเมื่อใช้ข้อมูลจากกล้องคุณภาพต่ำ

ตามรายงานของ MIT Technology Review ทีมนักวิจัย 40 คนจาก Google ได้พบปัญหา Underspecification ซึ่งเป็นแนวคิดทางสถิติที่อธิบายปัญหาเมื่อปรากฏการณ์ที่สังเกตได้มีสาเหตุหลายอย่าง แต่ไม่ได้รับการพิจารณาทั้งหมดจากโมเดล ตามคำกล่าวของ Alex D’Amour ผู้นำการศึกษา ปัญหานี้เกิดขึ้นในหลายโมเดลการเรียนรู้ของเครื่องจักร

วิธีการฝึกอบรมโมเดลการเรียนรู้ของเครื่องจักรทั่วไปคือการให้ข้อมูลจำนวนมากเพื่อวิเคราะห์และค้นหาลักษณะที่เกี่ยวข้อง จากนั้นจึงให้ข้อมูลที่ไม่เคยเห็นมาก่อนและขอให้ทำนายลักษณะของข้อมูลนั้นตามคุณลักษณะที่ได้เรียนรู้ เมื่อโมเดลบรรลุความแม่นยำที่ต้องการ การฝึกอบรมจะถือว่าเสร็จสิ้น

ตามทีมนักวิจัยของ Google ควรทำมากกว่านี้เพื่อให้แน่ใจว่าโมเดลสามารถทำงานได้ดีในโลกแห่งความเป็นจริง วิธีการฝึกอบรมโมเดลการเรียนรู้ของเครื่องจักรแบบดั้งเดิมจะทำให้เกิดโมเดลที่แตกต่างกันซึ่งอาจผ่านการทดสอบได้ แต่จะมีความแตกต่างเล็กน้อยที่ดูไม่สำคัญ แต่ไม่ได้รับการพิจารณา

ปัญหา Underspecification นี้เป็นปัญหาเพราะหมายความว่าแม้ว่ากระบวนการฝึกอบรมจะสามารถผลิตโมเดลที่ดีได้ แต่ก็สามารถผลิตโมเดลที่ไม่ดีได้ และความแตกต่างนี้จะไม่ถูกพบจนกว่าโมเดลจะออกจากกระบวนการผลิตและเข้าสู่การใช้งาน

เพื่อประเมินผลกระทบของปัญหา Underspecification ทีมนักวิจัยได้ตรวจสอบโมเดลต่างๆ ทุกโมเดลได้รับการฝึกอบรมโดยใช้กระบวนการเดียวกัน จากนั้นจึงได้รับการทดสอบเพื่อแสดงความแตกต่างในการทำงาน ในกรณีหนึ่ง ได้ฝึกอบรมระบบการรู้จำภาพ 50 รุ่นโดยใช้ข้อมูล ImageNet ทุกโมเดลเหมือนกันยกเว้นค่าของโหนดในโมเดลที่ได้รับการสุ่มเมื่อเริ่มฝึกอบรม

ทีมนักวิจัยพบผลลัพธ์ที่คล้ายกันเมื่อฝึกอบรมและทดสอบระบบการประมวลผลภาษาธรรมชาติ 2 ระบบ ตลอดจนเมื่อทดสอบโมเดลการมองเห็นของคอมพิวเตอร์อื่นๆ ในทุกกรณี โมเดลจะมีความแตกต่างอย่างมากจากกัน แม้ว่ากระบวนการฝึกอบรมจะเหมือนกัน

ตามคำกล่าวของ D’Amour นักวิจัยและวิศวกรด้านการเรียนรู้ของเครื่องจักรควรทำการทดสอบความเครียดมากขึ้นก่อนที่จะปล่อยโมเดลออกสู่โลก ซึ่งอาจเป็นเรื่องที่ยากเนื่องจากการทดสอบความเครียดต้องถูกปรับให้เหมาะสมกับงานเฉพาะโดยใช้ข้อมูลจากโลกแห่งความเป็นจริง ซึ่งอาจมีได้ยากสำหรับงานและบริบทบางอย่าง

ตามที่ D’Amour อธิบายผ่าน MIT Technology Review: “เราต้องทำได้ดีขึ้นในการระบุความต้องการของโมเดลของเราอย่างชัดเจน เนื่องจากมักจะเกิดขึ้นหลังจากที่โมเดลล้มเหลวในโลกแห่งความเป็นจริง”