การฝึกอบรมโมเดลการมองเห็นคอมพิวเตอร์โดยใช้เสียงรบกวนแบบสุ่มแทนภาพจริง

นักวิจัยจาก MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) ได้ทดลองใช้ภาพเสียงรบกวนแบบสุ่มในฐานข้อมูลการมองเห็นคอมพิวเตอร์เพื่อฝึกอบรมโมเดลการมองเห็นคอมพิวเตอร์ และพบว่าการใช้วิธีนี้มีประสิทธิภาพอย่างน่าประหลาดใจ

โมเดลการสร้างภาพจากการทดลอง เรียงลำดับตามประสิทธิภาพ Source: https://openreview.net/pdf?id=RQUl8gZnN7O

การให้ข้อมูล “ของเสีย” ที่เห็นได้ชัดเจนเข้าไปในโครงสร้างการมองเห็นคอมพิวเตอร์ที่ได้รับความนิยมไม่ควรให้ผลลัพธ์เช่นนี้ ในด้านขวาสุดของภาพด้านบน คอลัมน์สีดำแสดงคะแนนความแม่นยำ (ใน Imagenet-100) สำหรับชุดข้อมูล “จริง” สี่ชุด ในขณะที่ชุดข้อมูล “เสียงรบกวนแบบสุ่ม” ที่อยู่ передหน้า (แสดงด้วยสีต่างๆ ดูด้านบนซ้าย) ไม่สามารถเทียบได้ แต่เกือบทั้งหมดอยู่ภายในขอบเขตที่เหมาะสม (เส้นประขอบสีแดง) สำหรับความแม่นยำ

ในความหมาย “ความแม่นยำ” ไม่ได้หมายความว่าผลลัพธ์จะต้องดูเหมือน ใบหน้า โบสถ์ พิซซ่า หรือโดเมนอื่นๆ ที่คุณอาจต้องการสร้าง ระบบสังเคราะห์ภาพ เช่น โมเดลการสร้างภาพแบบ Adversarial หรือโครงสร้าง encoder/decoder

แต่หมายความว่าโมเดล CSAIL ได้สรุป “ความจริง” ที่ใช้ได้ทั่วไปจากข้อมูลภาพที่ดูไม่มีโครงสร้างที่ชัดเจน จนไม่น่าจะสามารถให้ข้อมูลนั้นได้

ความหลากหลายเทียบกับความเป็นธรรมชาติ

ผลลัพธ์เหล่านี้ไม่สามารถอธิบายได้ด้วย การปรับแต่งมากเกินไป การอภิปรายอย่างมีชีวิตชีวาระหว่างผู้เขียนและผู้ที่ให้คำปรึกษาที่ Open Review เผยให้เห็นว่าการผสมผสานเนื้อหาที่แตกต่างกันจากชุดข้อมูลที่มีความหลากหลายทางภาพ (เช่น “ใบไม้แห้ง” “แฟรกทัล” และ “เสียงรบกวนแบบสุ่ม” – ดูภาพด้านล่าง) เข้ากับชุดข้อมูลฝึกอบรม เพิ่มความแม่นยำ ในการทดลองเหล่านี้

สิ่งนี้ชี้ให้เห็นว่า (และเป็นแนวคิดที่ปฏิวัติเล็กน้อย) ประเภท “การปรับแต่งน้อยเกินไป” ใหม่ โดยที่ “ความหลากหลาย” มีความสำคัญมากกว่า “ความเป็นธรรมชาติ”

หน้าโครงการของโครงการนี้ให้คุณดูแบบโต้ตอบ ชุดข้อมูลภาพแบบสุ่มต่างๆ ที่ใช้ในการทดลอง Source: https://mbaradad.github.io/learning_with_noise/

ผลลัพธ์ที่นักวิจัยได้รับทำให้เกิดคำถามเกี่ยวกับความสัมพันธ์พื้นฐานระหว่างเครือข่ายการมองเห็นคอมพิวเตอร์และ “ภาพโลกแห่งความเป็นจริง” ที่โยนเข้ามาในปริมาณที่น่าตกใจทุกๆ ปี และบอกเป็นนัยว่าความจำเป็นในการได้รับ คัดเลือก และจัดการชุดข้อมูลภาพขนาดใหญ่อาจกลายเป็นเรื่องไม่จำเป็นในอนาคต ผู้เขียนระบุว่า:

‘ปัจจุบันระบบการมองเห็นถูกฝึกอบรมด้วยชุดข้อมูลขนาดใหญ่ และชุดข้อมูลเหล่านี้มีค่าใช้จ่าย: การคัดเลือกมีค่าใช้จ่ายสูง มันสืบทอดความลำเอียงของมนุษย์ และมีข้อกังวลเกี่ยวกับความเป็นส่วนตัวและสิทธิ์การใช้งาน เพื่อตอบโต้ค่าใช้จ่ายเหล่านี้ ความสนใจได้เพิ่มขึ้นในการเรียนรู้จากแหล่งข้อมูลที่ถูกกว่า เช่น ภาพที่ไม่มีเครื่องหมาย

‘ในงานนี้ เราไปไกลกว่านั้นและถามว่าเราสามารถละทิ้งชุดข้อมูลภาพจริงทั้งหมดได้หรือไม่ โดยการเรียนรู้จากกระบวนการเสียงรบกวนแบบสุ่ม’

นักวิจัยชี้ให้เห็นว่าโครงสร้างการเรียนรู้ของเครื่องในปัจจุบันอาจอนุมานสิ่งที่พื้นฐาน (หรืออย่างน้อยไม่คาดคิด) จากภาพมากกว่าที่คิดไว้ และว่า “ภาพที่ไม่มีเหตุผล” อาจสอนให้เรารู้สิ่งนั้นได้มากขึ้นโดยการลดต้นทุน แม้กระทั่งการใช้ข้อมูลสังเคราะห์แบบ ad hoc ผ่านโครงสร้างชุดข้อมูลที่สร้างภาพสุ่มในช่วงการฝึกอบรม:

‘เราระบุสองคุณสมบัติที่สำคัญที่ทำให้ข้อมูลสังเคราะห์ดีสำหรับการฝึกอบรมระบบการมองเห็น: 1) ความเป็นธรรมชาติ 2) ความหลากหลาย น่าสนใจที่ข้อมูลที่เป็นธรรมชาติมากที่สุดไม่ใช่เสมอไปว่าเป็นข้อมูลที่ดีที่สุด เนื่องจากความเป็นธรรมชาติอาจมาคู่กับความหลากหลาย

‘ข้อเท็จจริงที่ว่าข้อมูลที่เป็นธรรมชาติช่วยอาจไม่น่าประหลาดใจ และบอกเป็นนัยว่าข้อมูลจริงขนาดใหญ่จะมีค่า อย่างไรก็ตาม เราพบว่าสิ่งที่สำคัญไม่ใช่ว่าข้อมูลจะเป็น จริง แต่เป็น ธรรมชาติ กล่าวคือ ต้องจับโครงสร้างบางอย่างของข้อมูลจริง

‘หลายคุณสมบัติเหล่านี้สามารถจับได้ในโมเดลเสียงรบกวนแบบง่าย’

การแสดงภาพคุณลักษณะที่ได้จากตัวเข้ารหัสที่ได้รับจาก AlexNet บนชุดข้อมูล ‘ภาพสุ่ม’ ที่ใช้โดยผู้เขียน ครอบคลุมชั้นการรวมที่ 3 และ 5 (สุดท้าย) การใช้วิธีการที่นี่ตามที่กำหนดไว้ใน งานวิจัยของ Google AI ในปี 2017

งานวิจัย ที่นำเสนอที่การประชุมสัมมนาเกี่ยวกับการประมวลผลข้อมูลประสาทที่ 35 (NeurIPS 2021) ในซิดนีย์ มีชื่อเรื่องว่า การเรียนรู้ที่จะเห็นโดยการมองไปที่เสียงรบกวน และมาจากนักวิจัยหกคนจาก CSAIL โดยมีส่วนร่วมเท่าๆ กัน

งานวิจัยนี้ได้รับ คำแนะนำ โดยความเห็นพ้องในการเลือกจุดเด่นที่ NeurIPS 2021 โดยผู้ให้คำปรึกษาอธิบายว่าเป็น “การผ่านทางวิทยาศาสตร์” ที่เปิดพื้นที่การวิจัยที่ดี แม้ว่าจะทำให้เกิดคำถามมากกว่าที่จะตอบ

ในงานวิจัย ผู้เขียนสรุปว่า:

‘เราพบว่า เมื่อออกแบบโดยใช้ผลลัพธ์จากงานวิจัยในอดีตเกี่ยวกับสถิติของภาพจริง ชุดข้อมูลเหล่านี้สามารถฝึกอบรมการแสดงภาพที่เห็นได้สำเร็จ เราหวังว่างานวิจัยนี้จะกระตุ้นให้เกิดการศึกษามอดลการสร้างภาพใหม่ที่สามารถสร้างเสียงรบกวนแบบสุ่มที่มีโครงสร้างได้ ซึ่งสามารถให้ประสิทธิภาพที่สูงขึ้นเมื่อใช้ในงานที่หลากหลาย

‘จะทำได้หรือไม่ที่จะเทียบกับประสิทธิภาพที่ได้รับจากการฝึกอบรมก่อนหน้าด้วย ImageNet? บางทีในกรณีที่ไม่มีชุดข้อมูลขนาดใหญ่เฉพาะสำหรับงานใดงานหนึ่ง การฝึกอบรมก่อนหน้าที่ดีที่สุดอาจไม่ใช่การใช้ชุดข้อมูลจริงมาตรฐาน เช่น ImageNet’