เครื่องมือใหม่สามารถแสดงให้นักวิจัยเห็นว่า GANs ละเว้นสิ่งใดจากภาพ

ทีมนักวิจัยจาก MIT-IBM Watson AI Lab ได้สร้างวิธีการแสดงสิ่งที่เครือข่าย Generative Adversarial (GANs) ละเว้นจากภาพเมื่อถูกขอให้สร้างภาพ การศึกษานี้ได้รับการตั้งชื่อว่า Seeing What a GAN Cannot Generate และได้รับการนำเสนอที่การประชุมสัมมนาระดับนานาชาติเกี่ยวกับภาพคอมพิวเตอร์

เครือข่าย Generative Adversarial ได้กลายเป็นเครื่องมือที่มีความสามารถและซับซ้อนมากขึ้นในช่วงไม่กี่ปีที่ผ่านมา และได้กลายเป็นเครื่องมือที่มีประสิทธิภาพในการสร้างภาพที่มีรายละเอียดมากมาย ตราบเท่าที่ภาพนั้นอยู่ในพื้นที่ที่ค่อนข้างเล็ก แต่เมื่อ GANs ถูกใช้ในการสร้างภาพของฉากและสถานการณ์ที่ใหญ่ขึ้น พวกมันไม่ได้ทำงานได้ดีเท่าที่ควร ในสถานการณ์ที่ GANs ถูกขอให้สร้างภาพของฉากที่มีวัตถุและรายละเอียดมากมาย เช่น ถนนหน้าเมือง GANs มักจะละเว้นรายละเอียดที่สำคัญของภาพ

ตาม MIT News การวิจัยนี้ได้รับการพัฒนาบางส่วนโดย David Bau นักศึกษาระดับบัณฑิตศึกษาจากภาควิชาวิศวกรรมไฟฟ้าและวิทยาศาสตร์คอมพิวเตอร์ tại MIT Bau อธิบายว่านักวิจัยมักจะเน้นไปที่การปรับปรุงสิ่งที่ระบบการเรียนรู้ของเครื่องจับตามองและเข้าใจว่าสิ่งเหล่านี้สามารถถูกแมปไปยังผลลัพธ์ที่เฉพาะเจาะจงได้อย่างไร แต่ Bau ยังอธิบายด้วยว่าการเข้าใจข้อมูลที่ถูกละเว้นโดยโมเดลการเรียนรู้ของเครื่องจักรนั้นสำคัญไม่แพ้กัน และทีมวิจัยหวังว่าเครื่องมือของพวกเขาจะกระตุ้นนักวิจัยให้ให้ความสนใจกับข้อมูลที่ถูกละเว้น

ความสนใจของ Bau ใน GANs ถูกกระตุ้นโดยความจริงที่ว่าพวกมันสามารถถูกใช้เพื่อสอบถามธรรมชาติที่เป็นกล่องดำของเครือข่ายประสาทเทียมและเพื่อให้ได้ความเข้าใจว่าเครือข่ายเหล่านี้อาจทำงานอย่างไร Bau เคยทำงานเกี่ยวกับเครื่องมือที่สามารถระบุกลุ่มของニューロนเทียมที่เฉพาะเจาะจงได้ โดยระบุว่าพวกมันรับผิดชอบต่อการแสดงภาพของวัตถุในโลกแห่งความเป็นจริง เช่น หนังสือ เมฆ และต้นไม้ Bau ยังมีประสบการณ์กับเครื่องมือที่เรียกว่า GANPaint ซึ่งทำให้ศิลปินสามารถลบหรือเพิ่มคุณลักษณะเฉพาะจากภาพถ่ายโดยใช้ GANs ตาม Bau การใช้งาน GANPaint เปิดเผยปัญหาที่อาจเกิดขึ้นกับ GANs ซึ่งกลายเป็นที่ชัดเจนเมื่อ Bau วิเคราะห์ภาพเหล่านั้น ตามที่ Bau บอกกับ MIT News:

“ที่ปรึกษาของฉันเคยกระตุ้นให้เราให้ความสนใจไปที่ภาพจริงๆ และตรวจสอบภาพเหล่านั้นอย่างละเอียด เมื่อเราดู เราพบว่าปรากฏการณ์นั้นชัดเจนมาก: คนถูกตัดออกไปอย่างเลือกสรร”

ในขณะที่ระบบการเรียนรู้ของเครื่องจักรได้รับการออกแบบมาเพื่อแยกย่อยรูปแบบจากภาพ แต่พวกมันก็อาจละเว้นรูปแบบที่เกี่ยวข้องได้ Bau และนักวิจัยคนอื่นๆ ทดลองฝึก GANs ในฉากและสถานการณ์ต่างๆ แต่ในแต่ละกรณี GANs ก็ละเว้นรายละเอียดที่สำคัญ เช่น รถยนต์ ป้ายจราจร คน จักรยาน ฯลฯ ซึ่งเป็นความจริงแม้ว่าวัตถุที่ถูกละเว้นจะมีความสำคัญต่อฉากนั้นก็ตาม

ทีมวิจัยสันนิษฐานว่าเมื่อ GANs ถูกฝึกฝนในภาพ พวกมันอาจพบว่ามันง่ายกว่าที่จะจับภาพรูปแบบของภาพที่ง่ายต่อการแสดงออก เช่น วัตถุใหญ่และไม่เคลื่อนไหว เช่น ภูมิประเทศและอาคาร พวกมันเรียนรู้รูปแบบเหล่านี้มากกว่ารูปแบบที่ยากต่อการแปล เช่น รถยนต์และคน มันเป็นความรู้ทั่วไปที่ GANs มักละเว้นรายละเอียดที่สำคัญและมีความหมายเมื่อสร้างภาพ แต่การศึกษาจากทีม MIT อาจเป็นครั้งแรกที่ GANs ถูกแสดงให้เห็นว่าละเว้นคลาสวัตถุโดยสมบูรณ์ในภาพ

ทีมวิจัยชี้ว่ามันเป็นไปได้ที่ GANs จะบรรลุเป้าหมายเชิงตัวเลขของพวกมันแม้ว่าจะละเว้นวัตถุที่มนุษย์ใส่ใจเมื่อดูภาพ หากภาพที่สร้างโดย GANs จะถูกใช้ในการฝึกอบรมระบบที่ซับซ้อน เช่น รถยนต์ไร้คนขับ ข้อมูลภาพควรได้รับการตรวจสอบอย่างใกล้ชิดเนื่องจากมีความกังวลที่แท้จริงว่าวัตถุที่สำคัญ เช่น ป้าย คน และรถยนต์ อาจถูกละเว้นจากภาพ Bau อธิบายว่าการวิจัยของพวกเขาแสดงให้เห็นว่าทำไมการทำงานของโมเดลไม่ควรพิจารณาเพียงความแม่นยำเท่านั้น:

“เราต้องเข้าใจว่าเครือข่ายเหล่านี้ทำอะไรและไม่ทำอะไรเพื่อให้แน่ใจว่าพวกมันทำตามที่เราต้องการ”