โครงข่ายประสาทเทียมช่วยลบเมฆออกจากภาพถ่ายทางอากาศ

นักวิจัยและนักวิทยาศาสตร์จากสาขาวิศวกรรมพลังงานและวิศวกรรมสิ่งแวดล้อมที่มหาวิทยาลัยโอซาก้าสามารถลบเมฆออกจากภาพถ่ายทางอากาศได้โดยใช้เครือข่ายผู้สร้างและผู้วิจารณ์ (GANs) โดยใช้ข้อมูลที่ได้ พวกเขาสามารถสร้างชุดข้อมูลแมสค์ภาพอาคารที่แม่นยำได้อย่างอัตโนมัติ

การวิจัยนี้ได้รับการตีพิมพ์ใน Advanced Engineering Informatics.

ทีมงานได้ใช้เครือข่ายปัญญาประดิษฐ์สองเครือข่ายที่แข่งขันกันเพื่อปรับปรุงคุณภาพข้อมูล และไม่ต้องการภาพที่มีเครื่องหมายล่วงหน้า ตามทีมงาน การพัฒนานี้สามารถใช้ในสาขาต่างๆ เช่น วิศวกรรมโยธา ซึ่งเทคโนโลยีการมองเห็นของคอมพิวเตอร์มีความสำคัญ

การเรียนรู้ของเครื่องสำหรับการซ่อมแซมภาพ

การเรียนรู้ของเครื่องมักใช้ซ่อมแซมภาพที่บดบัง เช่น ภาพถ่ายทางอากาศของอาคารที่บดบังด้วยเมฆ การทำงานนี้สามารถทำได้ด้วยมือ แต่ใช้เวลาและไม่มีประสิทธิภาพเท่ากับอัลกอริทึมการเรียนรู้ของเครื่อง แม้ว่าอัลกอริทึมที่มีอยู่แล้วต้องการชุดข้อมูลการฝึกอบรมขนาดใหญ่ จึงจำเป็นต้องพัฒนาเทคโนโลยีนี้ต่อไป

นี่คือสิ่งที่นักวิจัยที่มหาวิทยาลัยโอซาก้าทำเมื่อพวกเขาใช้เครือข่ายผู้สร้างและผู้วิจารณ์ เครือข่ายหนึ่งเป็น “เครือข่ายผู้สร้าง” และเสนอภาพที่ซ่อมแซมโดยไม่มีเมฆ เครือข่ายนี้ถูกตั้งค่าให้แข่งขันกับ “เครือข่ายผู้วิจารณ์” ซึ่งพึ่งพาเครือข่ายประสาทเทียมแบบโคนโวลูชันเพื่อแยกแยะระหว่างภาพที่ซ่อมแซมดิจิทัลและภาพจริงที่ไม่มีเมฆ

เมื่อเครือข่ายเหล่านี้ดำเนินกระบวนการนี้ต่อไป พวกมันจะดีขึ้นอย่างต่อเนื่อง ซึ่งเป็นสิ่งที่ทำให้พวกมันสามารถสร้างภาพที่มีความจริงสูงโดยมีเมฆถูกลบออกไปได้

Kazunosuke Ikeno เป็นผู้เขียนหลักของเอกสารวิจัย

“โดยการฝึกเครือข่ายผู้สร้างให้ ‘หลอก’ เครือข่ายผู้วิจารณ์ให้คิดว่าภาพเป็นของจริง เราจะได้ภาพที่ซ่อมแซมซึ่งมีความสอดคล้องกันมากขึ้น” Ikeno กล่าว

ภาพ: 2021 Kazunosuke IKENO et al., Advanced Engineering Informatics

การฝึกอบรมระบบ

ทีมงานใช้แบบจำลอง 3 มิติเสมือนจริงพร้อมกับภาพถ่ายจากชุดข้อมูลที่เปิดให้ใช้งาน ซึ่งใช้เป็นข้อมูลเข้า ซึ่งช่วยให้ระบบสามารถสร้าง “แมสค์” ดิจิทัลที่ซ้อนทับอาคารที่ซ่อมแซมไว้เหนือเมฆได้อย่างอัตโนมัติ

Tomohiro Fukuda เป็นผู้เขียนอาวุโสของการวิจัย

“วิธีนี้ทำให้สามารถตรวจจับอาคารในพื้นที่ที่ไม่มีข้อมูลการฝึกอบรมที่มีเครื่องหมายล่วงหน้า” Fukuda กล่าว

แบบจำลองที่ฝึกอบรมแล้วสามารถตรวจจับอาคารได้ด้วยค่า “การแยกความแตกต่างของสหภาพ” เท่ากับ 0.651 ค่านี้เป็นการวัดความแม่นยำของพื้นที่ที่ซ่อมแซมที่สอดคล้องกับพื้นที่จริง

ตามทีมงาน วิธีนี้สามารถปรับปรุงคุณภาพของชุดข้อมูลอื่นๆ ที่มีภาพที่บดบังได้ เพียงแต่ต้องขยายออกไป ซึ่งสามารถรวมภาพในหลายสาขา เช่น สุขภาพ ซึ่งสามารถใช้เพื่อปรับปรุงการถ่ายภาพทางการแพทย์ได้