การปรับปรุงประสิทธิภาพการเรียนรู้ของเครื่องจักรผ่านการปรับขนาดภาพโดยใช้ CNN

Google Research ได้เสนอวิธีการใหม่เพื่อปรับปรุงประสิทธิภาพและความแม่นยำของการฝึกอบรมการมองเห็นของคอมพิวเตอร์โดยการปรับปรุงวิธีการลดขนาดภาพในขั้นตอนการประมวลผลล่วงหน้า

ใน เอกสาร การเรียนรู้เพื่อปรับขนาดภาพสำหรับการทำงานของการมองเห็นของคอมพิวเตอร์ นักวิจัย Hossein Talebi และ Peyman Milanfar ใช้ CNN เพื่อสร้างสถาปัตยกรรมการปรับขนาดภาพแบบไฮบริดใหม่ที่ให้ผลลัพธ์ที่ดีขึ้นในการรู้จำภาพในฐานข้อมูลการมองเห็นของคอมพิวเตอร์สี่ฐานข้อมูลที่เป็นที่นิยม

โครงสร้างแบบไฮบริดที่เสนอสำหรับการรู้จำภาพและการปรับขนาด Source: https://arxiv.org/pdf/2103.09950.pdf

เอกสารดังกล่าวสังเกตเห็นว่าวิธีการปรับขนาด/ลดขนาดที่ใช้ในปัจจุบันในกระบวนการฝึกอบรมเครื่องจักรอัตโนมัติเป็นเทคนิคที่ล้าสมัย และมักใช้การปรับขนาดแบบบิลินียร์ บิคิวบิก และเนียร์เชสต์ การปรับขนาด – วิธีการที่ปฏิบัติต่อพิกเซลทั้งหมดอย่างไม่มีการเลือกสรร

ในทางกลับกัน วิธีการที่เสนอเพิ่มเติมข้อมูลภาพผ่าน CNN และรวมข้อมูลนั้นเข้ากับภาพที่ลดขนาดซึ่งจะผ่านสถาปัตยกรรมแบบโมเดลในที่สุด

ข้อจำกัดของภาพในการฝึกอบรม AI

เพื่อฝึกโมเดลที่เกี่ยวข้องกับภาพ ระบบการเรียนรู้ของเครื่องจักรจะรวมขั้นตอนการประมวลผลล่วงหน้า ซึ่งภาพที่มีขนาดและพื้นที่สีและความละเอียดต่างๆ (ที่จะช่วยให้ฐานข้อมูลฝึกอบรม) จะถูกตัดและปรับขนาดให้เหมาะสมและเสถียรในขนาดและรูปแบบเดียว

โดยทั่วไป จะเกี่ยวข้องกับการประนีประนอมรอบๆ รูปแบบ PNG โดยที่การแลกเปลี่ยนระหว่างเวลา/ทรัพยากรในการประมวลผล ขนาดไฟล์ และคุณภาพภาพจะถูกกำหนด

โดยทั่วไป ขนาดสุดท้ายของภาพที่ประมวลผลจะเล็กมาก ตัวอย่างเช่น เราจะเห็นภาพที่มีความละเอียด 80×80 ซึ่งเป็นภาพที่ใช้ในการสร้างฐานข้อมูล deepfakes ในช่วงแรกๆ ได้สร้างขึ้น:

เนื่องจากใบหน้า (และวัตถุอื่นๆ) มักไม่พอดีกับอัตราส่วนสี่เหลี่ยมจัตุรัสที่ต้องการ อาจจำเป็นต้องเพิ่มแถบสีดำ (หรืออนุญาตให้มีพื้นที่ว่าง) เพื่อทำให้ภาพเป็นเนื้อเดียวกัน ซึ่งจะลดข้อมูลภาพที่ใช้ได้จริงลงอีก:

ที่นี่ ใบหน้าถูกถอดออกจากพื้นที่ภาพที่ใหญ่ขึ้นจนกระทั่งถูกตัดให้เหมาะสมที่สุดเพื่อรวมพื้นที่ใบหน้าทั้งหมด อย่างไรก็ตาม ตามที่เห็นทางด้านขวา พื้นที่ที่เหลือจะไม่ได้ใช้ในการฝึกอบรม ซึ่งเพิ่มความสำคัญของคุณภาพภาพที่ลดขนาด

เมื่อความสามารถของ GPU ดีขึ้นในช่วงไม่กี่ปีที่ผ่านมา โดยการ์ดใหม่ของ NVIDIA ที่มี ความจุ VRAM ที่เพิ่มขึ้น ขนาดภาพที่มีส่วนร่วมโดยเฉลี่ยเริ่มเพิ่มขึ้น แม้ว่าขนาด 224×224 พิกเซลยังคงเป็นมาตรฐาน (เช่น เป็นขนาดของ ResNet-50 dataset)

ภาพที่ไม่ได้ลดขนาด 224×244 พิกเซล

การใส่แบตช์เข้าไปใน VRAM

เหตุผลที่ภาพทั้งหมดต้องมีขนาดเท่ากันคือ การลื่นไถลของเกรเดียนต์ ซึ่งเป็นวิธีการที่โมเดลปรับปรุงอย่างต่อเนื่อง ต้องการข้อมูลฝึกอบรมที่เป็นเนื้อเดียวกัน

เหตุผลที่ภาพต้องเล็กมากคือว่าภาพเหล่านั้นต้องถูกโหลด (ถูกดึงออก) เข้าไปใน VRAM ในระหว่างการฝึกอบรมในแบตช์เล็กๆ โดยปกติจะอยู่ระหว่าง 6-24 ภาพต่อแบตช์ หากมีภาพที่ไม่เพียงพอในแต่ละแบตช์ จะไม่มีเนื้อหากลุ่มที่เพียงพอในการสร้างแบบจำลอง และจะขยายเวลาในการฝึกอบรมด้วย หากมีภาพมากเกินไป โมเดลอาจล้มเหลวในการได้รับคุณลักษณะและรายละเอียดที่จำเป็น (ดูรายละเอียดด้านล่าง)

ส่วน ‘การโหลดแบบเรียลไทม์’ ของสถาปัตยกรรมการฝึกอบรมเรียกว่า พื้นที่ 潛在 นี่คือที่ที่คุณลักษณะถูกดึงออกจากข้อมูลเดียวกัน (เช่น ภาพเดียวกัน) จนกระทั่งโมเดลได้เข้าสู่สถานะที่มีความรู้ทั่วไปที่จำเป็นในการดำเนินการการแปลงข้อมูลในภายหลังสำหรับข้อมูลที่ไม่เคยเห็นมาก่อน

กระบวนการนี้โดยทั่วไปใช้เวลาหลายวัน แต่อาจใช้เวลาหนึ่งเดือนหรือมากกว่านั้นในการคิดอย่างต่อเนื่องและไม่หยุดยั้งเพื่อให้ได้ผลลัพธ์ที่เป็นประโยชน์ การเพิ่มขนาด VRAM จะช่วยได้เพียงบางส่วนเท่านั้น เนื่องจากการเพิ่มความละเอียดภาพเพียงเล็กน้อยสามารถส่งผลกระทบต่อความสามารถในการประมวลผลและผลลัพธ์ที่อาจไม่ดีเสมอไป

การใช้ความจุ VRAM ที่มากขึ้นเพื่อรองรับขนาดแบตช์ที่ใหญ่ขึ้นยังเป็นผลผสม เนื่องจากความเร็วในการฝึกอบรมที่เพิ่มขึ้นที่ได้รับจากสิ่งนี้มีแนวโน้มที่จะ ถูกชดเชย ด้วยผลลัพธ์ที่ไม่แม่นยำ

ดังนั้น เนื่องจากสถาปัตยกรรมการฝึกอบรมมีข้อจำกัดมาก Anything ที่สามารถปรับปรุงภายในข้อจำกัดของพายพайป์ไลน์นั้นจึงเป็นความสำเร็จที่น่าสังเกต

การลดขนาดที่เหนือกว่าช่วยได้อย่างไร

คุณภาพสูงสุดของภาพที่จะรวมอยู่ในฐานข้อมูลการฝึกอบรมได้รับการพิสูจน์แล้วว่ามีผลกระทบเชิงบวกต่อผลลัพธ์ของการฝึกอบรม โดยเฉพาะ การรู้จำวัตถุ ในปี 2018 นักวิจัยจาก Max Planck Institute for Intelligent Systems โต้แย้ง ว่าการเลือกวิธีการซ้ำซ้อนจะมีผลกระทบอย่างมีนัยสำคัญต่อประสิทธิภาพและผลลัพธ์ของการฝึกอบรม

นอกจากนี้ การทำงานก่อนหน้าของ Google (ที่เขียนร่วมกับผู้เขียนเอกสารใหม่) พบว่าความแม่นยำในการจำแนกประเภทสามารถปรับปรุงได้โดย การควบคุม อาร์ตแฟคต์ของการบีบอัดในภาพฐานข้อมูล

สถาปัตยกรรม CNN สำหรับอัลกอริทึมการลดขนาดที่เสนอโดย Google Research

โมเดล CNN ที่สร้างขึ้นในตัวลดขนาดใหม่รวมการปรับขนาดแบบบิลินียร์กับฟังก์ชัน ‘skip connection’ ที่สามารถรวมเอาอินพุตจากเครือข่ายที่ฝึกอบรมแล้วเข้ากับภาพที่ลดขนาด

ไม่เหมือนกับสถาปัตยกรรมแบบเอนโค้ดเดอร์/เดโค้ดเดอร์แบบปกติ การเสนอใหม่นี้สามารถทำงานได้ไม่เพียงแต่ในแบบฟีดฟอร์เวิร์ดบอทเทิลเน็คเท่านั้น แต่ยังสามารถทำงานเป็นบอทเทิลเน็คผกผันสำหรับการปรับขนาดขึ้นไปยังขนาดและ/หรืออัตราส่วนภาพเป้าหมายใดๆ ได้อีกด้วย นอกจากนี้ วิธีการซ้ำซ้อนที่ ‘มาตรฐาน’ สามารถถูกเปลี่ยนออกไปเพื่อใช้วิธีการแบบดั้งเดิมอื่นๆ เช่น Lanczos ได้

รายละเอียดความถี่สูง

วิธีการใหม่นี้สร้างภาพที่ดูเหมือนจะ ‘อบ’ คุณลักษณะสำคัญ (ที่จะถูกรู้จำโดยกระบวนการฝึกอบรม) ลงไปในภาพต้นฉบับโดยตรง ในแง่ของสุนทรียศาสตร์ ผลลัพธ์ไม่เหมือนกับภาพทั่วไป:

วิธีการใหม่นี้ใช้กับเครือข่ายสี่เครือข่าย – Inception V2; DenseNet-121; ResNet-50; และ MobileNet-V2 ผลลัพธ์ของวิธีการลดขนาด/ปรับขนาดภาพของ Google Research สร้างภาพที่มีการรวมพิกเซลที่ชัดเจน โดยคาดการณ์ลักษณะสำคัญที่จะถูกรู้จำระหว่างกระบวนการฝึกอบรม

นักวิจัยสังเกตเห็นว่าการทดลองเบื้องต้นเหล่านี้ได้รับการปรับให้เหมาะสมสำหรับการทำงานในการรู้จำภาพเท่านั้น และในการทดสอบเครือข่าย CNN ที่เรียนรู้ได้ ‘resize’ สามารถบรรลุอัตราความผิดพลาดที่ดีขึ้นในงานเหล่านั้นได้ นักวิจัยตั้งใจที่จะนำวิธีการนี้ไปใช้กับการใช้งานการมองเห็นของคอมพิวเตอร์ตามภาพอื่นๆ ในอนาคต