วิจัยของดิสนีย์ เสนอการบีบอัดภาพด้วย AI ที่ดีขึ้น – แต่อาจสร้างรายละเอียดที่ไม่มีอยู่จริง

สาขาวิจัยของดิสนีย์ เสนอวิธีการบีบอัดภาพใหม่ โดยใช้โมเดล Stable Diffusion V1.2 ที่เปิดเผยต่อสาธารณะ เพื่อสร้างภาพที่มีความสมจริงมากขึ้นในอัตราบิตที่ต่ำกว่าวิธีการอื่นๆ

วิธีการบีบอัดของดิสนีย์ เมื่อเปรียบเทียบกับวิธีการก่อนหน้า Source: https://studios.disneyresearch.com/app/uploads/2024/09/Lossy-Image-Compression-with-Foundation-Diffusion-Models-Paper.pdf

วิธีการใหม่นี้ (ที่ถูกกำหนดเป็น ‘codec’ แม้ว่าจะซับซ้อนกว่าโค้ดค традиショナล เช่น JPEG และ AV1) สามารถทำงานได้บน Latent Diffusion Model (LDM) ใดๆ ในการทดสอบเชิงปริมาณ วิธีการนี้สามารถทำงานได้ดีกว่าวิธีการก่อนหน้าในด้านความแม่นยำและรายละเอียด และต้องการการฝึกอบรมและค่าใช้จ่ายในการคำนวณที่ต่ำกว่ามาก

ข้อคิดหลักของงานใหม่นี้คือ quantization error (กระบวนการที่สำคัญในบีบอัดภาพทั้งหมด) มีความคล้ายคลึงกับ noise (กระบวนการที่สำคัญในโมเดลการกระจาย)

ดังนั้น ภาพที่บีบอัดแบบ “传统” สามารถถือเป็นภาพที่มีเสียงรบกวนของภาพต้นฉบับ และใช้ในการกระบวนการ denoising ของ LDM แทนเสียงรบกวนแบบสุ่ม เพื่อสร้างภาพขึ้นมาใหม่ที่อัตราบิตที่ต้องการ

การเปรียบเทียบวิธีการใหม่ของดิสนีย์ (สีเขียว) เมื่อเปรียบเทียบกับวิธีการอื่นๆ

ผู้เขียนอ้างว่า:

‘[เรา] กำหนดการกำจัดข้อผิดพลาดของการ quantization เป็นงาน denoising โดยใช้การกระจายเพื่อฟื้นฟูข้อมูลที่สูญเสียไปในภาพที่ส่งออกมา Our วิธีการนี้ช่วยให้เราสามารถทำงานได้น้อยกว่า 10% ของกระบวนการสร้างภาพทั้งหมด และไม่ต้องการการเปลี่ยนแปลงโครงสร้างของโมเดลการกระจาย ทำให้สามารถใช้โมเดลที่มีอยู่แล้วได้โดยไม่ต้องฝึกอบรมเพิ่มเติม ‘

‘วิธีการที่เราเสนอสามารถทำงานได้ดีกว่าวิธีการก่อนหน้าในด้านความสมจริงของภาพ และเรายืนยันว่าการสร้างภาพของเรานั้นได้รับการยอมรับจากผู้ใช้แม้ว่าวิธีการอื่นๆ จะใช้อัตราบิตที่สูงกว่าสองเท่าก็ตาม’

อย่างไรก็ตาม ในรูปแบบที่คล้ายกับโครงการอื่นๆ ที่พยายามใช้ความสามารถในการบีบอัดของโมเดลการกระจาย ผลลัพธ์อาจ hallucinate รายละเอียด โดยตรงกันข้ามกับวิธีการสูญเสีย เช่น JPEG ซึ่งจะสร้างพื้นที่ที่บิดเบี้ยวหรือเรียบเกินไป ซึ่งผู้ชมสามารถรับรู้ได้ว่าเป็นข้อจำกัดของการบีบอัด

วิธีการ

วิธีการใหม่นี้ใช้ VAE เพื่อเข้ารหัสภาพเป็นรูปแบบที่บีบอัดแล้ว ในขั้นตอนนี้ ภาพที่เข้ามาจะประกอบด้วยคุณลักษณะที่ได้มาจาก features – การแสดงผลเวกเตอร์ระดับต่ำ การฝังตัวแบบแฝงถูก quantized กลับเป็น bitstream และกลับไปเป็นพื้นที่พิกเซล

ภาพที่ quantized นี้ถูกใช้เป็นเทมเพลตสำหรับเสียงรบกวนที่ปกติใช้ในการสร้างภาพแบบการกระจาย โดยมีการ denoising ที่แตกต่างกัน (โดยที่มักจะมีการแลกเปลี่ยนระหว่างการ denoising ที่เพิ่มขึ้นและความแม่นยำที่สูงกว่า เทียบกับความหน่วงต่ำและประสิทธิภาพที่สูงกว่า)

สเคมาของวิธีการบีบอัดใหม่ของดิสนีย์

ทั้งพารามิเตอร์ของการ quantization และจำนวนขั้นตอนการ denoising สามารถควบคุมได้ภายใต้วิธีการใหม่นี้ โดยการฝึกอบรมเครือข่ายประสาทเทียมที่คาดการณ์ตัวแปรที่เกี่ยวข้องกับด้านเหล่านี้ของการเข้ารหัส วิธีการนี้เรียกว่า adaptive quantization และระบบของดิสนีย์ใช้ Entroformer เป็นโมเดลเอนโทรปีที่ขับเคลื่อนกระบวนการ

ผู้เขียนระบุ:

‘โดย直观 วิธีการของเราสามารถเรียนรู้ที่จะทิ้งข้อมูลที่สามารถสังเคราะห์ได้ระหว่างกระบวนการ denoising เนื่องจากข้อผิดพลาดที่เกิดขึ้นระหว่างการ quantization มีความคล้ายคลึงกับการเพิ่มเสียงรบกวน และโมเดลการกระจายสามารถใช้เพื่อกำจัดเสียงรบกวนที่เกิดขึ้นระหว่างการเข้ารหัส’

Stable Diffusion V2.1 เป็นโครงสร้างการกระจายสำหรับระบบนี้ ซึ่งถูกเลือกเนื่องจากโค้ดและน้ำหนักที่เปิดเผยต่อสาธารณะทั้งหมด อย่างไรก็ตาม ผู้เขียนเน้นย้ำว่าสเคมานี้สามารถใช้กับโมเดลอื่นๆ ได้

สิ่งที่สำคัญที่สุดในการคำนวณคือ timestep prediction ซึ่งประเมินจำนวนขั้นตอนการ denoising ที่เหมาะสม – การสร้างสมดุลระหว่างประสิทธิภาพและประสิทธิผล

การคาดการณ์ขั้นตอนการ denoising โดยมีขอบเขตสีแดงแสดงถึงจำนวนขั้นตอนที่เหมาะสม

จำนวนเสียงรบกวนใน embedding แบบแฝงต้องถูกพิจารณาเมื่อคาดการณ์จำนวนขั้นตอนการ denoising ที่ดีที่สุด

ข้อมูลและการทดสอบ

โมเดลนี้ถูกฝึกอบรมบนชุดข้อมูล Vimeo-90k ภาพถูกตัดทอนแบบสุ่มเป็น 256x256px สำหรับแต่ละ epoch (เช่น การรับข้อมูลชุดใหม่ทั้งหมดโดยโครงสร้างการฝึกอบรม)

โมเดลถูกปรับให้เหมาะสมสำหรับ 300,000 ขั้นตอน โดยมีอัตราการเรียนรู้ที่ 1e-4 ซึ่งเป็นอัตราที่พบบ่อยที่สุดในโครงการการมองเห็นของคอมพิวเตอร์ และยังเป็นอัตราที่ต่ำที่สุดและละเอียดที่สุดที่สามารถทำได้ โดยเป็นการประนีประนอมระหว่างการสร้างความเข้าใจทั่วไปของชุดข้อมูลและลักษณะของมัน และความสามารถในการสร้างรายละเอียดที่ละเอียด

ผู้เขียนอ้างถึงบางส่วนของข้อพิจารณาทางลอจิสติกส์สำหรับระบบที่มีประสิทธิภาพและคุ้มค่า:

‘ระหว่างการฝึกอบรม มันใช้ไม่ได้ในการส่งกลับกราดิเอนต์ผ่านการวิ่งหลายครั้งของโมเดลการกระจายเมื่อทำงานระหว่าง DDIM sampling ดังนั้นเราจึงทำการวิ่ง DDIM เพียงครั้งเดียวและใช้ผลลัพธ์โดยตรงเป็นข้อมูลที่ denoised แล้ว’

ชุดข้อมูลที่ใช้ในการทดสอบระบบคือ Kodak； CLIC2022； และ COCO 30k ชุดข้อมูลถูกประมวลผลตามวิธีการที่ระบุไว้ใน การเสนอของ Google ในปี 2023 Multi-Realism Image Compression with a Conditional Generator

เมตริกที่ใช้คือ Peak Signal-to-Noise Ratio (PSNR)； Learned Perceptual Similarity Metrics (LPIPS)； Multiscale Structural Similarity Index (MS-SSIM)； และ Fréchet Inception Distance (FID)

โครงสร้างที่มีการทดสอบก่อนหน้านี้ถูกแบ่งออกเป็นระบบเก่าที่ใช้ High-Fidelity Generative Image Compression (HiFiC) และ ILLM (ซึ่งมีการปรับปรุงบางส่วนจาก HiFiC)

ระบบที่ใช้โมเดลการกระจายคือ Lossy Image Compression with Conditional Diffusion Models (CDC) และ High-Fidelity Image Compression with Score-based Generative Models (HFD)

ผลลัพธ์เชิงปริมาณเมื่อเปรียบเทียบกับโครงสร้างที่มีก่อนหน้าบนชุดข้อมูลต่างๆ

สำหรับผลลัพธ์เชิงปริมาณ (ที่แสดงไว้ด้านบน) ผู้วิจัยระบุ:

‘วิธีการของเราตั้งค่าระดับสูงสุดใหม่ในด้านความสมจริงของภาพที่สร้างขึ้นใหม่ โดยสามารถทำงานได้ดีกว่าโครงสร้างที่มีก่อนหน้าทั้งหมดใน FID-bitrate curves ในบางเมตริกการบิดเบือน (โดยเฉพาะ LPIPS และ MS-SSIM) เราสามารถทำงานได้ดีกว่าโครงสร้างที่ใช้โมเดลการกระจายทั้งหมด ในขณะที่ยังคงแข่งขันกับโครงสร้างที่มีการสร้างภาพที่ดีที่สุด’

‘ตามที่คาดไว้ วิธีการของเราร่วมกับวิธีการอื่นๆ ที่ใช้การสร้างภาพจะทำงานไม่ดีใน PSNR เนื่องจากเราให้ความสำคัญกับการสร้างภาพที่ดูสมจริงมากกว่าการทำซ้ำรายละเอียดที่แม่นยำ’

สำหรับการศึกษากับผู้ใช้ วิธีการ two-alternative-forced-choice (2AFC) ถูกใช้ในรูปแบบทัวร์นาเมนต์ โดยที่ภาพที่ได้รับการสนับสนุนจะผ่านเข้าสู่รอบต่อไป การศึกษานี้ใช้ระบบ Elo ที่พัฒนาไว้สำหรับทัวร์นาเมนต์หมากรุก

ดังนั้น ผู้เข้าร่วมจะดูและเลือกภาพที่ดีที่สุดจากสองภาพที่นำเสนอขนาด 512x512px สำหรับวิธีการสร้างภาพต่างๆ นอกจากนี้ยังมีการทดลองเพิ่มเติมโดยที่การเปรียบเทียบภาพทั้งหมดจากผู้ใช้คนเดียวกันถูกประเมินผ่าน Monte Carlo simulation ใน 10,0000 การวนซ้ำ โดยมีคะแนนเฉลี่ยที่นำเสนอในผลลัพธ์

คะแนน Elo ที่ประมาณไว้สำหรับการศึกษากับผู้ใช้ โดยมีทัวร์นาเมนต์ Elo สำหรับการเปรียบเทียบแต่ละครั้ง (ซ้าย) และสำหรับผู้เข้าร่วมแต่ละคน โดยมีค่าที่สูงกว่าดีกว่า

ที่นี่ ผู้เขียนระบุ:

‘ตามที่เห็นได้จากคะแนน Elo วิธีการของเราทำงานได้ดีกว่าทั้งหมด แม้ว่าจะเปรียบเทียบกับ CDC ซึ่งโดยเฉลี่ยใช้บิตเป็นสองเท่าของวิธีการของเรา ซึ่งยังคงถือเป็นจริงไม่ว่าจะใช้กลยุทธ์ทัวร์นาเมนต์ Elo ใดก็ตาม’

ในเอกสารต้นฉบับและใน เอกสารเสริม ผู้เขียนให้การเปรียบเทียบภาพเพิ่มเติม หนึ่งในนั้นแสดงไว้ข้างต้นในบทความนี้ อย่างไรก็ตาม เนื่องจากความแตกต่างที่ละเอียดระหว่างตัวอย่าง เราแนะนำให้ผู้อ่านดูเอกสารต้นฉบับเพื่อให้สามารถตัดสินผลลัพธ์ได้อย่างยุติธรรม

เอกสารนี้สรุปโดยสังเกตว่าวิธีการที่เสนอสามารถทำงานได้เร็วกว่า CDC ที่เป็นคู่แข่ง (3.49 วินาทีเทียบกับ 6.87 วินาที) นอกจากนี้ยังสังเกตว่า ILLM สามารถประมวลผลภาพได้ภายใน 0.27 วินาที แต่วิธีการนี้ต้องการการฝึกอบรมที่หนักหน่วง

สรุป

นักวิจัยจาก ETH/ดิสนีย์ ระบุอย่างชัดเจนเกี่ยวกับศักยภาพของระบบในการสร้างรายละเอียดที่ไม่มีอยู่จริง อย่างไรก็ตาม ตัวอย่างที่นำเสนอในเนื้อหานี้ไม่ได้เน้นไปที่ประเด็นนี้

ในความเป็นธรรม ปัญหานี้ไม่ได้จำกัดเฉพาะวิธีการใหม่ของดิสนีย์ แต่เป็นผลกระทบรองของการใช้โมเดลการกระจาย – โครงสร้างเชิงสร้างสรรค์และเชิงตีความ – ในการบีบอัดภาพ

น่าสนใจว่าเพียงห้าวันก่อนหน้านี้ นักวิจัยอีกสองคนจาก ETH Zurich ได้เผยแพร่ เอกสาร ที่มีชื่อว่า Conditional Hallucinations for Image Compression ซึ่งสำรวจความเป็นไปได้ของ ‘ระดับการหลอกลวงที่เหมาะสม’ ในระบบการบีบอัดภาพที่ใช้ AI

ผู้เขียนในเอกสารนั้นให้เหตุผลว่า:

‘สำหรับเนื้อหาที่คล้ายกับข้อความ เช่น หญ้า ผิว และกำแพงหิน การสร้างพิกเซลที่ตรงกับเนื้อหาที่กำหนดมีความสำคัญมากกว่าการสร้างพิกเซลที่แม่นยำ； การสร้างตัวอย่างใดๆ จากการกระจายของเนื้อหานั้นโดยทั่วไปแล้วเป็นเพียงพอ’

ดังนั้น เอกสารนี้จึงให้เหตุผลว่าการบีบอัดควรจะ ‘สร้างสรรค์’ และเป็นตัวแทนมากที่สุด แทนที่จะพยายามสร้างภาพที่แม่นยำที่สุดเท่าที่จะเป็นไปได้

มีคนสงสัยว่าชุมชนการถ่ายภาพและสร้างสรรค์จะคิดอย่างไรเกี่ยวกับการกำหนดความหมายใหม่ของ ‘การบีบอัด’ ในลักษณะที่เป็นไปได้นี้

*การแปลงอ้างอิงภายในของฉันให้เป็นลิงก์

เผยแพร่ครั้งแรกวันพุธที่ 30 ตุลาคม 2024