มุมมองของ Anderson

JPEG AI ข้ามเส้นแบ่งระหว่างภาพจริงและภาพสังเคราะห์

mm
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
Created with ChatGPT-4o and Adobe Firefly

ในเดือนกุมภาพันธ์ของปีนี้ มาตรฐาน JPEG AI ระหว่างประเทศได้รับการเผยแพร่ หลังจากการวิจัยหลายปีที่มุ่งหมายเพื่อใช้เทคนิคการเรียนรู้ของเครื่องจักรเพื่อสร้างโค้ดคิวภาพที่เล็กกว่าและสามารถส่งหรือจัดเก็บได้ง่ายขึ้น โดยไม่สูญเสียคุณภาพการรับรู้

จากสตรีมการเผยแพร่ทางการของ JPEG AI การเปรียบเทียบระหว่าง Peak Signal-to-Noise Ratio (PSNR) และแนวทาง ML-augmented ของ JPEG AI

จากสตรีมการเผยแพร่ทางการของ JPEG AI การเปรียบเทียบระหว่าง Peak Signal-to-Noise Ratio (PSNR) และแนวทาง ML-augmented ของ JPEG AI Source: https://jpeg.org/jpegai/documentation.html

หนึ่งในเหตุผลที่การเปิดตัวครั้งนี้ไม่ได้รับการเผยแพร่มากนัก คือเอกสาร PDF หลักสำหรับการประกาศนี้ไม่สามารถเข้าถึงได้ฟรี черезพอร์ทัลเช่น Arxiv อย่างไรก็ตาม Arxiv ได้เผยแพร่การศึกษาจำนวนหนึ่งที่ตรวจสอบความสำคัญของ JPEG AI ในหลายด้าน รวมถึงอาร์ติแฟคต์ของการบีบอัดที่ไม่ธรรมดา และความสำคัญสำหรับการสืบสวน

การศึกษาหนึ่งได้เปรียบเทียบอาร์ติแฟคต์ของการบีบอัด รวมถึงร่างก่อนหน้าของ JPEG AI พบว่าวิธีการใหม่นี้มีแนวโน้มที่จะเบลอข้อความ ไม่ใช่เรื่องเล็กน้อยในกรณีที่โค้ดคิวภาพอาจมีส่วนร่วมในห่วงโซ่ของหลักฐาน

การศึกษาหนึ่งได้เปรียบเทียบอาร์ติแฟคต์ของการบีบอัด รวมถึงร่างก่อนหน้าของ JPEG AI พบว่าวิธีการใหม่นี้มีแนวโน้มที่จะเบลอข้อความ ไม่ใช่เรื่องเล็กน้อยในกรณีที่โค้ดคิวภาพอาจมีส่วนร่วมในห่วงโซ่ของหลักฐาน Source: https://arxiv.org/pdf/2411.06810

เนื่องจาก JPEG AI เปลี่ยนแปลงภาพในลักษณะที่เลียนแบบอาร์ติแฟคต์ของเครื่องมือสร้างภาพสังเคราะห์ เครื่องมือสืบสวนแบบเดิมจึงมีปัญหาในการแยกแยะระหว่างภาพจริงและภาพปลอม

หลังการบีบอัด JPEG AI อัลกอริทึมที่ทันสมัยไม่สามารถแยกแยะเนื้อหาที่แท้จริงจากภูมิภาคที่ถูกดัดแปลงในแผนที่ที่ตั้งตำแหน่งได้ตามเอกสารล่าสุด (มีนาคม 2025) ตัวอย่างที่เห็นทางซ้ายคือภาพปลอมที่ถูกดัดแปลง ซึ่งภูมิภาคที่ถูกดัดแปลงสามารถระบุได้อย่างชัดเจนภายใต้เทคนิคสืบสวนแบบเดิม (ภาพตรงกลาง) อย่างไรก็ตาม การบีบอัด JPEG AI ให้ภาพปลอมมีลักษณะที่น่าเชื่อถือ (ภาพด้านขวาสุด)

หลังการบียบอัด JPEG AI อัลกอริทึมที่ทันสมัยไม่สามารถแยกแยะเนื้อหาที่แท้จริงจากภูมิภาคที่ถูกดัดแปลงในแผนที่ที่ตั้งตำแหน่งได้ตามเอกสารล่าสุด (มีนาคม 2025) ตัวอย่างที่เห็นทางซ้ายคือภาพปลอมที่ถูกดัดแปลง ซึ่งภูมิภาคที่ถูกดัดแปลงสามารถระบุได้อย่างชัดเจนภายใต้เทคนิคสืบสวนแบบเดิม (ภาพตรงกลาง) อย่างไรก็ตาม การบีบอัด JPEG AI ให้ภาพปลอมมีลักษณะที่น่าเชื่อถือ (ภาพด้านขวาสุด) Source: https://arxiv.org/pdf/2412.03261

หนึ่งเหตุผลที่ JPEG AI มีลักษณะคล้ายกับเครื่องมือสร้างภาพสังเคราะห์ คือการใช้โครงสร้างแบบเดียวกันกับเครื่องมือสร้างภาพสังเคราะห์ที่เครื่องมือสืบสวนพยายามตรวจจับ

เอกสารใหม่แสดงให้เห็นถึงความคล้ายคลึงกันระหว่างวิธีการของการบีบอัดภาพที่ขับเคลื่อนด้วย AI และภาพที่สร้างโดย AI จริงๆ

เอกสารใหม่แสดงให้เห็นถึงความคล้ายคลึงกันระหว่างวิธีการของการบีบอัดภาพที่ขับเคลื่อนด้วย AI และภาพที่สร้างโดย AI จริงๆ Source: https://arxiv.org/pdf/2504.03191

ดังนั้น ทั้งสองแบบจำลองอาจสร้างลักษณะที่มองเห็นได้เหมือนกันจากมุมมองของการสืบสวน

การควอนติเซชัน

การข้ามขอบเขตนี้เกิดขึ้นเนื่องจากการควอนติเซชัน ซึ่งเป็นสิ่งที่พบได้ทั้งสองโครงสร้าง และใช้ในการเรียนรู้ของเครื่องจักรทั้งในการแปลงข้อมูลต่อเนื่องเป็นจุดข้อมูลที่ไม่ต่อเนื่อง และเป็นเทคนิคการปรับให้เหมาะสมที่สามารถลดขนาดไฟล์ของแบบจำลองที่ฝึกได้อย่างมาก

ในบริบทนี้ การควอนติเซชันหมายถึงกระบวนการแปลงค่าต่อเนื่องในภาพแทนการแสดงออกเป็นขั้นตอนที่กำหนดและไม่ต่อเนื่อง JPEG AI ใช้กระบวนการนี้เพื่อลดปริมาณข้อมูลที่ต้องการในการจัดเก็บหรือส่งภาพโดยการทำให้การแสดงออกภายในเป็นเลขคณิตง่ายขึ้น

แม้ว่าการควอนติเซชันจะทำให้การเข้ารหัสมีประสิทธิภาพมากขึ้น แต่ก 也กำหนดความสม่ำเสมอทางโครงสร้างที่สามารถคล้ายกับอาร์ติแฟคต์ที่เหลืออยู่จากแบบจำลองที่สร้างสังเคราะห์ได้ ซึ่งอาจไม่สังเกตได้ด้วยตา แต่ทำให้เครื่องมือสืบสวนเสียหาย

ในการตอบสนอง ผู้เขียนของงานใหม่ที่มีชื่อว่า Three Forensic Cues for JPEG AI Images เสนอเทคนิคที่สามารถตรวจจับการบีบอัด JPEG AI ได้โดยไม่ต้องใช้เครื่องมือประสาทเทียม และแยกแยะระหว่างภาพที่ถูกบีบอัดและภาพที่สร้างโดย AI

วิธีการ

สัมพันธภาพสี

เอกสารนี้เสนอ “สัญญาณสืบสวน” สามแบบที่ออกแบบมาเพื่อภาพ JPEG AI: สัมพันธภาพสีที่เกิดขึ้นระหว่างขั้นตอนการเตรียมภาพของ JPEG AI; การบิดเบือนภาพที่วัดได้ที่เกิดขึ้นจากการบีบอัดซ้ำซึ่งแสดงถึงเหตุการณ์การบีบอัดซ้ำ; และรูปแบบการควอนติเซชันในพื้นที่ 潜在ที่ช่วยแยกแยะระหว่างภาพที่บีบอัดด้วย JPEG AI และภาพที่สร้างโดย AI

เกี่ยวกับแนวทางที่ใช้สัมพันธภาพสี JPEG AI มีการแนะนำความสัมพันธ์ทางสถิติระหว่างช่องสีของภาพ ซึ่งสามารถใช้เป็นสัญญาณสืบสวนได้

JPEG AI แปลงภาพ RGB เป็นพื้นที่สี YUV และทำการบีบอัดโครมินานซ์ 4:2:0 ซึ่งเกี่ยวข้องกับการลดขนาดของช่องโครมินานซ์ก่อนการบีบอัด ซึ่งนำไปสู่ความสัมพันธ์ระหว่างช่องสีแดง สีเขียว และสีน้ำเงินที่ไม่มีอยู่ในภาพที่ไม่ถูกบีบอัด และแตกต่างจากสิ่งที่สร้างโดยการบีบอัด JPEG แบบเดิมหรือเครื่องมือสร้างภาพสังเคราะห์

การเปรียบเทียบวิธีการที่ JPEG AI เปลี่ยนแปลงสัมพันธภาพสีในภาพ โดยใช้ช่องสีแดงเป็นตัวอย่าง

การเปรียบเทียบวิธีการที่ JPEG AI เปลี่ยนแปลงสัมพันธภาพสีในภาพ..

ด้านบนแสดงให้เห็นถึงการเปรียบเทียบจากเอกสารที่แสดงถึงวิธีการที่ JPEG AI เปลี่ยนแปลงสัมพันธภาพสีในภาพ โดยใช้ช่องสีแดงเป็นตัวอย่าง

Panel A เปรียบเทียบภาพที่ไม่ถูกบีบอัดกับภาพที่ถูกบีบอัดด้วย JPEG AI โดยแสดงให้เห็นว่าการบีบอัดเพิ่มความสัมพันธ์ระหว่างช่องสีอย่างมาก; Panel B แสดงผลกระทบของขั้นตอนการเตรียมภาพของ JPEG AI โดยการแปลงสีและบีบอัดโครมินานซ์ ซึ่งเพิ่มความสัมพันธ์ระหว่างช่องสีอย่างเห็นได้ชัด; Panel C แสดงให้เห็นว่าการบีบอัด JPEG แบบเดิมก็เพิ่มความสัมพันธ์ระหว่างช่องสี แต่ไม่มากเท่ากับ JPEG AI; และ Panel D ตรวจสอบภาพสังเคราะห์ โดยที่ Midjourney-V5 และ Adobe Firefly แสดงให้เห็นถึงการเพิ่มขึ้นของความสัมพันธ์ระหว่างช่องสีในระดับปานกลาง ในขณะที่อื่นๆ ยังคงใกล้เคียงกับระดับของภาพที่ไม่ถูกบีบอัด

อัตราการบิดเบือน

สัญญาณสืบสวนด้านอัตราการบิดเบือนตรวจจับการบีบอัดซ้ำของ JPEG AI โดยติดตามว่าคุณภาพของภาพลดลงอย่างไรเมื่อทำการบีบอัดซ้ำหลายครั้ง

การวิจัยระบุว่าการบีบอัดซ้ำภาพหลายครั้งด้วย JPEG AI นำไปสู่การเสียคุณภาพของภาพที่ลดลงอย่างต่อเนื่อง ซึ่งสามารถวัดได้ด้วยอัตราสัญญาณต่อเสียงรบกวน (PSNR) และการเปลี่ยนแปลงนี้สามารถใช้เป็นสัญญาณสืบสวนในการตรวจจับการบีบอัดซ้ำ

ไม่เหมือนกับการบีบอัด JPEG แบบเดิมที่ติดตามการเปลี่ยนแปลงในบล็อกภาพเฉพาะ JPEG AI ต้องการแนวทางที่แตกต่างเนื่องจากโครงสร้างการบีบอัดแบบประสาทเทียม ดังนั้นผู้เขียนจึงเสนอการตรวจสอบว่าอัตราสัญญาณต่อเสียงรบกวนและอัตราบิตเปลี่ยนแปลงไปอย่างไรเมื่อทำการบีบอัดซ้ำ

การแสดงให้เห็นถึงผลกระทบของการบีบอัดซ้ำต่อคุณภาพของภาพที่ใช้โค้ดคิวภาพต่างๆ

การแสดงให้เห็นถึงผลกระทบของการบีบอัดซ้ำต่อคุณภาพของภาพที่ใช้โค้ดคิวภาพต่างๆ, โดยที่ JPEG AI และโค้ดคิวภาพประสาทเทียมที่พัฒนาใน https://arxiv.org/pdf/1802.01436 ทั้งสองแสดงให้เห็นถึงการลดลงของ PSNR เมื่อมีการบีบอัดซ้ำ แม้แต่ที่อัตราบิตที่ต่ำกว่า ในขณะที่การบีบอัด JPEG แบบเดิมรักษาคุณภาพที่เสถียรเมื่อทำการบีบอัดซ้ำหลายครั้ง เว้นแต่อัตราบิตสูงมาก

ในภาพด้านบน เราจะเห็นเส้นโค้งของอัตราการบิดเบือนสำหรับ JPEG AI และโค้ดคิวภาพประสาทเทียมที่พัฒนาใน https://arxiv.org/pdf/1802.01436 ทั้งสองแสดงให้เห็นถึงการลดลงของ PSNR เมื่อมีการบีบอัดซ้ำ แม้แต่ที่อัตราบิตที่ต่ำกว่า ในขณะที่การบีบอัด JPEG แบบเดิมรักษาคุณภาพที่เสถียรเมื่อทำการบีบอัดซ้ำหลายครั้ง เว้นแต่อัตราบิตสูงมาก

การเปลี่ยนแปลงนี้ให้สัญญาณที่สามารถใช้ในการตรวจจับการบีบอัดซ้ำของ JPEG AI

การควอนติเซชัน

ตามที่เราได้เห็นก่อนหน้านี้ หนึ่งในปัญหาสืบสวนที่ท้าทายที่สุดซึ่งเกิดจาก JPEG AI คือความคล้ายคลึงกันทางภาพกับภาพสังเคราะห์ที่สร้างโดยโมเดลการกระจาย Both ระบบใช้โครงสร้างแบบเข้ารหัส-ถอดรหัสที่ประมวลผลภาพในพื้นที่ 潜ที่บีบอัดและบ่อยครั้งจะทิ้งรอยของการเพิ่มขนาดที่ไม่ชัดเจน

ลักษณะที่ใช้ร่วมกันเหล่านี้สามารถทำให้เครื่องมือสืบสวนเสียหาย แม้แต่เครื่องมือที่ได้รับการฝึกอบรมใหม่บนภาพ JPEG AI

เอกสารใหม่นี้ใช้ความแตกต่างนี้เพื่อออกแบบสัญญาณสืบสวนที่ทดสอบการมีอยู่ของการควอนติเซชันโดยอ้อม วิธีการนี้วิเคราะห์ว่าการแสดงออกในพื้นที่ 潜ของภาพตอบสนองต่อการปัดเศษอย่างไร โดยสมมติว่าถ้าภาพถูกควอนติเซชันแล้ว โครงสร้าง 潜ของมันจะแสดงรูปแบบที่วัดได้ซึ่งสอดคล้องกับค่าที่ปัดเศษ

รูปแบบเหล่านี้ แม้ว่าจะมองไม่เห็นด้วยตา แต่ก็สร้างความแตกต่างทางสถิติที่สามารถช่วยแยกแยะระหว่างภาพที่บีบอัดจริงกับภาพสังเคราะห์เต็มรูปแบบ

ตัวอย่างของสเปกตรัม Fourier เฉลี่ยแสดงให้เห็นว่าภาพที่บีบอัดด้วย JPEG AI และภาพที่สร้างโดยโมเดลการกระจาย เช่น Midjourney-V5 และ Stable Diffusion XL ทั้งสองแสดงรูปแบบตาข่ายแบบต่อเนื่องในโดเมนความถี่ ซึ่งเป็นอาร์ติแฟคต์ที่มักเกี่ยวข้องกับการเพิ่มขนาด โดยตรงกันข้าม ภาพจริงไม่แสดงรูปแบบเหล่านี้ การทับซ้อนของโครงสร้างสเปกตรัมนี้ช่วยอธิบายว่าทำไมเครื่องมือสืบสวนจึงบ่อยครั้ง混淆ระหว่างภาพที่บีบอัดจริงกับภาพสังเคราะห์

ตัวอย่างของสเปกตรัม Fourier เฉลี่ยแสดงให้เห็นว่าภาพที่บีบอัดด้วย JPEG AI และภาพที่สร้างโดยโมเดลการกระจาย เช่น Midjourney-V5 และ Stable Diffusion XL ทั้งสองแสดงรูปแบบตาข่ายแบบต่อเนื่องในโดเมนความถี่ ซึ่งเป็นอาร์ติแฟคต์ที่มักเกี่ยวข้องกับการเพิ่มขนาด โดยตรงกันข้าม ภาพจริงไม่แสดงรูปแบบเหล่านี้ การทับซ้อนของโครงสร้างสเปกตรัมนี้ช่วยอธิบายว่าทำไมเครื่องมือสืบสวนจึงบ่อยครั้ง混淆ระหว่างภาพที่บีบอัดจริงกับภาพสังเคราะห์

สิ่งสำคัญคือผู้เขียนแสดงให้เห็นว่าสัญญาณนี้ทำงานได้ตลอดโมเดลที่สร้างสังเคราะห์ต่างๆ และยังคงมีประสิทธิภาพแม้เมื่อการบีบอัดมีความเข้มข้นพอที่จะลบพื้นที่ทั้งหมดของพื้นที่ 潜ออกไป เมื่อเปรียบเทียบกัน ภาพสังเคราะห์แสดงให้เห็นถึงการตอบสนองที่อ่อนแอกว่ามากต่อการทดสอบการปัดเศษนี้ โดยให้วิธีการที่เป็นไปได้ในการแยกแยะระหว่างทั้งสอง

ผลลัพธ์นี้มีจุดมุ่งหมายเพื่อเป็นเครื่องมือที่เบาและสามารถอธิบายได้ โดยมุ่งเป้าไปที่ความแตกต่างหลักๆ ระหว่างการบีบอัดและการสร้าง ไม่ใช่การพึ่งพาอาร์ติแฟคต์บนพื้นผิวที่ไม่แน่นอน

ข้อมูลและการทดสอบ

การบีบอัด

เพื่อประเมินว่าสัญญาณสัมพันธภาพสีสามารถตรวจจับการบีบอัด JPEG AI ได้หรือไม่ (เช่น การบีบอัดครั้งแรกจากแหล่งที่มา) ผู้เขียนได้ทดสอบสัญญาณนี้บนภาพที่ไม่ถูกบีบอัดคุณภาพสูงจากชุดข้อมูล RAISE โดยบีบอัดที่อัตราบิตต่างๆ โดยใช้การนำไปใช้ JPEG AI

พวกเขาได้ฝึกอบรมป่าแบบสุ่มบนรูปแบบสถิติของสัมพันธภาพสีระหว่างช่องสี (โดยเฉพาะวิธีการที่เสียงรบกวนในแต่ละช่องสีจัดเรียงกัน) และเปรียบเทียบกับเครือข่ายประสาทเทียม ResNet50 ที่ฝึกอบรมโดยตรงบนพิกเซลของภาพ

ความแม่นยำในการตรวจจับการบีบอัด JPEG AI โดยใช้ลักษณะสัมพันธภาพสี เปรียบเทียบระหว่างอัตราบิตต่างๆ

ความแม่นยำในการตรวจจับการบีบอัด JPEG AI โดยใช้ลักษณะสัมพันธภาพสี เปรียบเทียบระหว่างอัตราบิตต่างๆ

ในขณะที่ ResNet50 มีผลลัพธ์ที่ดีกว่าเมื่อข้อมูลทดสอบใกล้เคียงกับสภาพการฝึกอบรม แต่ก็พบว่ามีปัญหาในการทั่วไปข้ามระดับการบีบอัดต่างๆ

วิธีการที่ใช้สัมพันธภาพสี แม้ว่าจะเรียบง่ายกว่า แต่ก็มีความสม่ำเสมอมากกว่าในอัตราบิตต่างๆ โดยเฉพาะอย่างยิ่งที่อัตราบิตที่ต่ำกว่า โดยที่อาร์ติแฟคต์ของการบีบอัดของ JPEG AI มีผลกระทบมากขึ้น

ผลลัพธ์เหล่านี้ชี้ให้เห็นว่าแม้ไม่ต้องใช้การเรียนรู้เชิงลึก ก็ยังสามารถตรวจจับการบีบอัด JPEG AI ได้โดยใช้สัญญาณสืบสวนที่ยังคงสามารถอธิบายได้และทนทานต่อการเปลี่ยนแปลง

การบีบอัดซ้ำ

เพื่อประเมินว่าสัญญาณอัตราการบิดเบือนสามารถตรวจจับการบีบอัดซ้ำของ JPEG AI ได้หรือไม่ ผู้วิจัยได้ทดสอบสัญญาณนี้บนชุดภาพที่บีบอัดที่อัตราบิตต่างๆ บางส่วนบีบอัดเพียงครั้งเดียว และบางส่วนบีบอัดซ้ำโดยใช้ JPEG AI

วิธีการนี้เกี่ยวข้องกับการดึงฟีเจอร์ 17 มิติเพื่อติดตามว่าอัตราบิตและ PSNR ของภาพเปลี่ยนแปลงไปอย่างไรเมื่อมีการบีบอัดซ้ำสามครั้ง

ผู้วิจัยฝึกอบรมป่าแบบสุ่มบนฟีเจอร์เหล่านี้และเปรียบเทียบกับ ResNet50 ที่ฝึกอบรมบนพิกเซลของภาพ

ผลลัพธ์สำหรับความแม่นยำในการจำแนกประเภทของป่าแบบสุ่มที่ฝึกอบรมบนฟีเจอร์อัตราการบิดเบือนในการตรวจจับการบีบอัดซ้ำของ JPEG AI

ผลลัพธ์สำหรับความแม่นยำในการจำแนกประเภทของป่าแบบสุ่มที่ฝึกอบรมบนฟีเจอร์อัตราการบิดเบือนในการตรวจจับการบีบอัดซ้ำของ JPEG AI

ป่าแบบสุ่มแสดงให้เห็นถึงประสิทธิภาพที่น่าสนใจเมื่อการบีบอัดครั้งแรกมีความเข้มข้น (เช่น ที่อัตราบิตที่ต่ำกว่า) และจากนั้นจึงทิ้ง ResNet50 ไว้เบื้องหลัง โดยเฉพาะอย่างยิ่งในกรณีที่การบีบอัดครั้งที่สองมีความเข้มข้นน้อยกว่าการบีบอัดครั้งแรก

ฟีเจอร์อัตราการบิดเบือนยังคงเสถียรตลอดหลายๆ สถานการณ์ และวิธีการนี้ยังใช้ได้กับโค้ดคิวภาพ AI อื่นๆ ซึ่งบ่งชี้ว่าวิธีการนี้สามารถทั่วไปได้มากกว่า JPEG AI

JPEG AI และภาพสังเคราะห์

ในการทดสอบรอบสุดท้าย ผู้เขียนได้ทดสอบว่าสัญญาณการควอนติเซชันสามารถแยกแยะระหว่างภาพที่บีบอัดด้วย JPEG AI และภาพสังเคราะห์ที่สร้างโดยโมเดล เช่น Midjourney, Stable Diffusion, DALL-E 2, Glide และ Adobe Firefly

สำหรับการทดสอบนี้ ผู้วิจัยใช้ซับเซตของชุดข้อมูล Synthbuster โดยผสมภาพถ่ายจริงจากฐานข้อมูล RAISE กับภาพที่สร้างโดยโมเดลการกระจายและ GAN

ตัวอย่างภาพสังเคราะห์ใน Synthbuster ที่สร้างโดยใช้คำสั่งดึงดูดจากภาพถ่ายธรรมชาติใน RAISE-1k โดยใช้โมเดลการกระจายต่างๆ โดยมีคำสั่งดึงดูดที่ออกแบบมาเพื่อสร้างเนื้อหาที่มีลักษณะเหมือนจริงและข้อความมากกว่าการแสดงออกที่มีลักษณะศิลปะ

ตัวอย่างภาพสังเคราะห์ใน Synthbuster ที่สร้างโดยใช้คำสั่งดึงดูดจากภาพถ่ายธรรมชาติใน RAISE-1k โดยใช้โมเดลการกระจายต่างๆ โดยมีคำสั่งดึงดูดที่ออกแบบมาเพื่อสร้างเนื้อหาที่มีลักษณะเหมือนจริงและข้อความมากกว่าการแสดงออกที่มีลักษณะศิลปะ Source: https://ieeexplore.ieee.org/document/10334046

ภาพจริงถูกบีบอัดด้วย JPEG AI ที่หลายๆ ระดับของอัตราบิต และการจำแนกประเภทถูกกำหนดให้เป็นงานสองทาง: JPEG AI เทียบกับเครื่องสร้างสังเคราะห์ใดๆ หรืออัตราบิตใดๆ เทียบกับ Stable Diffusion XL

ฟีเจอร์การควอนติเซชัน (สัมพันธภาพที่ดึงมาจากการแสดงออกในพื้นที่ 潜) ถูกคำนวณจากพื้นที่ 256×256 ที่ตายตัวและถูกป้อนเข้าไปในตัวจำแนกป่าแบบสุ่ม ในฐานะการเปรียบเทียบ ResNet50 ถูกฝึกอบรมบนพิกเซลของภาพจากข้อมูลเดียวกัน

ความแม่นยำในการจำแนกประเภทของป่าแบบสุ่มที่ใช้ฟีเจอร์การควอนติเซชันในการแยกแยะระหว่างภาพที่บีบอัดด้วย JPEG AI และภาพสังเคราะห์

ความแม่นยำในการจำแนกประเภทของป่าแบบสุ่มที่ใช้ฟีเจอร์การควอนติเซชันในการแยกแยะระหว่างภาพที่บีบอัดด้วย JPEG AI และภาพสังเคราะห์

ในหลายๆ สภาพ ฟีเจอร์การควอนติเซชันมีประสิทธิภาพมากกว่า ResNet50 โดยเฉพาะอย่างยิ่งที่อัตราบิตที่ต่ำกว่า โดยที่อาร์ติแฟคต์ของการบีบอัดมีความเข้มข้น

ผู้เขียนระบุว่า:

‘ResNet50 มีผลลัพธ์ที่ดีที่สุดสำหรับภาพ Glide โดยมีความแม่นยำ 66.1% แต่โดยทั่วไปมีการทั่วไปที่ไม่ดีเท่ากับฟีเจอร์การควอนติเซชัน

‘ความสำคัญของสัมประสิทธิ์ที่ถูกควอนติเซชันเป็นศูนย์แสดงให้เห็นในผลลัพธ์ที่น่าพอใจของฟีเจอร์ที่ถูกตัดทอน ซึ่งในหลายกรณีแสดงผลลัพธ์ที่ใกล้เคียงกับ ResNet50

‘อย่างไรก็ตาม ฟีเจอร์การควอนติเซชันที่ใช้เวกเตอร์เต็มที่ไม่ถูกตัดทอนยังคงแสดงผลลัพธ์ที่ดีกว่าอย่างเห็นได้ชัด

‘ผลลัพธ์เหล่านี้ยืนยันว่าปริมาณของศูนย์หลังการควอนติเซชันเป็นสัญญาณที่สำคัญในการแยกแยะระหว่างภาพที่บีบอัดด้วย AI และภาพที่สร้างโดย AI

‘อย่างไรก็ตาม ยังแสดงให้เห็นว่ามีปัจจัยอื่นๆ ที่มีส่วนร่วมด้วย ความแม่นยำของเวกเตอร์เต็มสำหรับการตรวจจับ JPEG AI มีค่ามากกว่า 91.0% สำหรับทุกอัตราบิต และการบีบอัดที่เข้มข้นมากขึ้นนำไปสู่ความแม่นยำที่สูงขึ้น’

การฉายภาพของพื้นที่ฟีเจอร์โดยใช้ UMAP แสดงให้เห็นถึงการแยกแยะที่ชัดเจนระหว่าง JPEG AI และภาพสังเคราะห์ โดยที่อัตราบิตที่ต่ำกว่านำไปสู่การเพิ่มขึ้นของระยะห่างระหว่างคลาส

การแสดงภาพสองมิติของ JPEG AI ที่บีบอัดและภาพสังเคราะห์โดยใช้ฟีเจอร์การควอนติเซชัน

การแสดงภาพสองมิติของ JPEG AI ที่บีบอัดและภาพสังเคราะห์โดยใช้ฟีเจอร์การควอนติเซชัน

สุดท้าย ผู้เขียนประเมินว่าฟีเจอร์เหล่านี้ทนทานต่อการประมวลผลหลังการบีบอัด เช่น การบีบอัด JPEG อีกครั้งหรือการปรับขนาดภาพ

การประเมินความทนทานของฟีเจอร์การควอนติเซชันภายใต้การประมวลผลหลังการบีบอัด รวมถึงการบีบอัด JPEG (JPG) และการปรับขนาดภาพ (RS)

การประเมินความทนทานของฟีเจอร์การควอนติเซชันภายใต้การประมวลผลหลังการบีบอัด รวมถึงการบีบอัด JPEG (JPG) และการปรับขนาดภาพ (RS)

สรุป

ไม่มีการรับประกันว่า JPEG AI จะได้รับการยอมรับอย่างกว้างขวาง สิ่งหนึ่งที่ต้องคำนึงถึงคือมีหนี้โครงสร้างพื้นฐานที่มีอยู่แล้วซึ่งสามารถสร้างความต้านทานต่อโค้ดคิวภาพใหม่ใดๆ และแม้แต่โค้ดคิวภาพที่มีประวัติที่ดีและได้รับการยอมรับอย่างกว้างขวาง เช่น AV1 ก็ยังมีปัญหาในการแทนที่วิธีการที่มีอยู่

เกี่ยวกับศักยภาพในการชนกับเครื่องมือสร้างภาพสังเคราะห์ อาร์ติแฟคต์ของการควอนติเซชันที่ช่วยให้เครื่องมือสืบสวนปัจจุบันสามารถตรวจจับได้ อาจลดลงหรือแทนที่ด้วยรอยที่แตกต่างในระบบที่จะตามมา (โดยสมมติว่าเครื่องมือสร้างภาพสังเคราะห์จะทิ้งรอยสืบสวนไว้เสมอ ซึ่งไม่ใช่เรื่องที่แน่นอน)

ซึ่งหมายความว่าลักษณะการควอนติเซชันของ JPEG AI และอาจรวมถึงสัญญาณอื่นๆ ที่ระบุในเอกสารใหม่นี้ อาจไม่ชนกับเส้นทางสืบสวนของเครื่องมือสร้างภาพสังเคราะห์ที่มีประสิทธิภาพในอนาคต

หาก JPEG AI ยังคงทำงานเป็นการล้าง AIโดย事実ที่ทำให้ความแตกต่างระหว่างภาพจริงและภาพสังเคราะห์เบลอไปมาก จะยากที่จะให้เหตุผลในการใช้งาน

 

เผยแพร่ครั้งแรกวันอังคารที่ 8 เมษายน 2025

นักเขียนเกี่ยวกับเครื่องมือการเรียนรู้ของเครื่อง และผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์ อดีตหัวหน้าเนื้อหาวิจัยที่ Metaphysic.ai จนกระทั่งถูกยุบเข้ากับ Brahma.ai ของ DNEG
Portfolio site: martinanderson.ai
Contact: martin@martinanderson.ai