การปลอมแปลงที่เล็กกว่าอาจเป็นภัยคุกคามที่ใหญ่กว่า

ตอนนี้คุณเห็นเขา ตอนนี้เขาหายไปแล้ว การปลอมแปลงภาพในยุคสตาลินสามารถลบสมาชิกพรรคที่ไม่เป็นที่ชื่นชอบออกจากประวัติศาสตร์ Source: สาธารณสมบัติ ผ่าน https://www.rferl.org/a/soviet-airbrushing-the-censors-who-scratched-out-history/29361426.html

กระแสเหล่านี้ยังคงอยู่ในหลายวิธี ไม่ใช่แค่ทางวัฒนธรรม แต่ยังรวมถึงในด้านการมองเห็นของคอมพิวเตอร์ ซึ่งได้รับแนวคิดจากหัวข้อและรูปแบบที่โดดเด่นในเซตข้อมูลการฝึกอบรม ตัวอย่างเช่น การที่สมาร์ทโฟนลดข้อจำกัดในการเข้าถึงและลดต้นทุนการถ่ายภาพ ทำให้ภาพของสมาร์ทโฟนถูกเชื่อมโยงกับแนวคิดที่เป็นนามธรรมหลายอย่าง แม้ว่าจะไม่เหมาะสมก็ตาม

หากการปลอมแปลงแบบดั้งเดิมสามารถมองได้ว่าเป็นการ “โจมตี” การเปลี่ยนแปลงที่ชั่วร้ายและคงอยู่ยาวนานในสื่อภาพและวิดีโอนั้นคล้ายกับการ “หลอกลวง” การเปลี่ยนแปลงเหล่านี้สามารถหลบเลี่ยงการตรวจจับของระบบตรวจจับการปลอมแปลงที่มีอยู่ ซึ่งมักจะหันเหความสนใจไปที่การเปลี่ยนแปลงที่ชัดเจนกว่า การเปลี่ยนแปลงนี้คล้ายกับน้ำที่กัดเซาะหินมากกว่าการโยนหินไปที่หัว

MultiFakeVerse

นักวิจัยจากออสเตรเลียได้พยายามแก้ไขปัญหาการขาดความสนใจต่อการปลอมแปลงที่ “ละเอียด” โดยสร้างเซตข้อมูลใหม่ที่มีการเปลี่ยนแปลงภาพที่มุ่งเน้นไปที่คน โดยเปลี่ยนบริบท อารมณ์ และเรื่องราวโดยไม่เปลี่ยนเอกลักษณ์ของบุคคล:

[caption id="attachment_218825" align="alignnone" width="884"] ตัวอย่างจากคอลเลกชันใหม่ คู่ภาพจริงและปลอม โดยมีการเปลี่ยนแปลงที่ละเอียดอ่อนในบางกรณี Source: https://www.rferl.org/a/soviet-airbrushing-the-censors-who-scratched-out-history/29361426.html

ชุดข้อมูลที่เรียกว่า MultiFakeVerse ประกอบด้วย 845,826 ภาพที่สร้างขึ้นโดยใช้โมเดลภาษาและภาพ (VLMs) ซึ่งสามารถเข้าถึงได้ทางออนไลน์และดาวน์โหลดได้ ที่นี่ และ ด้วยสิทธิ์

ผู้เขียนระบุว่า:

‘วิธีการที่ขับเคลื่อนด้วย VLM นี้ช่วยให้สามารถเปลี่ยนแปลงเชิงсемันติกและรู้บริบท เช่น การเปลี่ยนแปลงการกระทำ สภาพแวดล้อม และการโต้ตอบระหว่างมนุษย์และวัตถุ แทนที่จะเปลี่ยนเอกลักษณ์หรือแก้ไขระดับต่ำในพื้นที่เฉพาะ’

‘การทดลองของเราแสดงให้เห็นว่าโมเดลตรวจจับการปลอมแปลงและผู้สังเกตการณ์คนจริงที่มีอยู่มีความยากในการตรวจจับการเปลี่ยนแปลงที่ละเอียดอ่อนแต่มีความหมาย’

นักวิจัยได้ทดสอบทั้งมนุษย์และโมเดลตรวจจับการปลอมแปลงที่นำมาใช้กับเซตข้อมูลใหม่นี้ เพื่อดูว่าพวกเขาสามารถระบุการเปลี่ยนแปลงที่ละเอียดอ่อนเหล่านี้ได้ดีเพียงใด

ผู้เข้าร่วมทดสอบมีความแม่นยำในการจำแนกภาพว่าเป็นภาพจริงหรือปลอมเพียง 62% และมีความยากลำบากในการระบุว่าส่วนใดของภาพถูกเปลี่ยนแปลง

โมเดลตรวจจับการปลอมแปลงที่มีอยู่ซึ่งได้รับการฝึกอบรมส่วนใหญ่จากเซตข้อมูลที่มีการเปลี่ยนแปลงใบหน้าหรือการเขียนทับภาพก็ไม่ทำงานได้ดีเช่นกัน โดยมักจะไม่สามารถตรวจจับการเปลี่ยนแปลงหรือไม่สามารถระบุได้ว่าส่วนใดของภาพถูกเปลี่ยนแปลง

หลังจากการ การปรับให้เหมาะสม บน MultiFakeVerse การตรวจจับยังคงต่ำ ซึ่งแสดงให้เห็นว่าระบบปัจจุบันจัดการกับการแก้ไขเชิงเรื่องราวที่ขับเคลื่อนด้วย VLM ได้ไม่ดี

งานวิจัยใหม่ ชิ้นนี้ มีชื่อเรื่องว่า Multiverse Through Deepfakes: The MultiFakeVerse Dataset of Person-Centric Visual and Conceptual Manipulations และมาจากนักวิจัยห้าคนจากมหาวิทยาลัย Monash ในเมลเบิร์น และมหาวิทยาลัย Curtin ในเพิร์ธ โค้ดและข้อมูลที่เกี่ยวข้องได้รับการเผยแพร่ ที่ GitHub นอกเหนือจาก Hugging Face ที่กล่าวถึงก่อนหน้านี้

วิธีการ

เซตข้อมูล MultiFakeVerse ถูกสร้างขึ้นจากชุดภาพจริงสี่ชุดที่มีคนในสถานการณ์ที่หลากหลาย: EMOTIC; PISC, PIPA, และ PIC 2.0. โดยเริ่มต้นจาก 86,952 ภาพจริง นักวิจัยได้สร้างภาพปลอม 758,041 ภาพ

เฟรมเวิร์ก Gemini-2.0-Flash และ ChatGPT-4o ถูกใช้เพื่อเสนอการแก้ไขขั้นต่ำหกแบบสำหรับแต่ละภาพ ซึ่งออกแบบมาเพื่อเปลี่ยนแปลงวิธีที่คนสำคัญที่สุดในภาพถูกมองเห็นโดยผู้ชม

โมเดลเหล่านี้ถูกสอนให้สร้างการเปลี่ยนแปลงที่จะทำให้เรื่องราวหรือสิ่งของในฉากเปลี่ยนแปลงไป โดยไม่ต้องเปลี่ยนเอกลักษณ์ของคนในภาพ

ผู้เขียนอธิบายว่า:

‘การเปลี่ยนแปลงเหล่านี้รวมถึงการเปลี่ยนแปลงการกระทำ สิ่งของ และพื้นหลัง เพื่อให้คนในภาพดูไม่เหมือนเดิม’

เมื่อการเปลี่ยนแปลงถูกกำหนดแล้ว การแก้ไขภาพจริงถูกดำเนินการโดยการให้โมเดลภาษาและภาพ (VLMs) ใช้การเปลี่ยนแปลงที่กำหนดไว้โดยไม่เปลี่ยนส่วนอื่นของภาพ

นักวิจัยทดสอบสามระบบสำหรับงานนี้: GPT-Image-1; Gemini-2.0-Flash-Image-Generation; และ ICEdit

หลังจากสร้างภาพตัวอย่าง 22,000 ภาพ Gemini-2.0-Flash เป็นตัวเลือกที่ดีที่สุดในการสร้างการเปลี่ยนแปลงที่ดูเป็นธรรมชาติและไม่มีข้อผิดพลาดที่ชัดเจน

การวิเคราะห์ภาพ

ภาพปลอมแต่ละภาพถูกเปรียบเทียบกับภาพจริงเพื่อกำหนดว่าภาพถูกเปลี่ยนแปลงไปมากน้อยเพียงใด การเปลี่ยนแปลงระดับพิกเซลระหว่างสองภาพถูกคำนวณ โดยการเปลี่ยนแปลงเล็กๆ น้อยๆ ถูกกรองออกเพื่อเน้นไปที่การเปลี่ยนแปลงที่มีความหมาย

ในการประเมินว่าการเปลี่ยนแปลงเหล่านี้ส่งผลต่อความหมายของภาพอย่างไร หัวข้อถูกสร้างขึ้นสำหรับภาพจริงและภาพปลอมโดยใช้โมเดลภาษาและภาพ ShareGPT-4V

หัวข้อเหล่านี้ถูกแปลงเป็น Long-CLIP เพื่อให้สามารถเปรียบเทียบว่าเนื้อหาของภาพเปลี่ยนแปลงไปมากน้อยเพียงใด

การเปลี่ยนแปลงเชิงсемันติกที่แข็งแกร่งที่สุดเกิดขึ้นในกรณีที่วัตถุใกล้กับหรือเกี่ยวข้องกับคนในภาพถูกเปลี่ยนแปลงไป

Gemini-2.0-Flash ถูกใช้เพื่อจัดประเภทการเปลี่ยนแปลงที่ทำกับแต่ละภาพตามที่และวิธีการที่การเปลี่ยนแปลงถูกทำ

การเปลี่ยนแปลงถูกแบ่งออกเป็นสามประเภท: การเปลี่ยนแปลงระดับบุคคล ซึ่งเกี่ยวข้องกับการเปลี่ยนแปลงน้ำเสียง การแสดงออก หรือลักษณะเฉพาะของคนในภาพ; การเปลี่ยนแปลงระดับวัตถุ ซึ่งส่งผลต่อวัตถุที่คนในภาพถือหรือโต้ตอบกัน; และการเปลี่ยนแปลงระดับฉาก ซึ่งเกี่ยวข้องกับพื้นหลังหรือส่วนอื่นๆ ของภาพที่ไม่เกี่ยวข้องโดยตรงกับคนในภาพ

การประเมินผลกระทบต่อการรับรู้

Gemini-2.0-Flash ถูกใช้เพื่อประเมินว่าการเปลี่ยนแปลงเหล่านี้ส่งผลต่อการรับรู้ของผู้ชมอย่างไร โดยประเมินในหกด้าน: อารมณ์, อัตลักษณ์ส่วนบุคคล, พลวัตของอำนาจ, เรื่องราวในฉาก, จุดประสงค์ของการเปลี่ยนแปลง, และข้อกังวลด้านจริยธรรม

สำหรับอารมณ์ การเปลี่ยนแปลงมักถูกอธิบายด้วยคำว่า ดีใจ มีส่วนร่วม หรือ น่าเข้าถึง ซึ่งบ่งบอกถึงการเปลี่ยนแปลงในอารมณ์ที่คนในภาพถูกมองเห็น

การเปลี่ยนแปลงในเรื่องราวหรือฉากบ่งบอกถึงการเปลี่ยนแปลงในเรื่องราวหรือการตั้งค่าที่คนในภาพถูกมองเห็น

คำอธิบายการเปลี่ยนแปลงของอัตลักษณ์รวมถึงคำว่า อ่อนเยาว์ เล่นๆ หรือ อ่อนแอ ซึ่งแสดงให้เห็นว่าการเปลี่ยนแปลงเล็กๆ น้อยๆ สามารถส่งผลต่อการรับรู้ของคนในภาพได้อย่างไร

จุดประสงค์ของการเปลี่ยนแปลงหลายอย่างถูกมองว่าเป็น การ说服 การหลอกลวง หรือ การตกแต่ง

[caption id="attachment_218827" align="alignnone" width="872"] Gemini-2.0-Flash ถูกใช้เพื่อประเมินว่าการเปลี่ยนแปลงเหล่านี้ส่งผลต่อการรับรู้ของผู้ชมอย่างไร