ระบบตรวจจับสำหรับเฟรมเวิร์กสังเคราะห์ภาพแบบบริสุทธิ์ เช่น DALL-E 2

การวิจัยใหม่จากมหาวิทยาลัยแคลิฟอร์เนีย เบิร์กลีย์ เสนอวิธีการตรวจสอบว่าเอาต์พุตจากเฟรมเวิร์กสังเคราะห์ภาพรุ่นใหม่ เช่น DALL-E 2 ของ Open AI และ Imagen และ Parti ของ Google สามารถตรวจจับได้ว่าเป็น ‘ไม่แท้’ โดยการตรวจสอบเรื่องเรขาคณิต แสงเงา และการสะท้อนในภาพที่สังเคราะห์ขึ้น

การตรวจสอบภาพที่สร้างขึ้นจากข้อความใน DALL-E 2 นักวิจัยพบว่า แม้ว่าโครงสร้างจะมีความสมจริงที่น่าประทับใจ แต่ก็มีความไม่สอดคล้องกันที่เกิดขึ้นซ้ำๆ เกี่ยวกับการแสดงมุมมองโลก การสร้างและจัดวางเงา และโดยเฉพาะอย่างยิ่งเกี่ยวกับการแสดงวัตถุที่สะท้อน

เอกสารระบุว่า:

‘[โครงสร้าง] เรขาคณิต เงา และการสะท้อนในพื้นผิวกระจกไม่สอดคล้องกับเรขาคณิตมุมมองของฉากธรรมชาติ โครงสร้างและเงาโดยทั่วไปสอดคล้องกันในระดับท้องถิ่น แต่ไม่สอดคล้องกันในระดับโลก ‘

‘การสะท้อนในทางกลับกันมักจะแสดงออกมาไม่สมจริง โดยสันนิษฐานว่าเนื่องจากมีไม่มากนักในเซตข้อมูลการฝึกอบรม’

การขาดการเชื่อมต่อที่สอดคล้องกันระหว่างวัตถุที่แสดงและภาพสะท้อนของมันในปัจจุบันเป็นวิธีที่เชื่อถือได้ในการตรวจจับภาพ DALL-E 2 ตามการศึกษใหม่นี้

เอกสารนี้เป็นการเริ่มต้นการวิจัยในด้านการตรวจจับการสังเคราะห์ภาพ ซึ่งอาจกลายเป็นสาขาที่สำคัญในอนาคต

ตั้งแต่การเปิดตัว deepfakes ในปี 2017 การตรวจจับ deepfakes (โดยหลักๆ แล้วเป็นเอาต์พุตของ autoencoder จากแพ็คเกจ เช่น DeepFaceLab และ FaceSwap) ได้กลายเป็นสาขาวิชาที่มีการแข่งขันอย่างมาก โดยมีเอกสารและวิธีการต่างๆ ที่มุ่งเป้าไปที่การวิเคราะห์ ‘สัญญาณ’ ของการสร้างภาพที่สังเคราะห์ขึ้นในวิดีโอที่บันทึกจริง

อย่างไรก็ตาม จนกระทั่งการเกิดขึ้นของระบบสังเคราะห์ภาพที่มีขนาดใหญ่มากๆ เอาต์พุตจากระบบสังเคราะห์ภาพจากข้อความ เช่น CLIP ไม่ได้ถือเป็นภัยคุกคามต่อสถานะของ ‘ความสมจริงของภาพ’

ผู้เขียนเอกสารเชื่อว่า สิ่งนี้กำลังจะเปลี่ยนแปลง และแม้ว่าความไม่สอดคล้องกันที่พวกเขาได้ค้นพบในเอาต์พุตของ DALL-E 2 อาจไม่มีผลกระทบต่อศักยภาพของภาพที่สังเคราะห์ขึ้นในการหลอกลวงผู้ชม

ผู้เขียนระบุว่า:

‘[ความล้มเหลวเหล่านี้] อาจไม่สำคัญมากนักสำหรับระบบการมองเห็นของมนุษย์ ซึ่งพบว่าไม่ดีในการตัดสินเกี่ยวกับเรขาคณิต รวมถึงความไม่สอดคล้องกันในเรื่อง แสง, เงา, การสะท้อน, ตำแหน่งการมอง และ การบิดเบือนมุมมอง.’

ความน่าเชื่อถือที่หายไป

การตรวจสอบทางนิติเวชของ DALL-E 2 ของผู้เขียนเกี่ยวข้องกับการฉายภาพมุมมอง – วิธีการวางเส้นขอบของวัตถุและพื้นผิวที่ใกล้กันควรจะหดตัวลงไปที่ ‘จุดหายไป’ อย่างสม่ำเสมอ

ด้านซ้าย เส้นขนานในระนาบเดียวกันหดตัวลงไปที่จุดหายไปร่วมกัน ด้านขวา จุดหายไปหลายจุดในระนาบเดียวกันและขนานกันกำหนดเส้นหายไป (แสดงเป็นสีแดง)

ในการทดสอบความสอดคล้องของ DALL-E 2 ในด้านนี้ ผู้เขียนใช้ DALL-E 2 เพื่อสร้างภาพสังเคราะห์ 25 ภาพของห้องครัว – พื้นที่ที่คุ้นเคยซึ่งโดยทั่วไปจะถูกจำกัดให้แคบพอที่จะให้จุดหายไปหลายจุดสำหรับวัตถุและพื้นผิวต่างๆ

การตรวจสอบเอาต์พุตจากคำสั่ง ‘ภาพของห้องครัวที่มีพื้นกระเบื้อง’ ผู้วิจัยพบว่า แม้ว่าโดยทั่วไปจะมีการแสดงภาพที่น่าเชื่อถือในแต่ละกรณี (ยกเว้นอาร์ติแฟคที่เล็กและไม่เกี่ยวข้องกับมุมมอง) วัตถุที่แสดงไม่เคยหดตัวลงไปที่จุดหายไปอย่างถูกต้อง

ผู้เขียนสังเกตเห็นว่า แม้ว่าแต่ละชุดของเส้นขนานจากลวดลายกระเบื้องจะสอดคล้องกันและตัดกันที่จุดหายไปเดียว (สีน้ำเงินในภาพด้านล่าง) จุดหายไปของเคาน์เตอร์ (สีฟ้า) ไม่เห็นด้วยกับเส้นหายไป (สีแดง) และจุดหายไปที่ได้มาจากกระเบื้อง

ผู้เขียนสังเกตเห็นว่า แม้ว่าเคาน์เตอร์จะไม่ขนานกับกระเบื้อง จุดหายไปของสีฟ้าควรจะหดตัวลงไปที่เส้นหายไป (สีแดง) ที่กำหนดโดยจุดหายไปของกระเบื้อง

เอกสารระบุว่า:

‘แม้ว่ามุมมองในภาพเหล่านี้จะสอดคล้องกันในระดับท้องถิ่น แต่ก็ไม่สอดคล้องกันในระดับโลก รูปแบบเดียวกันนี้พบในภาพสังเคราะห์ 25 ภาพของห้องครัว’

การตรวจสอบเงา

เช่นเดียวกับการตรวจสอบเงา การตรวจสอบเงายังสามารถมีจุดหายไปได้ ซึ่งบ่งบอกถึงการฉายภาพจากแหล่งกำเนิดแสงเดียวหรือหลายแหล่ง

ในการทดลองนี้ ผู้วิจัยสร้างภาพสังเคราะห์ 25 ภาพจาก DALL-E 2 โดยใช้คำสั่ง ‘สามลูกบาศก์บนพื้นผิวถนนที่ถ่ายภาพในวันที่มีแดด’ และอีก 25 ภาพโดยใช้คำสั่ง ‘สามลูกบาศก์บนพื้นผิวถนนที่ถ่ายภาพในวันที่มีเมฆ’

แถวบนสุด ภาพที่สร้างขึ้นจากคำสั่ง ‘สามลูกบาศก์บนพื้นผิวถนนที่ถ่ายภาพในวันที่มีเมฆ’ แถวล่าง ภาพที่สร้างขึ้นจากคำสั่ง ‘สามลูกบาศก์บนพื้นผิวถนนที่ถ่ายภาพในวันที่มีแดด’

ผู้วิจัยสังเกตเห็นว่า เมื่อแสดงเงาในสถานการณ์ที่มีเมฆ DALL-E 2 สามารถแสดงเงาที่กระจายได้อย่างน่าเชื่อถือและสมจริง ซึ่งอาจเป็นเพราะว่าเงาในลักษณะนี้มักพบได้บ่อยในเซตข้อมูลการฝึกอบรม

อย่างไรก็ตาม ในบางกรณีของ ‘ภาพวันที่มีแดด’ ผู้เขียนพบว่าไม่สอดคล้องกับสถานการณ์ที่มีแหล่งกำเนิดแสงเดียว

สำหรับภาพด้านบน การสร้างภาพถูกแปลงเป็นภาพสีเทาเพื่อความชัดเจน และแสดงวัตถุแต่ละชิ้นมี ‘ดวงอาทิตย์’ ของมันเอง

แม้ว่าผู้ชมโดยเฉลี่ยอาจไม่สังเกตเห็นความไม่สอดคล้องกันเหล่านี้ แต่บางภาพที่สร้างขึ้นมีกรณีที่ชัดเจนของ ‘ความล้มเหลวของเงา’

การสะท้อนใน DALL-E 2

ผลลัพธ์ที่น่าผิดหวังที่สุดในการวิเคราะห์ทางนิติเวชเกิดขึ้นเมื่อผู้เขียนทดสอบความสามารถของ DALL-E 2 ในการสร้างพื้นผิวที่สะท้อนได้ ซึ่งเป็นการคำนวณที่ยากลำบากในอัลกอริทึมการเรนเดอร์แบบดั้งเดิม

สำหรับการทดลองนี้ ผู้เขียนสร้างภาพสังเคราะห์ 25 ภาพจาก DALL-E 2 โดยใช้คำสั่ง ‘ภาพของของเล่นไดโนเสาร์และการสะท้อนของมันในกระจกตู้’

ในกรณีทั้งหมด ผู้เขียนรายงานว่า ภาพสะท้อนของของเล่นไดโนเสาร์ที่แสดงไม่เชื่อมต่อกับของเล่นไดโนเสาร์ ‘จริง’ ในด้านมุมมองและทิศทาง

ดูเหมือนว่ามีตรรกะในบางข้อผิดพลาด – ตัวอย่างแรกและตัวอย่างที่สามในแถวบนสุดดูเหมือนจะแสดงของเล่นไดโนเสาร์ที่ ‘คัดลอก’ ได้ดี แต่ไม่สะท้อน

ผู้เขียนแสดงความคิดเห็นว่า:

‘ไม่เหมือนกับเงาและโครงสร้างเรขาคณิตในบทก่อนหน้า DALL·E-2 พยายามที่จะสังเคราะห์ภาพสะท้อนที่สมจริง แต่ดูเหมือนว่าจะเป็นเพราะว่าภาพสะท้อนเหล่านี้ไม่พบได้บ่อยในเซตข้อมูลการฝึกอบรม’

ข้อผิดพลาดเหล่านี้อาจถูกแก้ไขในแบบจำลองสังเคราะห์ภาพรุ่นต่อๆ ไปที่สามารถตรวจสอบตรรกะเชิงนามธรรมของเอาต์พุตได้อย่างมีประสิทธิภาพ และสามารถกำหนดกฎทางกายภาพที่เป็นนามธรรมให้กับฉากที่ประกอบขึ้นจากคุณลักษณะที่เกี่ยวข้องกับคำในพื้นที่ 潜ของระบบ

ในความเห็นของผู้เขียน:

‘[อาจเป็นเพียงเรื่องของเวลาก่อนที่เครื่องยนต์สังเคราะห์ภาพจากข้อความจะเรียนรู้ที่จะแสดงภาพที่มีมุมมองสม่ำเสมอ Until that time, however, geometric forensic analyses may prove useful in analyzing these images.’

* การแปลงอ้างอิงในบรรทัดของฉันให้เป็นลิงก์

เผยแพร่ครั้งแรกเมื่อวันที่ 30 มิถุนายน 2022