มุมมองของ Anderson
การตรวจจับดีปเฟกก้าวสู่แนวทางใหม่: โมเดลดิฟฟิวชันแฝงและ GAN

ประเด็นสำคัญงานวิจัยการตรวจจับดีพเฟกเปลี่ยนโฟกัสไปที่โมเดลการแพร่กระจายแฝง เช่น Stable Diffusion…
ดูเพิ่มเติม
- งานวิจัยการตรวจจับดีพเฟกเปลี่ยนโฟกัสไปที่โมเดลการแพร่กระจายแฝง เช่น Stable Diffusion และ DALL-E 2
- Blade Runner นำเสนอตัวตรวจจับ GAN แบบเสียบแล้วใช้งานได้ โดยใช้รูปแบบจุดเด่นบนใบหน้า สำหรับองค์กรที่มีทรัพยากรจำกัด
- DE-FAKE มีเป้าหมายในการตรวจจับและระบุที่มาของภาพจากโมเดลการแพร่กระจายข้อความเป็นภาพอย่างเป็นสากล โดยใช้ CLIP embeddings
ความคิดเห็น
ช่วงหลังมานี้ ชุมชนนักวิจัยด้านการตรวจจับดีปเฟก ซึ่งตั้งแต่ปลายปี 2017 แทบจะมุ่งศึกษาเฉพาะกรอบการทำงานที่ใช้ ออโตเอนโคเดอร์ ซึ่งเปิดตัวในเวลานั้นจนสร้างทั้งความตื่นตะลึงและความตกใจแก่สาธารณชน เริ่มหันมาสนใจเชิงนิติวิทยาศาสตร์ต่อสถาปัตยกรรมที่พัฒนาเคลื่อนไหวมากกว่าเดิม ได้แก่โมเดลดิฟฟิวชันแฝง เช่น DALL-E 2 และ Stable Diffusion รวมทั้งภาพที่สร้างโดยเครือข่ายปฏิปักษ์เชิงกำเนิด (GAN) ตัวอย่างเช่น ในเดือนมิถุนายน UC Berkeley เผยแพร่ผลการวิจัยเกี่ยวกับการพัฒนาตัวตรวจจับภาพจาก DALL-E 2 ซึ่งเป็นระบบชั้นนำในขณะนั้น
สิ่งที่น่าจะผลักดันความสนใจนี้คือความก้าวหน้าอย่างฉับพลันด้านความสามารถและการเข้าถึงโมเดลดิฟฟิวชันแฝงในปี 2022 เริ่มจากการเปิดตัว DALL-E 2 แบบปิดซอร์สและจำกัดการเข้าถึงในฤดูใบไม้ผลิ ตามด้วยการเปิดซอร์ส Stable Diffusion โดย stability.ai ซึ่งสร้างความฮือฮาในช่วงปลายฤดูร้อน
GAN ก็ได้รับการศึกษามานานในบริบทนี้ แม้จะไม่เข้มข้นเท่า เพราะยากมากที่จะใช้สร้างวิดีโอจำลองบุคคลที่ซับซ้อนและน่าเชื่อถือ อย่างน้อยเมื่อเทียบกับชุดออโตเอนโคเดอร์ที่ใช้งานมานานอย่าง FaceSwap และ DeepFaceLab ตลอดจน DeepFaceLive ซึ่งเป็นระบบเครือญาติของตัวหลังสำหรับสตรีมสด
ภาพเคลื่อนไหว
ไม่ว่าในกรณีใด ปัจจัยกระตุ้นดูเหมือนจะเป็นโอกาสที่จะเกิดการพัฒนาอย่างรวดเร็วระลอกใหม่ของการสังเคราะห์วิดีโอ ต้นเดือนตุลาคม ซึ่งตรงกับฤดูการประชุมใหญ่ของปี 2022 มีโซลูชันใหม่ที่ไม่คาดคิดหลั่งไหลเข้ามาแก้ปัญหาการสังเคราะห์วิดีโอที่ค้างคามานาน Facebook เพิ่งเผยตัวอย่างแพลตฟอร์มข้อความสู่วิดีโอของตนได้ไม่นาน Google Research ก็กลบกระแสชื่นชมแรกนั้นด้วยการประกาศสถาปัตยกรรม Imagen-to-Video T2V ซึ่งสร้างวิดีโอความละเอียดสูงได้ แม้ต้องใช้เครือข่ายเพิ่มความละเอียดถึงเจ็ดชั้นก็ตาม
หากเชื่อว่าเรื่องทำนองนี้มักมาเป็นชุดสาม ลองพิจารณาคำมั่นอันชวนสงสัยของ stability.ai ที่ว่า “วิดีโอกำลังจะมา” สู่ Stable Diffusion ซึ่งดูเหมือนจะเป็นช่วงปลายปีนี้ ขณะที่ Runway ผู้ร่วมพัฒนา Stable Diffusion ก็ให้คำมั่นคล้ายกัน แม้ยังไม่ชัดว่าหมายถึงระบบเดียวกันหรือไม่ ข้อความบน Discord ของ Emad Mostaque ซีอีโอ Stability ยังสัญญาถึง “เสียง วิดีโอ [และ] 3 มิติ” ด้วย
เมื่อมีกรอบการสร้างเสียงใหม่หลายตัวปรากฏอย่างไม่คาดคิด บางตัวใช้ดิฟฟิวชันแฝง รวมถึงโมเดลดิฟฟิวชันใหม่ที่สร้างการเคลื่อนไหวของตัวละครอย่างสมจริงได้ แนวคิดที่ว่าระบบ “ภาพนิ่ง” อย่าง GAN และดิฟฟิวชันจะเข้ามาเป็นองค์ประกอบเสริมของกรอบแอนิเมชันภายนอกจึงเริ่มได้รับความสนใจอย่างจริงจัง
กล่าวโดยสรุป โลกของวิดีโอดีปเฟกแบบออโตเอนโคเดอร์ที่มีข้อจำกัดและแทนที่ได้อย่างมีประสิทธิภาพเพียงบริเวณกลางใบหน้า อาจถูกเทคโนโลยีดีปเฟกแบบดิฟฟิวชันรุ่นใหม่บดบังในช่วงเวลานี้ของปีหน้า เทคโนโลยีแบบเปิดซอร์สที่แพร่หลายเหล่านี้มีศักยภาพที่จะปลอมอย่างสมจริงได้ทั้งร่างกายและทั้งฉาก
อาจเพราะเหตุนี้ นักวิจัยต่อต้านดีปเฟกจึงเริ่มให้ความสำคัญกับการสังเคราะห์ภาพ และตระหนักว่ามันทำได้มากกว่าการสร้างรูปโปรไฟล์ LinkedIn ปลอม หากพื้นที่แฝงที่จัดการได้ยากเหล่านั้นทำได้เพียงเป็นตัวเรนเดอร์พื้นผิวที่ดีมากในแง่การเคลื่อนไหวตามเวลา ก็อาจเพียงพอแล้ว
Blade Runner
งานวิจัยล่าสุดสองฉบับที่ศึกษาการตรวจจับดีปเฟกจากดิฟฟิวชันแฝงและ GAN ตามลำดับ ได้แก่ DE-FAKE: การตรวจจับและระบุแหล่งกำเนิดภาพปลอมที่สร้างโดยโมเดลดิฟฟิวชันข้อความสู่ภาพ ซึ่งเป็นความร่วมมือระหว่าง CISPA Helmholtz Center for Information Security กับ Salesforce (CRM ) และ BLADERUNNER: มาตรการตอบโต้เร่งด่วนต่อใบหน้า StyleGAN สังเคราะห์ที่สร้างโดย AI โดย Adam Dorian Wong แห่งห้องปฏิบัติการ Lincoln ของ MIT
ก่อนอธิบายวิธีใหม่ งานวิจัยฉบับหลังได้ทบทวนวิธีเดิมในการพิจารณาว่าภาพสร้างโดย GAN หรือไม่ โดยศึกษาตระกูล StyleGAN ของ NVIDIA โดยเฉพาะ
วิธี “Brady Bunch” ซึ่งอาจเป็นการอ้างอิงที่ไม่สื่อความหมายสำหรับผู้ที่ไม่ได้ดูโทรทัศน์ในทศวรรษ 1970 หรือพลาดภาพยนตร์ดัดแปลงในทศวรรษ 1990 ตรวจจับเนื้อหาปลอมจาก GAN โดยดูตำแหน่งคงที่ที่ส่วนต่างๆ ของใบหน้ามักปรากฏ เนื่องจากกระบวนการสร้างมีลักษณะซ้ำและเป็นแบบแผน

วิธี Brady Bunch ที่นำเสนอในเว็บแคสต์ของสถาบัน SANS ปี 2022: ระบบสร้างใบหน้าแบบ GAN วางลักษณะใบหน้าบางอย่างในตำแหน่งที่สม่ำเสมอผิดธรรมชาติ ซึ่งอาจเปิดเผยแหล่งกำเนิดของภาพในบางกรณี แหล่งที่มา: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf
อีกสัญญาณหนึ่งคือ StyleGAN มักสร้างหลายใบหน้าในภาพเดียวได้ไม่ดีเมื่อจำเป็น ดังภาพแรกด้านล่าง จัดองค์ประกอบเครื่องประดับไม่สอดคล้องกันดังภาพกลาง และมักใช้แนวไรผมเป็นจุดเริ่มต้นของหมวกที่ดูด้นสดดังภาพที่สาม

วิธีที่สามที่นักวิจัยกล่าวถึงคือการซ้อนภาพถ่าย ซึ่งมีตัวอย่างในบทความเดือนสิงหาคมของเราเกี่ยวกับการใช้ AI ช่วยวินิจฉัยความผิดปกติทางสุขภาพจิต วิธีนี้ใช้ซอฟต์แวร์ผสานภาพ เช่น ชุด CombineZ เพื่อรวมหลายภาพเป็นภาพเดียว ซึ่งมักเปิดเผยโครงสร้างร่วมกันที่อาจบ่งชี้ว่าภาพถูกสังเคราะห์

สถาปัตยกรรมในงานวิจัยใหม่มีชื่อว่า Blade Runner ซึ่งอาจขัดกับคำแนะนำด้าน SEO โดยอ้างอิงการทดสอบ Voight-Kampff ที่ใช้ตัดสินว่าตัวละครฝ่ายตรงข้ามในภาพยนตร์วิทยาศาสตร์ชุดนี้เป็น “ของปลอม” หรือไม่
กระบวนการประกอบด้วยสองขั้นตอน ขั้นแรกคือเครื่องมือวิเคราะห์ PapersPlease ซึ่งประเมินข้อมูลที่เก็บจากเว็บไซต์ใบหน้า GAN ที่รู้จัก เช่น thispersondoesnotexist.com หรือ generated.photos

แม้จะตรวจสอบโค้ดฉบับลดรูปได้บน GitHub ตามที่กล่าวถึงด้านล่าง แต่รายละเอียดของโมดูลนี้มีน้อย นอกจากการใช้ OpenCV และ DLIB เพื่อระบุขอบเขตและตรวจหาใบหน้าในข้อมูลที่รวบรวม
โมดูลที่สองคือตัวตรวจจับ AmongUs ซึ่งค้นหาการวางดวงตาในตำแหน่งที่สอดคล้องกันในภาพ ลักษณะนี้ปรากฏซ้ำในใบหน้าที่ StyleGAN สร้าง ตามตัวอย่าง Brady Bunch ข้างต้น AmongUs ใช้ตัวตรวจจับจุดสังเกตใบหน้ามาตรฐาน 68 จุด

การกำหนดจุดบนใบหน้าโดย Intelligent Behaviour Understanding Group (IBUG) ซึ่งโค้ดระบุตำแหน่งจุดสังเกตใบหน้าถูกใช้ในชุด Blade Runner
AmongUs อาศัยจุดสังเกตที่ฝึกล่วงหน้าจากพิกัด Brady Bunch ของ PapersPlease และมีไว้ใช้กับตัวอย่างใบหน้า StyleGAN ที่เผยแพร่อยู่บนเว็บ
ผู้เขียนเสนอว่า Blade Runner เป็นโซลูชันแบบพร้อมใช้งานสำหรับบริษัทหรือองค์กรที่ไม่มีทรัพยากรพัฒนาตัวตรวจจับดีปเฟกลักษณะนี้เอง และเป็น “มาตรการชั่วคราวเพื่อซื้อเวลารอวิธีตอบโต้ที่ถาวรกว่า”
ในความเป็นจริง ภาคความปลอดภัยที่เปลี่ยนแปลงและเติบโตเร็วเช่นนี้ยังไม่มีโซลูชันคลาวด์แบบสั่งทำหรือสำเร็จรูปมากนักที่บริษัททรัพยากรจำกัดจะพึ่งพาได้อย่างมั่นใจ
แม้ Blade Runner จะทำงานได้ไม่ดีต่อภาพบุคคล StyleGAN ที่สวมแว่นตา แต่นี่เป็นปัญหาที่พบบ่อยในระบบคล้ายกันซึ่งใช้ขอบดวงตาเป็นจุดอ้างอิงสำคัญ เพราะแว่นตาบังบริเวณดังกล่าว
Blade Runner ฉบับลดรูปถูกเผยแพร่เป็นโอเพนซอร์สบน GitHub แล้ว ยังมีรุ่นปิดซอร์สที่มีคุณสมบัติมากกว่าและประมวลผลหลายภาพได้ แทนที่จะทำได้เพียงภาพเดียวต่อครั้งเหมือนรุ่นเปิดซอร์ส ผู้เขียนระบุว่าตั้งใจยกระดับรุ่น GitHub ให้เทียบเท่ากันเมื่อมีเวลา และยอมรับว่า StyleGAN น่าจะพัฒนาเลยจุดอ่อนที่รู้จักในปัจจุบัน ซอฟต์แวร์จึงต้องพัฒนาควบคู่กันไป
DE-FAKE
DE-FAKE ไม่ได้มุ่งเพียงการตรวจจับภาพจากโมเดลดิฟฟิวชันข้อความสู่ภาพแบบ “ครอบคลุมทุกระบบ” แต่ยังระบุด้วยว่าโมเดลดิฟฟิวชันแฝง (LD) ตัวใดเป็นผู้สร้างภาพ

กรอบตรวจจับแบบครอบคลุมของ DE-FAKE จัดการภาพในระบบ กรอบแบบผสมสีเขียว และภาพจากโลกภายนอกสีฟ้า แหล่งที่มา: http://export.arxiv.org/pdf/2210.06998
กล่าวตามตรง ขณะนี้งานนี้ค่อนข้างง่าย เพราะโมเดล LD ยอดนิยมทุกตัว ไม่ว่าจะปิดซอร์สหรือเปิดซอร์ส ต่างมีลักษณะเฉพาะที่สังเกตได้ชัด
นอกจากนี้ หลายโมเดลยังมีจุดอ่อนร่วมกัน เช่น มีแนวโน้มตัดศีรษะออกจากภาพ เนื่องจากวิธีการโดยพลการที่นำภาพจากเว็บซึ่งไม่ใช่สี่เหลี่ยมจัตุรัสเข้าสู่ชุดข้อมูลมหาศาลที่ใช้กับ DALL-E 2, Stable Diffusion และ MidJourney

โมเดลดิฟฟิวชันแฝงต้องการข้อมูลนำเข้าแบบสี่เหลี่ยมจัตุรัสเช่นเดียวกับโมเดลคอมพิวเตอร์วิทัศน์อื่น แต่การรวบรวมข้อมูลเว็บสำหรับ LAION5B ไม่มีคุณสมบัติเสริม เช่น การตรวจหาและโฟกัสใบหน้าหรือสิ่งอื่น จึงตัดภาพอย่างรุนแรงแทนการเติมขอบ ซึ่งจะช่วยรักษาภาพต้นฉบับทั้งภาพไว้ด้วยความละเอียดที่ลดลง เมื่อเรียนรู้การตัดภาพเหล่านี้แล้ว โมเดลจะถือเป็นเรื่องปกติและแสดงผลเช่นนี้บ่อยครั้งในระบบดิฟฟิวชันอย่าง Stable Diffusion แหล่งที่มา: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac and Stable Diffusion.
DE-FAKE มีเป้าหมายให้ไม่ขึ้นกับอัลกอริทึม ซึ่งเป็นสิ่งที่นักวิจัยต่อต้านดีปเฟกแบบออโตเอนโคเดอร์ต้องการมานาน และขณะนี้เป็นไปได้ค่อนข้างมากสำหรับระบบ LD
สถาปัตยกรรมนี้ใช้ไลบรารีพหุรูปแบบ Contrastive Language-Image Pretraining หรือ CLIP ของ OpenAI ซึ่งเป็นองค์ประกอบสำคัญใน Stable Diffusion และกำลังกลายเป็นหัวใจของระบบสังเคราะห์ภาพและวิดีโอระลอกใหม่ เพื่อสกัดเวกเตอร์ฝังตัวจากภาพ LD ปลอมและฝึกตัวจำแนกตามรูปแบบและประเภทที่พบ
ในสถานการณ์แบบกล่องดำที่ข้อมูลส่วน PNG เกี่ยวกับกระบวนการสร้างถูกลบไปแล้วจากการอัปโหลดหรือสาเหตุอื่น นักวิจัยใช้กรอบ BLIP ของ Salesforce ซึ่งเป็นส่วนหนึ่งของ Stable Diffusion อย่างน้อยหนึ่งชุดแจกจ่าย เพื่ออนุมานโครงสร้างความหมายที่น่าจะเป็นของคำสั่งสร้างภาพโดยไม่มีข้อมูลล่วงหน้า

นักวิจัยใช้ Stable Diffusion, Latent Diffusion ซึ่งเป็นผลิตภัณฑ์แยกต่างหาก, GLIDE และ DALL-E 2 สร้างชุดข้อมูลฝึกและทดสอบโดยอาศัย MSCOCO และ Flickr30k
ปกติเราจะพิจารณาผลทดลองของกรอบใหม่อย่างละเอียด แต่ผลของ DE-FAKE น่าจะมีประโยชน์ในฐานะเกณฑ์อ้างอิงสำหรับรุ่นถัดไปและโครงการคล้ายกัน มากกว่าจะเป็นมาตรวัดความสำเร็จที่มีนัยสำคัญ เนื่องจากสภาพแวดล้อมเปลี่ยนแปลงรวดเร็ว และระบบคู่เปรียบเทียบในงานวิจัยเก่าเกือบสามปี นับตั้งแต่การสังเคราะห์ภาพยังอยู่ในช่วงเริ่มต้น

สองภาพซ้ายสุด: ระบบเดิมจากปี 2019 ให้ผลด้อยกว่า DE-FAKE ในสองภาพขวาสุดตามที่คาดไว้ สำหรับระบบ LD ทั้งสี่ที่ทดสอบ
ผลของทีมเป็นบวกอย่างมากด้วยเหตุผลสองประการ ประการแรก มีงานก่อนหน้าให้เปรียบเทียบน้อย และไม่มีงานใดให้การเปรียบเทียบที่ยุติธรรมได้ กล่าวคือ ครอบคลุมช่วงเวลาเพียงสิบสองสัปดาห์นับจาก Stable Diffusion เปิดซอร์ส
ประการที่สอง แม้การสังเคราะห์ภาพ LD จะพัฒนาแบบก้าวกระโดด แต่ภาพจากระบบปัจจุบันก็เหมือนมีลายน้ำในตัวจากข้อบกพร่องและลักษณะเฉพาะเชิงโครงสร้างที่คาดเดาได้ ในกรณี Stable Diffusion อย่างน้อย หลายข้ออาจแก้ไขได้ด้วยการเปิดตัวเช็กพอยต์ 1.5 ที่ทำงานดีขึ้น ซึ่งคือโมเดลที่ฝึกแล้วขนาด 4 GB ที่ขับเคลื่อนระบบ
ขณะเดียวกัน Stability ระบุว่ามีแผนที่ชัดเจนสำหรับ V2 และ V3 แล้ว เมื่อพิจารณาเหตุการณ์ที่เป็นข่าวใหญ่ในสามเดือนที่ผ่านมา ความเฉื่อยชาของ OpenAI และคู่แข่งด้านการสังเคราะห์ภาพก็น่าจะหมดไป จึงคาดได้ว่าจะเห็นความก้าวหน้ารวดเร็วเช่นกันในกลุ่มระบบปิดซอร์ส
เผยแพร่ครั้งแรกเมื่อ 14 ตุลาคม 2022












