วิธีการใหม่ตรวจจับของปลอมได้ลึกด้วยความแม่นยำ 99%

ทีมนักวิทยาศาสตร์คอมพิวเตอร์ที่ UC Riverside ได้พัฒนาวิธีการใหม่ในการตรวจจับการแสดงสีหน้าที่เปลี่ยนไปในวิดีโอปลอม วิธีการนี้สามารถตรวจจับการแสดงออกเหล่านี้ได้ด้วยความแม่นยำสูงสุดถึง 99% ทำให้มีความแม่นยำมากกว่าวิธีการที่ทันสมัยในปัจจุบัน 

งานวิจัยฉบับใหม่ชื่อ “การตรวจจับและการแปลการแสดงออกทางสีหน้า” ถูกนำเสนอในการประชุมฤดูหนาวปี 2022 ว่าด้วยการประยุกต์ใช้คอมพิวเตอร์วิทัศน์ 

ตรวจจับการปรับแต่งใบหน้า

วิธีการนี้ยังได้รับการพิสูจน์ว่ามีความแม่นยำเทียบเท่ากับวิธีการปัจจุบัน ในกรณีที่มีการสลับตัวตนของใบหน้าแทนที่จะเป็นการแสดงออก ซึ่งหมายความว่าสามารถใช้วิธีการใหม่ในการตรวจจับการปรับแต่งใบหน้าได้ทุกประเภท และเป็นก้าวสำคัญสู่การพัฒนาเครื่องมืออัตโนมัติสำหรับการตรวจจับวิดีโอที่มีการปรับแต่ง 

การสลับใบหน้าของบุคคลหนึ่งกับอีกบุคคลหนึ่งหรือเปลี่ยนการแสดงออกดั้งเดิมไม่เคยง่ายอย่างนี้มาก่อน เนื่องจากความก้าวหน้าล่าสุดในซอฟต์แวร์ตัดต่อวิดีโอ การตรวจหาวิธีการดังกล่าวมีความสำคัญอย่างยิ่งเนื่องจากมีการใช้มากขึ้นในความขัดแย้งภายในประเทศและระหว่างประเทศต่างๆ ทั่วโลก จากที่กล่าวมา การระบุใบหน้าด้วยการแสดงออกที่สลับเท่านั้นจึงเป็นสิ่งที่ท้าทายอย่างยิ่ง 

Amit Roy-Chowdhury เป็นศาสตราจารย์ด้านวิศวกรรมไฟฟ้าและคอมพิวเตอร์ของวิทยาลัย Bourns เขายังเป็นผู้เขียนร่วมของการวิจัย 

“สิ่งที่ทำให้การวิจัยปลอมเชิงลึกมีความท้าทายมากขึ้นคือการแข่งขันระหว่างการสร้างและการตรวจจับและการป้องกันของปลอมปลอมซึ่งจะรุนแรงมากขึ้นในอนาคต ด้วยความก้าวหน้ามากขึ้นในแบบจำลองกำเนิด Deepfakes จะสามารถสังเคราะห์ได้ง่ายกว่าและแยกแยะจากของจริงได้ยากขึ้น” เขากล่าว 

ภาพ: UC Riverside

การตรวจจับการจัดการการแสดงออก (EMD) 

วิธีการใหม่นี้แบ่งงานออกเป็นสองส่วนภายในโครงข่ายประสาทเทียมเชิงลึก สาขาแรกแยกแยะการแสดงออกทางสีหน้าในขณะที่ให้ข้อมูลเกี่ยวกับภูมิภาคที่มีการแสดงออก บริเวณเหล่านี้อาจรวมถึงปาก ตา หน้าผาก และอื่นๆ ข้อมูลนี้ถูกป้อนเข้าสู่สาขาที่สอง ซึ่งเป็นสถาปัตยกรรมตัวเข้ารหัส-ตัวถอดรหัสที่รับผิดชอบในการตรวจจับการจัดการและการแปลเป็นภาษาท้องถิ่น 

ทีมงานตั้งชื่อเฟรมเวิร์กว่า Expression Manipulation Detection (EMD) และสามารถตรวจจับและแปลขอบเขตเฉพาะพื้นที่ที่มีการเปลี่ยนแปลงในรูปภาพได้

Ghazal Mazaheri เป็นนักศึกษาระดับปริญญาเอกและเป็นผู้นำของการวิจัย 

“การเรียนรู้แบบมัลติทาสก์สามารถใช้ประโยชน์จากคุณสมบัติเด่นที่เรียนรู้จากระบบการจดจำการแสดงสีหน้าเพื่อประโยชน์ในการฝึกอบรมระบบตรวจจับการจัดการแบบเดิม วิธีการดังกล่าวทำให้ได้ประสิทธิภาพที่น่าประทับใจในการตรวจจับการแสดงออกทางสีหน้า” Mazaheri กล่าว

นักวิจัยได้ทำการทดลองกับชุดข้อมูลการจัดการใบหน้าที่ท้าทายสองชุด และพวกเขาแสดงให้เห็นว่า EMD ทำงานได้ดีขึ้นกับการปรับเปลี่ยนการแสดงสีหน้าและการแลกเปลี่ยนตัวตน ตรวจจับวิดีโอที่ถูกดัดแปลงได้อย่างแม่นยำถึง 99%