การตรวจจับวิดีโอการประชุมปลอมโดยใช้ฟังก์ชัน ‘สั่น’ ของสมาร์ทโฟน

การวิจัยใหม่จากสิงคโปร์เสนอวิธีการตรวจจับว่าใครบางคนในอีกด้านหนึ่งของเครื่องมือการประชุมวิดีโอด้วยสมาร์ทโฟนกำลังใช้วิธีการ เช่น DeepFaceLive เพื่อปลอมตัวเป็นคนอื่น

ชื่อ SFake วิธีการใหม่นี้ละทิ้งวิธีการแบบพาสซีฟที่ระบบส่วนใหญ่ใช้ และทำให้โทรศัพท์ของผู้ใช้ สั่น (โดยใช้กลไก ‘สั่น’ ที่เหมือนกัน ทั่วไป ในสมาร์ทโฟน) และเบลอหน้าเล็กน้อย

แม้ว่าระบบการปลอมตัวแบบเรียลไทม์สามารถจำลองการเบลอการเคลื่อนไหวได้ แต่ถ้าภาพเบลอถูกรวมเข้ากับข้อมูลการฝึกอบรมหรืออย่างน้อยในข้อมูลการฝึกอบรมก่อนหน้านี้ ระบบเหล่านี้ไม่สามารถตอบสนองได้อย่างรวดเร็วพอที่จะเบลอของชนิดนี้ และยังคงผลิตส่วนของหน้าที่ไม่เบลอออกมา ทำให้การปลอมตัวในระหว่างการประชุมวิดีโอคอนเฟอเรนซ์เปิดเผย

DeepFaceLive ไม่สามารถตอบสนองได้อย่างรวดเร็วเพียงพอที่จะจำลองการเบลอที่เกิดจากการสั่นของกล้อง Source: https://arxiv.org/pdf/2409.10889v1

ผลการทดสอบบนชุดข้อมูลที่นักวิจัยสร้างขึ้นเอง (เนื่องจากไม่มีชุดข้อมูลที่มีการสั่นกล้องแบบใช้งาน) พบว่า SFake มีประสิทธิภาพมากกว่าวิธีการตรวจจับการปลอมตัววิดีโอบางส่วน แม้จะเผชิญกับสภาพแวดล้อมที่ท้าทาย เช่น การเคลื่อนไหวของมือที่เกิดขึ้นเมื่อผู้อื่นในระหว่างการประชุมวิดีโอคอนเฟอเรนซ์ถือกล้องด้วยมือแทนการใช้ขาตั้งโทรศัพท์

ความต้องการที่เพิ่มขึ้นในการตรวจจับการปลอมตัววิดีโอ

การวิจัยเกี่ยวกับการตรวจจับการปลอมตัววิดีโอเพิ่มขึ้นเมื่อเร็วๆ นี้ ในช่วงหลายปีที่ผ่านมา มีการปล้นเงินจากธนาคารโดยใช้การปลอมตัวเสียง deepfake ในช่วงต้นปีนี้ ผู้ทำงานในด้านการเงินถูก หลอกลวง ให้โอนเงิน 25 ล้านเหรียญสหรัฐฯ ให้กับคนหลอกลวงที่ปลอมตัวเป็น CFO ในการประชุมวิดีโอคอนเฟอเรนซ์ที่ปลอมตัว

แม้ว่าระบบประเภทนี้ต้องการการเข้าถึงฮาร์ดแวร์ที่สูง แต่ผู้ใช้สมาร์ทโฟนหลายคนคุ้นเคยกับการบริการยืนยันตัวตนและการยืนยันทางการเงินแล้ว

ดังนั้น จึงมีความเป็นไปได้ที่วิธีการเหล่านี้จะถูกบังคับใช้มากขึ้นสำหรับระบบการประชุมวิดีโอคอนเฟอเรนซ์ เนื่องจากอาชญากรรมประเภทนี้ยังคงสร้างความสนใจ

วิธีแก้ปัญหาส่วนใหญ่ที่แก้ไขการปลอมตัววิดีโอแบบเรียลไทม์สมมติว่าสถานการณ์ที่คงที่ โดยที่ผู้สื่อสารใช้เว็บแคมแบบคงที่ และไม่มีการเคลื่อนไหวหรือการเปลี่ยนแปลงสภาพแวดล้อมหรือแสงมากเกินไป การโทรด้วยสมาร์ทโฟนไม่มีสถานการณ์ที่ ‘คงที่’ เช่นนั้น

แทน SFake ใช้วิธีการตรวจจับหลายวิธีเพื่อชดเชยจำนวนรูปแบบการมองเห็นที่มากในระหว่างการประชุมวิดีโอคอนเฟอเรนซ์แบบมือถือ และดูเหมือนว่าจะเป็นโครงการวิจัยแรกที่แก้ไขปัญหาด้วยการใช้อุปกรณ์สั่นมาตรฐานที่ติดตั้งในสมาร์ทโฟน

เอกสาร วิจัย มีชื่อเรื่อง Shaking the Fake: Detecting Deepfake Videos in Real Time via Active Probes และมาจากนักวิจัยสองคนจาก Nanyang Technological University ในสิงคโปร์

วิธีการ

SFake ได้รับการออกแบบให้เป็นบริการแบบคลาวด์ โดยที่แอปพลิเคชันจะส่งข้อมูลไปยังบริการ API จากระยะไกลเพื่อประมวลผล และส่งผลลัพธ์กลับมา

อย่างไรก็ตาม ขนาด 450mb และวิธีการที่ได้รับการปรับให้เหมาะสมทำให้สามารถประมวลผลการตรวจจับการปลอมตัวได้ทั้งหมดบนอุปกรณ์เอง ในกรณีที่การเชื่อมต่อเครือข่ายอาจทำให้ภาพที่ส่งไปถูกบีบอัดมากเกินไป ซึ่งจะส่งผลต่อกระบวนการวินิจฉัย

การทำงาน ‘ทั้งหมดในท้องถิ่น’ ในลักษณะนี้หมายความว่าระบบจะมีการเข้าถึงสตรีมกล้องของผู้ใช้โดยตรง โดยไม่มีการรบกวนจาก โค้ดค ที่มักเกี่ยวข้องกับการประชุมวิดีโอคอนเฟอเรนซ์

เวลาในการวิเคราะห์โดยเฉลี่ยต้องใช้ตัวอย่างวิดีโอ 4 วินาที ในช่วงเวลานั้น ผู้ใช้ถูกขอให้อยู่นิ่ง และ SFake ส่ง ‘การตรวจสอบ’ เพื่อทำให้เกิดการสั่นของกล้องที่ช่วงเวลาที่เลือกแบบสุ่ม ซึ่งระบบ เช่น DeepFaceLive ไม่สามารถตอบสนองได้ทันเวลา

(ควรเน้นย้ำอีกครั้งว่าผู้โจมตีที่ไม่ได้รวมเนื้อหาที่เบลอไว้ในชุดข้อมูลการฝึกอบรมไม่น่าจะสามารถสร้างแบบจำลองที่สามารถสร้างการเบลอได้ แม้ภายใต้สภาพแวดล้อมที่ดีกว่าก็ตาม และ DeepFaceLive ไม่สามารถเพิ่มฟังก์ชันนี้ลงในแบบจำลองที่ฝึกอบรมจากชุดข้อมูลที่ไม่ได้รับการดูแลอย่างเหมาะสม)

ระบบเลือกพื้นที่บางส่วนของใบหน้าเป็นพื้นที่ที่อาจมีการปลอมตัว โดยไม่รวมดวงตาและคิ้ว (เนื่องจากการกระพริบและความเคลื่อนไหวของใบหน้าในบริเวณนั้นอยู่นอกขอบเขตของการตรวจจับการเบลอ และไม่ใช่ตัวบ่งชี้ที่เหมาะสม)

สเคมาทางคอนเซปต์สำหรับ SFake.

ตามที่เราจะเห็นได้จากสเคมาทางคอนเซปต์ข้างต้น หลังจากเลือกรูปแบบการสั่นที่เหมาะสมและไม่คาดเดาได้ การตั้งค่าระยะโฟกัสที่ดีที่สุด และการทำการรู้จำใบหน้า (รวมถึงการตรวจจับด้วย Dlib ซึ่งประมาณการ 68 จุดสำคัญของใบหน้า) SFake จะอนุมานการเปลี่ยนแปลงจากใบหน้าและเน้นไปที่พื้นที่ที่เลือกของการเปลี่ยนแปลงเหล่านั้น

ลำดับของค่าความแปรผันจะได้มาจากการวิเคราะห์เฟรมแต่ละเฟรมในคลิปสั้นๆ ที่กำลังศึกษาอยู่ จนกว่าจะได้ลำดับ ‘อุดมคติ’ และที่เหลือจะถูกทิ้ง

สิ่งนี้ให้คุณลักษณะที่สามารถใช้เป็นตัวชี้วัดสำหรับความน่าจะเป็นของเนื้อหาที่ปลอมตัวได้ โดยอาศัยฐานข้อมูลที่ฝึกอบรม (ซึ่งจะกล่าวถึงในขณะนี้)

ระบบต้องการความละเอียดของภาพ 1920×1080 พิกเซล เช่นเดียวกับความต้องการซูมเลนส์อย่างน้อย 2 เท่า Paper หมายเหตุว่าความละเอียดดังกล่าว (และความละเอียดที่สูงกว่า) ได้รับการสนับสนุนใน Microsoft Teams, Skype, Zoom และ Tencent Meeting

สมาร์ทโฟนส่วนใหญ่มีกล้องหน้าและกล้องหลัง และมักจะมีกล้องเพียงกล้องเดียวที่มีความสามารถซูมที่ SFake ต้องการ ดังนั้นแอปพลิเคชันจึงต้องการให้ผู้สื่อสารใช้กล้องใดกล้องหนึ่งที่ตรงตามข้อกำหนดเหล่านี้

วัตถุประสงค์ที่นี่คือการได้ สัดส่วน ที่ถูกต้องของใบหน้าผู้ใช้เข้าสู่สตรีมวิดีโอที่ระบบจะวิเคราะห์ Paper สังเกตว่าระยะทางเฉลี่ยที่ผู้หญิงใช้อุปกรณ์มือถือคือ 34.7 ซม. และสำหรับผู้ชายคือ 38.2 ซม. (ตามที่ รายงาน ใน Journal of Optometry) และ SFake ทำงานได้ดีที่ระยะทางเหล่านี้

เนื่องจากการ稳ดภาพเป็นปัญหาในการถือกล้องด้วยมือ และการเบลอที่เกิดจากการสั่นของมือเป็นอุปสรรคต่อการทำงานของ SFake นักวิจัยจึงลองวิธีการชดเชยหลายวิธี วิธีที่ประสบความสำเร็จที่สุดคือการคำนวณจุดศูนย์กลางของจุดสำคัญที่ประมาณการและใช้เป็น ‘锚’ – โดยพื้นฐานแล้วเป็นเทคนิคการ稳ดภาพแบบอัลกอริทึม ด้วยวิธีนี้ สามารถได้ความแม่นยำ 92%

ข้อมูลและการทดสอบ

เนื่องจากไม่มีชุดข้อมูลที่เหมาะสมสำหรับวัตถุประสงค์นี้ นักวิจัยจึงสร้างชุดข้อมูลของตนเอง:

‘[เรา] ใช้สมาร์ทโฟน 8 ยี่ห้อที่แตกต่างกันเพื่อบันทึกผู้เข้าร่วม 15 คนซึ่งมีเพศและอายุที่หลากหลาย เพื่อสร้างชุดข้อมูลของเราเอง เราวางสมาร์ทโฟนไว้บนโฮลเดอร์โทรศัพท์ 20 ซม. ห่างจากผู้เข้าร่วมและซูมเข้าไปที่ใบหน้าของผู้เข้าร่วมเพื่อครอบคลุมคุณลักษณะทั้งหมดของใบหน้าในขณะสั่นสมาร์ทโฟนในลักษณะต่างๆ

‘สำหรับโทรศัพท์ที่กล้องหน้าไม่สามารถซูมได้ เราใช้กล้องหลังเป็นตัวแทน เราบันทึกวิดีโอยาว 150 คลิป แต่ละคลิปมีความยาว 20 วินาที โดยคาดว่าช่วงเวลาการตรวจจับจะใช้เวลา 4 วินาที เราตัดคลิป 4 วินาทีจากวิดีโอยาวคลิปหนึ่งโดยสุ่มเวลาเริ่มต้น ดังนั้นเราจึงได้คลิปที่แท้จริง 1500 คลิป แต่ละคลิปมีความยาว 4 วินาที’

แม้ว่า DeepFaceLive (ลิงก์ GitHub) เป็นเป้าหมายหลักของการศึกษา เนื่องจากเป็นระบบการปลอมตัวแบบเรียลไทม์ที่เปิดเผยต่อสาธารณะมากที่สุด นักวิจัยได้รวมวิธีการอื่นๆ อีกสี่วิธีเพื่อฝึกโมเดลการตรวจจับพื้นฐาน: Hififace; FS-GANV2; RemakerAI; และ MobileFaceSwap – สุดท้ายเป็นตัวเลือกที่เหมาะสมมาก โดยเฉพาะอย่างยิ่งเมื่อพิจารณาสภาพแวดล้อมเป้าหมาย

วิดีโอปลอม 1500 คลิปถูกใช้ในการฝึกอบรมพร้อมกับวิดีโอที่แท้จริงและไม่เปลี่ยนแปลงจำนวนเท่ากัน

SFake ถูกทดสอบกับคลาสสิฟายเออร์ต่างๆ รวมถึง SBI; FaceAF; CnnDetect; LRNet; DefakeHop variants; และบริการตรวจจับการปลอมตัววิดีโอออนไลน์ฟรี Deepaware สำหรับวิธีการปลอมตัวแต่ละวิธี วิดีโอปลอม 1500 คลิปและวิดีโอที่แท้จริง 1500 คลิปถูกใช้ในการฝึกอบรม

สำหรับคลาสสิฟายเออร์พื้นฐาน การใช้ เครือข่ายประสาทเทียม แบบสองชั้นพร้อมฟังก์ชัน การกระจายย้อนกลับ แบบ ReLU ถูกใช้ วิดีโอที่แท้จริง 1000 คลิปและวิดีโอปลอม 1000 คลิปถูกเลือกแบบสุ่ม (แม้ว่าวิดีโอปลอมจะถูกสร้างโดย DeepFaceLive)

พื้นที่ใต้เส้นโค้งรับ-ส่งสัญญาณ (AUC/AUROC) และความแม่นยำ (ACC) ถูกใช้เป็นมาตรการ

สำหรับการฝึกอบรมและการอนุมาน การใช้ NVIDIA RTX 3060 และการทดสอบที่ทำงานภายใต้ Ubuntu วิดีโอทดสอบถูกบันทึกด้วย Xiaomi Redmi 10x, Xiaomi Redmi K50, OPPO Find x6, Huawei Nova9, Xiaomi 14 Ultra, Honor 20, Google Pixel 6a และ Huawei P60

เพื่อให้สอดคล้องกับวิธีการตรวจจับที่มีอยู่ การทดสอบถูกนำไปใช้ใน PyTorch ผลการทดสอบหลักแสดงอยู่ในตารางด้านล่าง:

ผลลัพธ์สำหรับ SFake เทียบกับวิธีการอื่นๆ

ที่นี่ ผู้เขียนแสดงความคิดเห็นว่า:

‘ในกรณีทั้งหมด ความแม่นยำในการตรวจจับของ SFake มีมากกว่า 95% ในบรรดาอัลกอริทึมการปลอมตัว 5 แบบ ยกเว้น Hififace SFake มีประสิทธิภาพดีกว่าวิธีการตรวจจับการปลอมตัวอื่นๆ เมื่อเทียบกับอัลกอริทึมการปลอมตัวอื่นๆ เมื่อใช้คลาสสิฟายเออร์ที่ฝึกอบรมโดยใช้ภาพปลอมที่สร้างโดย DeepFaceLive เราได้อัตราความแม่นยำสูงสุดที่ 98.8% เมื่อตรวจจับการปลอมตัวของ DeepFaceLive ‘

‘เมื่อเผชิญกับใบหน้าที่ปลอมโดย RemakerAI วิธีการตรวจจับการปลอมตัวอื่นๆ มีประสิทธิภาพต่ำ เราสันนิษฐานว่านี่อาจเป็นเพราะการบีบอัดวิดีโอที่เกิดขึ้นเมื่อดาวน์โหลดจากอินเทอร์เน็ต ซึ่งทำให้สูญเสียรายละเอียดของภาพและลดความแม่นยำในการตรวจจับ อย่างไรก็ตาม สิ่งนี้ไม่ส่งผลต่อการตรวจจับของ SFake ซึ่งสามารถตรวจจับการปลอมตัวของ RemakerAI ได้ด้วยความแม่นยำ 96.8%’

ผู้เขียนสังเกตเพิ่มเติมว่า SFake เป็นระบบที่มีประสิทธิภาพมากที่สุดในสถานการณ์ที่มีการซูม 2 เท่า เนื่องจากสิ่งนี้ทำให้การเคลื่อนไหวเพิ่มขึ้น และเป็นสถานการณ์ที่ท้าทายมาก แม้ในสภาพแวดล้อมนี้ SFake ก็สามารถบรรลุความแม่นยำในการรู้จำ 84% และ 83% ตามลำดับสำหรับปัจจัยการขยาย 2.5 และ 3

สรุป

โครงการที่ใช้ความอ่อนแอของระบบการปลอมตัวแบบเรียลไทม์มาใช้เองเป็นการนำเสนอที่น่าสนใจในรอบปีที่การตรวจจับการปลอมตัวถูกครอบงำโดยเอกสารที่เพียงแต่สร้างความก้าวหน้าในแนวทางเก่าๆ (ซึ่งไม่ได้รับการคุ้มครองจากนวัตกรรมในการปลอมตัว)

เมื่อปลายปี 2022 ระบบอื่นใช้ การเปลี่ยนแปลงความสว่างของจอแสดงผล เป็นตัวตรวจจับ และในปีเดียวกัน การแสดงให้เห็นของฉันเองเกี่ยวกับความไม่สามารถของ DeepFaceLive ในการรับมือกับมุมมอง 90 องศาที่ยากได้รับความสนใจจากชุมชน

DeepFaceLive เป็นเป้าหมายที่ถูกต้องสำหรับโครงการดังกล่าว เนื่องจากเป็นจุดสนใจของความสนใจทางอาญาในเรื่องการปลอมตัวในการประชุมวิดีโอคอนเฟอเรนซ์

อย่างไรก็ตาม ฉันเพิ่งเห็นหลักฐานเชิงอ้างอิงบางอย่างที่แสดงว่าระบบ LivePortrait ซึ่งขณะนี้เป็นที่นิยมในุมชน VFX จัดการมุมมองได้ดีกว่า DeepFaceLive มาก; มันจะน่าสนใจหากสามารถรวมเข้ามาใน nghiên cứuได้

เผยแพร่ครั้งแรกวันอังคารที่ 24 กันยายน 2024