การแก้ไขวิดีโอคอลที่มีภาพเบลอในเวลาจริงโดยใช้เฉพาะ CPU

วิธีการใหม่สร้างแบบจำลอง AI ของใบหน้าในเวลาไม่ถึง 100 วินาที เพื่อแก้ไขวิดีโอคอลที่มีภาพเบลอในเวลาจริง โดยใช้ CPU พื้นฐานโดยไม่ต้องใช้ฮาร์ดแวร์ที่ทรงพลังหรือการประมวลผลบนคลาวด์

แม้ว่าผู้ใช้ในประเทศที่มีทรัพยากรจำกัดจะถูก ส่งผลกระทบ จากภาพวิดีโอคอลที่มีคุณภาพต่ำ แต่ก็เป็นปัญหา “โลกแรก” เช่นกัน ตัวอย่างเช่น หากผู้เข้าร่วมในการสนทนาใช้ฮอตสปอต Wi-Fi ที่มีการใช้งานมากเกินไป หรือมีกระบวนการหรือบุคคลอื่นในครัวเรือนของพวกเขาใช้แบนด์วิธที่มีอยู่มากเกินไป หรือแม้กระทั่งหากพวกเขาไปเยือนประเทศที่มีการเชื่อมต่อที่ไม่ดี

เนื่องจากปัญหานี้เป็นเรื่องธรรมดา จึงมีการให้ความสนใจอย่างมากในการวิจัย โดยมีการเสนอแนวทางแก้ไขผ่านการ deblocking, denoising, super-resolution และวิธีอื่นๆ ระบบ VQFR จากปี 2022 ซึ่งฟื้นฟูภาพใบหน้าที่เสื่อมสภาพโดยการแทนที่คุณลักษณะภาพที่มีคุณภาพต่ำด้วยการแสดงภาพที่มีคุณภาพสูงจากหนังสือรุ่นเรียนที่ได้รับการเรียนรู้; GFP-GAN จากปี 2021 ซึ่งใช้ข้อมูลก่อนหน้าใบหน้าแบบสร้างสรรค์เพื่อปรับปรุงภาพที่มีคุณภาพต่ำ; และ RTFVE: Realtime Face Video Enhancement ซึ่งใช้ภาพอ้างอิงที่มีคุณภาพสูงเพื่อทำการฟื้นฟูใบหน้า:

คลิกเพื่อเล่นตามความจำเป็น จากโครงการ RTFVE เพื่อปรับปรุงใบหน้าในปี 2025 การปรับปรุงใบหน้าโดยใช้ GPU แหล่งที่มา

จากมุมมองของผู้ใช้ที่มีทรัพยากรจำกัด วิธีแก้ปัญหาส่วนใหญ่ไม่เหมาะสม เนื่องจากพวกเขาใช้ GPU ที่อาจไม่มีอยู่ในระบบของผู้ใช้ อย่างไรก็ตาม การใช้ CPU สำหรับการประมวลผลภาพโดยทั่วไปเป็นกระบวนการออฟไลน์ ซึ่งหมายความว่าผู้ใช้ต้องรอจนกว่า CPU จะเสร็จสิ้นการประมวลผลก่อนที่จะสามารถใช้ผลลัพธ์ได้

สิ่งนี้ไม่สามารถยอมรับได้สำหรับสถานการณ์วิดีโอคอล ซึ่งใช้ทรัพยากรมาก แต่ก็มักจะขาดทรัพยากรด้วย: ระบบการปรับปรุงใบหน้าที่แท้จริงจะต้องทำงานบน CPU ที่ความเร็วไม่ต่ำกว่า 24fps ที่ความละเอียดที่เหมาะสม และสิ่งนี้เป็นเรื่องที่ยากมากที่จะทำได้

การเผชิญหน้า

สถานการณ์ที่ท้าทายนี้ได้รับการตอบสนองจากผลงานวิจัยใหม่จากสหรัฐฯ ซึ่งสามารถฝึกฝนแบบจำลองได้ภายในเวลาไม่ถึง 100 วินาทีจากเฟรมที่มีจำนวนไม่มากนักของใบหน้าผู้ดู โดยมีแบบจำลองสุดท้ายทำงานเป็นชั้นกลางระหว่างผู้ใช้และการประชุมผ่าน API อย่างเป็นทางการในแอปพลิเคชันวิดีโอคอล เช่น Zoom:

คลิกเพื่อเล่นตามความจำเป็น จากหน้าโครงการ FSFVE ตัวอย่างการปรับปรุงใบหน้าในสถานการณ์เว็บแคม โดยใช้แบบจำลองที่มีขนาดเล็ก (3.5MB) ที่ฝึกฝนได้ภายในเวลาไม่ถึงสองนาที แหล่งที่มา

ในเอกสารระบุว่า:

‘แบบจำลอง FSFVE สามารถฝึกฝนได้ไม่ว่าจะก่อนหรือหลังวิดีโอคอล โดยต้องการเพียงภาพที่มีคุณภาพสูงของหัวข้อไม่มากนัก เช่น 5 ถึง 30 ภาพ ซึ่งเป็นการเรียนรู้ที่มีจำนวนเฟรมน้อย

‘ก่อนหรือหลังวิดีโอคอล สามารถบันทึกวิดีโอที่มีคุณภาพสูงของผู้ใช้ได้ภายในเวลาไม่ถึง 3 วินาที โดยให้ 3∗24=72 เฟรม โดยสมมติว่าความเร็วเฟรมคือ 24 เฟรมต่อวินาที (FPS)

คุณลักษณะที่น่าสังเกตของระบบใหม่นี้คือความยืดหยุ่นในการเลือกว่าใครจะ “จ่าย” สำหรับการประมวลผลแบบจำลอง หากผู้ดูไม่สามารถให้พลัง CPU สำหรับการฝึกฝนได้ สามารถส่งเฟรมที่มีคุณภาพสูงจำนวนไม่มากนักไปยังผู้สนทนา โดยที่แบบจำลองจะฝึกฝน “ระยะไกล” ไปยังผู้ใช้ที่ขาดทรัพยากร

หรือการฝึกฝนสามารถส่งไปยังเซิร์ฟเวอร์สำหรับการฝึกฝนได้ ผู้เขียนสังเกตเห็นว่า:

‘เซิร์ฟเวอร์สามารถใช้ได้สำหรับกรณีที่อุปกรณ์ส่งและรับไม่เร็วพอที่จะฝึกฝน (หรือแม้กระทั่งหากไม่เช่นนั้น เพื่อช่วยให้พวกเขาไม่ต้องทำภารกิจนั้น)

‘ในกรณีใดๆ ขนาดของแบบจำลองค่อนข้างเล็ก (ประมาณ 3.5 MB) เช่นเดียวกับเฟรมที่มีคุณภาพสูงจำนวนไม่มากนัก และเมื่อการฝึกฝนเสร็จสิ้น แบบจำลองสามารถทำงานในเวลาจริงบน CPU ของแล็ปท็อปทั่วไป’

ในการทดสอบ โดยมีการเปรียบเทียบระบบกับวิดีโอที่บีบอัดแบบดั้งเดิม; ResNet ที่มีน้ำหนักเบา ซึ่งถูกกำหนดค่าสำหรับการอนุมาน CPU ในเวลาจริง; และ RTFVE; ซึ่งเป็นระบบการปรับปรุงใบหน้า CPU ในเวลาจริงเพียงระบบเดียวที่ทราบ

เพื่อให้แน่ใจว่าการเปรียบเทียบเป็นไปอย่างยุติธรรม RTFVE ถูกดัดแปลงให้ลบการขึ้นอยู่กับภาพอ้างอิงที่มีคุณภาพสูงระหว่างการอนุมาน ในขณะเดียวกันก็รักษาความเร็วและจำนวนพารามิเตอร์ที่คล้ายกัน โดยผลิตส่วนแยกที่เรียกว่า RTFVE-0

วิธีการ

FSFVE ถูกฝึกฝนบนชุดข้อมูล FaceForensics++ ที่เปิดกว้าง* ซึ่งประกอบด้วยวิดีโอ 363 วิดีโอ 1080p ของนักแสดงพูด ซึ่งผู้เขียนได้แยกหมวดหมู่ “พูดกับกำแพง” ออกมา เนื่องจากเป็นรูปแบบที่ใกล้เคียงกับวิดีโอคอลทั่วไป:

คลิกเพื่อเล่นตามความจำเป็น ตัวอย่างจากชุดข้อมูล FaceForensics++ แหล่งที่มา 

ชุดข้อมูลนี้ประกอบด้วยวิดีโอ 27 วิดีโอ โดยมีเฟรมประมาณ 972 เฟรมต่อวิดีโอ ส่วนใหญ่เป็นมุมมองด้านหน้า แต่ก็มีมุมมองด้านข้างด้วย

เพื่อสร้างวิดีโอที่มีคุณภาพต่ำที่ออกแบบมาเพื่อจำลองปัญหาเชื่อมต่อวิดีโอคอล ผู้เขียนได้บีบอัดชุดข้อมูลโดยใช้โค้ดคิว H264 และ H265 ระดับการบีบอัดถูกตั้งค่าเป็นช่วง CRF 36, 40 และ 44 (โดยพิจารณาว่า 0 คือการบีบอัดที่ไม่สูญเสียและ 51 คือการบีบอัดที่มีบล็อกมาก)

เฟรมแต่ละเฟรมถูกตัดออกเป็นบริเวณ 256 × 256 รอบใบหน้าโดยใช้ ตัวตรวจจับใบหน้า BlazeFace หลังจากนั้นจุดสำคัญของใบหน้าถูกใช้ในการจัดแนวใบหน้าโดยการหาตำแหน่งของดวงตาและใช้ การแปลงพิกัดเชิงเส้น (ซึ่งหมุน, ขยายและเลื่อนใบหน้าเข้าสู่ตำแหน่งที่สอดคล้องกัน) เพื่อให้ดวงตายังคงอยู่ในระดับเดียวกันและอยู่ในตำแหน่งที่ใกล้เคียงกันในเฟรมทั้งหมด

สิ่งนี้ได้รับการดำเนินการโดยใช้ ไลบรารีการจดจำใบหน้า:

ตัวอย่างการค้นหาเส้นรอบวงใบหน้าจากภาพโดยใช้ไลบรารีการจดจำใบหน้า Python แหล่งที่มา

เนื่องจากแบบจำลองได้รับการออกแบบมาเพื่อเรียนรู้จากเฟรมไม่มากนักจากวิดีโอคอลเดียว การเลือกเฟรมที่จะใช้ในการฝึกฝนจึงต้องครอบคลุมการเปลี่ยนแปลงของใบหน้าให้มากที่สุด ดังนั้น การแบ่งกลุ่ม k-means จึงถูกนำมาใช้แทนการวิธีการเลือกเฟรมที่ง่ายกว่า (เช่น การสุ่มเลือกหรือช่วงเวลาที่ตายตัว)

เฟรมที่ถูกตัดและจัดแนวแต่ละเฟรมถูกส่งผ่านตัวเข้ารหัสใบหน้า RTFVE เพื่อสร้างการแทนค่าเชิงตัวเลข จากนั้นการแบ่งกลุ่ม k-means จัดกลุ่มเฟรมที่คล้ายกันเข้าด้วยกัน 30 กลุ่ม การแบ่งกลุ่มนี้ถูกทำซ้ำ 5 ครั้งเพื่อให้ได้กลุ่มที่ดีที่สุด และเฟรมที่ใกล้กับศูนย์กลางของแต่ละกลุ่มถูกเลือกสำหรับการฝึกฝน

การฝึกฝนและการทดสอบ

แบบจำลองถูกฝึกฝนเป็นเวลา 100 รอบการฝึก ซึ่งถือว่าน้อยเมื่อเทียบกับจำนวนภาพที่ใช้ในการฝึกฝน อย่างไรก็ตาม ผู้เขียนสังเกตเห็นว่าแบบจำลองที่ มีการฝึกฝนมากเกินไป จริงๆ แล้วเป็นแบบจำลองที่ ต้องการ ในสถานการณ์นี้ แม้ว่าจะไม่สามารถจับเหตุการณ์ที่ไม่ธรรมดา เช่น น้ำเสียงที่ไม่ธรรมดา การวางท่า หรือการซ่อนหรือบิดเบือนลักษณะใบหน้าได้ แต่จุดมุ่งหมายคือความยืดหยุ่นในการ ทั่วไป และความเร็วในการฝึกฝน

ตัวเพิ่มประสิทธิภาพ RAdam ถูกใช้ที่อัตราการเรียนรู้ 10^-4

ในการทดสอบเบื้องต้น ระบบถูกเปรียบเทียบกับวิดีโอที่บีบอัดแบบดั้งเดิม; ResNet ที่มีน้ำหนักเบาและได้รับการปรับให้เหมาะสมสำหรับการอนุมาน CPU ในเวลาจริง; และ RTFVE; ซึ่งเป็นระบบการปรับปรุงใบหน้า CPU ในเวลาจริงเพียงระบบเดียวที่ทราบ

การทดสอบเชิงปริมาณ

ทั้ง ความแม่นยำในการกู้คืนเชิงเทคนิค (การบิดเบือน) และ คุณภาพภาพที่รับรู้ ถูกวัดในการทดสอบ การบิดเบือนถูกวัดโดย อัตราส่วนสัญญาณต่อเสียงรบกวน (PSNR) และ ดัชนีความคล้ายคลึงกันเชิงโครงสร้าง (SSIM); และคุณภาพที่รับรู้โดย ความคล้ายคลึงกันของภาพที่เรียนรู้ (LPIPS):

ประสิทธิภาพของ FSFVE เมื่อเทียบกับวิดีโอที่บีบอัดแบบดั้งเดิม; ResNet ที่มีน้ำหนักเบา; และ RTFVE-0 ที่ระดับการบียบอัดต่างๆ โดยมี PSNR และ SSIM ที่สูงกว่าแสดงถึงคุณภาพการกู้คืนภาพที่ดีกว่า และ LPIPS ที่ต่ำกว่าแสดงถึงคุณภาพภาพที่ดีกว่า

FSFVE มีประสิทธิภาพเหนือกว่าวิดีโอที่บีบอัดแบบดั้งเดิม; ResNet ที่มีน้ำหนักเบา; และ RTFVE-0 ในทุกๆ ระดับการบีบอัด

การทดสอบเชิงคุณภาพ

ในผลลัพธ์ด้านล่าง ในระยะทดสอบเชิงคุณภาพ เราจะเห็นวิดีโอที่บีบอัดมากที่สุด H.264 ที่ CRF 44 พร้อมกับผลลัพธ์ของ FSFVE:

การเปรียบเทียบวิดีโอที่บีบอัดมากที่สุด H.264 ที่ CRF 44 พร้อมกับผลลัพธ์ของ FSFVE

ผู้เขียนยืนยันว่าภาพที่บีบอัดมีआर์ติแฟคต์อย่างเห็นได้ชัดรอบดวงตา จมูก และปาก พร้อมด้วยผิวที่มีข้อบกพร่องและบิดเบือนของลักษณะใบหน้า ในขณะที่ผลลัพธ์ที่ได้รับการปรับปรุงลดข้อบกพร่องเหล่านี้อย่างมาก:

สรุป

ดูเหมือนว่าจะไม่สามารถหลีกเลี่ยงได้ว่าความพยายามอย่างต่อเนื่องเหล่านี้ทั่วทั้งอุตสาหกรรมและวิชาการในการเพิ่มคุณภาพของวิดีโอคอลที่มีสัญญาณต่ำจะมาถึงจุดขัดแย้งกับความพยายามที่ตรงกันข้ามในการ ระบุวิดีโอคอลที่ปลอม

เนื่องจากระบบเช่น FSFVE สามารถใช้กับวิดีโอคอลได้โดยใช้ API อย่างเป็นทางการ ดังนั้นจึงเป็นไปได้ว่าเนื้อหาที่ไม่ได้ประมวลผลจะยังคงมีอยู่เพื่อใช้ในการต่อต้านวิดีโอคอลที่ปลอมเมื่อถึงเวลานั้น – และ มีความสำคัญมากขึ้น

* เรียกว่า ‘ชุดข้อมูล DeepFakeDetector’ ในเอกสารใหม่ แต่ไม่ได้รู้จักในชื่อนี้ แม้กระทั่งในเอกสาร FaceForensics++ ที่ผู้เขียนเชื่อมโยงไปในเรื่องนี้

เผยแพร่ครั้งแรกวันอังคารที่ 14 กรกฎาคม 2026