แก้ภาพวิดีโอคอลเบลอแบบเรียลไทม์ด้วย CPU เพียงอย่างเดียว

วิธีใหม่สร้างโมเดล AI ของใบหน้าคุณภายในไม่กี่วินาที เพื่อแก้ภาพวิดีโอคอลเบลอแบบเรียลไทม์ โดยทำงานทั้งหมดบน CPU ของแล็ปท็อปทั่วไป ไม่ต้องใช้ฮาร์ดแวร์ทรงพลังหรือประมวลผลบนคลาวด์

แม้ผู้ใช้ในประเทศที่มีทรัพยากรจำกัดจะได้รับผลกระทบมากที่สุดจากภาพวิดีโอแชตคุณภาพต่ำ แต่นี่ก็มักเป็นปัญหาในประเทศพัฒนาแล้วเช่นกัน เช่น ผู้ร่วมสนทนาคนหนึ่งใช้ฮอตสปอต Wi-Fi ที่รับภาระหนัก กระบวนการหรือคนอื่นในบ้านใช้แบนด์วิดท์ส่วนใหญ่ หรือเจ้าตัวกำลังเยือนประเทศที่การเชื่อมต่อไม่ดี

เนื่องจากปัญหานี้พบได้ทั่วไป งานวิจัยจึงให้ความสนใจพอสมควร โดยเสนอวิธีลดบล็อก ลดสัญญาณรบกวน เพิ่มความละเอียด และวิธีอื่นๆ ระบบ VQFR ปี 2022 ฟื้นภาพใบหน้าเสื่อมคุณภาพด้วยการแทนคุณลักษณะภาพคุณภาพต่ำด้วยตัวแทนคุณภาพสูงจาก codebook ที่เรียนรู้ไว้ GFP-GAN ปี 2021 ใช้ prior ของใบหน้าเชิงกำเนิดเพื่อปรับภาพคุณภาพต่ำ ส่วน RTFVE: Realtime Face Video Enhancement ใช้ภาพอ้างอิงคุณภาพสูงเพื่อฟื้นฟูใบหน้า:

คลิกเพื่อเล่นตามต้องการ จากโครงการ RTFVE ปี 2025 แสดงการปรับใบหน้าด้วย GPU แหล่งที่มา

ในมุมผู้ใช้ทรัพยากรจำกัด วิธีส่วนใหญ่ใช้ไม่ได้ เพราะโยนงานไปยัง GPU ที่อาจไม่มีอยู่ในระบบ ขณะที่การใช้ CPU ซึ่งมีความสามารถน้อยกว่ามากทำงาน computer vision มักเป็นกระบวนการออฟไลน์ หมายความว่าต้องรอ CPU ประมวลผลเสร็จจึงจะได้ผลลัพธ์

สถานการณ์วิดีโอแชตยอมรับสิ่งนี้ไม่ได้ เพราะทั้งกินทรัพยากรและมักขาดทรัพยากร ระบบปรับใบหน้าที่เข้าถึงได้จริงต้องทำงานบน CPU อย่างน้อย 24 เฟรมต่อวินาทีที่ความละเอียดสมเหตุสมผล ซึ่งเป็นข้อเรียกร้องสูงมาก

เผชิญหน้ากับปัญหา

งานวิจัยใหม่จากสหรัฐฯ ตอบโจทย์นี้ ผู้เขียนระบุว่าสามารถฝึกโมเดลภายในไม่ถึง 100 วินาทีจากเฟรมใบหน้าของผู้ชมเพียงไม่กี่เฟรม แล้วให้โมเดลทำงานเป็นชั้นคั่นระหว่างผู้ใช้กับการประชุม ผ่าน API ทางการของแอปวิดีโอคอนเฟอเรนซ์อย่าง Zoom:

คลิกเพื่อเล่นตามต้องการ จากหน้าโครงการ FSFVE แสดงการปรับปรุงใบหน้าในสถานการณ์เว็บแคมด้วยโมเดลเบา 3.5MB ซึ่งฝึกภายในไม่ถึงสองนาที แหล่งที่มา

งานวิจัยระบุว่า:

“โมเดล FSFVE ฝึกได้ก่อนวิดีโอคอลหรือช่วงเริ่มสาย ต้องการภาพคุณภาพสูงของบุคคลเพียง 5 ถึง 30 ภาพ จึงเป็น few-shot learning ก่อนหรือช่วงเริ่มสายสามารถบันทึกวิดีโอคุณภาพสูงไม่กี่วินาที เช่น 3 วินาทีจะได้ 3×24=72 เฟรมที่ 24 FPS”

“วิดีโอคุณภาพสูงนี้เข้ารหัสใหม่เป็นวิดีโอคุณภาพต่ำอย่างรวดเร็วตามการตั้งค่าการโทร แล้วใช้เฟรมคุณภาพต่ำและสูงฝึกโมเดล”

คุณลักษณะเด่นคือความยืดหยุ่นว่าใคร “จ่าย” ต้นทุนประมวลผล หากผู้ชมให้กำลัง CPU สำหรับการฝึกไม่ได้ งานอาจส่งไปยังคู่สนทนาด้วยการส่งเฟรมคุณภาพสูงจำนวนเล็กน้อย แล้วฝึกโมเดลแบบ “ระยะไกล” สำหรับผู้ใช้ที่ขาดทรัพยากร

อีกทางหนึ่งอาจส่งการฝึกไปยังเซิร์ฟเวอร์อย่างเป็นระบบ ผู้เขียนสังเกตว่า:

“ใช้เซิร์ฟเวอร์ได้เมื่ออุปกรณ์ส่งและรับช้าเกินไปสำหรับการฝึก หรือแม้ไม่ช้าก็ใช้เพื่อลดภาระ”

“ไม่ว่ากรณีใด โมเดลมีขนาดค่อนข้างเล็ก ราว 3.5MB เช่นเดียวกับเฟรมคุณภาพสูงไม่กี่เฟรม และเมื่อฝึกเสร็จ โมเดลทำงานแบบเรียลไทม์บน CPU แล็ปท็อปทั่วไปได้”

ในการทดสอบกับ baseline และงานก่อนหน้า รวม RTFVE ที่เป็นฐานของงานใหม่นี้ FSFVE ทำได้ดีกว่าวิดีโอบีบอัดที่ไม่ปรับปรุง ResNet ที่เหมาะสำหรับ CPU และ RTFVE-0 ที่ดัดแปลงอย่างสม่ำเสมอ ขณะยังทำงานแบบเรียลไทม์บน CPU

งานวิจัยใหม่ชื่อ FSFVE: Few Shot Compressed Face Video Enhancement พร้อมเดโมและคลัง GitHub

วิธีการ

FSFVE ฝึกบนชุดข้อมูล FaceForensics++ แบบเปิด* ซึ่งมีวิดีโอ 1080p ของนักแสดงพูด 363 คลิป ผู้เขียนเลือกหมวดพูดหน้ากำแพงเพราะใกล้เคียงวิดีโอคอลทั่วไปที่สุด:

คลิกเพื่อเล่นตามต้องการ ตัวอย่างจากชุดข้อมูล FaceForensics++ แหล่งที่มา

ชุดย่อยนี้มี 27 วิดีโอ คลิปละราว 972 เฟรม ส่วนใหญ่เป็นมุมหน้า แต่จำเป็นต้องมีมุมด้านข้างบ้าง

เพื่อสร้างวิดีโอคุณภาพต่ำเลียนแบบปัญหาการเชื่อมต่อ ผู้เขียนบีบอัดชุดข้อมูลด้วยตัวเข้ารหัสวิดีโอ H264 และ H265 ตั้งระดับ CRF ที่ 36, 40 และ 44 โดยศูนย์หมายถึงไม่สูญเสียข้อมูล และ 51 เป็นภาพแตกเป็นบล็อกอย่างมาก

แต่ละเฟรมถูกครอปเป็นพื้นที่ 256×256 รอบใบหน้าด้วยตัวตรวจจับใบหน้า BlazeFace จากนั้นใช้จุดสำคัญใบหน้าจัดแนวโดยหาตำแหน่งดวงตาและใช้ affine warp ซึ่งหมุน ปรับขนาด และเลื่อนใบหน้าไปยังตำแหน่งสม่ำเสมอ ให้ดวงตาอยู่ระดับและตำแหน่งใกล้กันทุกเฟรม

ขั้นตอนนี้ใช้ไลบรารี Face Recognition:

ตัวอย่างการดึงจุดโครงหน้าออกจากภาพด้วยไลบรารี Face Recognition ของ Python แหล่งที่มา

เพราะโมเดลออกแบบให้เรียนจากเฟรมไม่กี่เฟรมของวิดีโอคอลเดียว เฟรมฝึกต้องครอบคลุมความหลากหลายของใบหน้าให้มากที่สุด จึงใช้การจัดกลุ่ม k-meansแทนวิธีเลือกง่ายๆ เช่นการสุ่มตัวอย่างหรือช่วงคงที่

เฟรมที่ครอปและจัดแนวแล้วผ่านตัวเข้ารหัสใบหน้า RTFVE เพื่อสร้างตัวแทนเชิงตัวเลข จากนั้น k-means จัดเฟรมคล้ายกันเป็น 30 กลุ่ม ทำซ้ำห้าครั้งเพื่อหาการจัดกลุ่มดีที่สุด แล้วเลือกเฟรมใกล้ศูนย์กลางแต่ละกลุ่มมาฝึก ได้ภาพหลากหลาย 30 ภาพต่อวิดีโอ

การฝึกและการทดสอบ

โมเดลฝึก 100 epochs ซึ่งค่อนข้างต่ำเมื่อเทียบกับจำนวนภาพที่น้อยมาก แต่ผู้เขียนระบุว่าโมเดล overfit เป็นสิ่งพึงประสงค์ในสถานการณ์นี้ แม้ไม่ครอบคลุมทุกเหตุการณ์ เช่น สีหน้าหรือท่าที่ไม่ปกติ หรือใบหน้าถูกบัง สิ่งสำคัญคือความยืดหยุ่นในการ generalizationระดับปานกลางและความเร็วการฝึก

ใช้ตัวปรับเหมาะ RAdam ที่ learning rate 10^-4

การทดสอบแรกเปรียบเทียบกับวิดีโอบีบอัดเดิม ResNet ขนาดเบาที่ตั้งค่าสำหรับอนุมานแบบเรียลไทม์บน CPU และ RTFVE ซึ่งเป็นระบบปรับใบหน้าบน CPU แบบเรียลไทม์อีกระบบเดียวที่ทราบ

เพื่อเปรียบเทียบอย่างยุติธรรม RTFVE ถูกดัดแปลงตัดการพึ่งภาพอ้างอิงคุณภาพสูงระหว่างอนุมาน แต่คงความเร็วและจำนวนพารามิเตอร์ใกล้เคียง กลายเป็น RTFVE-0 ส่วน ResNet กับ RTFVE-0 ฝึกด้วยฟังก์ชันสูญเสีย L1 ทุกโมเดลใช้ RAdam และการตั้งค่าฝึกเดียวกัน โดยฝึกโมเดลเฉพาะแต่ละวิดีโอจาก 30 เฟรม

เพื่อเร่งการฝึก งานเสนอ focal loss แบบโดเมนความถี่ ซึ่งเน้นรายละเอียดภาพสำคัญที่สุด และให้น้ำหนักมากขึ้นกับองค์ประกอบ DCT ความถี่ต่ำที่มีอิทธิพลต่อคุณภาพภาพที่รับรู้สูงสุด

น้ำหนักได้จากเมทริกซ์ควอนไทซ์ความส่องสว่าง JPEG ทำให้โมเดลให้ความสำคัญกับโครงสร้างภาพที่สำคัญต่อการมองเห็นระหว่างฝึก

การทดสอบเชิงปริมาณ

การทดสอบวัดทั้งความแม่นยำการสร้างคืนเชิงเทคนิคและคุณภาพภาพที่รับรู้ โดยวัดความบิดเบือนด้วย Peak Signal-to-Noise Ratio (PSNR) กับ Structural Similarity Index (SSIM) และวัดคุณภาพการรับรู้ด้วย Learned Perceptual Image Patch Similarity (LPIPS):

ประสิทธิภาพ FSFVE เทียบวิดีโอบีบอัดเดิม ResNet สำหรับ CPU และ RTFVE-0 บน H.264 กับ H.265 ที่สามระดับการบีบอัด ค่า PSNR และ SSIM สูงกว่าหมายถึงการสร้างคืนดีกว่า ส่วน LPIPS ต่ำกว่าหมายถึงคุณภาพการรับรู้ดีกว่า

FSFVE ทำได้ดีกว่าวิดีโอบีบอัดเดิมและโมเดลปรับปรุงบน CPU คู่แข่งอย่างสม่ำเสมอในทุกระดับการบีบอัด

สำหรับ H.264 ค่า PSNR เพิ่มจาก baseline 1.11dB, 1.37dB และ 1.51dB ที่ CRF 36, 40 และ 44 พร้อม SSIM ดีขึ้นและ LPIPS ลดลงในการบีบอัดสองระดับสูงกว่า ซึ่งหมายถึงคุณภาพภาพที่รับรู้ดีขึ้น

H.265 ให้ผลดีขึ้นคล้ายกัน แสดงว่าวิธีใช้ได้กับตัวเข้ารหัสหลักทั้งสอง การปรับปรุงชัดขึ้นเมื่อบีบอัดมากขึ้น จึงทำได้ดีเป็นพิเศษในภาวะแบนด์วิดท์ต่ำที่ออกแบบมา:

PSNR เมื่อบิตเรตเพิ่มขึ้นสำหรับ H.264 เดิมและผลลัพธ์ปรับปรุง ช่องว่างที่กว้างขึ้นในบิตเรตต่ำแสดงว่า FSFVE ให้ประโยชน์สูงสุดเมื่อบีบอัดหนักและแบนด์วิดท์จำกัด

ResNet สำหรับ CPU และ RTFVE-0 ดีขึ้นจาก baseline เพียงเล็กน้อย ขณะที่ FSFVE สูงกว่าทั้งคู่มากกว่า 1.1dB และยังทำงานเรียลไทม์ที่ 30.24 FPS ทั้งที่มีพารามิเตอร์เพียงราวหนึ่งล้านตัว

ประสิทธิภาพเพิ่มต่อเนื่องเมื่อให้เฟรมฝึกมากขึ้น แม้ใช้ภาพฝึกเพียงห้าภาพ FSFVE ก็เพิ่ม PSNR มากกว่า 0.75dB จาก baseline และสิบเฟรมเพียงพอให้เพิ่มเกิน 1dB แสดงว่าวิธียังได้ผลด้วยข้อมูลฝึกจำกัดมาก:

ผลของขนาดชุดฝึกต่อ PSNR สำหรับเฟรม H.264 ที่ไม่เคยเห็นที่ CRF 44 แม้ห้าภาพก็เพิ่มคุณภาพ และดีขึ้นต่อเนื่องเมื่อมีเฟรมมากขึ้น

การทดสอบเชิงคุณภาพ

ผลเชิงคุณภาพด้านล่างแสดงเฟรม H.264 ที่บีบอัดหนักที่ CRF 44 เทียบกับผลลัพธ์ FSFVE:

เปรียบเทียบเฟรม H.264 ที่บีบอัดหนักที่ CRF 44 กับผลลัพธ์ FSFVE งานวิจัยระบุว่าผลลัพธ์ลดรอยบีบอัด ฟื้นโครงสร้างใบหน้า และทำให้ผิวเรียบเป็นธรรมชาติขึ้นโดยรักษาอัตลักษณ์กับสีหน้า โปรดดู PDF และวิดีโอต้นฉบับเพื่อเห็นตัวอย่างที่ดีกว่า

ผู้เขียนระบุว่าภาพบีบอัดมีรอยรบกวนชัดรอบดวงตา จมูก และปาก ผิวมีพื้นผิวผิดธรรมชาติ และส่วนใบหน้าบิดเบี้ยว ขณะที่ผลปรับปรุงลดข้อบกพร่องเหล่านี้มาก:

“ตัวอย่างแรก ดวงตาไม่ชัด สีดำของเครื่องสำอางตาผสมกับสีตา ริมฝีปากมี aliasing ชัด คิ้วขาดรายละเอียดและผิวดูบิดเบี้ยว ตัวอย่างที่สอง ผิวมีพื้นผิวมากและมีจุดรบกวน”

“มีบล็อกรบกวนใต้ปากจนรูปคางเปลี่ยน และดูเหมือนมีเส้นแนวตั้ง”

“โมเดลของเราแก้รอยเหล่านี้ สร้างผลลัพธ์ที่ดูดี ผิวชัดขึ้น และฟื้นรายละเอียดบางส่วนที่สูญเสียจากการบีบอัด”

“สิ่งสำคัญคือ ผลลัพธ์ที่ปรับปรุงแล้วยังคงตรงกับอัตลักษณ์ในวิดีโอ”

บทสรุป

ดูหลีกเลี่ยงไม่ได้ที่ความพยายามของอุตสาหกรรมและวงวิชาการในการเพิ่มคุณภาพวิดีโอแชตสัญญาณต่ำ จะชนกับความพยายามฝั่งตรงข้ามเพื่อระบุวิดีโอ deepfake ในวิดีโอคอล

ดังที่งานใหม่ระบุ ระบบคั่นกลางอย่าง FSFVE ใช้กับสตรีมวิดีโอแชตอย่างถูกต้องผ่าน API ทางการได้ จึงเป็นไปได้ว่าเนื้อหาที่ยังไม่ประมวลผลจะคงไว้ให้มาตรการต่อต้าน deepfake ที่กำลังเกิดขึ้นและมีความสำคัญมากขึ้นนำไปใช้

* งานวิจัยใหม่เรียกชุดข้อมูลนี้ว่า “DeepFakeDetector” แม้ดูเหมือนชื่อนี้ไม่เป็นที่รู้จัก แม้แต่ในงาน FaceForensics++ ที่ผู้เขียนเชื่อมโยงไว้

เผยแพร่ครั้งแรกวันอังคารที่ 14 กรกฎาคม 2026