動画会議のぼやけた映像をリアルタイムで修正するためのCPUのみを使用した新しい方法

新しい手法は、わずか数秒で利用者の顔のAIモデルを作成し、ぼやけたビデオ通話をリアルタイムで修復します。高性能なハードウェアもクラウド処理も必要なく、一般的なノートパソコンのCPUだけで動作します。

低品質なビデオチャット映像の影響を最も強く受けるのは、通信資源の乏しい国の利用者です。しかし、これはしばしば「先進国」の問題でもあります。たとえば参加者の一人が過負荷状態のWi-Fiホットスポットを使っている場合、同じ家庭内の別の処理や人物が利用可能な帯域幅を占有している場合、あるいは接続環境の悪い国を訪れている場合などです。

この問題は一般的であるため、研究文献でも相応の注意が払われ、ブロックノイズ除去、ノイズ除去、超解像など、さまざまな解決策が提案されてきました。2022年のVQFRシステムは、劣化した顔画像の低品質な特徴を、学習済みコードブックから得た高品質な表現へ置き換えて復元します。2021年のGFP-GANは、生成的な顔の事前知識を利用して低品質画像を改善します。また、RTFVE: Realtime Face Video Enhancementは、高品質な参照画像を使って顔を復元します。

必要に応じてクリックして再生してください。2025年のRTFVE顔強化プロジェクトによる、GPUで高速化された顔の改善例。 出典

通信資源の乏しい利用者から見れば、こうした解決策の多くは現実的ではありません。処理をGPUへ任せますが、そのGPUが利用者の環境にない可能性があるためです。一方、はるかに能力の低いCPUでコンピュータービジョン処理を行う場合、通常はオフライン処理となり、CPUが処理を終えるまで出力を待たなければなりません。

これは、処理負荷が高い一方で資源に乏しいことも多いビデオチャットには受け入れられません。真に誰もが使える顔改善システムには、妥当な解像度で最低24fpsを維持しながらCPU上で動作することが求められます。これは非常に厳しい条件です。

顔を正面から捉える

米国から発表された新しい研究は、この難しい条件に応えます。著者によると、視聴者の顔を捉えた少数のフレームから100秒未満でモデルを学習でき、完成したモデルはZoomなどのビデオ会議アプリが提供する公式API層を介して、利用者と会議の間に挿入される中間層として動作します。

必要に応じてクリックして再生してください。FSFVEのプロジェクトページより。2分未満で学習した軽量な3.5MBモデルによる、ウェブカメラ映像の顔改善例。出典

論文は次のように説明しています。

「FSFVEモデルは、ビデオ通話の直前、または通話開始時に学習できる。必要なのは被写体の高品質画像をわずか5～30枚だけであり、少数ショット学習となる。通話直前または開始時に、利用者の高品質な映像を数秒間取得できる。たとえば3秒なら、毎秒24フレーム（FPS）として3×24＝72フレームを得られる。

「この高品質映像をビデオ通話の設定に合わせて低品質映像へ素早く再エンコードし、その低品質フレームと高品質フレームを使ってモデルを学習する。」

新システムの注目すべき特徴の一つは、モデル学習の処理負担を誰が「支払う」かについて柔軟な点です。視聴者自身が何らかの理由で学習に必要なCPU能力を提供できない場合、高品質フレームを少数だけ通話相手へ送って処理を委ね、通信資源の乏しい利用者向けのモデルを相手側で「遠隔」学習できます。

あるいは、学習処理をサーバーへ体系的に委ねることもできます。著者らは次のように述べています。

「送信側と受信側の端末が学習には遅すぎる場合（そうでない場合でも、端末をこの作業から解放するため）には、サーバーを利用できる。

「いずれの場合も、モデルのサイズは約3.5MBと比較的小さく、高品質フレームも少数で済む。学習が完了すれば、一般的なノートパソコンのCPUでリアルタイムに動作できる。」

基準モデルや先行研究と比較したテストでは、FSFVEは未処理の圧縮映像、CPU向けに最適化したResNet、新研究の基礎となったRTFVEを改変したRTFVE-0を一貫して上回りながら、CPU上でリアルタイム動作を維持しました。

新しい論文の題名はFSFVE: Few Shot Compressed Face Video Enhancementです。デモとGitHubリポジトリも公開されています。

手法

FSFVEは、俳優が話す363本の1080p映像からなる公開FaceForensics++データセット*で学習されました。著者らはこのうち、一般的なビデオ通話に最も近い形式として、壁を背景に話すカテゴリーを抽出しました。

必要に応じてクリックして再生してください。FaceForensics++データセットの例。出典

このサブセットは約972フレームずつの27本の映像で構成されます。大半は正面からの映像ですが、当然ながら横向きの顔も含まれます。

ビデオ通話の接続問題を模擬する低品質映像を作るため、著者らはH264とH265の映像コーデックでデータセットを圧縮しました。圧縮レベルにはCRF値36、40、44を使用しました。0は無損失、51は極端にブロック状となる尺度です。

各フレームはBlazeFace顔検出器を使い、顔の周囲を256×256の領域に切り出しました。その後、顔のキーポイントで目の位置を特定し、アフィン変換（顔を回転、拡大縮小、移動する処理）を適用して顔を整列しました。これにより、すべてのフレームで目を水平に保ち、ほぼ同じ位置へそろえます。

この処理にはFace Recognitionライブラリを使用しました。

Face Recognition Pythonライブラリで画像から顔の特徴線を抽出する例。 出典

モデルは一回のビデオ通話から得たごく少数のフレームだけで学習するよう設計されているため、学習用フレームには可能な限り幅広い顔の変化を含める必要があります。そこでk-meansクラスタリングを、より単純な選択方法、つまりランダムサンプリングや固定間隔の代わりに使用しました。

切り出して整列した各フレームを前述のRTFVE顔エンコーダーに通して数値表現を生成し、k-meansクラスタリングで類似フレームを30個のクラスターにまとめました。最良のグループ分けを得るため、このクラスタリングを5回繰り返し、各クラスター中心に最も近いフレームを学習用に選びます。この処理により、映像ごとに多様な30枚の画像が得られました。

学習とテスト

モデルは100エポックで学習しました。使用する画像が非常に少ないことを考えると、かなり少ない回数です。しかし著者らが指摘するように、この用途では過学習したモデルこそ実際には望ましいものです。珍しい表情や姿勢、顔の一部が隠れる場合など、起こり得るすべての状況は捉えられなくても、優先すべきなのは汎化における適度な柔軟性と、学習速度だからです。

RAdamオプティマイザーを、10^-4の学習率で使用しました。

初期テストでは、元の圧縮映像、リアルタイムCPU推論向けに構成した軽量ResNet、そして前述のRTFVE（既知のものでは唯一のリアルタイムCPU顔強化システム）と比較しました。

公平に比較するため、RTFVEは推論時に高品質な参照画像へ依存しないよう改変し、速度とパラメーター数を同程度に保ったRTFVE-0という派生版にしました。ResNetとRTFVE-0はL1損失関数を使って学習しました。また、すべてのモデルで同じRAdamオプティマイザーと学習設定を使用し、映像ごとに30フレームから個別の対象専用モデルを学習しました。

学習を高速化するため、視覚的に最も重要な画像細部を学習時に重視する、独自の周波数領域フォーカル損失を導入しました。これは、周波数値へ変換した後の画像情報であるDCT成分のうち、知覚される画質へ最も大きく影響する低周波成分へ大きな重みを与えます。

重みはJPEG輝度量子化行列から導出され、学習時に視覚上最も重要な画像構造をモデルが優先するようにしました。

定量テスト

テストでは、技術的な再構成精度（歪み）と知覚される画質の両方を測定しました。歪みはピーク信号対雑音比（PSNR）と構造類似度指数（SSIM）で、知覚品質は学習済み知覚画像パッチ類似度（LPIPS）で測定しました。

H.264とH.265映像の3段階の圧縮率における、FSFVE、元の圧縮映像、CPU向けResNet、改変したRTFVE-0の性能。PSNRとSSIMは高いほど再構成品質が良く、LPIPSは低いほど知覚品質が良いことを示します。

FSFVEはすべての圧縮レベルで、元の圧縮映像と競合するCPUベースの強化モデルの両方を一貫して上回りました。

H.264映像では、CRF値36、40、44におけるPSNRが基準値よりそれぞれ1.11dB、1.37dB、1.51dB向上しました。SSIMも改善し、圧縮の強い二つの設定ではLPIPSも低下しました。これは知覚される画質の向上を示します。

H.265でも同様の向上が記録され、この手法が主要な二つの映像コーデックのどちらでも有効であることが示されました。以下に示すように、圧縮が強くなるほど改善幅が拡大しており、この手法が本来の対象である低帯域幅条件で特に優れていることが分かります。

元のH.264映像と強化後の出力について、ビットレートの増加に伴うPSNRを比較したグラフ。低ビットレートほど差が広がり、FSFVEが強く圧縮された帯域制約の厳しい条件で最大の画質向上をもたらすことを示します。

CPU向けに最適化したResNetとRTFVE-0は圧縮映像の基準値をわずかに改善しただけでしたが、FSFVEは両者を1.1dB以上上回りました。パラメーター数が約100万しかないにもかかわらず、30.24 FPSのリアルタイム性能も維持しました。

以下に示すように、学習フレームが増えるにつれて性能は着実に向上しました。学習画像がわずか5枚でも、FSFVEは圧縮映像の基準値よりPSNRを0.75dB以上改善しました。10フレームあれば1dBを超える改善に十分で、この手法が非常に少ない学習データでも有効であることを示しています。

CRF 44の未知のH.264映像フレームに対し、学習セットの大きさがPSNRへ与える影響。学習画像が5枚でも圧縮映像の基準値より画質が向上し、利用可能なフレームが増えるほど性能は着実に高まりました。

定性テスト

以下の定性テスト結果は、CRF 44で強く圧縮したH.264映像のフレームと、それに対応するFSFVEの出力を示しています。

CRF 44で強く圧縮されたH.264映像フレームと、それに対応するFSFVE出力の比較。論文によると、強化後の結果は圧縮アーティファクトを減らし、顔の構造を復元し、被写体の本人らしさと表情を保ちながら、より滑らかで自然な肌を生成します。より分かりやすい例は、出典PDFと元の映像を参照してください。

著者らによると、圧縮画像には目、鼻、口の周囲に目立つアーティファクトがあり、肌は不自然な質感となり、顔の特徴も歪んでいます。強化後の結果では、こうした欠陥が大幅に減少しました。

「最初の例では目が不鮮明で、アイメイクの黒が目の色と混ざっている。唇には明らかなエイリアシングが見られる。眉毛は輪郭が不明瞭で、肌は歪んで見える。二つ目の例では肌の質感が過度に強く、斑点状のアーティファクトがある。

「口の下には顎の形を変えてしまうブロッキングアーティファクトがあり、縦線も見られる。

「本モデルはこうしたアーティファクトを修復し、より鮮明な肌を持つ視覚的に好ましい出力を生成して、圧縮で失われた細部の一部を復元できる。

「重要なのは、強化後の出力が映像内の人物の本人らしさを忠実に保っている点である。」

結論

低信号のビデオチャットデータを改善するために産業界と学術界が続ける取り組みは、やがてビデオ通話でディープフェイク映像を識別するための反対方向の取り組みと衝突することになりそうです。

新論文が指摘するように、FSFVEのような中間システムは公式APIを介してチャット映像ストリームへ正当に適用できます。そのため今後登場し、ますます重要になるディープフェイク対策が利用できるよう、未処理の映像も残される可能性があります。

* 新論文では「DeepFakeDetector」データセットと呼ばれていますが、その根拠として著者らがリンクしているFaceForensics++論文内でも、この名称で知られているようには見えません。

2026年7月14日火曜日に初出。