研究者が劣化した画像の品質を向上させる新しい技術を開発

イェール・ナス大学の研究チームは、雨や夜間条件などの環境要因によって引き起こされる低レベルのビジョンからより正確なデータを抽出するための新しいコンピュータビジョンとディープラーニングアプローチを開発しました。彼らはまた、ビデオでの3Dヒューマンポーズ推定の精度も向上させました。

コンピュータビジョンテクノロジーは、自動監視システム、自律車、ヘルスケアおよび社会的距離のツールなどのアプリケーションで使用されており、環境要因によって影響を受けることが多く、抽出されたデータに問題を引き起こすことがあります。

新しい研究は、2021年コンピュータビジョンとパターン認識会議（CVPR）で発表されました。

画像への環境の影響

低光量や人工的な光の影響 such as グレア、グロー、フラッドライトは夜間の画像に影響を与えます。雨の画像も雨のストリークや雨の蓄積によって影響を受けることがあります。

イェール・ナス大学のロビー・タン教授が研究チームを率いました。

「多くのコンピュータビジョンシステム such as 自動監視や自律車は、入力ビデオの明確な可視性に依存しています。たとえば、自律車は重い雨の中で効果的に機能できません。CCTV自動監視システムも夜間に、特に暗いシーンやグレア、フラッドライトがある場合に失敗することがよくあります」とタン教授は述べました。

チームは、夜間ビデオと雨ビデオの品質を向上させるための2つの別々の研究に基づいています。

最初の研究は、明るさを向上させる，同时にノイズや光の影響 such as グレア、グロー、フラッドライトを抑制することで、明確な夜間画像を作成することに焦点を当てました。新しい技術は、避けられないグレアがある夜間画像やビデオの明確性を向上させることを目的としています。

雨が多く降る国では、雨の蓄積がビデオの可視性に悪影響を与えることがあります。2番目の研究は、フレームの整列を使用する方法を導入することで、この問題に対処しようとしました。チームは、移動するカメラを使用して深度推定を行い、雨のヴェール効果を除去するのに役立ちました。既存の方法は雨のストリークを除去することに重点を置いていますが、新しく開発された方法は雨のストリークと雨のヴェール効果の両方を同時に除去できます。

画像: イェール・ナス大学

3Dヒューマンポーズ推定

新しい技術とともに、チームはビデオサーベイランス、ビデオゲーム、スポーツ放送で使用できる3Dヒューマンポーズ推定に関する研究も発表しました。

単眼ビデオ、つまり単一のカメラで撮影されたビデオからの3Dマルチパーソンポーズ推定は、最近の研究で注目されています。複数のカメラで撮影されたビデオとは異なり、単眼ビデオはより柔軟性があり、携帯電話などの単一のカメラで撮影できます。

ただし、高度な活動 such as 同じシーン内での複数の個人の検出は、精度に影響を与えることがあります。特に、個人が密接に互いに接触したり重なったりする場合にそうです。

チームの3番目の研究は、既存の2つの方法、つまりトップダウンアプローチとボトムアップアプローチを組み合わせて、ビデオからの3Dヒューマンポーズを推定しました。新しい方法は、マルチパーソンの設定でより信頼性の高いポーズ推定を生成し、個人の距離を扱うことができます。

「私たちの3Dヒューマンポーズ推定研究の次のステップとして、ビデオのプライバシー情報の保護方法を検討します。可視性向上方法については、コンピュータビジョンの分野の進歩に貢献し、自律車が悪天候下で効果的に機能することを可能にするなどの多くのアプリケーションに影響を与えることを目指しています」とタン教授は述べました。