AIモデルはぼけた画像を60倍の解像度で強化できる

デューク大学の研究者は、非常にぼけた、ピクセル化された画像を詳細にレンダリングできるAIモデルを開発しました。 TechXploreによると、モデルは比較的少ないピクセルを取り、それらを拡大して現実的な顔が作成され、元の画像の解像度の約64倍になるようです。 モデルは、元の画像の線間の特徴を妄想したり、想像したりします。

この研究は、スーパーリゾリューションの例です。デューク大学のコンピュータサイエンスチームのシンシア・ルーディンは、TechXploreに説明したように、この研究プロジェクトは、スーパーリゾリューションに新しい記録を樹立し、以前にこのような少ないスタートピクセルから画像を作成したことはありません。 研究者は、モデルが実際に低解像度の元の画像の人物の顔を再現するのではなく、新しい顔を生成し、以前なかった詳細を埋め込むことを強調しました。 したがって、このモデルは、実際の人物の画像を生成できないため、セキュリティシステムなどの用途には使用できません。

伝統的なスーパーリゾリューション技術は、モデルが事前に学習した画像に基づいて、画像を高解像度画像に変換するために必要なピクセルを推測することによって機能します。 追加されたピクセルは推測の結果であるため、すべてのピクセルが周囲のピクセルと一致するわけではなく、画像の特定の領域がぼけたり歪んだりする場合があります。 デューク大学の研究者は、AIモデルのトレーニング方法を変更しました。 デューク大学の研究者によって作成されたモデルは、低解像度の画像を取り、時間の経過とともに画像に詳細を追加し、高解像度のAI生成された顔を例として参照します。 モデルは、AI生成された顔を参照し、生成された顔をターゲット画像のサイズに縮小したときにターゲット画像に似ているものを見つけようとします。

研究チームは、新しい画像の作成を処理するために、Generative Adversarial Networkモデルを作成しました。 GANは、実際には同じデータセットでトレーニングされた2つのニューラルネットワークであり、互いに対戦しています。 1つのネットワークは、トレーニングデータセット内の実際の画像を模倣する偽の画像を生成する責任があり、2番目のネットワークは、偽の画像を本物のものから検出する責任があります。 1つのネットワークは、その画像が偽物として識別されたときに通知され、偽の画像が最終的に本物のものと区別できないようになるまで改善されます。

研究者は、スーパーリゾリューションモデルにPULSEという名前を付けました。このモデルは、他のスーパーリゾリューション方法が高品質の画像を生成できないほどぼけた画像が与えられた場合でも、一貫して高品質の画像を生成します。 モデルは、顔の特徴がほとんど認識できない画像から現実的な顔も生成できます。 たとえば、16×16解像度の顔の画像が与えられた場合、1024 x 1024の画像を作成できます。 このプロセスでは、100万を超えるピクセルが追加され、髪の毛、しわ、さらには照明などの詳細が埋め込まれます。 研究者が1440のPULSE生成画像を他のスーパーリゾリューションテクニックで生成された画像と比較したとき、PULSE生成画像は一貫して最高のスコアを獲得しました。

研究者は顔の画像にモデルを使用しましたが、使用するテクニックはほぼあらゆるオブジェクトに適用できます。さまざまなオブジェクトの低解像度画像を使用して、高解像度画像を作成できます。これにより、顕微鏡、衛星画像、教育、製造、医療など、さまざまな業界や分野への応用が可能になります。