PixelmatorがAI駆動のスーパーレゾリューションをユーザーに提供

Pixelmatorは最近、写真編集アプリであるPixelmator Proの所有者がAI駆動のスーパーレゾリューションツールを使用できるようにしました。

スーパーレゾリューションにより、ぼけた低解像度の写真を強化し、画像の解像度を向上させることができます。スーパーレゾリューションテクノロジーは、印象的な効果で画像をシャープにし、犯罪ドラマでよく見られる「強化」トロープを呼び起こすことができます。Pixelmatorは最近、プロバージョンの写真編集ソフトウェアに「MLスーパーレゾリューション」ツールを含めることを発表しました。Pixelmatorのデモは、ここで見ることができます。

ツールの初期テストでは、テキスト、写真、イラストレーションなど、さまざまな種類の画像のぼけを軽減できることがわかりました。The Vergeの報道によると、プログラムによって生成された結果は、Nearest NeighborsやBilinearアルゴリズムなどのアルゴリズムを使用する他の画像アップスケールツールよりも優れています。

スーパーレゾリューションの研究は、Google (GOOGL ) 、Microsoft (MSFT ) 、Nvidiaなどのテクノロジー企業によって推進されてきました。複数の企業が独自のスーパーレゾリューションアルゴリズムを設計していますが、スーパーレゾリューションデバイスをトレーニングする方法は基本的に同じです。

MLスーパーレゾリューションや他のスーパーレゾリューションツールは、低解像度と高解像度の画像のペアを使用してトレーニングされます。低解像度画像は通常、正規の高解像度画像の縮小版です。低解像度画像と高解像度画像の比較を行い、機械学習アルゴリズムは高解像度画像のピクセル領域と低解像度画像のピクセル領域の違いを学習します。目標は、ニューラルネットワークが解像度の高い画像を生成するために、ピクセルを追加するパターンを学習することです。そうすれば、未知の画像が提示されたときに、解像度を向上させるためにピクセルを追加する場所を予測できます。

スーパーレゾリューションの応用は、さまざまな方法で作成できます。たとえば、スーパーレゾリューションの1つの方法は、Generative Adversarial Networks（GANs）を使用することです。GANsは、ゼロサムゲームやアクター・クリティックモデルなどのゲーム理論の概念を借用した、2つのニューラルネットワークが互いに対戦するものです。基本的に、1つのニューラルネットワークの役割は偽の画像を生成することであり、もう1つのネットワークの役割はこれらの偽の画像を検出することです。偽の画像を生成するネットワークはジェネレーターと呼ばれ、偽の画像を検出するネットワークはディスクリミネーターと呼ばれます。

Pixelmatorのスーパーレゾリューションツールの場合、29層の畳み込みニューラルネットワークが作成され、画像をスケールアップする「拡大」ブロックも実装されました。拡大された画像配列は、ポストプロセッシングされ、解像度が向上した従来の画像に変換されます。ネットワークには、画像のノイズを除去し、圧縮アーティファクトを処理する機能もあります。そうすれば、これらの画像の側面はアップスケールされません。Pixelmatorのアルゴリズムは、研究環境で使用されるアルゴリズムよりもはるかに小さく、Pixelmator Proアプリに含めることができ、さまざまなデバイスで実行できます。トレーニングデータセットは、他のアプリケーションで使用されるデータセットと比較してかなり小さく、アルゴリズムをトレーニングするためにわずか15,000サンプルが使用されました。

The Vergeによると、消費者が使用できる他のスーパーレゾリューションツールもあります。たとえば、AdobeもAdobe Cameraスイートに独自のスーパーレゾリューションツールを持っていますが、Pixelmatorのツールは最も一貫して高品質の画像を生成しているようです。