画像の解像度を低減するための機械学習を使用したダウンサイジング

イギリスの新しい研究では、画像のさまざまな部分の認識された価値に基づいて画像をリサイズするための改良された機械学習方法が提案されています。これは、画像のすべてのピクセルに対して無差別に次元（および品質と抽出可能な機能）を低減するのではなく、画像コンテンツのさまざまな部分の認識された価値に基づいて画像をリサイズする方法です。

AI駆動の圧縮システムへの関心の高まりの一環として、このアプローチは、最終的には一般的な画像圧縮のための新しいコーデックに情報を提供する可能性がありますが、健康画像に動機付けられており、ハイレゾ画像の任意のダウンサンプリングにより、命を救う情報の喪失につながる可能性があります。

新しいシステムの代表的なアーキテクチャ。間質変形モジュールは、画像内の関心領域に対応する変形マップを生成します。赤い点の密度と方向は、これらの領域を示します。このマップは、ダウンサンプリングにのみ使用されません。また、画像コンテンツが非一様にアップスケールされたときに、一次的な関心領域を再構築するために使用されます。 ソース：https://arxiv.org/pdf/2109.11071.pdf

このシステムは、画像にセマンティックセグメンテーションを適用します。セマンティックセグメンテーションとは、画像内の認識されたエンティティ（例：「道路」、「自転車」、「病変」など）を、ブロック（画像上の色のブロック）で表現することです。セマンティックセグメンテーションマップの配置は、写真のどの部分を過度にダウンサンプリングしないように計算するために使用されます。

『超高解像度画像のセグメンテーションのためのダウンサンプリングの学習』と題された 新しい論文 は、ロンドン大学大学院の医用画像コンピューティングセンターの研究者と、マイクロソフトケンブリッジのヘルスケアインテリジェンス部門の研究者による共同研究です。

コンピュータビジョン訓練の（比較的）低解像度世界

コンピュータビジョンシステムの訓練は、GPUの能力によって大きく制約されています。データセットには、特徴を抽出する必要がある数千の画像が含まれているかもしれませんが、工業用のGPUでもVRAMは24GBでピークに達し、継続的な不足が利用の可用性とコストに影響を与えています。

これは、データがGPUの制限されたテンソルコアを介して管理可能なバッチでフィードされることを意味します。コンピュータビジョン訓練ワークフローでは、8〜16画像が一般的です。

明らかな解決策はありません。VRAMが無制限で、CPUアーキテクチャがGPUからのスループットを処理できるように設計されていても、非常に高いバッチサイズでは、高レベルの特徴が詳細な変換の代わりに導かれ、最終的なアルゴリズムの有用性に重要な影響を与える可能性があります。

入力画像の解像度を上げると、GPUの「潜在的な空間」にデータを収めるために、小さいバッチサイズを使用する必要があります。これは、モデルが「偏った」ものになり、過剰適合する可能性があります。

GPUを追加しても、最も一般的なアーキテクチャでは効果がありません。複数のGPUセットアップは訓練時間を短縮できますが、訓練結果の完全性を損なう可能性があります。2つの隣接する工場が同じ製品に取り組んでおり、調整するための電話線しかありません。

知的にリサイズされた画像

コンピュータビジョンデータセットの典型的な画像の最も関連性の高いセクションは、新しい方法では、自動的にリサイズされる画像の最も重要な部分が保存される可能性があります。

これは、マシンラーニングデータセットのJPEGアーティファクトの問題とは別の課題です。ここでは、自動リサイズパイプラインで品質が失われるため、圧縮コーデックが多くの場合回復不能な情報を捨ててしまいます。

例えば、Magnetic Resonance Imaging（MRI）スキャンを、通常の256×256または512×512ピクセルの解像度にダウンサンプリングする場合、保存することはできません。画像をロスレス画像形式（LZW圧縮のPNGなど）に保存することは、リサイズ時に一般的に破棄される情報を回復することはできません。

さらに、フレームワークの要件によっては、矩形のソース画像に黒いボーダーが追加されることがあります。これは、ニューラルネットワーク処理のための真正な正方形の入力形式を生成するために行われる一般的なデータ処理タスクです。これにより、潜在的に重要なデータを含む利用可能なスペースがさらに減少します。

ロンドン大学とマイクロソフトの研究者は、リサイズプロセスをより知的に行うことを提案しています。つまり、パイプラインの一般的なステージを使用して、関心領域を強調し、画像を通過するマシンラーニングシステムの一部の解釈負担を外部に移します。

研究者によれば、この方法は、2019年に発表された研究で、オブジェクトの境界に品質の注意を集中させていた方法よりも優れています。

Marin et al.、2019年の「Efficient Segmentation：Learning Downsampling Near Semantic Boundaries」より。ソース：https://arxiv.org/pdf/1907.07156.pdf

新しい研究では、このアプローチは、関心領域が境界に集まることを前提としているが、医療画像の例（例：がん領域の注釈）では、境界ではなく、画像内のより広い領域内に詳細が含まれている可能性があると指摘しています。

学習可能なダウンサンプラー

新しい研究では、セマンティックセグメンテーションによって識別された関心領域を優先してダウンサンプリングすることができる、学習可能なダウンサンプラー「変形モジュール」を提案しています。

著者は、Cityscapes、DeepGlobe、Prostate Cancer Histologyデータセット「PCa-Histo」などのいくつかの人気のデータセットでシステムをテストしました。

3つのアプローチ：左側は既存の「一様」ダウンサンプリング、中央は2019年の論文の「最適なエッジ」アプローチ、右側は新しいシステムのアーキテクチャで、セマンティックセグメンテーションレイヤーのエンティティ認識に基づいています。

類似のアプローチは、2019年に提案されたクラシファイアーで試みられましたが、現在の論文の著者は、この方法では関心領域が十分に規制されていない可能性があり、医療画像の文脈では重要な領域を見逃す可能性があると主張しています。

結果

新しいシステムの変形モジュールは、小さな畳み込みニューラルネットワーク（CNN）です。一方、セグメンテーションレイヤーは、HRNetV2-W48を採用した深いCNNアーキテクチャです。Pyramid Scene Parsing Network（PSP-net）は、CityScapesのテストのためのサニティチェックレイヤーとして使用されました。

上記のデータセットは、新しいフレームワークを使用して、従来の方法（一様リサンプリング）、2019年の最適なエッジ方法、およびセマンティックセグメンテーションを利用した新しいアプローチでテストされました。

著者は、新しい方法が『臨床的に最も重要なクラスを識別および区別する上で明確な優位性』を示したと報告しています。精度は15〜20%向上しました。さらに、著者は、これらのクラスの距離がしばしば『健康からがんへのしきい値』として定義されることが多いと観察しています。

3つの方法のクラスごとの交差係数（IoU）分析：左側は標準のリサンプリング、中央は最適なエッジ、右側は新しいアプローチ。CityScapesは64×128にダウンサンプリングされ、PCaHistoは80×800に、DeepGlobeは300ピクセルにダウンサンプリングされました。

報告書では、彼らの方法は『ダウンサンプリング戦略を学習し、情報をよりよく保存し、トレードオフを改善できる』と述べられており、新しいフレームワークは『ダウンサンプリング時にピクセルの限られた予算を最も効率的に「投資」し、セグメンテーションの精度を最大化する』ことができるという結論に至ります。

この記事のメイン画像はthispersondoesnotexist.comから提供されました。テキストエラーのため、3:35 pm GMT+2に更新されました。