Andersonの視点
JPEG圧縮を用いたニューラルネットワークのトレーニングの改善
Unite.AI を Google の優先ソースに追加
カナダの新しい研究論文では、ニューラルネットワークのトレーニングスキームに意図的にJPEG圧縮を導入し、より良い結果とアドバーサリアル攻撃への耐性を得ることができるフレームワークを提案している。
これはかなりラディカルなアイデアである。現在の一般的な知識によれば、JPEGアーティファクトは人間の視覚のために最適化されており、機械学習のために最適化されておらず、JPEGデータでトレーニングされたニューラルネットワークに悪影響を与えることが多い。
JPEG画像の圧縮レベルによる違い（高圧縮レベルではファイルサイズが小さくなるが、色グラデーションやバンディングなどのアーティファクトが発生する）。出典：https://forums.jetphotos.com/forum/aviation-photography-videography-forums/digital-photo-processing-forum/1131923-how-to-fix-jpg-compression-artefacts?p=1131937#post1131937
2022年のメリーランド大学とFacebook AIの報告書では、JPEG圧縮はニューラルネットワークのトレーニングにおいて「重大なパフォーマンスペナルティ」をもたらすと主張している。にもかかわらず、以前の研究では、ニューラルネットワークは画像圧縮アーティファクトに対して比較的堅牢であると主張していた。
その1年前に、文献の中で新しい考え方が登場した。JPEG圧縮をモデルトレーニングの結果を改善するために利用できるという考え方である。
しかし、当時の研究者は、JPEG画像のさまざまな品質レベルでトレーニング結果を改善することができたものの、提案されたモデルは非常に複雑で実用的ではなく、また、システムのデフォルトのJPEG最適化設定（量子化）がトレーニングの有効性の障害となった。
その後のプロジェクト（2023年の「JPEG Compliant Compression for DNN Vision」）では、凍結された深層ニューラルネットワーク（DNN）モデルを使用して、JPEG圧縮されたトレーニング画像からわずかに良い結果を得ることができた。ただし、モデルの一部を凍結すると、モデルの汎用性と新しいデータへの耐性が低下する。
JPEG-DL
代わりに、新しい研究では、「JPEG Inspired Deep Learning」と題された、よりシンプルなアーキテクチャを提案している。これは、既存のモデルに適用することもできる。
研究者は、次のように述べている。
「結果は、JPEG-DLが標準的なDLよりも優れており、さまざまなDNNアーキテクチャで一貫して高い結果を出すことを示している。特に、JPEG-DLは、ファイングラインド分類データセットで最大20.9%のクラス分類精度の向上をもたらす。また、モデルの複雑さの増加はわずか128のトレーニング可能なパラメータのみである。」
「さらに、JPEG-DLの優位性は、学習されたモデルのアドバーサリアルロバスト性の向上と入力画像のファイルサイズの削減によっても示される。」
著者は、最適なJPEG圧縮品質レベルがニューラルネットワークに画像の中央サブジェクトを区別するのに役立つと主張している。以下の例では、ベースライン結果（左）が画像の背景とブレンドしているのに対し、JPEG-DL（右）が画像の主体を区別することに成功している。
JPEG-DLのベースライン方法とのテスト。出典：https://arxiv.org/pdf/2410.07081
「この現象」、著者は説明する、「2021年の論文で「圧縮ヘルプ」と呼ばれる現象は、圧縮によってノイズや背景の特徴を除去し、画像の主体を強調することで、DNNがより良い予測を行うのに役立つことを示している。」
方法
JPEG-DLでは、非可微分可能な量子化操作を置き換える可微分可能なソフト量子化器を導入している。
これにより、画像の勾配ベースの最適化が可能になる。従来のJPEGエンコードでは、近似量子化器を使用しているため、勾配ベースの最適化は不可能である。
また、JPEG-DLのスキーマは、トレーニングモデルのパラメータとJPEG量子化（圧縮レベル）の両方を同時に最適化することを可能にする。同時最適化により、モデルとトレーニングデータが相互に適応され、レイヤーの凍結は必要ない。
本質的に、システムは、トレーニングデータセットのJPEG圧縮を、一般化プロセスの論理に合わせてカスタマイズする。
JPEG-DLのスキーマ。
一部の人々は、生のデータが理想的なトレーニングデータであると考えているかもしれない。画像はバッチで実行されるときに完全に解凍されて適切な長さの色空間に変換されるからである。ただし、JPEG圧縮は人間の視覚のために最適化されているため、詳細や色のある領域を人間の視覚の目的に合った方法で除去する。
例えば、青い空の湖の写真では、圧縮レベルが高くなると、空の部分に圧縮が適用される。空には「重要な」詳細がないためである。
一方で、ニューラルネットワークには、人間の視覚のような特徴的なフィルタがない。代わりに、バンディングアーティファクトを有効なデータとして吸収し、潜在的な空間に吸収する可能性がある。
人間は、強く圧縮された画像（左）における空のバンディングを無視するが、ニューラルネットワークにはそのような知識がない。出典：https://lensvid.com/post-processing/fix-jpeg-artifacts-in-photoshop/
したがって、トレーニングデータセットのすべての内容に適したJPEG圧縮レベルは1つだけである可能性は低い。例えば、群衆の写真では圧縮レベルが低くてもよいが、鳥の写真では圧縮レベルが高くてもよい。
データとテスト
JPEG-DLは、トランスフォーマーベースのアーキテクチャと畳み込みニューラルネットワーク（CNN）に対して評価された。使用されたアーキテクチャは、EfficientFormer-L1、ResNet、VGG、MobileNet、ShuffleNetであった。
ResNetのバージョンは、CIFARデータセットに対して特化していた。ResNet32、ResNet56、ResNet110が使用された。VGGのテストでは、VGG8とVGG13が使用された。
CNNのトレーニング方法は、2020年の研究「Contrastive Representation Distillation」から導かれた。EfficientFormer-L1（トランスフォーマーベース）のトレーニング方法は、2023年の研究「Initializing Models with Larger Ones」から導かれた。
ファイングラインドタスクのテストでは、4つのデータセットが使用された。Stanford Dogs、オックスフォード大学のFlowers、CUB-200-2011（CalTech Birds）、Pets（「猫と犬」、オックスフォード大学とインドのハイドラバード大学の共同研究）であった。
ファイングラインドタスクのCNNでは、PreAct ResNet-18とDenseNet-BCが使用された。EfficientFormer-L1では、先述の「Initializing Models With Larger Ones」の方法が使用された。
CIFAR-100とファイングラインドタスクでは、JPEG圧縮アプローチの離散コサイン変換（DCT）周波数のさまざまな大きさを、Adam最適化アルゴリズムで処理した。JPEGレイヤーの学習率を適応させるために使用された。
ImageNet-1Kのテストでは、PyTorchを使用し、SqueezeNet、ResNet-18、ResNet-34をコアモデルとして使用した。
JPEGレイヤーの最適化評価では、Stochastic Gradient Descent（SGD）を使用し、より安定したパフォーマンスを実現した。ただし、ImageNet-1Kのテストでは、2019年の研究「Learned Step Size Quantization」の方法が使用された。
CIFAR-100でのベースラインとJPEG-DLのトップ1バリデーション精度。3回の実行の平均と標準偏差。下：さまざまなモデルアーキテクチャでのファイングラインド画像分類タスクのトップ1バリデーション精度。3回の実行の平均。
「結果は、すべての7つのテストモデルで、JPEG-DLが一貫して改善をもたらしていることを示している。CIFAR-100では、トップ1精度が最大1.53%向上している。ファイングラインドタスクでは、2つのモデルを使用して、最大20.90%のパフォーマンス向上を実現している。」
ImageNet-1Kのテスト結果は以下のとおりである。
ImageNetでのトップ1バリデーション精度結果。
「SqueezeNetV1.1では、ベースラインと比較して、トップ1精度が0.31%向上している。量子化操作を5回に増やすと、さらに0.20%の改善が見られ、ベースラインと比較して合計0.51%の改善が実現している。」
研究者はまた、アドバーサリアル攻撃アプローチ、Fast Gradient Signed Method（FGSM）とProjected Gradient Descent（PGD）を使用して、システムをテストした。
攻撃は、CIFAR-100で2つのモデルに対して実行された。
2つの標準的なアドバーサリアル攻撃フレームワークに対するJPEG-DLのテスト結果。
「JPEG-DLモデルは、標準的なDNNモデルと比較して、アドバーサリアルロバスト性を大幅に改善している。FGSMでは最大15%、PGDでは最大6%の改善が見られる。」
さらに、GradCAM++フレームワークを使用して、ベースラインとJPEG-DLの画像分類における特徴マップを比較した。
ベースラインとJPEG-DLの画像分類における特徴マップのGradCAM++イラスト。
「JPEG-DLは、ベースラインモデルと比較して、特徴マップのコントラストが大幅に改善されている。特に、前景オブジェクトは、背景と明確に区別される。」
結論
JPEG-DLは、生のデータが利用可能な状況で使用することを目的としている。しかし、従来のデータセットトレーニングに適用される可能性のある原理を探求することは非常に興味深い。
現在のところ、これは主にアノテーションの問題であるが、交通ベースの画像認識などで対応策が講じられている。
最初に公開：2024年10月10日
