マシンラーニングの故障に関する一般的な仮定は間違っている可能性がある

ディープニューラルネットワークは、画像やデータを数学的なモデルで処理するために使用されるため、人工知能（AI）の最も基本的な側面の1つです。彼らは分野におけるいくつかの最大の進歩に責任がありますが、さまざまな方法で故障します。これらの故障は、単純な誤同定のような小さなものから、自律走行車の故障のようなより劇的なものまで、範囲が広いです。

ヒューストン大学からの新しい研究によると、マシンラーニングの故障に関する一般的な仮定は間違っている可能性があり、将来的にネットワークの信頼性を評価するのに役立つ可能性があります。

この論文は、Nature Machine Intelligenceに11月に掲載されました。

「アドバーシャルエクサンプル」

マシンラーニングやその他のAIは、銀行やサイバーセキュリティシステムなどの多くの分野やタスクで重要です。ヒューストン大学の哲学准教授であるキャメロン・バックナーによると、「アドバーシャルエクサンプル」と呼ばれる故障を理解する必要があります。これらのアドバーシャルエクサンプルは、ディープニューラルネットワークシステムがトレーニングに使用された入力以外の情報に遭遇したときに画像やその他のデータを誤って判断するときに発生します。

アドバーシャルエクサンプルはまれです。多くの場合、別のマシンラーニングネットワークによって作成または発見されます。

「これらのアドバーシャルイベントのいくつかは、実際のパターンとネットワークが処理しようとするものとの相互作用によって引き起こされるアーティファクトである可能性があります。したがって、これらのアーティファクトが何であるかを知る必要があります。そうすれば、ネットワークがどのくらい信頼できるかを知ることができます」とバックナーは書いています。

バックナーは、故障は完全なミスではなく、実際のパターンとネットワークが処理しようとするものとの相互作用によって引き起こされる可能性があると述べています。

パターンとしてのアーティファクト

「アドバーシャルエクサンプルの影響を理解するには、3番目の可能性を探索する必要があります。つまり、少なくともこれらのパターンのいくつかはアーティファクトであるということです。したがって、これらのパターンを単純に却下することにはコストがかかり、無邪気に使用することにも危険があります」とバックナーは述べています。

意図的な悪意は、アドバーシャルイベントによってマシンラーニングの故障を引き起こす最大のリスクです。

「これは、信頼できるネットワークに依存するシステムを悪意のあるアクターが欺くことを意味します。これにはセキュリティ上の応用があります」とバックナーは述べています。

これは、顔認識技術に基づくセキュリティシステムを侵害するハッカー、または自律走行車を混乱させるためにラベル付けされた交通標識の例です。

以前の研究では、アドバーシャルエクサンプルのいくつかは自然に発生し、マシンラーニングシステムが予期せぬ相互作用を通じてデータを誤って解釈するときに発生することが示されています。これらの自然に発生する例はまれであり、現在、AIを使用する以外にこれらを発見する方法はありません。

しかし、バックナーは、研究者が異常を扱う方法を再考する必要があると述べています。

これらの異常、またはアーティファクトは、バックナーによって、写真の中のレンズフレアを通じて説明されています。レンズフレアは、カメラレンズの欠陥によって引き起こされるのではなく、光とカメラの相互作用によって引き起こされるものです。

レンズフレアを解釈する方法を知っていれば、太陽の位置などの重要な情報を抽出できます。したがって、バックナーは、アーティファクトによって引き起こされるマシンラーニングのアドバーシャルイベントから同等の価値のある情報を抽出することが可能であると考えています。

バックナーはまた、これらすべてが自動深層学習が無効であることを意味するわけではないと述べています。

「これらのアドバーシャルイベントのいくつかはアーティファクトである可能性があります。したがって、これらのアーティファクトが何であるかを知る必要があります。そうすれば、ネットワークがどのくらい信頼できるかを知ることができます」とバックナーは述べています。