AIがテストで不正行為をするのを止めるための苦闘

中国の大学からの新しい研究結果は、GPT-3などの生成的な自然言語処理モデルが、難しい質問に対して「不正行為」をする理由を明らかにしています。不正行為とは、技術的には正解しているかもしれませんが、正解した理由を理解していない回答を出すことを指します。また、回答の背後にある論理を説明する能力もほとんど示さないことが分かっています。研究者は、システムを「勉強させる」ための新しい方法も提案しています。

問題は2つあります。まず、迅速に結果を出すために設計されたシステムが、リソースを最適に使用するように設計されています。GPT-3のような大規模なリソースを持つプロジェクトでも、結果を出すための最適化が優先されるため、学術的な慣習に従っています。

不正行為をする傾向

この問題は、モデルが「簡単な」回答を早くから学習し、より複雑な知識の獲得を後回しにしているため発生します。精度の向上は、トレーニング中ずっと無差別に報奨されるため、モデルは「簡単な」回答を優先し、本当の洞察を持たない回答を出します。

AIに「簡単な」回答を与える

2つ目の問題は、最近の研究がAIの「不正行為」の傾向を調査し、「ショートカット」の現象を特定したにもかかわらず、ショートカットを可能にするデータを分類するための努力がなされていないことです。これは、機械読解コミュニケーション（MRC）システムの根本的な設計上の欠陥に対処するための最初のステップです。

新しい論文では、Wangxuan Institute of Computer TechnologyとPeking UniversityのMOE Key Laboratory of Computational Linguisticsの共同研究により、言語モデルを新しく注釈付けされたデータセットに対してテストしています。このデータセットには、質問に対する「簡単な」解決策と「難しい」解決策の分類が含まれています。

Source: https://arxiv.org/pdf/2106.01024.pdf

データセットでは、より複雑で深い回答の基準として、言い換えを使用しています。言い換えには、得られた知識を再構成するために、意味的な理解が必要です。一方、「ショートカット」の回答は、日付や他のキーワードを使用して、文脈や推論なしで正確な回答を生成できます。

ショートカットデータの影響

研究者は、ショートカットを可能にする質問がデータセットに多く含まれていると主張しています。トレーニングされたモデルはショートカットの技を使用する傾向があります。

実験で使用された2つのモデルは、BiDAFとGoogleのBERT-baseでした。研究者は、モデルは「簡単な」質問に対して「難しい」質問よりも優れており、ショートカットの質問に対してより優れていると観察しました。

不正行為を証明する

研究者は、ショートカット回答の脆弱性を証明するために、「簡単な」エンティティの単語を異常な単語に置き換える方法を使用しています。ショートカット方法が使用された場合、回答の論理を提供することはできません。しかし、回答がより広いテキストの文脈と意味的な評価から得られた場合、システムはエラーを解析し、正しい回答を再構成することができます。

「アメリカ」を「ベヨンセ」に置き換えることで、モデルが回答の背後にある論理を持っているかどうかがわかります。

経済的要請によるショートカット

研究者は、ショートカットがNLPトレーニングのワークフローで優先される理由について、次のように述べています。「MRCモデルは、計算リソースをより少なくして、ショートカットの技を学習できます。」これは、結果を迅速に得るために、リソースを最適に使用するという標準的な最適化とリソース保護の哲学の結果である可能性があります。

研究者はさらに、次のように述べています。「ショートカットの技は、ほとんどのトレーニング質問に対して正解を出すことができます。残りの未解決の質問は、モデルが複雑な解決策を探索する動機を与えない可能性があります。」

もしもこの研究の結果が確かなものであるならば、データの前処理の分野は、データ内の「隠れたチート」を問題として長期的に考慮する必要があるか、NLPアーキテクチャをより挑戦的なルーチンを優先するように修正する必要があるかもしれません。g スキル。如果この研究の結果が確かなものであるならば、データの前処理の分野は、データ内の「隠れたチート」を問題として長期的に考慮する必要があるか、NLPアーキテクチャをより挑戦的なルーチンを優先するように修正する必要があるかもしれません。