新しい研究：人々は機械生成テキストを識別する方法を学習できる

人工知能（AI）の高度化と利用の容易化により、社会への影響に関する長年の懸念が高まっています。最新のチャットボットは、これらの懸念をさらに悪化させ、職場の完全性や偽ニュース、誤情報の拡散に関する懸念が高まっています。これらの懸念に照らして、ペンシルバニア大学エンジニアリング・アンド・アプライドサイエンス学部の研究者チームは、テクノロジー利用者がこれらのリスクを軽減するためにエンパワーメントを試みました。

AIテキストを識別するためのトレーニング

彼らの査読付き論文は、2023年2月のAssociation for the Advancement of Artificial Intelligenceの会合で発表され、人々が機械生成テキストと人間が書いたテキストの違いを識別することができることを示しています。
この研究は、Chris Callison-Burch、アソシエイトプロフェッサー、Liam Dugan、Daphne Ippolitoの博士課程の学生によって行われ、AI生成テキストは検出可能であることを実証しています。
「人々は機械生成テキストを識別する方法をトレーニングすることができることを示しました」とCallison-Burchは述べています。「人々は、機械がどのようなエラーを犯すかについて、ある程度の前提を持っていますが、これらの前提は必ずしも正しくありません。十分な例と明示的な指示があれば、現在機械が犯しているエラーの種類を識別することができます。」
この研究では、「Real or Fake Text?」というオリジナルのウェブベースのトレーニングゲームを使用して収集されたデータを使用しています。このトレーニングゲームは、標準的な実験方法を、AIを使用してテキストを生成する方法のより正確な再現に変換します。
標準的な方法では、参加者は、機械が特定のテキストを生成したかどうかをyes-or-no形式で示します。ペンのモデルは、標準的な検出研究を、有効なトレーニングタスクに洗練し、すべての例が人間によって書かれたテキストから始まるようにします。各例は、生成されたテキストに移行し、参加者は移行が開始される場所をマークするように求められます。トレーニーは、エラーを示すテキストの特徴を識別して記述し、スコアを受け取ります。

研究の結果

研究の結果は、参加者がランダムなチャンスよりもはるかに高いスコアを獲得したことを示し、AI生成テキストはある程度検出可能であることを示しています。この研究は、AIとの関係の将来について安心できる、甚至興奮できる未来を示唆しています。また、人々が機械生成テキストを検出する方法をトレーニングすることができることを示しています。
「人々はAIについて有効な理由で心配しています」とCallison-Burchは述べています。「私たちの研究は、これらの心配を和らげるための証拠を提供しています。私たちがAIテキスト生成器に対する楽観主義を利用できるようになれば、より創造的な、より興奮するテキストを書くためのツールの能力に注目できるようになります。」
Duganは、「このテクノロジーを前向きな方向に押し進めることができます。人々は、盗作や偽ニュースのような心配な例に固執していますが、私たちがより良い読み手や作家になるために自分自身をトレーニングできることを今や知っているのです。」
この研究は、機械生成テキストに関連するリスクを軽減するための重要な第一歩を提供します。AIが進化を続けるにつれて、その影響を検出してナビゲートする能力も進化する必要があります。人間が書いたテキストと機械生成テキストの違いを識別する方法をトレーニングすることで、AIの力を創造的なプロセスをサポートするために利用しながら、そのリスクを軽減することができます。