新しい研究：人工生成テキストを識別するためのトレーニングが可能

人工知能（AI）の高度化と普及により、社会への影響に関する懸念が長年続いています。最新のチャットボットは、これらの懸念をさらに悪化させ、職場の誠実さや偽ニュース、誤情報の拡散に関する懸念が高まっています。これらの懸念に鑑みて、ペンシルバニア大学エンジニアリングアンドアプライドサイエンススクールの研究者チームは、テクノロジー利用者がこれらのリスクを軽減するための手段を提供しようとしました。

AIテキストの識別を自己トレーニングする

彼らの査読付き論文は、2023年2月のアメリカ合衆国人工知能協会の会合で発表され、人々が機械生成テキストと人間が書いたテキストの違いを識別することができることを示しています。

クリス・キャリソン＝バーチ（Chris Callison-Burch）准教授と、博士課程の学生であるライアム・ダガン（Liam Dugan）とダフネ・イッポリト（Daphne Ippolito）が主導するこの研究では、AI生成テキストが識別可能であることを実証しています。

「人々は機械生成テキストを識別するためのトレーニングを受けることができる」とキャリソン＝バーチは述べています。「人々は、機械がどのようなミスを犯すかについて、ある程度の仮定を持っています。しかし、これらの仮定は必ずしも正しくありません。十分な例と明確な指示があれば、現在機械が犯しているミスの種類を識別することができるようになります。」

この研究では、「リアルまたはフェイクテキスト？」というオリジナルのウェブベースのトレーニングゲームを使用して収集されたデータを使用しています。このトレーニングゲームは、テキスト生成のための標準的な実験方法を、より正確な再現に変換します。

標準的な方法では、参加者は機械が特定のテキストを生成したかどうかを「はい」または「いいえ」の形式で示します。ペンのモデルは、標準的な検出研究を効果的なトレーニングタスクに変換します。すべての例は人間が書いたテキストから始まり、生成されたテキストに移行します。参加者は、生成されたテキストが開始される場所をマークし、エラーを示すテキストの特徴を記述します。トレーニーはスコアを受け取ります。

研究の結果

研究結果は、参加者がランダムなチャンスよりもはるかに高いスコアを獲得したことを示し、AI生成テキストが一定程度識別可能であることを示しています。この研究は、AIとの関係について楽観的な、あるいは興奮するべき未来を示唆しています。また、人々が機械生成テキストを識別するためのトレーニングを受けることができることを実証しています。

「人々はAIについて有効な理由で心配しています」とキャリソン＝バーチは述べています。「私たちの研究は、これらの心配を和らげるための証拠を提供しています。私たちがAIテキスト生成器の楽観主義を利用できるようになれば、より創造的で、より興味深いテキストを書くためのツールとしての能力に注目できるようになります。」

ダガンは、「この技術を推進できる興奮する方向があります。人々は心配な例、たとえば盗作やフェイクニュースに注目していますが、私たちが機械生成テキストを識別できることを知っているので、よりよい読者や作家になるためのトレーニングを受けることができます」と述べています。

この研究は、機械生成テキストに関連するリスクを軽減するための重要な第一歩を提供します。AIが進化するにつれて、その影響を検出してナビゲートする能力も進化する必要があります。人間が書いたテキストと機械生成テキストの違いを識別するためのトレーニングを受けることで、AIの力を創造的なプロセスを支援するために利用しながら、そのリスクを軽減することができます。