AIプラットフォームにおける適度な擬人化の必要性

意見 架空のスターウォーズの宇宙では、誰もAIを真剣に考えていない。ジョージ・ルーカスの47年前のサイエンス・ファンタジー・フランチャイズの歴史的人類の時間軸では、特異点や機械学習の意識からの脅威は存在せず、AIは自律移動ロボット（‘ドロイド’）に限定されており、主人公によって習慣的に「機械」として却下される。

しかし、スターウォーズのほとんどのロボットは、高度に擬人化されており、明らかに人間と交流し、「有機」文化に参加し、感情状態の模倣を使用して人間と絆を結ぶように設計されている。これらの機能は、自分自身や自分自身の生存のために何らかの利点を得るように設計されているようです。

スターウォーズの「実在」の人々は、これらの戦術に免疫があるようです。ローマ帝国とアメリカの初期の奴隷制の様々な時代にインスパイアされた、ある種のシニカルな文化モデルにおいて、ルーク・スカイウォーカーは、奴隷の文脈でロボットを買い、制限することをためらわない；アナキン・スカイウォーカーは、子供は彼の半完成したC3POプロジェクトを愛されない玩具のように放棄する；そして、デス・スターへの攻撃中に受けた損傷でほぼ死にかけた「勇気」のあるR2D2は、ルークから、傷ついたペットと同じくらいの心配をされる。

これは1970年代のAIに対する非常に時代遅れの考え方ですが；しかし、ノスタルジーと正典が、オリジナルの1977-83トリロジーが後の続編、前日譚、テレビ番組のテンプレートであることを示唆しているため、このAIに対する人間の無感覚は、フランチャイズの堅牢な流れとなっているようです。さらに、HerやEx Machinaのような、人間とAIの関係の没入に陥っているテレビ番組や映画の増加にもかかわらず。

現実を維持する

スターウォーズの有機的なキャラクターは、実際に正しい態度を持っているのでしょうか？今の時点では、それは人気のある考えではありません。投資家との最大のエンゲージメントを、通常、現実世界のシミュレーションや人間のようなインタラクティブ・システム（例：大規模言語モデル（LLM））のデモンストレーションを通じて行っているビジネス・クライマットでは。

それでも、スタンフォード、カーネギー・メロン、そしてマイクロソフト・リサーチからの新しい、そして短い論文は、AIにおける擬人化に対する無関心に照準を合わせています。

著者らは、人間と人工的なコミュニケーションの間の「交差」が、緊急に緩和されるべき潜在的な害であると特徴付けます。いくつかの理由で：^†：

「私たちは、人間のような行動をとるシステムをよりよく理解し、開発するために、より多くのことをしなければならない。そうすることは、人間のような行動をとるシステムを生成するAIシステムが、例えば、感情、理解、自由意志、または根底にある自己意識を持っていることを主張するコンテンツを生成する場合に、人々の代理店の感覚を損なう可能性があるため、重要である。

「これを行うことは、人々がシステムに道徳的責任を帰属させ、システムの能力を過大評価したり、これらのシステムに過度に依存したりするのを防ぐためにも重要である。」

寄稿者らは、人間のようなと認識されるシステムを論じていると述べており、開発者の意図が機械システムで擬人化を促進する可能性について中心に据えています。

心配事は、人々がAIベースのシステムに感情的依存を開発する可能性があることです。2022年の研究では、ジェンAIチャットボットプラットフォームReplikaで、アイディオムに富んだ人間のコミュニケーションの模倣が提供されていました。

Replikaのようなシステムは、著者らの警告の対象であり、さらに2022年の研究では、Replikaについて、次のように述べられていました：

「苦悩や人間の伴侶の欠如の状況下で、個人は、チャットボットの応答が感情的なサポート、励まし、心理的な安全性を提供するものと認識した場合、チャットボットに依存することができる。」

「これらの結果は、社会的チャットボットが精神衛生と治療の目的で使用できることを示唆しているが、依存症や現実の親密な関係に害を及ぼす可能性もある。」

擬人化されていない言語？

新しい研究は、人間と人工的なコミュニケーションの「交差」が、人間の言語と行動の間の「交差」の潜在的な害であると特徴付けます。人間の言語は、人間の機能であるため、擬人化は難しいです。挑戦は、人間の言語とは異なる言語を定義することです。

アイロニカルに、論文はそれについて触れていないが、AI生成テキスト・コンテンツを却下するために、人々がAIを使用することを拒否することが増えています。さらに、人間のコンテンツがAIとして誤ってラベル付けされた場合も却下します。

したがって、「非人間化」されたコンテンツは、もはや「計算不能」というメモには当てはまらない。言語は、機械によって作成されたように、不器用に構築されます。

定義は、常に進化しています。現在、AI生成テキストと関連付けられる可能性のある、非常に明確な言語や、特定の単語（例：「Delve」）の使用は、AI生成テキストと関連付けられる可能性があります。

「言語は、他の目標と同様に、人間のものであり、長い間人間によって生産され、人間のために生産されてきた。人間についてであることが多い。人間の言語は、人間の行動と密接に結びついているため、人間のような行動をとるシステムの代替的な（人間に近い）行動を指定することは困難です。」

著者らは、明確な区別線を引くべきであると主張しています。人間の能力や経験を主張するシステムに対しては、人間に近い行動をとるシステムを定義し、人間の言語と区別する必要があります。

警告サイン

論文は、機械学習によって促進されたコミュニケーションについてのブランケット・ディスクロージャーの使用に疑問を投げかけます。著者らは、システム化された警告は、AIプラットフォームの擬人化の影響を十分に文脈化していないと主張しています：^†：

「例えば、一般的に推奨されている介入は、AIシステムの出力に、出力がAIシステムによって生成されたことを示す警告を含めることです。そうした介入を実践でどのように運用し、有効であるかどうかは、常に明らかではないかもしれません。」

「例えば、「私のようなAIの場合、幸せはあなたのような人間の場合とは異なる」という警告が含まれていますが、それでもアイデンティティと自己評価の感覚を示唆する可能性があります（共通の人間の特徴）。」

さらに、著者らは、人間のフィードバックからの強化学習（RLHF）が、人間とAIシステムの両方で適切な応答を区別できないと主張しています：^†。

「人間のスピーカーから見て、フレンドリーまたは誠実なように見える発言が、AIシステムから生じた場合、意図やコミットメントが欠如しているため、空虚で欺瞞的なものとなる可能性があります。」

さらに、擬人化が人々に、AIシステムが「意識」を獲得したと信じ込ませる可能性があることや、他の人間の特徴についても触れています。

新しい研究の最も野心的な、結論部では、著者らは、研究開発コミュニティが、擬人化されたAIシステムを定義し、人間の言語と区別するための「適切で正確な」用語を開発することを目指すべきであると主張しています。

これは、心理学、言語学、人類学の文献ストリームにまたがる分野です。どの権威がこのような定義を実際に形成できるかはわかりませんが、新しい研究の研究者は、この問題についての光を当てていません。

商業的および学術的な慣性がこのトピックの周りにあるかもしれませんが、それは部分的に、このトピックが人工知能研究における新しい議論のトピックではないという事実に帰因するかもしれません。1985年、故人コンピュータ科学者エドスガー・ウィベ・ディクストラは、擬人化をシステム開発における「有害な」傾向と表現しました。

「擬人化的な思考は、役に立たない。悪いということだけではなく、人間と物の間の類似性を指摘することができるとしても、類似性は常に違いと比較して見劣りする。人間のニュアンスを引き込むために、人間の言語を使用して物を説明することを許すと、すぐに人間のニュアンスをどれだけ引き込むかを制御できなくなります。」

「…しかし、人間と機械の間の曖昧さは、思ったよりも広範囲に影響を及ぼします。機械は考えられるかという質問は、機械は泳ぐことができるかという同様に重要な質問と同様に、定期的に提起されます；私たちは、それが人間の質問と同様に関連性があることを指摘することで対処できますが、機械は泳ぐことができないのと同様に、機械は考えられないのです。」

しかし、論争は古いものですが、最近になって非常に関連性のあるものとなりました。ディクストラの貢献は、歴史的発展を待っている、空間旅行についてのヴィクトリア朝の推測と同等であると主張することができます。

したがって、この確立された議論のトピックは、疲労感を与えるかもしれませんが、将来2〜5年間で重大な社会的関連性を持つ可能性があります。

結論

もし私たちが、スターウォーズの有機的なキャラクターが自分のロボットを扱うのと同様に、AIシステムを軽視したものと見なすならば、人間の言語や行動をAIシステムに習慣的に組み込む危険性は少なくなります。なぜなら、システムは完全に非人間的な文脈で見られるからです。

しかし、人間の言語と人間の行動は密接に結びついているため、クエリが単純なGoogle検索用語から会話の豊かな文脈に拡大するにつれて、実践ではこれは困難です。

さらに、商業セクター（および広告セクター）は、顧客の維持と成長のために、中毒性のあるコミュニケーション・プラットフォームを作成するために強く動機付けられています。

どちらにせよ、AIシステムが実際に礼儀正しいクエリに比べて、簡素化された質問に反応する場合、状況は私たちに強制されるかもしれません。

* 1983年、オリジナルのスターウォーズの最終エントリが公開されたとき、機械学習の成長に関する懸念は、ウォー・ゲームズやターミネーターフランチャイズの登場につながっていました。

^† 必要に応じて、著者らのインライン引用をハイパーリンクに変換し、読みやすさのために一部の引用を省略しました。

初版は2024年10月14日月曜日に公開されました。