AIチャットボットの危険性 – それらに対抗する方法

自動化された会話プログラムと考えられていたAIチャットボットは、今では人間とほとんど区別がつかない会話を学習し、保持することができる。しかし、AIチャットボットの危険性も同様に多様である。

これらは、チャットボットの誤用からサイバーセキュリティリスクまでさまざまである。人間がAI技術に依存するにつれて、これらのプログラムを使用することの潜在的な結果を理解することが不可欠である。但し、ボットは危険なものだろうか。

1. バイアスと差別

AIチャットボットの最大の危険性の1つは、その有害なバイアスに向けた傾向である。AIは、人間が見逃すことが多いデータポイント間のつながりを引き出して、訓練データ内の微妙な、暗黙のバイアスを検出して、差別的なものを教え込むことができる。結果として、チャットボットは、訓練データに極端なものが含まれていなくても、人種差別、性差別、またはその他の差別的なコンテンツをすぐに学習することができる。

代表的な例は、Amazonの却下された採用ボットである。2018年、Amazonは採用者の履歴書を事前に評価するために設計されたAIプロジェクトを中止したことが明らかになった。ボットは、訓練に使用した履歴書のほとんどが男性のものだったため、男性の応募者が優先されるように自己教師付きで学習した。訓練データにはそのような指示が含まれていなかったにもかかわらずである。

チャットボットは、インターネットのコンテンツを使用して自然な会話の方法を学習する傾向があり、より極端なバイアスを示すことが多い。2016年、Microsoftは、ソーシャルメディアの投稿を模倣するように設計されたチャットボットTayを発表した。数時間以内に、非常に攻撃的なコンテンツをツイートし始めたため、Microsoftはすぐにアカウントを停止した。

企業がボットの構築と展開に十分注意しない場合、同様の状況につながる可能性がある。チャットボットは、顧客を不当に扱ったり、阻止するように設計されている有害な偏ったコンテンツを広めたりする可能性がある。

2. サイバーセキュリティリスク

AIチャットボット技術の危険性は、個人や企業に対してより直接的なサイバーセキュリティリスクももたらす可能性がある。サイバーアタックの最も一般的な形式の1つは、フィッシングとボイスフィッシング詐欺である。これらは、銀行や政府機関などの信頼できる組織を模倣するサイバー攻撃者によって行われる。

フィッシング詐欺は、通常、電子メールやテキストメッセージを通じて行われる。リンクをクリックすると、マルウェアがコンピューターシステムに侵入する。内部に入ったら、ウイルスは、個人情報の盗難からシステムの身代金要求まで、さまざまなことを行うことができる。

フィッシング攻撃の発生率は、新型コロナウイルス感染症のパンデミックの間および以降に増加している。サイバーセキュリティ・インフラストラクチャセキュリティ庁は、84%の個人が、フィッシングメッセージに機密情報を返信したり、リンクをクリックしたりした。

フィッシャーは、被害者を自動的に検索し、リンクをクリックさせ、個人情報を提供させるために、AIチャットボット技術を使用している。チャットボットは、多くの金融機関（例：銀行）で、カスタマーサービス体験をストリームライン化するために使用されている。

フィッシャーは、銀行が使用する自動化されたプロンプトを模倣して、被害者を欺くことができる。また、電話番号を自動的にダイヤルしたり、インタラクティブなチャットプラットフォームで被害者に直接連絡したりすることもできる。

3. データ汚染

データ汚染は、人工知能を直接標的とする新しく考えられたサイバーアタックである。AI技術は、データセットから学習し、その情報を使用してタスクを実行する。これは、AIプログラムの目的や機能に関係なく、すべてのAIプログラムに当てはまる。

チャットボットAIの場合、これは、ユーザーが与える可能性のある質問に対する複数の応答を学習することを意味する。しかし、これはAIの危険性の1つでもある。

これらのデータセットは、誰でも利用できるオープンソースツールやリソースであることが多い。AI企業は通常、データソースを厳密に秘密にしていますが、サイバー攻撃者は使用されているデータソースを特定し、データを操作することができる。

サイバー攻撃者は、AIを訓練するために使用されるデータセットを改ざんする方法を見つけることができる。これにより、攻撃者はAIの決定や応答を操作することができる。AIは、変更されたデータから情報を使用して、攻撃者が望む行為を実行することになる。

例えば、データセットの最も一般的に使用されるソースの1つは、ウィキリソース（例：Wikipedia）である。データはライブのWikipedia記事から取得されないが、特定の時点でのスナップショットから取得される。ハッカーは、データを改ざんして自分に有利なようにする方法を見つけることができる。

チャットボットAIの場合、ハッカーは、医療機関や金融機関で働くチャットボットプログラムを使用するデータセットを汚染することができる。ハッカーは、チャットボットプログラムを操作して、顧客に誤った情報を提供させ、顧客がマルウェアを含むリンクまたは詐欺的なWebサイトをクリックさせることができる。AIが汚染されたデータから情報を取得し始めると、検出が難しくなり、長期間にわたってサイバーセキュリティの重大な脆弱性が生じる可能性がある。

AIチャットボットの危険性に対処する方法

これらのリスクは心配するものであるが、ボットが本質的に危険であることを意味するものではない。ボットを構築して使用する際に、これらの危険性を考慮する必要がある。

AIの偏見を防ぐ鍵は、訓練中にそれを検索することである。多様なデータセットで訓練し、人種、性別、性別などの要素を決定に含めないように特にプログラムする必要がある。また、データサイエンティストの多様なチームを持ち、チャットボットの内部動作を確認し、偏見がないことを確認する必要がある。

フィッシングに対する最良の防御は、訓練である。すべての従業員をフィッシング試みの一般的な兆候を識別するように訓練し、攻撃に陥らないようにする。消費者に対する問題の認識を広めることも役立つ。

チャットボットの訓練データへのアクセスを制限することで、データ汚染を防ぐことができる。データにアクセスする必要があるのは、仕事を正しく行うために必要な人だけであるべきである。これは、最小権限の原則と呼ばれる概念である。制限を実施した後、多要素認証やバイオメトリクスなどの強力な検証措置を使用して、サイバー犯罪者が承認されたアカウントにハッキングするリスクを防ぐ。

AIへの依存の危険性に対して警戒する

人工知能は、ほとんど無限の応用を持つ、真正に驚異的な技術である。しかし、AIの危険性は、時には不明瞭である。ボットは危険なものだろうか。固有には危険ではないが、サイバー犯罪者は、さまざまな妨害的な方法でそれらを使用することができる。AI技術の応用は、ユーザーが決定することである。