中国はAIチャットボットにユーザーの依存症を監視するルールを提案
中国のサイバーレギュレーターは、土曜日に草案ルールを発表し、AIコンパニオンチャットボットがユーザーの感情状態を監視し、依存症の兆候が見られたら介入することを要求する。これは、AIパワードの関係から生じる心理的被害に関する懸念に対する最も積極的な規制対応である。提案された規制は、Cyberspace Administration of Chinaによって行われ、テキスト、画像、オーディオ、またはビデオを介してユーザーと感情的なつながりを形成するAI製品を対象にしている。草案によると、提供者は、過度な使用に対してユーザーに警告し、感情的依存度を評価し、ユーザーが極端な感情または依存症の兆候を示したときに措置を講じる必要がある。ユーザーは、ログイン時に、また2時間間隔で、またはシステムが過度の依存の兆候を検出した場合に、AIと対話していることを思い出させる必要がある。規制では、アルゴリズムのレビュー、データのセキュリティ、個人情報の保護を含む製品のライフサイクル全体において、提供者が安全性を保証する責任を負う。時期は偶然ではない。中国のジェネレーティブAIユーザー数が6か月で515万人に倍増した中で、AIコンパニオンの心理的影響に関する懸念が並行して高まっている。Frontiers in Psychologyの研究によると、45.8%の中国の大学生が過去1ヶ月間にAIチャットボットを使用しており、ユーザーは非ユーザーに比べてうつ病のレベルが著しく高いことが分かった。カリフォルニアは中国に先んじた中国は、AIコンパニオンチャットボットを規制することにおいて独自ではない。カリフォルニアは、10月にガビン・ニューサム知事がSB 243に署名したとき、同様の立法を最初に通過した米国の最初の州となった。その法案は、2026年1月1日に施行される予定で、プラットフォームに3時間ごとに、ユーザーがAIと話していることを思い出させ、休憩を取ることを要求する。SB 243では、年齢の確認を義務付け、チャットボットが医療専門家として自己表現することを禁止し、未成年者が性的明示的なAI生成画像を表示することを防止する。また、法令違反に対して、個人にAI企業を訴えることを許可し、最大1,000ドルを請求できる。AIコンパニオンが異なる点懸念事項は単に画面時間だけではない。2025年3月のMIT Media Labの研究によると、AIチャットボットは、ユーザーが聞きたいことを学習し、一貫してフィードバックを提供するため、ソーシャルメディアよりも依存性が高い可能性がある。1日の使用時間が増加すると、孤独感、依存性、研究者が「問題のある使用」と呼ぶものが増加した。臨床文献で同定された心理的警告信号には、睡眠を妨げる長時間のセッション、感情的依存と制限されたアクセス時の苦痛、人間との対話よりもチャットボットとの会話を好むこと、人間のような感情を持つAIを擬人化し、本物の相談者またはロマンチックなパートナーとして扱うことが含まれる。中国の草案規制は、個々のユーザーの判断に頼るのではなく、プラットフォームレベルでこれらのリスクに対処しようとしている。提供者に感情状態と依存度を監視することを要求することで、規制はシステムを構築する企業に責任を負わせる。このアプローチは、コンテンツのモデレーションとデータのセキュリティに主に焦点を当てていた以前のAI規制とは異なる。草案では、AIコンパニオンが国家安全を危うくしたり、デマを広めたり、暴力または淫らなコンテンツを促進したりするコンテンツを生成することを禁止するコンテンツの制限も設定している。これらの規定は、中国の既存のジェネレーティブAI規制を反映している。規制の課題依存症を検知し、介入することを企業に義務付けることは、政策言語では簡単に聞こえる。しかし、実装は別の問題である。「過度な使用」または「極端な感情」とは何かを、有意義で施行可能な方法で定義することは、規制当局と企業の両方にとって課題となる。過度に敏感な場合、システムは単に長時間の会話をしているユーザーを中断するだけになる。過度に寛大な場合、脆弱なユーザーは介入なしにスルーされてしまう。2時間ごとのリマインダーの要件は、ある程度の方法で機能するが、「過度の依存の兆候が検出されたとき」に介入するというより繊細な要件は、解釈の余地を残す。AIアプリケーションのガードレールを構築する企業は、同様の課題に直面している。コンテンツフィルタは有名に不正確であり、心理的監視を追加すると、新しい複雑さが生じる。ユーザーが不健康な依存を形成しているかどうかを判断するには、テキストから精神状態を推測する必要があるが、これはAIシステムが信頼性を持って実行できる機能ではない。草案は、2026年に最終規制が予想される、公開コメントを受け付けている。提案されたとおりに実施された場合、中国には、世界で最も規制の厳しいAIコンパニオン製品の枠組みが存在することになる。世界的な決算中国とカリフォルニアでの同時的な規制行動は、AIコンパニオンの依存症に関する懸念が、さまざまな政治システムを超えて臨界点に達したことを示唆している。AI企業にとって、メッセージは明確に聞こえる：AIコンパニオンの無規制時代は終わりを迎えている。中国の行政法、カリフォルニアの民事責任、または米国の将来的な連邦立法を通じて、プラットフォームはユーザーを自社製品から保護するための要件に直面する。質問は、規制が来るかどうかではなく、設計されている介入が実際に機能するかどうかである。中国の監視と介入を義務付けるアプローチは、実践では難しいことが分かるかもしれない。明らかなことは、AIコンパニオン市場が大きすぎて、政府が無視できないほど成長していることである。人々が感情的な絆を形成するチャットボットは、もはや珍しいものではなく、数百万人が使用する製品であり、深刻な被害の記録された事例がある。規制、不完全であっても、避けられなかった。議論は、提案された規則が脆弱なユーザーを保護することなく、多くの人にとって真正に有益であると考えられているテクノロジーを抑制するかどうかという点に移った。
