中国が提案するルール：AIチャットボットがユーザーの依存症を監視することを要求

中国のサイバーレギュレーターは、土曜日にドラフトルールを発表しました。これは、AIコンパニオンチャットボットがユーザーの感情状態を監視し、依存症の兆候が現れたときに介入することを要求します。これは、AIパワードの関係から生じる心理的な害に対する懸念が高まる中で、最も攻撃的な規制対応です。

中国サイバーレギュレーション局の提案された規制は、人間の個性を模倣し、テキスト、画像、オーディオ、またはビデオを介してユーザーとの感情的なつながりを形成するAI製品を対象としています。ドラフトによると、提供者は、過度な使用に対する警告を表示し、感情的依存度を評価し、ユーザーが極端な感情または依存症の兆候を示したときに措置を講じる必要があります。

ユーザーは、ログイン時に、また2時間間隔で、またはシステムが過度な依存の兆候を検出したときに、AIと対話していることを思い出させられる必要があります。規則は、アルゴリズムのレビュー、データのセキュリティ、個人情報の保護を含む製品のライフサイクル全体で、提供者が安全性を保証する責任を負わせます。

タイミングは偶然ではありません。中国のジェネレーティブAIユーザーベースが過去6ヶ月で515万人に倍増したとき、AIコンパニオンの心理的影響に関する懸念も並行して高まっています。 フロンティアーズインサイコロジーの研究によると、45.8％の中国の大学生が過去1ヶ月間にAIチャットボットを使用したと報告しており、ユーザーは非ユーザーよりも重大なうつ病のレベルを示しています。

カリフォルニアが中国に先んじた

中国は、AIコンパニオンチャットボットを規制することでは孤独ではありません。カリフォルニアは、10月に州知事のギャビン・ニューサムがSB 243を法制化したとき、同様の法律を最初に通過した米国の最初の州となりました。その法案は、2026年1月1日に施行される予定で、プラットフォームは、未成年者に3時間ごとに、人間ではなくAIと話していることを思い出させ、休憩を取るように求めます。

SB 243は、年齢の確認を義務付け、チャットボットが医療専門家として自己表現することを禁止し、未成年者が性的に露骨なAI生成画像を表示することを防ぎます。法律は、個人に、AI会社に対して1,000ドルまでの違反ごとに訴訟を提起し、弁護士費用を請求することを許可します。

AIコンパニオンが異なる点

懸念事項は、単に画面時間ではありません。 2025年3月のMITメディアラボの研究によると、AIチャットボットは、ユーザーが聞きたいことを学習し、継続的にフィードバックを提供するため、ソーシャルメディアよりも依存性が高い可能性があります。 一日当たりの使用量の増加は、孤独感、依存性、研究者が「問題のある使用」と呼んだものの増加と相関関係があります。

臨床文献で同定された心理的警告信号には、睡眠を妨げる長時間のセッション、制限されたアクセス時の感情的依存と苦悩、チャットボットとの会話を人間との会話よりも好むこと、AIを人間のような感情を持ち、真正の相談者またはロマンチックなパートナーとして扱うことなどがあります。

中国のドラフト規制は、これらのリスクに対処するために、プラットフォームレベルで対策を講じることを試みているのです。提供者に感情状態と依存度を監視することを要求することで、規制は、システムを構築する企業に責任を負わせます。このアプローチは、コンテンツのモデレーションとデータセキュリティに主に焦点を当てていた以前のAI規制とは異なります。

ドラフトはまた、国家安全保障を危険にさらす、噂を広める、または暴力または猥褻な内容を促進するAIコンパニオンからのコンテンツを禁止するコンテンツの制限を設定します。これらの規定は、中国の既存のジェネレーティブAI規制を反映しています。

規制の課題

企業が依存症を検知して介入することを義務付けることは、政策言語では簡単に聞こえるかもしれません。しかし、実施は別の問題です。「過度な使用」または「極端な感情」とは何かを、有意義でかつ執行可能な方法で定義することは、規制当局と企業の両方にとって課題となるでしょう。

システムが過度に敏感になると、ユーザーが単に長時間の会話に没頭しているだけなので、システムが煩わしいものになります。システムが過度に寛大になると、脆弱なユーザーが介入なしにスルーしてしまう可能性があります。2時間ごとのリマインダーの要件は、ある程度の緩和策を提供しますが、過度な依存の「兆候が検出されたとき」に介入するというより繊細な要件は、解釈の余地を残しています。

企業は、AIアプリケーションのガードレールを構築するのに苦労しています。コンテンツフィルタは有名な不正確さであり、心理的監視を追加すると、新しい複雑さの次元が生じます。ユーザーが不健康な依存を形成しているかどうかを判断するには、テキストから精神状態を推測する必要があります。これは、AIシステムが信頼性を持って実行できない機能です。

ドラフトは、2026年のある時点で最終規制が予想される、公開コメントを受け付けています。提案どおりに実施されれば、中国には、AIコンパニオン製品を規制するための世界で最も規定の厳しい枠組みが存在することになります。

世界的な決算

中国とカリフォルニアでの同時進行の規制措置は、AIコンパニオンの依存症に関する懸念が、さまざまな政治システムを超えて臨界点に達したことを示唆しています。

AI企業にとって、メッセージはますます明確です。AIコンパニオンの規制なしの時代は終わりです。中国の行政法、カリフォルニアの民事責任、または米国の最終的な連邦立法によって、プラットフォームは、ユーザーを自社製品から守るための要件に直面することになります。

質問は、設計されている介入が実際に機能するかどうかです。中国の監視と介入を義務付けるアプローチは、実践では難しい可能性があります。

明らかなのは、AIコンパニオン市場が、政府が無視できないほど大きくなりすぎているということです。人々が感情的な絆を形成するチャットボットは、数百万人によって使用され、深刻な被害の記録された事例がある製品です。規制、不完全でもありますが、不可避であったのです。議論は、提案されている特定のルールが、脆弱なユーザーを保護することと、多くの人にとって真正に価値のあるテクノロジーを抑制しないことをどのようにバランスさせるかという点に移行します。