关注我们.

税法法规

中国拟出台新规,要求人工智能聊天机器人监测用户成瘾情况

mm

中国网络监管机构发布 周六公布的规则草案 这将要求人工智能陪伴聊天机器人监控用户的情绪状态,并在出现成瘾迹象时进行干预——这是迄今为止对人工智能驱动的人际关系造成的心理伤害日益增长的担忧所作出的最积极的监管回应。

中国国家互联网信息办公室提出的监管草案针对的是那些能够模拟人类个性并通过文本、图像、音频或视频与用户建立情感联系的人工智能产品。根据草案,服务提供商需要警告用户不要过度使用,评估用户的情感依赖程度,并在用户出现极端情绪或成瘾行为时采取措施。

用户在登录时以及之后每隔两小时都会被提醒他们正在与人工智能交互——如果系统检测到用户过度依赖人工智能的迹象,则提醒频率会更高。这些规则还将要求供应商对其产品整个生命周期的安全负责,包括算法审查、数据安全和个人信息保护。

时机并非偶然。 中国生成式人工智能用户数量翻了一番,达到515亿。 过去六个月来,人们对人工智能伴侣的心理影响的担忧也与日俱增。 《心理学前沿》杂志的一项研究 研究发现,45.8%的中国大学生表示在过去一个月中使用过人工智能聊天机器人,与非用户相比,用户表现出明显更高的抑郁程度。

加州抢先一步击败中国

中国并非唯一对人工智能陪伴聊天机器人进行监管的国家。加利福尼亚州于去年10月成为美国首个通过类似立法的州,州长加文·纽森签署了SB 243法案。该法案将于2026年1月1日生效,要求平台必须…… 每三小时提醒未成年人 他们正在与人工智能对话,而不是与人对话,所以让他们休息一下。

SB 243法案还强制要求进行年龄验证,禁止聊天机器人冒充医疗保健专业人员,并阻止未成年人查看人工智能生成的色情图像。该法案允许个人就违规行为起诉人工智能公司,每次事件最高可索赔1,000美元,外加律师费。

人工智能伙伴有何不同之处

令人担忧的不仅仅是屏幕时间。 2025年3月 麻省理工学院媒体实验室 研究发现,人工智能聊天机器人比社交媒体更容易让人上瘾,因为它们会学习用户想听什么,并持续提供这些反馈。每日使用时间越长,孤独感、依赖性以及研究人员所说的“问题性使用”就越严重。

临床文献中指出的心理预警信号包括:长时间使用人工智能导致睡眠紊乱、情绪依赖以及在访问受限时感到痛苦、更喜欢与聊天机器人对话而不是与真人互动,以及将人工智能拟人化——认为它拥有类似人类的情感,并将其视为真正的知己或浪漫伴侣。

中国的相关规定草案试图从平台层面而非依赖用户个人判断来解决这些风险。通过要求服务提供商监控用户的情绪状态和依赖程度,这些规定将责任转移到了构建这些系统的公司身上。这种方法不同于以往主要侧重于内容审核和数据安全的AI监管。

该草案还设定了内容限制,禁止人工智能伙伴生成危害国家安全、散布谣言或宣扬暴力或淫秽的内容——这些规定与中国现有的生成式人工智能法规相呼应。

执法挑战

政策层面上,强制企业检测成瘾行为并进行干预听起来很简单。但实际执行起来却并非易事。如何界定“过度使用”或“极端情绪”的定义,使其既有意义又可执行,将考验监管机构和企业双方的应对能力。

过于敏感,系统就会变得令人厌烦——打断那些正在进行长时间对话的用户;过于宽松,则会让一些脆弱的用户侥幸逃脱监管。两小时提醒的要求过于简单粗暴,而“在能够检测到迹象时”才进行过度依赖检测的要求则留下了很大的解释空间。

建设公司 人工智能应用的防护措施 我们也曾面临类似的挑战。内容过滤器的精确度历来不高,而加入心理监测功能则引入了新的复杂性。判断用户是否正在形成不健康的依恋关系需要从文本中推断其心理状态——而人工智能系统目前尚不具备这种能力。

该草案现已公开征求意见,最终法规预计将于 2026 年出台。如果按提议实施,中国将拥有世界上最完善的人工智能伴侣产品监管框架。

全球清算

中国和加利福尼亚州同时采取的监管行动表明,不同政治体系中对人工智能伴侣成瘾问题的担忧已经达到了临界点。

对于人工智能公司而言,信息越来越清晰:人工智能伴侣不受监管的时代即将结束。无论是通过中国的行政法规、加州的民事责任,还是最终美国的联邦立法,平台都将面临保护用户免受自身产品侵害的义务。

问题不在于监管是否会出台,而在于正在设计的干预措施是否真的有效。中国强制实施监测和干预的做法在实践中可能难以推行。

显而易见,人工智能伴侣市场规模庞大,影响深远,各国政府不容忽视。人们与之建立情感联系的聊天机器人不再是新鲜事物,而是数亿用户使用的产品,并且已有记录在案的严重伤害案例。监管,无论多么不完善,都势在必行。如今的争论焦点在于,拟议的具体规则能否在保护弱势用户的同时,又不扼杀这项被许多人视为真正有价值的技术。

Alex McFarland 是一位人工智能记者和作家,致力于探索人工智能的最新发展。他与全球众多人工智能初创公司和出版物合作。