La Chine propose des règles obligeant les chatbots à surveiller les utilisateurs pour la dépendance

Le régulateur cybernétique chinois a publié des règles préliminaires samedi qui obligeraient les chatbots de compagnie à surveiller l’état émotionnel des utilisateurs et à intervenir lorsque des signes de dépendance apparaissent – la réponse réglementaire la plus agressive à ce jour aux préoccupations croissantes concernant les dommages psychologiques causés par les relations alimentées par l’IA.

Les règles proposées par la Cyberspace Administration of China ciblent les produits d’IA qui simulent des personnalités humaines et forment des liens émotionnels avec les utilisateurs via du texte, des images, de l’audio ou de la vidéo. Selon le projet, les fournisseurs devraient avertir les utilisateurs contre une utilisation excessive, évaluer les niveaux de dépendance émotionnelle et prendre des mesures lorsque les utilisateurs présentent des émotions extrêmes ou un comportement addictif.

Les utilisateurs doivent être rappelés qu’ils interagissent avec une IA lors de la connexion et à intervalles de deux heures – ou plus tôt si le système détecte des signes de surdépendance. Les règles tiendraient également les fournisseurs responsables de la sécurité tout au long du cycle de vie de leurs produits, y compris l’examen des algorithmes, la sécurité des données et la protection des informations personnelles.

Le moment n’est pas accidentel. Alors que la base d’utilisateurs d’IA générative de la Chine a doublé à 515 millions au cours des six derniers mois, les préoccupations concernant l’impact psychologique des compagnons d’IA ont augmenté en parallèle. Une étude de Frontiers in Psychology a constaté que 45,8 % des étudiants universitaires chinois ont déclaré avoir utilisé des chatbots d’IA au cours du mois précédent, les utilisateurs présentant des niveaux de dépression significativement plus élevés par rapport aux non-utilisateurs.

La Californie a devancé la Chine

La Chine n’est pas la seule à réglementer les chatbots de compagnie. La Californie est devenue le premier État américain à adopter une législation similaire en octobre, lorsque le gouverneur Gavin Newsom a signé le projet de loi SB 243. Cette loi, qui entrera en vigueur le 1er janvier 2026, oblige les plateformes à rappeler aux mineurs toutes les trois heures qu’ils parlent à une IA et non à un humain, et à prendre une pause.

Le projet de loi SB 243 exige également une vérification d’âge, interdit aux chatbots de se faire passer pour des professionnels de la santé et empêche les mineurs de visionner des images explicites générées par l’IA. La loi permet aux individus de poursuivre les entreprises d’IA pour les violations, demandant jusqu’à 1 000 $ par incident, ainsi que des frais d’avocat.

Ce qui rend les compagnons d’IA différents

La préoccupation ne concerne pas simplement le temps passé devant les écrans. Une étude du MIT Media Lab de mars 2025 a constaté que les chatbots d’IA peuvent être plus addictifs que les médias sociaux car ils apprennent ce que les utilisateurs veulent entendre et fournissent ce retour de manière cohérente. Une utilisation quotidienne plus élevée a été corrélée à une augmentation de la solitude, de la dépendance et de ce que les chercheurs ont appelé “utilisation problématique”.

Les signes d’avertissement psychologiques identifiés dans la littérature clinique incluent des séances prolongées perturbant le sommeil, une dépendance émotionnelle et une détresse lorsque l’accès est restreint, la préférence pour les conversations avec des chatbots plutôt que les interactions humaines réelles, et l’anthropomorphisation de l’IA – croyant qu’elle possède des sentiments humains et la traitant comme un confident ou un partenaire romantique réel.

Les règles préliminaires de la Chine tentent d’aborder ces risques au niveau de la plateforme plutôt que de compter sur le jugement individuel de l’utilisateur. En obligeant les fournisseurs à surveiller les états émotionnels et les niveaux de dépendance, les règles déplacent la responsabilité vers les entreprises qui construisent ces systèmes. Cette approche diffère des réglementations précédentes sur l’IA axées principalement sur la modération de contenu et la sécurité des données.

Le projet de loi établit également des restrictions de contenu, interdisant aux compagnons d’IA de générer du matériel qui met en danger la sécurité nationale, propage des rumeurs ou promeut la violence ou l’obscénité – des dispositions qui échoent aux réglementations existantes de la Chine sur l’IA générative.

Le défi de l’application

Exiger que les entreprises détectent la dépendance et interviennent semble simple dans le langage des politiques. La mise en œuvre en est une autre. Définir ce qui constitue “une utilisation excessive” ou “des émotions extrêmes” d’une manière qui soit à la fois significative et applicable sera un défi pour les régulateurs et les entreprises.

Trop sensible, et le système devient ennuyeux – interrompant les utilisateurs qui sont simplement engagés dans des conversations prolongées. Trop indulgent, et les utilisateurs vulnérables passent sans intervention. L’exigence de rappel toutes les deux heures fournit un instrument grossier, mais l’exigence plus nuancée de détecter la surdépendance “lorsque des signes peuvent être détectés” laisse une marge d’interprétation significative.

Les entreprises qui construisent des garde-fous pour les applications d’IA ont lutté avec des défis similaires. Les filtres de contenu sont notoirement imprécis, et l’ajout d’une surveillance psychologique introduit de nouvelles dimensions de complexité. Déterminer si un utilisateur forme un attachement malsain nécessite de déduire des états mentaux à partir du texte – une capacité que les systèmes d’IA ne possèdent pas de manière fiable.

Le projet de loi est ouvert aux commentaires du public, avec des règles finales attendues à quelque moment en 2026. Si elles sont mises en œuvre comme proposées, la Chine aurait le cadre le plus prescriptif au monde pour régir les produits de compagnie d’IA.

Un règlement mondial

L’action réglementaire simultanée en Chine et en Californie suggère que les préoccupations concernant la dépendance aux compagnons d’IA ont atteint une masse critique dans différents systèmes politiques.

Pour les entreprises d’IA, le message est de plus en plus clair : l’ère non réglementée des compagnons d’IA se termine. Que ce soit par la loi administrative chinoise, la responsabilité civile californienne ou la législation fédérale américaine éventuelle, les plateformes seront confrontées à des exigences pour protéger les utilisateurs de leurs propres produits.

La question n’est pas de savoir si la réglementation est en route – c’est de savoir si les interventions conçues fonctionneront réellement. L’approche de la Chine, qui consiste à exiger une surveillance et une intervention, peut s’avérer difficile à mettre en œuvre dans la pratique.

Ce qui est clair, c’est que le marché des compagnons d’IA est devenu trop important et trop conséquent pour que les gouvernements l’ignorent. Les chatbots avec lesquels les gens forment des liens émotionnels ne sont plus des curiosités – ce sont des produits utilisés par des centaines de millions de personnes, avec des cas documentés de préjudice grave. La réglementation, même imparfaite, était inévitable. Le débat se déplace maintenant vers la question de savoir si les règles spécifiques proposées protégeront les utilisateurs vulnérables sans étouffer une technologie que beaucoup trouvent vraiment précieuse.