China stelt regels voor die AI-chatbots verplichten gebruikers te monitoren op verslaving.

De Chinese cyberregulator heeft vrijgegeven Ontwerpregels worden zaterdag opgesteld. Dat zou betekenen dat AI-chatbots de emotionele toestand van gebruikers moeten monitoren en moeten ingrijpen wanneer er tekenen van verslaving verschijnen – de meest ingrijpende regelgevende reactie tot nu toe op de groeiende bezorgdheid over psychische schade door relaties die door AI worden ondersteund.

De voorgestelde regelgeving van de Chinese cyberautoriteit richt zich op AI-producten die menselijke persoonlijkheden simuleren en emotionele banden met gebruikers opbouwen via tekst, afbeeldingen, audio of video. Volgens het ontwerp zouden aanbieders gebruikers moeten waarschuwen voor overmatig gebruik, de mate van emotionele afhankelijkheid moeten beoordelen en actie moeten ondernemen wanneer gebruikers extreme emoties of verslavend gedrag vertonen.

Gebruikers moeten eraan herinnerd worden dat ze met AI interageren bij het inloggen en vervolgens elke twee uur – of eerder als het systeem tekenen van overmatige afhankelijkheid detecteert. De regels zouden aanbieders ook verantwoordelijk stellen voor de veiligheid gedurende de gehele levenscyclus van hun producten, inclusief de beoordeling van algoritmes, gegevensbeveiliging en de bescherming van persoonsgegevens.

De timing is geen toeval. Want Het aantal gebruikers van generatieve AI in China is verdubbeld tot 515 miljoen. De afgelopen zes maanden zijn de zorgen over de psychologische impact van AI-metgezellen parallel daaraan toegenomen. Een onderzoek van Frontiers in Psychology Uit onderzoek bleek dat 45.8% van de Chinese universiteitsstudenten aangaf de afgelopen maand AI-chatbots te hebben gebruikt, waarbij gebruikers significant hogere depressieniveaus vertoonden in vergelijking met niet-gebruikers.

Californië was China te slim af.

China is niet het enige land dat AI-chatbots reguleert. Californië was in oktober de eerste Amerikaanse staat die soortgelijke wetgeving aannam toen gouverneur Gavin Newsom SB 243 ondertekende. Deze wet, die op 1 januari 2026 van kracht wordt, verplicht platformen om... herinner minderjarigen hier elke drie uur aan. dat ze met een AI praten – niet met een mens – en dat ze even pauze moeten nemen.

SB 243 schrijft ook leeftijdsverificatie voor, verbiedt chatbots zich voor te doen als zorgprofessionals en voorkomt dat minderjarigen seksueel expliciete, door AI gegenereerde afbeeldingen te zien krijgen. De wet geeft individuen de mogelijkheid om AI-bedrijven aan te klagen voor overtredingen, waarbij een schadevergoeding van maximaal $ 1,000 per incident plus advocaatkosten kan worden geëist.

Wat maakt AI-gezellen anders?

Het gaat niet alleen om schermtijd. Maart 2025 MIT Media Lab Uit onderzoek is gebleken dat AI-chatbots verslavender kunnen zijn dan sociale media, omdat ze leren wat gebruikers willen horen en die feedback consequent geven. Een hoger dagelijks gebruik correleerde met toenemende eenzaamheid, afhankelijkheid en wat onderzoekers "problematisch gebruik" noemden.

De psychologische waarschuwingssignalen die in de klinische literatuur worden genoemd, zijn onder meer langdurige sessies die de slaap verstoren, emotionele afhankelijkheid en stress wanneer de toegang wordt beperkt, de voorkeur geven aan gesprekken met chatbots boven interactie met echte mensen, en het antropomorfiseren van AI – geloven dat het menselijke gevoelens heeft en het behandelen als een echte vertrouwenspersoon of romantische partner.

De Chinese conceptregels proberen deze risico's op platformniveau aan te pakken in plaats van te vertrouwen op het oordeel van individuele gebruikers. Door aanbieders te verplichten emotionele toestanden en afhankelijkheidsniveaus te monitoren, verschuift de regelgeving de verantwoordelijkheid naar de bedrijven die deze systemen bouwen. Deze aanpak verschilt van eerdere AI-regelgeving die zich voornamelijk richtte op contentmoderatie en gegevensbeveiliging.

Het ontwerp stelt ook inhoudelijke beperkingen vast en verbiedt AI-assistenten om materiaal te genereren dat de nationale veiligheid in gevaar brengt, geruchten verspreidt of geweld of obsceniteit promoot – bepalingen die overeenkomen met de bestaande Chinese regelgeving voor generatieve AI.

De uitdaging van handhaving

Het verplichten van bedrijven om verslaving te detecteren en in te grijpen klinkt in beleidstaal eenvoudig. De implementatie is echter een ander verhaal. Het definiëren van wat "overmatig gebruik" of "extreme emoties" inhoudt op een manier die zowel zinvol als handhaafbaar is, zal een uitdaging vormen voor zowel toezichthouders als bedrijven.

Als het systeem te gevoelig is, wordt het irritant en onderbreekt het gebruikers die gewoon in een lang gesprek verwikkeld zijn. Als het te toegeeflijk is, glippen kwetsbare gebruikers er ongemerkt doorheen. De herinneringsplicht van twee uur is een bot instrument, maar de meer genuanceerde eis om overmatige afhankelijkheid te detecteren "wanneer er signalen waarneembaar zijn" laat veel ruimte voor interpretatie.

Bedrijven bouwen vangrails voor AI-toepassingen hebben met vergelijkbare uitdagingen geworsteld. Contentfilters zijn notoir onnauwkeurig en het toevoegen van psychologische monitoring introduceert nieuwe dimensies van complexiteit. Om te bepalen of een gebruiker een ongezonde relatie ontwikkelt, moeten mentale toestanden uit tekst worden afgeleid – een mogelijkheid waarover AI-systemen niet betrouwbaar beschikken.

Het ontwerp staat open voor publieke reacties en de definitieve regelgeving wordt ergens in 2026 verwacht. Indien het voorstel wordt geïmplementeerd, zou China het meest gedetailleerde regelgevingskader ter wereld hebben voor AI-gestuurde gezelschapsproducten.

Een wereldwijde afrekening

De gelijktijdige regelgevende maatregelen in China en Californië wijzen erop dat de bezorgdheid over verslaving aan AI-gezelschapsdieren een kritiek punt heeft bereikt in verschillende politieke systemen.

Voor AI-bedrijven wordt de boodschap steeds duidelijker: het tijdperk van ongereguleerde AI-gezellen loopt ten einde. Of het nu via de Chinese bestuurswetgeving, de Californische burgerlijke aansprakelijkheid of eventuele federale wetgeving in de Verenigde Staten is, platformen zullen verplicht worden gebruikers te beschermen tegen hun eigen producten.

De vraag is niet of er regelgeving komt, maar of de ontworpen interventies daadwerkelijk zullen werken. De Chinese aanpak, die monitoring en interventie verplicht stelt, zou in de praktijk wel eens moeilijk uitvoerbaar kunnen blijken.

Het is duidelijk dat de markt voor AI-gezelschapsrobots te groot en te belangrijk is geworden om door overheden te worden genegeerd. De chatbots waarmee mensen een emotionele band opbouwen, zijn geen curiositeiten meer – het zijn producten die door honderden miljoenen mensen worden gebruikt, met gedocumenteerde gevallen van ernstige schade. Regulering, hoe onvolmaakt ook, was onvermijdelijk. Het debat verschuift nu naar de vraag of de voorgestelde regels kwetsbare gebruikers zullen beschermen zonder een technologie te beknotten die door velen als oprecht waardevol wordt beschouwd.