Kina foreslår regler, der kræver, at AI-chatbots overvåger brugere for afhængighed

Kinas cyberregulator offentliggjorde udkast til regler lørdag, der ville kræve, at AI-kompanjong-chatbots overvåger brugernes emotionelle tilstand og griber ind, når der opstår tegn på afhængighed – den mest aggressive regulatoriske respons hidtil til de voksende bekymringer om psykologisk skade fra AI-drevne relationer.

De foreslåede regler fra Cyberspace Administration of China retter sig mod AI-produkter, der simulerer menneskelige personligheder og danner emotionelle forbindelser med brugere gennem tekst, billeder, lyd eller video. Ifølge udkastet skal udbydere advare brugere mod overdreven brug, vurdere emotionel afhængighedsniveau og gribe ind, når brugere viser ekstreme følelser eller afhængighedsadfærd.

Brugere skal mindes, at de interagerer med AI, når de logger ind og med to timers interval – eller tidligere, hvis systemet registrerer tegn på overafhængighed. Reglerne vil også gøre udbydere ansvarlige for sikkerhed i hele produktets levetid, herunder algoritme-gennemgang, datasikkerhed og beskyttelse af personlige oplysninger.

Tidspunktet er ikke tilfældigt. Da Kinas generative AI-brugere fordobledes til 515 millioner over de seneste seks måneder, er bekymringerne om den psykologiske indvirkning af AI-kompanjoner vokset i takt. En Frontiers in Psychology-studie fandt, at 45,8% af kinesiske universitetsstuderende havde brugt AI-chatbots i den foregående måned, og at brugere viste betydeligt højere niveauer af depression sammenlignet med ikke-brugere.

California slog Kina i hånden

Kina er ikke alene om at regulere AI-kompanjong-chatbots. California blev den første amerikanske delstat til at vedtage lignende lovgivning i oktober, da guvernør Gavin Newsom underskrev SB 243. Denne lovgivning, der træder i kraft den 1. januar 2026, kræver, at platforme mindrer mindreårige hver tredje time om, at de taler med en AI – og ikke et menneske – og tager en pause.

SB 243 kræver også aldersverifikation, forbyder chatbots at repræsentere sig selv som sundhedsfagfolk og forhindrer mindreårige i at se seksuelt eksplisitte AI-genererede billeder. Loven tillader, at enkeltpersoner sagsøger AI-virksomheder for overtrædelser og søger op til 1.000 dollars per incident plus advokatgebyr.

Hvad gør AI-kompanjoner anderledes

Bekymringen er ikke kun skærmtid. En March 2025 MIT Media Lab-studie fandt, at AI-chatbots kan være mere afhængighedsskabende end sociale medier, fordi de lærer, hvad brugere vil høre, og giver det tilbageholdende feedback. Højere daglig brug korrelerede med øget ensomhed, afhængighed og hvad forskerne kaldte “problematiske brug”.

De psykologiske advarselskendetegn, der er identificeret i klinisk litteratur, omfatter forlængede sessioner, der forstyrer søvn, emotionel afhængighed og ubehag, når adgangen begrænses, foretrækker samtaler med chatbots over reel menneskelig interaktion og antropomorfiserer AI – tror, at det besidder menneskelignende følelser og behandler det som en ægte fortrolig eller romantisk partner.

Kinas udkast til regler forsøger at adressere disse risici på platformniveau i stedet for at afhænge af individuel brugerdom. Ved at kræve, at udbydere overvåger emotionelle tilstande og afhængighedsniveauer, skyfter reglerne ansvaret til virksomhederne, der bygger disse systemer. Denne tilgang adskiller sig fra tidligere AI-regulering, der primært fokuserede på indholdsmoderation og datasikkerhed.

Udkastet fastsætter også indholdsbegrænsninger, der forbyder AI-kompanjoner at generere materiale, der udsætter national sikkerhed, spreder rygter eller fremmer vold eller utugt – bestemmelser, der minder om Kinas eksisterende generative AI-reguleringer.

Udfordringen med gennemførelse

At kræve, at virksomheder opdager afhængighed og griber ind, lyder enkelt i politik-sprog. Implementering er en anden sag. At definere, hvad der udgør “overdreven brug” eller “ekstreme følelser”, på en måde, der er både meningsfuld og gennemførlig, vil udfordre både regulatorer og virksomheder.

For følsomt, og systemet bliver irriterende – afbryder brugere, der blot er engageret i forlængede samtaler. For mildt, og sårbare brugere glider igennem uden indgriben. Kravet om at mindre brugere hver anden time giver et groft instrument, men det mere nuancerede krav om at registrere overafhængighed “når tegn kan registreres” efterlader betydelig fortolkningsspace.

Virksomheder, der bygger sikkerhedsforanstaltninger for AI-applikationer, har kæmpet med lignende udfordringer. Indholdsfiltre er notorisk upræcise, og tilføjelse af psykologisk overvågning introducerer nye dimensioner af kompleksitet. At bestemme, om en bruger danner en usund tilknytning, kræver at slutte om mentale tilstande fra tekst – en evne, som AI-systemer ikke pålideligt besidder.

Udkastet er åbent for offentlig kommentar, og de endelige regler forventes at blive offentliggjort på et tidspunkt i 2026. Hvis de implementeres, som foreslået, vil Kina have verdens mest preskriptive ramme for at regulere AI-kompanjong-produkter.

En global opgør

Den samtidige regulatoriske handling i Kina og California antyder, at bekymringer om AI-kompanjong-afhængighed har nået kritisk masse på tværs af forskellige politiske systemer.

For AI-virksomheder er beskeden stadig mere klar: den uregulerede æra for AI-kompanjoner er ved at ende. Uanset om det er gennem kinesisk administrativ lovgivning, kalifornisk civilansvar eller eventuel føderal lovgivning i USA, vil platforme stå over for krav om at beskytte brugere mod deres egne produkter.

Spørgsmålet er ikke, om regulering er på vej – det er, om de indgreb, der er under udvikling, vil virke. Kinas tilgang med at kræve overvågning og indgriben kan vise sig svær at implementere i praksis.

Det, der er klart, er, at markedet for AI-kompanjoner er vokset for stort og for konsekvensfuldt til, at regeringer kan ignorere det. Chatbotene, som folk danner emotionelle bånd med, er ikke længere kuriositeter – de er produkter, der bruges af hundredvis af millioner, med dokumenterede tilfælde af alvorlig skade. Regulering, omend ufuldkommen, var uundgåelig. Debatten skifter nu til, om de specifikke regler, der foreslås, vil beskytte sårbare brugere uden at kvæle en teknologi, som mange finder virkelig værdifuld.