Kina foreslår regler, der kræver, at AI-chatbots overvåger brugere for afhængighed.

Kinas cyberregulator er blevet frigivet udkast til regler på lørdag Det ville kræve, at AI-companion-chatbots overvåger brugernes følelsesmæssige tilstande og griber ind, når tegn på afhængighed opstår – den hidtil mest aggressive regulatoriske reaktion på voksende bekymringer om psykisk skade fra AI-drevne forhold.

De foreslåede regler fra Cyberspace Administration of China er rettet mod AI-produkter, der simulerer menneskelige personligheder og danner følelsesmæssige forbindelser med brugere gennem tekst, billeder, lyd eller video. I henhold til udkastet skal udbydere advare brugere mod overdreven brug, vurdere niveauet af følelsesmæssig afhængighed og handle, når brugere udviser ekstreme følelser eller vanedannende adfærd.

Brugere skal mindes om, at de interagerer med AI, når de logger ind, og med to timers intervaller – eller tidligere, hvis systemet registrerer tegn på overafhængighed. Reglerne vil også holde udbydere ansvarlige for sikkerheden i hele deres produkters livscyklus, herunder algoritmegennemgang, datasikkerhed og beskyttelse af personlige oplysninger.

Timingen er ikke tilfældig. Kinas brugerbase af generativ AI fordobledes til 515 millioner I løbet af de seneste seks måneder er bekymringerne om den psykologiske indvirkning af AI-ledsagere vokset parallelt. En undersøgelse af Frontiers in Psychology fandt, at 45.8 % af kinesiske universitetsstuderende rapporterede at have brugt AI-chatbots i den seneste måned, hvor brugerne udviste betydeligt højere niveauer af depression sammenlignet med ikke-brugere.

Californien slog Kina i feltet

Kina er ikke alene om at regulere AI-companion chatbots. Californien blev den første amerikanske stat til at vedtage lignende lovgivning i oktober, da guvernør Gavin Newsom underskrev SB 243. Lovforslaget, der efter planen træder i kraft den 1. januar 2026, kræver, at platforme påmind mindreårige hver tredje time at de taler til en AI – ikke et menneske – og at tage en pause.

SB 243 pålægger også aldersbekræftelse, forbyder chatbots at præsentere sig selv som sundhedspersonale og forhindrer mindreårige i at se seksuelt eksplicitte billeder genereret af AI. Loven giver enkeltpersoner mulighed for at sagsøge AI-virksomheder for overtrædelser og kræve op til $1,000 pr. hændelse plus advokatsalærer.

Hvad gør AI-ledsagere anderledes

Bekymringen er ikke blot skærmtid. Marts 2025 MIT Media Lab Undersøgelse viste, at AI-chatbots kan være mere vanedannende end sociale medier, fordi de lærer, hvad brugerne ønsker at høre, og giver den feedback konsekvent. Højere daglig brug korrelerede med øget ensomhed, afhængighed og det, forskere kaldte "problematisk brug".

De psykologiske advarselstegn, der er identificeret i klinisk litteratur, omfatter langvarige sessioner, der forstyrrer søvnen, følelsesmæssig afhængighed og ubehag, når adgangen er begrænset, at foretrække samtaler med chatbots frem for reel menneskelig interaktion og at antropomorfisere AI – at tro, at den besidder menneskelignende følelser og behandle den som en ægte fortrolig eller romantisk partner.

Kinas udkast til regler forsøger at håndtere disse risici på platformniveau i stedet for at stole på individuelle brugeres vurderinger. Ved at kræve, at udbydere overvåger følelsesmæssige tilstande og afhængighedsniveauer, flytter reglerne ansvaret til de virksomheder, der bygger disse systemer. Denne tilgang adskiller sig fra tidligere AI-regulering, der primært fokuserede på indholdsmoderering og datasikkerhed.

Udkastet fastsætter også indholdsrestriktioner, der forbyder AI-ledsagere at generere materiale, der bringer den nationale sikkerhed i fare, spreder rygter eller fremmer vold eller uanstændighed – bestemmelser, der afspejler Kinas eksisterende regler for generativ AI.

Håndhævelsesudfordringen

At kræve, at virksomheder opdager afhængighed og griber ind, lyder ligetil i et politisk sprog. Implementering er en anden sag. At definere, hvad der udgør "overdreven brug" eller "ekstreme følelser" på en måde, der både er meningsfuld og håndhævelig, vil sætte både tilsynsmyndigheder og virksomheder på prøve.

For følsomt bliver systemet irriterende – det afbryder brugere, der blot er optaget af længerevarende samtaler. For lempelige og sårbare brugere slipper igennem uden indgriben. Kravet om to timers påmindelse er et sløvt instrument, men det mere nuancerede krav om at opdage overafhængighed, "når tegn kan detekteres", giver et betydeligt fortolkningsrum.

Virksomheder, der bygger rækværk til AI-applikationer har kæmpet med lignende udfordringer. Indholdsfiltre er notorisk upræcise, og tilføjelse af psykologisk overvågning introducerer nye dimensioner af kompleksitet. At afgøre, om en bruger danner en usund tilknytning, kræver, at man kan udlede mentale tilstande fra tekst – en evne, som AI-systemer ikke pålideligt besidder.

Udkastet er åbent for offentlig høring, og de endelige regler forventes at være vedtaget engang i 2026. Hvis de implementeres som foreslået, vil Kina have verdens mest præskriptive ramme for styring af AI-ledsagerprodukter.

Et globalt opgør

Den samtidige lovgivningsmæssige indsats i Kina og Californien tyder på, at bekymringer om AI-afhængighed har nået en kritisk masse på tværs af forskellige politiske systemer.

For AI-virksomheder er budskabet stadig tydeligere: den uregulerede æra med AI-ledsagere er ved at forsvinde. Uanset om det er gennem kinesisk forvaltningsret, californisk civilretligt ansvar eller eventuel føderal lovgivning i USA, vil platforme stå over for krav om at beskytte brugerne mod deres egne produkter.

Spørgsmålet er ikke, om der kommer regulering – det er, om de interventioner, der designes, rent faktisk vil virke. Kinas tilgang med at pålægge overvågning og intervention kan vise sig vanskelig at implementere i praksis.

Det er tydeligt, at markedet for AI-ledsagerteknologi er blevet for stort og har for stor betydning til, at regeringer kan ignorere det. De chatbots, som folk knytter følelsesmæssige bånd til, er ikke længere kuriositeter – de er produkter, der bruges af hundredvis af millioner af mennesker med dokumenterede tilfælde af alvorlig skade. Regulering, uanset hvor ufuldkommen den var, var uundgåelig. Debatten skifter nu til, om de specifikke regler, der foreslås, vil beskytte sårbare brugere uden at kvæle en teknologi, som mange finder virkelig værdifuld.