Kina foreslår regler som krever at AI-chatboter overvåker brukerne for avhengighet

Kinas cybermyndighet utga utkast til regler på lørdag som ville kreve at AI-kompanjong-chatboter overvåker brukernes emosjonelle tilstander og griper inn når det vises tegn på avhengighet – det mest aggressive regulatoriske svaret hittil til økende bekymringer om psykologisk skade fra AI-drevne relasjoner.

De foreslåtte reglene fra Cyberspace Administration of China tar sikte på AI-produkter som simulerer menneskelige personligheter og danner emosjonelle bånd med brukerne gjennom tekst, bilder, lyd eller video. Ifølge utkastet må tjenesteleverandørene advare brukerne mot overforbruk, vurdere emosjonell avhengighet og gripe inn når brukerne viser ekstreme emosjoner eller avhengighetsatferd.

Brukerne må bli påminnet om at de interagerer med AI når de logger inn og med to timers intervaller – eller tidligere hvis systemet detekterer tegn på overforbruk. Reglene vil også holde tjenesteleverandørene ansvarlige for sikkerheten gjennom hele produktets livssyklus, inkludert algoritme-gjennomgang, datasikkerhet og beskyttelse av personlige opplysninger.

Tidspunktet er ikke tilfeldig. Mens Kinas generative AI-brukerbase doblet til 515 millioner over de siste seksten månedene, har bekymringene om den psykologiske innvirkningen av AI-kompanjonger økt i takt. En studie i Frontiers in Psychology fant at 45,8% av kinesiske universitetsstudenter rapporterte å ha brukt AI-chatboter i løpet av den siste måneden, med brukere som viste betydelig høyere nivåer av depresjon sammenlignet med ikke-brukere.

California slo Kina til å slå til

Kina er ikke alene om å regulere AI-kompanjong-chatboter. California ble den første amerikanske delstaten til å vedta lignende lovgivning i oktober, da guvernør Gavin Newsom signerte SB 243 til loven. Denne loven, som skal tre i kraft 1. januar 2026, krever at plattformene minner mindreårige hver tredje time om at de snakker med en AI – ikke et menneske – og tar en pause.

SB 243 krever også aldersverifisering, forbyr chatboter fra å utgi seg for å være helsepersonell og forbyr mindreårige fra å se på seksuelt eksplisitte AI-genererte bilder. Loven tillater enkeltpersoner å saksøke AI-selskaper for brudd, og krever opptil 1 000 dollar per hendelse pluss advokatgebyr.

Hva gjør AI-kompanjonger forskjellige

Bekymringen er ikke bare skjermtid. En studie fra MIT Media Lab i mars 2025 fant at AI-chatboter kan være mer avhengighetsskapende enn sosiale medier fordi de lærer hva brukerne vil høre og gir tilbake det samme. Høyere daglig bruk korrelerte med økt ensomhet, avhengighet og hva forskerne kalte “problematisk bruk”.

De psykologiske advarselssignaler som er identifisert i klinisk litteratur inkluderer forlenget bruk som forstyrer søvn, emosjonell avhengighet og distress når tilgang er begrenset, foretrekker samtaler med chatboter fremfor virkelige menneskelige interaksjoner og antropomorfisering av AI – tro på at det besitter menneskelignende følelser og behandler det som en ekte fortrolig eller romantisk partner.

Kinas utkast til regler prøver å adresse disse risikoene på plattformnivå i stedet for å stole på enkeltbrukernes dom. Ved å kreve at tjenesteleverandørene overvåker emosjonelle tilstander og avhengighetsnivåer, skyfter reglene ansvaret til selskapene som bygger disse systemene. Dette tilnærmet skiller seg fra tidligere AI-regulering som hovedsakelig fokuserte på innholdsmoderasjon og datasikkerhet.

Utkastet setter også innholdsbegrensninger, som forbyr AI-kompanjonger fra å generere materiale som utgjør en trussel mot nasjonal sikkerhet, spreger rykter eller fremmer vold eller umoral – bestemmelser som gjentar Kinas eksisterende generative AI-reguleringer.

Utfordringen med gjennomføring

Å kreve at selskaper skal detektere avhengighet og gripe inn lyder enkelt i politisk språk. Implementering er en annen sak. Å definere hva som utgjør “overforbruk” eller “ekstreme emosjoner” på en måte som er både meningsfull og gjennomførbar, vil teste både myndighetene og selskapene.

For følsomt, og systemet blir irriterende – avbryter brukere som bare er engasjert i lengre samtaler. For ettergivende, og sårbare brukere glipper gjennom uten inngripen. Kravet om påminnelser hver to timer gir et grovt verktøy, men det mer nyanserte kravet om å detektere overforbruk “når tegn kan detekteres” lar mye rom for tolkning.

Selskaper som bygger sikkerhetssystemer for AI-applikasjoner har kjempet med lignende utfordringer. Innholdsfiltre er notorisk upresise, og å legge til psykologisk overvåking introduserer nye dimensjoner av kompleksitet. Å bestemme om en bruker danner en usunn tilknytning krever å slutte om mentale tilstander fra tekst – en evne som AI-systemer ikke pålitelig besitter.

Utkastet er åpent for offentlig kommentar, med endelige regler forventet en gang i 2026. Hvis det implementeres som foreslått, vil Kina ha verdens mest preskriptive ramme for å styre AI-kompanjong-produkter.

En global oppgjør

Den samtidige regulatoriske handling i Kina og California antyder at bekymringene om AI-kompanjong-avhengighet har nådd et kritisk punkt over ulike politiske systemer.

For AI-selskaper er beskjeden stadig tydeligere: den uregulerte æraen for AI-kompanjonger er over. Uansett om det er gjennom kinesisk administrativ lovgivning, kalifornisk sivilansvar eller eventuell fremtidig føderal lovgivning i USA, vil plattformene møte krav om å beskytte brukerne mot sine egne produkter.

Spørsmålet er ikke om regulering er på vei – det er om de inngrepene som er under utvikling, faktisk vil fungere. Kinas tilnærming med å kreve overvåking og inngripen kan vise seg å være vanskelig å implementere i praksis.

Hva som er klart, er at AI-kompanjong-markedet har vokst for stort og for konsekvensfullt for myndighetene å ignorere. Chatbotene folk danner emosjonelle bånd med, er ikke lenger kuriositeter – de er produkter som brukes av hundred millioner, med dokumenterte tilfeller av alvorlig skade. Regulering, ufullkommen som den er, var uunngåelig. Debatten går nå over til om de spesifikke reglene som er foreslått, vil beskytte sårbare brukere uten å kvæle en teknologi som mange finner virkelig verdifull.