Kina foreslår regler som krever at AI-chatboter overvåker brukere for avhengighet

Kinas cyberregulator sluppet løs utkast til regler på lørdag Det ville kreve at AI-ledsage-chatboter overvåker brukernes emosjonelle tilstander og griper inn når tegn på avhengighet dukker opp – den mest aggressive regulatoriske responsen hittil på økende bekymringer om psykisk skade fra AI-drevne forhold.

De foreslåtte forskriftene fra Cyberspace Administration of China retter seg mot AI-produkter som simulerer menneskelige personligheter og danner emosjonelle forbindelser med brukere gjennom tekst, bilder, lyd eller video. I henhold til utkastet må leverandører advare brukere mot overdreven bruk, vurdere nivåer av emosjonell avhengighet og iverksette tiltak når brukere viser ekstreme følelser eller avhengighetsskapende atferd.

Brukere må minnes på at de samhandler med AI når de logger inn og med to timers mellomrom – eller tidligere hvis systemet oppdager tegn på overavhengighet. Reglene vil også holde leverandører ansvarlige for sikkerheten gjennom hele produktenes livssyklus, inkludert algoritmegjennomgang, datasikkerhet og beskyttelse av personopplysninger.

Timingen er ikke tilfeldig. Kinas generative AI-brukerbase doblet seg til 515 millioner I løpet av de siste seks månedene har bekymringene rundt den psykologiske virkningen av AI-ledsagere vokst parallelt. En studie om Frontiers in Psychology fant at 45.8 % av kinesiske universitetsstudenter rapporterte at de hadde brukt AI-chatboter den siste måneden, og brukerne viste betydelig høyere nivåer av depresjon sammenlignet med ikke-brukere.

California slo Kina i slaget

Kina er ikke alene om å regulere AI-tilhørende chatboter. California ble den første amerikanske delstaten som vedtok lignende lovgivning i oktober da guvernør Gavin Newsom signerte SB 243. Lovforslaget, som skal tre i kraft 1. januar 2026, krever at plattformer påminne mindreårige hver tredje time at de snakker til en AI – ikke et menneske – og at de bør ta en pause.

SB 243 pålegger også aldersbekreftelse, forbyr chatboter å fremstille seg som helsepersonell, og forhindrer mindreårige i å se seksuelt eksplisitte bilder generert av kunstig intelligens. Loven tillater enkeltpersoner å saksøke kunstig intelligens-selskaper for brudd, og kreve opptil 1,000 dollar per hendelse pluss advokatsalærer.

Hva gjør AI-følgesvenner annerledes

Bekymringen er ikke bare skjermtid. Mars 2025 MIT Media Lab Studien fant at AI-chatboter kan være mer avhengighetsskapende enn sosiale medier fordi de lærer hva brukerne vil høre og gir tilbakemeldinger konsekvent. Høyere daglig bruk korrelerte med økt ensomhet, avhengighet og det forskere kalte «problematisk bruk».

De psykologiske varseltegnene som er identifisert i klinisk litteratur inkluderer langvarige økter som forstyrrer søvnen, emosjonell avhengighet og nød når tilgangen er begrenset, å foretrekke samtaler med chatboter fremfor ekte menneskelig interaksjon, og å antropomorfisere AI – å tro at den har menneskelignende følelser og behandle den som en ekte fortrolig eller romantisk partner.

Kinas utkast til regler forsøker å håndtere disse risikoene på plattformnivå i stedet for å stole på individuelle brukervurderinger. Ved å kreve at leverandører overvåker emosjonelle tilstander og avhengighetsnivåer, flytter forskriftene ansvaret til selskaper som bygger disse systemene. Denne tilnærmingen skiller seg fra tidligere AI-regulering som primært fokuserte på innholdsmoderering og datasikkerhet.

Utkastet setter også innholdsbegrensninger, som forbyr AI-partnere å generere materiale som truer nasjonal sikkerhet, sprer rykter eller fremmer vold eller uanstendighet – bestemmelser som gjenspeiler Kinas eksisterende generative AI-forskrifter.

Håndhevelsesutfordringen

Å pålegge selskaper å oppdage avhengighet og gripe inn høres enkelt ut i policyspråket. Implementering er en annen sak. Å definere hva som utgjør «overdreven bruk» eller «ekstreme følelser» på en måte som er både meningsfull og håndhevbar, vil sette både regulatorer og selskaper på prøve.

For følsomt blir systemet irriterende – det avbryter brukere som rett og slett er opptatt med lange samtaler. For ettergivende blir sårbare brukere som slipper gjennom uten inngripen. Kravet om to timers påminnelse gir et sløvt instrument, men det mer nyanserte kravet om å oppdage overavhengighet «når tegn kan oppdages» gir betydelig rom for tolkning.

Bedrifter som bygger rekkverk for AI-applikasjoner har slitt med lignende utfordringer. Innholdsfiltre er notorisk upresise, og det å legge til psykologisk overvåking introduserer nye dimensjoner av kompleksitet. Å avgjøre om en bruker danner et usunt tilknytningsforhold krever at man kan utlede mentale tilstander fra tekst – en evne som AI-systemer ikke har på en pålitelig måte.

Utkastet er åpent for offentlig høring, og endelige forskrifter forventes en gang i 2026. Hvis de implementeres som foreslått, vil Kina ha verdens mest forskriftsmessige rammeverk for styring av AI-tilhørende produkter.

En global oppgjør

De samtidige regulatoriske tiltakene i Kina og California tyder på at bekymringer rundt AI-avhengighet har nådd en kritisk masse på tvers av ulike politiske systemer.

For AI-selskaper er budskapet stadig tydeligere: den uregulerte æraen med AI-ledsagere er over. Enten det er gjennom kinesisk forvaltningslov, sivilrettslig ansvar i California eller eventuell føderal lovgivning i USA, vil plattformer møte krav om å beskytte brukere mot sine egne produkter.

Spørsmålet er ikke om det kommer reguleringer – det er om tiltakene som utformes faktisk vil fungere. Kinas tilnærming med å pålegge overvåking og intervensjon kan vise seg å være vanskelig å implementere i praksis.

Det som er klart er at markedet for AI-tilleggstjenester har blitt for stort og for betydningsfullt til at myndighetene kan ignorere det. Chatbotene folk knytter emosjonelle bånd med er ikke lenger kuriositeter – de er produkter som brukes av hundrevis av millioner, med dokumenterte tilfeller av alvorlig skade. Regulering, uansett hvor ufullkommen, var uunngåelig. Debatten går nå over til hvorvidt de spesifikke reglene som foreslås vil beskytte sårbare brukere uten å kvele en teknologi som mange synes er genuint verdifull.