Kina föreslår regler som kräver att AI-chatbotar övervakar användare för beroende

Kinas cyberregulator släppt utkast till regler på lördag det skulle kräva att AI-chattrobotar övervakar användarnas känslomässiga tillstånd och ingriper när tecken på beroende uppstår – den hittills mest aggressiva regulatoriska reaktionen på växande oro för psykisk skada från AI-drivna relationer.

De föreslagna reglerna från Kinas cyberspaceadministration riktar sig mot AI-produkter som simulerar mänskliga personligheter och skapar känslomässiga kontakter med användare genom text, bilder, ljud eller video. Enligt utkastet skulle leverantörer behöva varna användare för överdriven användning, bedöma nivåer av emotionellt beroende och vidta åtgärder när användare uppvisar extrema känslor eller beroendeframkallande beteende.

Användare måste påminnas om att de interagerar med AI när de loggar in och med två timmars mellanrum – eller tidigare om systemet upptäcker tecken på överberoende. Reglerna skulle också hålla leverantörer ansvariga för säkerheten under hela sina produkters livscykel, inklusive algoritmgranskning, datasäkerhet och skydd av personlig information.

Tidpunkten är inte en slump. Kinas generativa AI-användarbas fördubblades till 515 miljoner Under de senaste sex månaderna har oron kring den psykologiska effekten av AI-följeslagare vuxit parallellt. En studie om Frontiers in Psychology fann att 45.8 % av kinesiska universitetsstudenter rapporterade att de använt AI-chattrobotar den senaste månaden, där användare uppvisade betydligt högre nivåer av depression jämfört med icke-användare.

Kalifornien slog Kina i strid

Kina är inte ensamt om att reglera AI-baserade chattrobotar. Kalifornien blev den första amerikanska delstaten att anta liknande lagstiftning i oktober när guvernör Gavin Newsom undertecknade SB 243. Den lagen, som ska träda i kraft den 1 januari 2026, kräver att plattformar påminna minderåriga var tredje timme att de pratar med en AI – inte en människa – och att ta en paus.

SB 243 föreskriver även åldersverifiering, förbjuder chatbotar att utge sig för att vara vårdpersonal och hindrar minderåriga från att se sexuellt explicita bilder genererade av AI. Lagen tillåter individer att stämma AI-företag för överträdelser och kräva upp till 1 000 dollar per incident plus advokatarvoden.

Vad som gör AI-följeslagare annorlunda

Oron är inte bara skärmtid. Mars 2025 MIT Media Lab Studien visade att AI-chattrobotar kan vara mer beroendeframkallande än sociala medier eftersom de lär sig vad användarna vill höra och ger den feedbacken konsekvent. Högre daglig användning korrelerade med ökad ensamhet, beroende och vad forskare kallade "problematisk användning".

De psykologiska varningstecknen som identifierats i klinisk litteratur inkluderar långvariga sessioner som stör sömnen, emotionellt beroende och ångest när åtkomsten är begränsad, att föredra samtal med chattrobotar framför verklig mänsklig interaktion, och att antropomorfisera AI – att tro att den har människoliknande känslor och behandla den som en genuin förtrogen eller romantisk partner.

Kinas utkast till regler försöker hantera dessa risker på plattformsnivå snarare än att förlita sig på individuella användarbedömningar. Genom att kräva att leverantörer övervakar känslomässiga tillstånd och beroendenivåer flyttar reglerna ansvaret till företag som bygger dessa system. Denna strategi skiljer sig från tidigare AI-reglering som främst fokuserade på innehållsmoderering och datasäkerhet.

Utkastet fastställer också innehållsbegränsningar och förbjuder AI-medarbetare att generera material som äventyrar den nationella säkerheten, sprider rykten eller främjar våld eller obsceniteter – bestämmelser som återspeglar Kinas befintliga regler för generativ AI.

Utmaningen med verkställigheten

Att kräva att företag ska upptäcka missbruk och ingripa låter enkelt i policyformulering. Implementering är en annan sak. Att definiera vad som utgör "överdriven användning" eller "extrema känslor" på ett sätt som är både meningsfullt och verkställbart kommer att sätta både tillsynsmyndigheter och företag på prov.

För känsligt blir systemet irriterande – det avbryter användare som helt enkelt är engagerade i utdragna samtal. För överseende gör att sårbara användare slinker igenom utan ingripande. Kravet på två timmars påminnelse är ett trubbigt instrument, men det mer nyanserade kravet på att upptäcka överberoende "när tecken kan upptäckas" lämnar betydande tolkningsutrymme.

Företag som bygger skyddsräcken för AI-applikationer har kämpat med liknande utmaningar. Innehållsfilter är notoriskt oprecisa, och att lägga till psykologisk övervakning introducerar nya dimensioner av komplexitet. Att avgöra om en användare skapar en ohälsosam anknytning kräver att man kan härleda mentala tillstånd från text – en förmåga som AI-system inte har på ett tillförlitligt sätt.

Utkastet är öppet för offentliga kommentarer, och slutgiltiga regler förväntas någon gång under 2026. Om det implementeras som föreslaget skulle Kina ha världens mest föreskrivande ramverk för att styra AI-kompanjonprodukter.

En global uppgörelse

De samtidiga regleringsåtgärderna i Kina och Kalifornien tyder på att oron kring AI-relaterade beroenden har nått en kritisk massa i olika politiska system.

För AI-företag är budskapet allt tydligare: den oreglerade eran med AI-följeslagare är över. Oavsett om det sker genom kinesisk förvaltningsrätt, kaliforniskt civilrättsligt ansvar eller eventuell federal lagstiftning i USA, kommer plattformar att ställas inför krav för att skydda användare från sina egna produkter.

Frågan är inte om reglering är på väg – utan om de insatser som utformas faktiskt kommer att fungera. Kinas tillvägagångssätt att kräva övervakning och ingripande kan visa sig svårt att genomföra i praktiken.

Det som är tydligt är att marknaden för AI-följeslagare har blivit för stor och för betydelsefull för att regeringar ska kunna ignorera den. De chattrobotar som människor knyter känslomässiga band till är inte längre kuriosa – de är produkter som används av hundratals miljoner, med dokumenterade fall av allvarlig skada. Reglering, hur ofullkomlig den än må vara, var oundviklig. Debatten skiftar nu till huruvida de specifika regler som föreslås kommer att skydda sårbara användare utan att kväva en teknik som många finner genuint värdefull.