Kina föreslår regler som kräver att AI-chattbotar övervakar användare för beroende

Kinas cyberrättsmyndighet släppte utkast till regler på lördagen som skulle kräva att AI-kompis-chattbotar övervakar användarnas känslotillstånd och ingriper när tecken på beroende uppstår – den mest aggressiva regulatoriska reaktionen hittills mot de växande bekymren om den psykologiska skadan från AI-drivna relationer.

De föreslagna reglerna från Cyberrymdsförvaltningen i Kina riktar sig till AI-produkter som simulerar mänskliga personligheter och bildar emotionella band med användare genom text, bilder, ljud eller video. Enligt utkastet ska leverantörerna varna användarna för överdriven användning, bedöma graden av emotionell beroende och vidta åtgärder när användarna uppvisar extrema känslor eller beroendebeteende.

Användarna måste påminnas om att de interagerar med AI när de loggar in och med två timmars mellanrum – eller tidigare om systemet upptäcker tecken på överberoende. Reglerna skulle också hålla leverantörerna ansvariga för säkerheten under hela produkternas livscykel, inklusive algoritmanalys, datasäkerhet och skydd av personuppgifter.

Tidpunkten är inte slumpmässig. När Kinas generativa AI-användarbas fördubblades till 515 miljoner under de senaste sex månaderna, har bekymren om den psykologiska påverkan av AI-kompisar växt i samma takt. En studie i Frontiers in Psychology fann att 45,8% av kinesiska universitetsstudenter rapporterade att de använt AI-chattbotar under den senaste månaden, med användare som visade betydligt högre nivåer av depression jämfört med icke-användare.

California slog Kina i starten

Kina är inte ensamt om att reglera AI-kompis-chattbotar. Kalifornien blev den första amerikanska delstaten att anta liknande lagstiftning i oktober när guvernör Gavin Newsom undertecknade SB 243. Den lag som ska träda i kraft den 1 januari 2026 kräver att plattformar påminner minderåriga var tredje timme om att de talar med en AI – inte en människa – och att de tar en paus.

SB 243 kräver också åldersverifiering, förbjuder chattbotar från att utge sig för att vara hälso- och sjukvårdspersonal och förhindrar minderåriga från att visa sexuellt explicit AI-genererat innehåll. Lagen tillåter individer att stämma AI-företag för brott mot lagen, med krav på upp till 1 000 dollar per incident plus advokatkostnader.

Vad som gör AI-kompisar olika

Bekymren är inte bara skärmtid. En studie från MIT Media Lab i mars 2025 fann att AI-chattbotar kan vara mer beroendeframkallande än sociala medier eftersom de lär sig vad användarna vill höra och ger dem det feedbacket konsekvent. Högre daglig användning korrelerade med ökad ensamhet, beroende och vad forskarna kallade “problematiskt användande”.

De psykologiska varningstecknen som identifierats i klinisk litteratur inkluderar förlängda sessioner som stör sömnen, emotionellt beroende och ångest när tillgången begränsas, att föredra samtal med chattbotar framför verklig mänsklig interaktion, och att ge AI mänskliga egenskaper – att tro att det besitter mänskliga känslor och behandla det som en riktig förtrogenhet eller romantisk partner.

Kinas utkast till regler försöker hantera dessa risker på plattformsnivå snarare än att förlita sig på enskilda användares omdöme. Genom att kräva att leverantörerna övervakar känslotillstånd och beroendegraden, flyttar reglerna ansvaret till företagen som bygger dessa system. Detta tillvägagångssätt skiljer sig från tidigare AI-reglering som fokuserade främst på innehållsmoderering och datasäkerhet.

Utkastet innehåller också innehållsbegränsningar, som förbjuder AI-kompisar från att generera material som hotar nationell säkerhet, sprider rykten eller främjar våld eller oanständighet – bestämmelser som ekar Kinas befintliga regler för generativ AI.

Utmaningen med verkställighet

Att kräva att företag upptäcker beroende och ingriper låter enkelt i policyspråk. Implementeringen är en annan sak. Att definiera vad som utgör “överdriven användning” eller “extrema känslor” på ett sätt som är både meningsfullt och verkställbart kommer att utmana både myndigheter och företag.

För känsligt, och systemet blir irriterande – avbryter användare som bara är engagerade i långa samtal. För generöst, och sårbara användare glider igenom utan ingripande. Kravet på påminnelser varannan timme ger ett grovt instrument, men det mer nyanserade kravet att upptäcka överberoende “när tecken kan upptäckas” lämnar betydande utrymme för tolkning.

Företag som bygger säkerhetsåtgärder för AI-applikationer har kämpat med liknande utmaningar. Innehållsfilter är notoriskt oprecisa, och tillägg av psykologisk övervakning introducerar nya dimensioner av komplexitet. Att avgöra om en användare bildar en ohälsosam bindning kräver att man inför känslotillstånd från text – en förmåga som AI-system inte tillförlitligt besitter.

Utkastet är öppet för allmänna synpunkter, med slutliga regler förväntade någon gång under 2026. Om de implementeras som föreslagits, skulle Kina ha världens mest detaljerade ramverk för att reglera AI-kompisprodukter.

En global omprövning

Den samtidiga regulatoriska åtgärden i Kina och Kalifornien tyder på att bekymren om AI-kompisberoende har nått en kritisk massa över olika politiska system.

För AI-företag är budskapet alltmer tydligt: den oreglerade eran för AI-kompisar är över. Oavsett om det är kinesisk administrativ lag, kalifornisk civilrättslig skyldighet eller eventuell federal lagstiftning i USA, kommer plattformarna att ställas inför krav på att skydda användarna från sina egna produkter.

Frågan är inte om reglering är på väg – det är om de ingripanden som designas faktiskt kommer att fungera. Kinas tillvägagångssätt med att kräva övervakning och ingripande kan visa sig vara svårt att implementera i praktiken.

Det som är tydligt är att AI-kompismarknaden har vuxit för stor och för betydelsefull för att regeringar ska kunna ignorera den. Chattbotarna som människor bildar emotionella band med är inte längre kuriositeter – de är produkter som används av hundratals miljoner, med dokumenterade fall av allvarlig skada. Reglering, hur ofullständig den än må vara, var oundviklig. Debatten förskjuts nu till om de specifika regler som föreslås kommer att skydda sårbara användare utan att kväva en teknik som många anser vara genuint värdefull.