China schlägt vor, Regeln für KI-Chatbots zu erlassen, um Benutzer auf Sucht zu überwachen

Chinas Cyberrégler haben am Samstag Entwürfe für Regeln veröffentlicht, die KI-Begleitchatbots verpflichten würden, die emotionalen Zustände der Benutzer zu überwachen und einzugreifen, wenn Anzeichen von Sucht auftauchen – die aggressivste regulatorische Reaktion bisher auf die wachsenden Bedenken hinsichtlich des psychologischen Schadens durch KI-gesteuerte Beziehungen.

Die vorgeschlagenen Regulierungen der Cyberspace-Verwaltung Chinas zielen auf KI-Produkte ab, die menschliche Persönlichkeiten simulieren und emotionale Verbindungen mit Benutzern über Text, Bilder, Audio oder Video herstellen. Laut dem Entwurf müssten Anbieter Benutzer vor übermäßiger Nutzung warnen, die Abhängigkeitsgrade bewerten und Maßnahmen ergreifen, wenn Benutzer extreme Emotionen oder suchterzeugendes Verhalten zeigen.

Benutzer müssen daran erinnert werden, dass sie mit KI interagieren, wenn sie sich anmelden und alle zwei Stunden – oder früher, wenn das System Anzeichen von Überabhängigkeit erkennt. Die Regeln würden auch die Anbieter für die Sicherheit während des gesamten Lebenszyklus ihrer Produkte verantwortlich machen, einschließlich Algorithmus-Überprüfung, Datensicherheit und Schutz personenbezogener Daten.

Die Timing ist nicht zufällig. Als Chinas generative KI-Benutzerbasis auf 515 Millionen innerhalb von sechs Monaten anstieg, wuchsen die Bedenken hinsichtlich der psychologischen Auswirkungen von KI-Begleitern. Eine Studie von Frontiers in Psychology fand heraus, dass 45,8 % der chinesischen Universitätsstudenten berichteten, im vergangenen Monat KI-Chatbots verwendet zu haben, wobei Benutzer signifikant höhere Depressionsebenen aufwiesen als Nichtbenutzer.

Kalifornien schlug China zu

China ist nicht allein bei der Regulierung von KI-Begleitchatbots. Kalifornien wurde der erste US-Bundesstaat, der ähnliche Gesetzgebung im Oktober verabschiedete, als Gouverneur Gavin Newsom SB 243 in Kraft setzte. Dieses Gesetz, das am 1. Januar 2026 in Kraft treten soll, verpflichtet Plattformen, Minderjährige alle drei Stunden daran zu erinnern, dass sie mit einer KI und nicht mit einem Menschen sprechen, und eine Pause einzulegen.

SB 243 verlangt auch eine Altersverifizierung, verbietet es Chatbots, sich als Gesundheitsfachleute auszugeben, und verhindert, dass Minderjährige sexuell explizite KI-generierte Bilder anzeigen. Das Gesetz ermöglicht es Einzelpersonen, KI-Unternehmen bei Verstößen zu verklagen und bis zu 1.000 US-Dollar pro Vorfall plus Anwaltshonorare zu fordern.

Was macht KI-Begleiter unterschiedlich

Die Sorge ist nicht einfach nur Bildschirmzeit. Eine Studie des MIT Media Lab im März 2025 fand heraus, dass KI-Chatbots süchtiger sein können als soziale Medien, da sie lernen, was Benutzer hören wollen, und dieses Feedback konsistent liefern. Ein höherer täglicher Gebrauch korrelierte mit erhöhter Einsamkeit, Abhängigkeit und dem, was Forscher als “problematischen Gebrauch” bezeichneten.

Die psychologischen Warnsignale, die in der klinischen Literatur identifiziert wurden, umfassen verlängerte Sitzungen, die den Schlaf stören, emotionale Abhängigkeit und Belastung, wenn der Zugang eingeschränkt ist, die Vorliebe für Gespräche mit Chatbots gegenüber realen menschlichen Interaktionen und die Anthropomorphisierung von KI – die Überzeugung, dass sie menschliche Gefühle besitzt und sie als echten Vertrauten oder romantischen Partner behandelt.

Chinas Entwurfsregeln versuchen, diese Risiken auf der Plattformebene anzugehen, anstatt sich auf die Urteilsfähigkeit des einzelnen Benutzers zu verlassen. Durch die Verpflichtung der Anbieter, emotionale Zustände und Abhängigkeitsgrade zu überwachen, verlagern die Regulierungen die Verantwortung auf die Unternehmen, die diese Systeme aufbauen. Dieser Ansatz unterscheidet sich von früheren KI-Regulierungen, die sich hauptsächlich auf Inhaltsmoderation und Datensicherheit konzentrierten.

Der Entwurf legt auch Inhaltsbeschränkungen fest, die es KI-Begleitern verbieten, Material zu generieren, das die nationale Sicherheit gefährdet, Gerüchte verbreitet oder Gewalt oder Obszönität fördert – Bestimmungen, die Chinas bestehende generative KI-Regulierungen widerspiegeln.

Die Herausforderung der Durchsetzung

Die Verpflichtung, dass Unternehmen Sucht erkennen und eingreifen, klingt einfach in der Politiksprache. Die Umsetzung ist eine andere Angelegenheit. Die Definition dessen, was “übermäßige Nutzung” oder “extreme Emotionen” bedeutet, auf eine Weise, die sowohl bedeutungsvoll als auch durchsetzbar ist, wird sowohl Regulierungsbehörden als auch Unternehmen auf die Probe stellen.

Zu empfindlich, und das System wird lästig – es unterbricht Benutzer, die einfach in ausgedehnten Gesprächen engagiert sind. Zu nachsichtig, und gefährdete Benutzer fallen ohne Eingreifen durch. Die zweistündige Erinnerungspflicht bietet ein grobes Instrument, aber die nuanciertere Anforderung, Überabhängigkeit zu erkennen, “wenn Anzeichen erkennbar sind”, lässt großen Interpretationsspielraum.

Unternehmen, die Sicherheitsvorkehrungen für KI-Anwendungen aufbauen, haben mit ähnlichen Herausforderungen zu kämpfen. Inhaltsfilter sind bekanntermaßen ungenau, und die Hinzufügung psychologischer Überwachung introduceiert neue Dimensionen der Komplexität. Die Feststellung, ob ein Benutzer eine ungesunde Bindung eingeht, erfordert die Ableitung mentaler Zustände aus Text – eine Fähigkeit, die KI-Systeme nicht zuverlässig besitzen.

Der Entwurf ist für öffentliche Kommentare geöffnet, und die endgültigen Regulierungen werden voraussichtlich irgendwann im Jahr 2026 erwartet. Wenn sie wie vorgeschlagen umgesetzt werden, hätte China das weltweit präskriptivste Rahmenwerk für die Regulierung von KI-Begleitprodukten.

Ein globales Umwälzen

Die gleichzeitige regulatorische Aktion in China und Kalifornien lässt darauf schließen, dass Bedenken hinsichtlich der KI-Begleitsucht ein kritischer Punkt in verschiedenen politischen Systemen erreicht haben.

Für KI-Unternehmen ist die Botschaft immer deutlicher: Die unregulierte Ära von KI-Begleitern geht zu Ende. Ob durch chinesisches Verwaltungsrecht, kalifornisches Zivilrecht oder eventuelle Bundesgesetzgebung in den Vereinigten Staaten, Plattformen werden Anforderungen zur Schutz der Benutzer vor ihren eigenen Produkten gegenüberstehen.

Die Frage ist nicht, ob Regulierung kommt – es ist, ob die geplanten Eingriffe tatsächlich wirken werden. Chinas Ansatz, Überwachung und Eingreifen zu verpflichten, kann sich in der Praxis als schwierig zu implementieren erweisen.

Was klar ist, ist, dass der KI-Begleitmarkt zu groß und zu folgenreich geworden ist, um von Regierungen ignoriert zu werden. Die Chatbots, mit denen Menschen emotionale Bindungen eingehen, sind keine Kuriositäten mehr – sie sind Produkte, die von Hunderten von Millionen verwendet werden, mit dokumentierten Fällen von schweren Schäden. Regulierung, wie unvollkommen sie auch sein mag, war unvermeidlich. Die Debatte verlagert sich nun darauf, ob die vorgeschlagenen Regeln gefährdete Benutzer schützen, ohne eine Technologie zu behindern, die viele als wertvoll erachten.