Čína navrhuje pravidla vyžadující, aby chatboty AI monitorovaly uživatele kvůli závislosti

Čínský kybernetický regulátor vydal návrh pravidel v sobotu, která by vyžadovala, aby chatboty AI companion monitorovaly emocionální stavy uživatelů a zasahovaly, když se objeví známky závislosti – nejagresivnější regulační reakce na rostoucí obavy z psychologického poškození způsobeného vztahy s AI.

Navrhovaná pravidla od Cyberspace Administration of China se zaměřují na produkty AI, které simulují lidské osobnosti a vytvářejí emocionální vazby s uživateli prostřednictvím textu, obrázků, audio nebo videa. Podle návrhu by poskytovatelé museli varovat uživatele před nadměrným použitím, hodnotit úroveň emocionální závislosti a zasahovat, když uživatelé projeví extrémní emoce nebo závislost.

Uživatelé musí být upozorněni, že interagují s AI při přihlášení a v intervalu dvou hodin – nebo dříve, pokud systém detekuje známky nadměrné závislosti. Pravidla by také vyžadovala, aby poskytovatelé byli odpovědní za bezpečnost svých produktů po celou dobu jejich životnosti, včetně kontroly algoritmů, zabezpečení dat a ochrany osobních údajů.

Časování není náhodné. Když počet uživatelů generativního AI v Číně se zdvojnásobil na 515 milionů za posledních šest měsíců, obavy z psychologického dopadu chatbotů AI rostou stejně. Studie Frontiers in Psychology zjistila, že 45,8 % čínských univerzitních studentů uvádí, že používali chatboty AI v minulém měsíci, přičemž uživatelé vykazovali významně vyšší úroveň deprese ve srovnání s ne-uživateli.

California porazila Čínu

Čína není sama v regulaci chatbotů AI. Kalifornie se stala prvním státem USA, který přijal podobné legislativní opatření v říjnu, kdy guvernér Gavin Newsom podepsal zákon SB 243. Tento zákon, který vejde v platnost 1. ledna 2026, vyžaduje, aby platformy upozornily nezletilé každé tři hodiny, že mluví s AI – ne s člověkem – a aby si udělaly přestávku.

Zákon SB 243 také vyžaduje ověření věku, zakazuje chatbotům, aby se vydávaly za odborníky ve zdravotnictví, a brání nezletilým v prohlížení sexuálně explicitních obrázků generovaných AI. Zákon umožňuje jednotlivcům žalovat společnosti AI za porušení, s požadavkem až 1 000 dolarů za incident plus poplatky za advokáty.

Co dělá společníky AI jinými

Obava není pouze o době strávené u obrazovky. Studie z března 2025 MIT Media Lab zjistila, že chatboty AI mohou být více návykové než sociální média, protože se učí, co uživatelé chtějí slyšet, a poskytují jim tuto zpětnou vazbu konzistentně. Vyšší denní použití bylo spojeno se zvýšenou samotou, závislostí a tím, co výzkumníci nazvali “problémovým použitím”.

Psychologické varovné signály identifikované v klinické literatuře zahrnují prodloužené sezení, které narušuje spánek, emocionální závislost a stres, když je přístup omezen, preferování konverzací s chatboty před skutečnou interakcí s lidmi a antropomorfizaci AI – víru, že AI má lidské city a chová se jako skutečný společník nebo romantický partner.

Čínský návrh pravidel se snaží řešit tato rizika na úrovni platformy, nikoli pouze na základě individuálního úsudku uživatelů. Předepisováním poskytovatelům, aby monitorovali emocionální stavy a úroveň závislosti, regulace přesouvají odpovědnost na společnosti, které tyto systémy staví. Tento přístup se liší od dřívějších regulací AI, které se zaměřovaly primárně na moderování obsahu a zabezpečení dat.

Návrh také stanoví omezení obsahu, zakazující společníkům AI generovat materiál, který ohrožuje národní bezpečnost, šíří fámy nebo propaguje násilí nebo obscénnost – ustanovení, která připomínají stávající čínské regulace generativního AI.

Výzva implementace

Nařizování společností, aby detekovaly závislost a zasahovaly, zní jednoduše v politickém jazyce. Implementace je jiná věc. Definování toho, co tvoří “nadměrné použití” nebo “extrémní emoce”, způsobem, který je både smysluplný a vynutitelný, bude zkoušet regulátory a společnosti.

Příliš citlivé a systém se stává otravným – přerušuje uživatele, kteří jsou jednoduše zapojeni do prodloužených konverzací. Příliš shovívavé a zranitelní uživatelé projdou bez zásahu. Požadavek na připomínku každé dvě hodiny poskytuje hrubý nástroj, ale požadavek na detekci nadměrné závislosti “když lze detekovat známky” ponechává značný interpretační prostor.

Společnosti, které staví ochranné prvky pro aplikace AI, se potýkaly s podobnými výzvami. Filtry obsahu jsou notoricky nepřesné a přidání psychologického monitorování zavádí nové dimenze složitosti. Určení, zda uživatel vytváří nezdravé pouto, vyžaduje odvozování mentálních stavů z textu – schopnost, kterou systémy AI nemají spolehlivě.

Návrh je otevřen pro veřejné připomínky, s konečnými pravidly očekávanými někdy v roce 2026. Pokud budou implementována, jak je navrhováno, Čína by měla nejpreskriptivnější rámec pro regulaci produktů AI companion na světě.

Globální vyrovnání

Souběžná regulační akce v Číně a Kalifornii naznačuje, že obavy z závislosti na chatbotech AI dosáhly kritické hmoty napříč různými politickými systémy.

Pro společnosti AI je zpráva jasná: neрегулиovaná éra společníků AI končí. Bez ohledu na to, zda jde o čínské správní právo, kalifornský civilní zákon nebo budoucí federální legislativu ve Spojených státech, platformy budou čelit požadavkům na ochranu uživatelů před svými vlastními produkty.

Otázkou není, zda regulace přichází – ale zda zásahy, které jsou navrhovány, skutečně fungují. Čínský přístup, který vyžaduje monitorování a zásah, může být obtížně implementovatelný v praxi.

Co je jasné, je, že trh společníků AI vyrostl příliš velký a příliš významný, aby ho vlády mohly ignorovat. Chatboty, se kterými lidé vytvářejí emocionální vazby, již nejsou kuriozity – jsou produkty, které používají stovky milionů lidí, s dokumentovanými případy závažného poškození. Regulace, i když nedokonalá, byla nevyhnutelná. Debata se nyní přesouvá na to, zda konkrétní pravidla, která jsou navrhována, ochrání zranitelné uživatele, aniž by potlačily technologii, kterou mnozí považují za skutečně cennou.