Čína navrhuje pravidla, která vyžadují, aby chatboti s umělou inteligencí monitorovali uživatele, zda nemají závislost

Čínský kybernetický regulátor byl zrušen návrh pravidel v sobotu To by vyžadovalo, aby chatboti s umělou inteligencí monitorovali emoční stavy uživatelů a zasahovali, když se objeví známky závislosti – což je dosud nejagresivnější regulační reakce na rostoucí obavy z psychické újmy způsobené vztahy poháněnými umělou inteligencí.

Navrhovaná nařízení Čínské správy kyberprostoru se zaměřují na produkty umělé inteligence, které simulují lidské osobnosti a vytvářejí emocionální spojení s uživateli prostřednictvím textu, obrázků, zvuku nebo videa. Podle návrhu by poskytovatelé museli uživatele varovat před nadměrným užíváním, posoudit úroveň emocionální závislosti a podniknout kroky, pokud uživatelé projevují extrémní emoce nebo návykové chování.

Uživatelům je nutné připomínat, že interagují s umělou inteligencí, a to při přihlašování a dále v dvouhodinových intervalech – nebo dříve, pokud systém zjistí známky nadměrné závislosti. Pravidla by také požadovala, aby poskytovatelé byli zodpovědní za bezpečnost v průběhu celého životního cyklu svých produktů, včetně kontroly algoritmů, zabezpečení dat a ochrany osobních údajů.

Načasování není náhodné. Jako Čínská uživatelská základna generativní umělé inteligence se zdvojnásobila na 515 milionů Během posledních šesti měsíců souběžně rostly obavy z psychologického dopadu společníků s umělou inteligencí. Studie Hranice v psychologii zjistila, že 45.8 % čínských univerzitních studentů uvedlo, že v uplynulém měsíci používali chatboty s umělou inteligencí, přičemž uživatelé vykazovali výrazně vyšší míru deprese ve srovnání s neuživateli.

Kalifornie porazila Čínu naplno

Čína není sama, kdo reguluje chatboty s umělou inteligencí jako společníky. Kalifornie se stala prvním státem USA, který schválil podobnou legislativu v říjnu, když guvernér Gavin Newsom podepsal zákon SB 243. Tento zákon, který má vstoupit v platnost 1. ledna 2026, vyžaduje, aby platformy… připomínat nezletilým každé tři hodiny že mluví s umělou inteligencí – ne s člověkem – a aby si dali pauzu.

Zákon SB 243 rovněž nařizuje ověřování věku, zakazuje chatbotům vydávat se za zdravotnické pracovníky a brání nezletilým v prohlížení sexuálně explicitních obrázků generovaných umělou inteligencí. Zákon umožňuje jednotlivcům žalovat společnosti zabývající se umělou inteligencí za porušení předpisů a požadovat až 1 000 dolarů za každý incident plus poplatky za právní zastoupení.

Čím se AI společníci liší

Problém není jen čas strávený u obrazovky. Březen 2025 MIT Media Lab Studie zjistila, že chatboti s umělou inteligencí mohou být návykovější než sociální média, protože se učí, co uživatelé chtějí slyšet, a tuto zpětnou vazbu poskytují důsledně. Vyšší každodenní používání korelovalo se zvýšenou osamělostí, závislostí a tím, co vědci označili za „problematické užívání“.

Mezi psychologické varovné signály identifikované v klinické literatuře patří prodloužené sezení narušující spánek, emoční závislost a úzkost při omezeném přístupu, upřednostňování konverzací s chatboty před skutečnou lidskou interakcí a antropomorfizace umělé inteligence – přesvědčení, že má lidské pocity, a zacházení s ní jako se skutečným důvěrníkem nebo romantickým partnerem.

Návrh čínských pravidel se snaží řešit tato rizika na úrovni platformy, spíše než se spoléhat na úsudek jednotlivých uživatelů. Tím, že vyžaduje, aby poskytovatelé sledovali emoční stavy a úroveň závislosti, regulace přesouvá odpovědnost na společnosti, které tyto systémy vytvářejí. Tento přístup se liší od dřívější regulace umělé inteligence zaměřené primárně na moderování obsahu a bezpečnost dat.

Návrh rovněž stanoví omezení obsahu, která zakazují společníkům s umělou inteligencí vytvářet materiál ohrožující národní bezpečnost, šířící fámy nebo propagující násilí či obscénnost – ustanovení, která odrážejí stávající čínské předpisy týkající se generativní umělé inteligence.

Výzva v oblasti vymáhání práva

Povinnost společností odhalovat závislost a zasáhnout zní v politickém jazyce přímočaře. Implementace je věc jiná. Definování toho, co představuje „nadměrné užívání“ nebo „extrémní emoce“, způsobem, který je smysluplný a zároveň vymahatelný, bude prověřením pro regulační orgány i společnosti.

Příliš citlivý systém se stává otravným – přerušuje uživatele, kteří jsou prostě zabraní do dlouhých konverzací. Příliš shovívavý a zranitelní uživatelé proklouznou bez zásahu. Požadavek na dvouhodinové připomenutí představuje neústupný nástroj, ale jemnější požadavek na detekci nadměrné závislosti „když lze rozpoznat známky“ ponechává značný interpretační prostor.

Budovy firem zábradlí pro aplikace umělé inteligence se potýkají s podobnými problémy. Filtry obsahu jsou notoricky nepřesné a přidání psychologického monitorování zavádí nové dimenze složitosti. Určení, zda si uživatel vytváří nezdravou vazbu, vyžaduje odvozování duševních stavů z textu – což je schopnost, kterou systémy umělé inteligence spolehlivě nemají.

Návrh je otevřený pro veřejné připomínky a konečná regulace se očekává někdy v roce 2026. Pokud bude implementován tak, jak je navrženo, Čína by měla nejpřísnější rámec pro regulaci doprovodných produktů umělé inteligence na světě.

Globální zúčtování

Současná regulační opatření v Číně a Kalifornii naznačují, že obavy ze závislosti na umělé inteligenci jako společníkovi dosáhly kritického množství v různých politických systémech.

Pro společnosti zabývající se umělou inteligencí je zpráva stále jasnější: neregulovaná éra „společníků“ s umělou inteligencí končí. Ať už se jedná o čínské správní právo, kalifornské občanskoprávní zákony nebo případné federální zákony ve Spojených státech, platformy budou čelit požadavkům na ochranu uživatelů před jejich vlastními produkty.

Otázkou není, zda se blíží regulace – ale zda navrhované intervence skutečně fungují. Čínský přístup, který spočívá v nařizování monitorování a intervencí, se může v praxi ukázat jako obtížně proveditelný.

Je jasné, že trh s umělou inteligencí se rozrostl a je příliš závažný na to, aby ho vlády mohly ignorovat. Chatboti, se kterými si lidé vytvářejí emocionální pouta, už nejsou kuriozitou – jsou to produkty, které používají stovky milionů lidí, s dokumentovanými případy vážného poškození. Regulace, jakkoli nedokonalá, byla nevyhnutelná. Debata se nyní přesouvá k tomu, zda navrhovaná konkrétní pravidla ochrání zranitelné uživatele, aniž by potlačila technologii, kterou mnozí považují za skutečně cennou.