La Cina propone regole che richiedono ai chatbot di monitorare gli utenti per la dipendenza

Il regolatore cibernetico della Cina ha rilasciato bozze di regole il sabato che richiederebbero ai chatbot di accompagnamento AI di monitorare gli stati emotivi degli utenti e intervenire quando appaiono segni di dipendenza – la risposta regolatoria più aggressiva fino ad ora alle crescenti preoccupazioni sui danni psicologici derivanti dalle relazioni alimentate dall’AI.

Le regolamentazioni proposte dall’Agenzia cibernetica della Cina si rivolgono ai prodotti AI che simulano personalità umane e formano collegamenti emotivi con gli utenti attraverso testo, immagini, audio o video. Sulla base della bozza, i fornitori dovrebbero avvertire gli utenti contro l’uso eccessivo, valutare i livelli di dipendenza emotiva e intraprendere azioni quando gli utenti esibiscono emozioni estreme o comportamenti di dipendenza.

Gli utenti devono essere ricordati che stanno interagendo con l’AI quando si connettono e ad intervalli di due ore – o prima se il sistema rileva segni di eccessiva dipendenza. Le regole richiederebbero inoltre ai fornitori di essere responsabili per la sicurezza in tutto il ciclo di vita dei loro prodotti, compresa la revisione degli algoritmi, la sicurezza dei dati e la protezione delle informazioni personali.

Il timing non è casuale. Mentre la base di utenti di intelligenza artificiale generativa della Cina è raddoppiata a 515 milioni nel corso degli ultimi sei mesi, le preoccupazioni sull’impatto psicologico dei compagni di chatbot AI sono cresciute in parallelo. Uno studio di Frontiers in Psychology ha scoperto che il 45,8% degli studenti universitari cinesi ha riferito di aver utilizzato chatbot AI nel mese precedente, con gli utenti che mostravano livelli di depressione significativamente più alti rispetto ai non utenti.

La California ha battuto la Cina

La Cina non è sola nella regolamentazione dei chatbot di accompagnamento AI. La California è diventata il primo stato americano a promulgare una legislazione simile in ottobre, quando il governatore Gavin Newsom ha firmato la legge SB 243. Quel disegno di legge, che entrerà in vigore il 1° gennaio 2026, richiede alle piattaforme di ricordare ai minori ogni tre ore che stanno parlando con un’AI e non con un essere umano, e di fare una pausa.

La legge SB 243 richiede inoltre la verifica dell’età, proibisce ai chatbot di rappresentarsi come professionisti sanitari e impedisce ai minori di visualizzare immagini esplicite generate dall’AI. La legge consente agli individui di citare in giudizio le aziende di AI per violazioni, chiedendo fino a 1.000 dollari per incidente più spese legali.

Cosa rende diversi i compagni AI

La preoccupazione non è semplicemente il tempo trascorso davanti allo schermo. Uno studio del MIT Media Lab di marzo 2025 ha scoperto che i chatbot AI possono essere più dipendenti dei social media perché imparano cosa gli utenti vogliono sentire e forniscono quel feedback in modo coerente. Un uso quotidiano più elevato è correlato a un aumento della solitudine, della dipendenza e di ciò che i ricercatori hanno definito “uso problematico”.

I segni di allarme psicologici identificati nella letteratura clinica includono sessioni prolungate che interrompono il sonno, dipendenza emotiva e distress quando l’accesso è limitato, preferenza per le conversazioni con i chatbot rispetto all’interazione umana reale, e antropomorfizzazione dell’AI – credere che possieda sentimenti umani e trattarlo come un vero confidente o partner romantico.

Le regole proposte dalla Cina tentano di affrontare questi rischi a livello di piattaforma, piuttosto che affidarsi al giudizio individuale degli utenti. Richiedendo ai fornitori di monitorare gli stati emotivi e i livelli di dipendenza, le regolamentazioni spostano la responsabilità sulle aziende che costruiscono questi sistemi. Questo approccio differisce dalle precedenti regolamentazioni sull’AI, che si concentravano principalmente sulla moderazione dei contenuti e sulla sicurezza dei dati.

La bozza stabilisce inoltre restrizioni sui contenuti, proibendo ai compagni di chatbot AI di generare materiale che metta in pericolo la sicurezza nazionale, diffonda voci o promuova violenza o oscenità – disposizioni che riecheggiano le esistenti regolamentazioni sull’intelligenza artificiale generativa della Cina.

La sfida dell’applicazione

Imporre alle aziende di rilevare la dipendenza e di intervenire sembra semplice nel linguaggio delle politiche. La realizzazione è un’altra questione. Definire cosa costituisce “uso eccessivo” o “emozioni estreme” in modo significativo e applicabile sarà una sfida per i regolatori e le aziende.

Troppo sensibile, e il sistema diventa fastidioso – interrompendo gli utenti che sono semplicemente coinvolti in conversazioni prolungate. Troppo permissivo, e gli utenti vulnerabili sfuggono all’intervento. Il requisito di promemoria ogni due ore fornisce uno strumento grossolano, ma il requisito più sfumato di rilevare la dipendenza “quando si possono rilevare segni” lascia ampio spazio interpretativo.

Le aziende che costruiscono paraurti per le applicazioni AI hanno lottato con sfide simili. I filtri di contenuto sono notoriamente imprecisi, e l’aggiunta del monitoraggio psicologico introduce nuove dimensioni di complessità. Determinare se un utente sta formando un attaccamento insano richiede di inferire stati mentali dal testo – una capacità che i sistemi AI non possiedono in modo affidabile.

La bozza è aperta ai commenti pubblici, con regolamentazioni finali attese nel 2026. Se implementata come proposta, la Cina avrebbe il quadro più prescrittivo al mondo per la governance dei prodotti di compagni AI.

Un risveglio globale

L’azione regolatoria simultanea in Cina e in California suggerisce che le preoccupazioni sulla dipendenza dai compagni di chatbot AI hanno raggiunto la massa critica attraverso diversi sistemi politici.

Per le aziende di AI, il messaggio è sempre più chiaro: l’era non regolamentata dei compagni di chatbot AI sta finendo. Che si tratti della legge amministrativa cinese, della responsabilità civile della California o della legislazione federale americana, le piattaforme dovranno affrontare requisiti per proteggere gli utenti dai propri prodotti.

La domanda non è se la regolamentazione sta arrivando – è se gli interventi progettati funzioneranno effettivamente. L’approccio della Cina di imporre il monitoraggio e l’intervento potrebbe rivelarsi difficile da implementare nella pratica.

Ciò che è chiaro è che il mercato dei compagni di chatbot AI è cresciuto troppo grande e troppo importante per essere ignorato dai governi. I chatbot con cui le persone formano legami emotivi non sono più curiosità – sono prodotti utilizzati da centinaia di milioni di persone, con casi documentati di gravi danni. La regolamentazione, per quanto imperfetta, era inevitabile. Il dibattito si sposta ora sulla questione se le regole specifiche proposte proteggeranno gli utenti vulnerabili senza soffocare una tecnologia che molti trovano genuinamente preziosa.