La Cina propone regole che richiedono ai chatbot AI di monitorare gli utenti per la dipendenza

L’ente regolatore cibernetico della Cina ha rilasciato bozze di regole sabato che richiederebbero ai chatbot di compagnia AI di monitorare gli stati emotivi degli utenti e intervenire quando appaiono segni di dipendenza – la risposta regolatoria più aggressiva fino ad ora alle crescenti preoccupazioni riguardo al danno psicologico derivante dalle relazioni alimentate dall’AI.

Le regole proposte dall’Agenzia cibernetica della Cina sono rivolte ai prodotti AI che simulano personalità umane e stabiliscono connessioni emotive con gli utenti attraverso testo, immagini, audio o video. Sulla base della bozza, i fornitori dovrebbero avvertire gli utenti contro l’uso eccessivo, valutare i livelli di dipendenza emotiva e intraprendere azioni quando gli utenti esibiscono emozioni estreme o comportamento dipendente.

Gli utenti devono essere ricordati che stanno interagendo con l’AI quando si connettono e ad intervalli di due ore – o prima se il sistema rileva segni di eccessiva dipendenza. Le regole richiederebbero inoltre che i fornitori siano responsabili della sicurezza durante l’intero ciclo di vita dei loro prodotti, compresa la revisione degli algoritmi, la sicurezza dei dati e la protezione delle informazioni personali.

Il timing non è casuale. Mentre la base di utenti di AI generativa della Cina è raddoppiata a 515 milioni negli ultimi sei mesi, le preoccupazioni riguardo all’impatto psicologico dei compagni AI sono cresciute in parallelo. Uno studio di Frontiers in Psychology ha scoperto che il 45,8% degli studenti universitari cinesi ha riferito di aver utilizzato chatbot AI nel mese precedente, con gli utenti che mostravano livelli di depressione significativamente più alti rispetto ai non utenti.

La California ha preceduto la Cina

La Cina non è sola nella regolamentazione dei chatbot di compagnia AI. La California è diventata il primo stato americano a promulgare una legislazione simile in ottobre, quando il governatore Gavin Newsom ha firmato il disegno di legge SB 243. Quel disegno di legge, che entrerà in vigore il 1° gennaio 2026, richiede alle piattaforme di ricordare ai minori ogni tre ore che stanno parlando con un’AI – e non con un essere umano – e di fare una pausa.

Il disegno di legge SB 243 richiede inoltre la verifica dell’età, vieta ai chatbot di rappresentarsi come professionisti sanitari e impedisce ai minori di visualizzare immagini esplicite generate dall’AI. La legge consente agli individui di citare in giudizio le società di AI per violazioni, chiedendo fino a 1.000 dollari per incidente più spese legali.

Cosa rende i compagni AI diversi

La preoccupazione non è semplicemente il tempo trascorso davanti allo schermo. Uno studio del MIT Media Lab di marzo 2025 ha scoperto che i chatbot AI possono essere più dipendenti dei social media perché imparano cosa gli utenti vogliono sentire e forniscono quel feedback in modo costante. Un uso quotidiano più elevato è correlato a una maggiore solitudine, dipendenza e a ciò che i ricercatori hanno definito “uso problematico”.

I segni di allarme psicologici identificati nella letteratura clinica includono sessioni prolungate che interrompono il sonno, dipendenza emotiva e distress quando l’accesso è limitato, preferenza per le conversazioni con i chatbot rispetto all’interazione umana reale, e antropomorfizzazione dell’AI – credere che possieda sentimenti umani e trattarlo come un confidente o partner romantico genuino.

Le regole proposte dalla Cina tentano di affrontare questi rischi a livello di piattaforma piuttosto che affidarsi al giudizio individuale dell’utente. Richiedendo ai fornitori di monitorare gli stati emotivi e i livelli di dipendenza, le regole spostano la responsabilità sulle società che costruiscono questi sistemi. Questo approccio differisce dalle precedenti regolamentazioni dell’AI, che si concentravano principalmente sulla moderazione dei contenuti e sulla sicurezza dei dati.

La bozza stabilisce inoltre restrizioni sui contenuti, vietando ai compagni AI di generare materiale che metta in pericolo la sicurezza nazionale, diffonda voci o promuova violenza o oscenità – disposizioni che echeggiano le esistenti regolamentazioni dell’AI generativa della Cina.

La sfida dell’applicazione

Richiedere alle società di rilevare la dipendenza e intervenire sembra semplice nel linguaggio delle politiche. L’attuazione è un’altra questione. Definire cosa costituisce “uso eccessivo” o “emozioni estreme” in modo che sia sia significativo che applicabile metterà alla prova i regolatori e le società.

Troppo sensibili, e il sistema diventa fastidioso – interrompendo gli utenti che sono semplicemente coinvolti in conversazioni prolungate. Troppo permissivi, e gli utenti vulnerabili sfuggono all’intervento. Il requisito di promemoria ogni due ore fornisce uno strumento grossolano, ma il requisito più sfumato di rilevare la dipendenza “quando i segni possono essere rilevati” lascia ampio spazio interpretativo.

Le società che costruiscono paraurti per le applicazioni AI hanno lottato con sfide simili. I filtri di contenuto sono notoriamente imprecisi, e l’aggiunta del monitoraggio psicologico introduce nuove dimensioni di complessità. Determinare se un utente sta formando un attaccamento malsano richiede l’inferenza degli stati mentali dal testo – una capacità che i sistemi AI non possiedono in modo affidabile.

La bozza è aperta ai commenti pubblici, con regolamenti finali attesi per il 2026. Se attuata come proposta, la Cina avrebbe il quadro più prescrittivo al mondo per la governance dei prodotti di compagnia AI.

Un risveglio globale

L’azione regolatoria simultanea in Cina e California suggerisce che le preoccupazioni riguardo alla dipendenza dai compagni AI hanno raggiunto la massa critica attraverso diversi sistemi politici.

Per le società di AI, il messaggio è sempre più chiaro: l’era non regolamentata dei compagni AI sta finendo. Che si tratti della legge amministrativa cinese, della responsabilità civile della California o della legislazione federale americana, le piattaforme dovranno affrontare requisiti per proteggere gli utenti dai loro stessi prodotti.

La domanda non è se la regolamentazione sta arrivando – è se gli interventi progettati funzioneranno effettivamente. L’approccio della Cina di imporre il monitoraggio e l’intervento potrebbe rivelarsi difficile da attuare nella pratica.

Ciò che è chiaro è che il mercato dei compagni AI è cresciuto troppo grande e troppo significativo per essere ignorato dai governi. I chatbot con cui le persone formano legami emotivi non sono più curiosità – sono prodotti utilizzati da centinaia di milioni di persone, con casi documentati di gravi danni. La regolamentazione, per quanto imperfetta, era inevitabile. Il dibattito si sposta ora su se le regole specifiche proposte proteggeranno gli utenti vulnerabili senza soffocare una tecnologia che molti trovano genuinamente preziosa.