La Cina propone regole che impongono ai chatbot AI di monitorare gli utenti per individuare eventuali dipendenze

Pubblicato il regolatore informatico cinese bozza delle regole sabato Ciò richiederebbe l'uso di chatbot AI di accompagnamento per monitorare gli stati emotivi degli utenti e intervenire quando compaiono segnali di dipendenza: la risposta normativa più aggressiva finora alle crescenti preoccupazioni sui danni psicologici derivanti dalle relazioni basate sull'intelligenza artificiale.

Le normative proposte dalla Cyberspace Administration of China prendono di mira i prodotti di intelligenza artificiale che simulano personalità umane e creano connessioni emotive con gli utenti attraverso testo, immagini, audio o video. Secondo la bozza, i fornitori dovrebbero mettere in guardia gli utenti dall'uso eccessivo, valutare i livelli di dipendenza emotiva e intervenire quando gli utenti manifestano emozioni estreme o comportamenti di dipendenza.

Gli utenti devono essere informati che stanno interagendo con l'IA al momento dell'accesso e a intervalli di due ore, o prima se il sistema rileva segnali di eccessiva dipendenza. Le norme vincolano inoltre i fornitori alla responsabilità della sicurezza durante l'intero ciclo di vita dei loro prodotti, inclusa la revisione degli algoritmi, la sicurezza dei dati e la protezione delle informazioni personali.

Il tempismo non è casuale. Come La base di utenti di intelligenza artificiale generativa in Cina è raddoppiata, raggiungendo i 515 milioni Negli ultimi sei mesi sono cresciute parallelamente le preoccupazioni circa l'impatto psicologico dei compagni di intelligenza artificiale. Uno studio di Frontiers in Psychology è emerso che il 45.8% degli studenti universitari cinesi ha dichiarato di aver utilizzato chatbot basati sull'intelligenza artificiale nel mese precedente, con livelli di depressione significativamente più elevati tra gli utenti rispetto ai non utenti.

La California ha battuto la Cina sul tempo

La Cina non è l'unica a regolamentare i chatbot di accompagnamento basati sull'intelligenza artificiale. La California è stata il primo stato americano ad approvare una legge simile a ottobre, quando il governatore Gavin Newsom ha firmato la SB 243. Tale disegno di legge, che entrerà in vigore il 1° gennaio 2026, impone alle piattaforme di ricordare ai minorenni ogni tre ore che stanno parlando con un'intelligenza artificiale, non con un essere umano, e di prendersi una pausa.

La SB 243 impone inoltre la verifica dell'età, vieta ai chatbot di presentarsi come professionisti sanitari e impedisce ai minori di visualizzare immagini sessualmente esplicite generate dall'intelligenza artificiale. La legge consente ai singoli di citare in giudizio le aziende di intelligenza artificiale per violazioni, chiedendo fino a 1,000 dollari per incidente, più le spese legali.

Cosa rende diversi i compagni di intelligenza artificiale

La preoccupazione non riguarda semplicemente il tempo trascorso davanti allo schermo. Marzo 2025 MIT Media Lab Uno studio ha scoperto che i chatbot basati sull'intelligenza artificiale possono creare più dipendenza dei social media perché apprendono ciò che gli utenti vogliono sentirsi dire e forniscono feedback in modo coerente. Un maggiore utilizzo quotidiano è correlato a un aumento della solitudine, della dipendenza e di quello che i ricercatori hanno definito "uso problematico".

I segnali d'allarme psicologici identificati nella letteratura clinica includono sessioni prolungate che interrompono il sonno, dipendenza emotiva e disagio quando l'accesso è limitato, preferenza per le conversazioni con i chatbot rispetto all'interazione umana reale e antropomorfizzazione dell'intelligenza artificiale, ovvero credere che possieda sentimenti simili a quelli umani e trattarla come una vera confidente o un partner romantico.

La bozza di regolamento cinese cerca di affrontare questi rischi a livello di piattaforma, piuttosto che basarsi sul giudizio dei singoli utenti. Imponendo ai provider di monitorare gli stati emotivi e i livelli di dipendenza, la normativa sposta la responsabilità sulle aziende che sviluppano questi sistemi. Questo approccio differisce dalla precedente regolamentazione dell'intelligenza artificiale, incentrata principalmente sulla moderazione dei contenuti e sulla sicurezza dei dati.

La bozza stabilisce anche delle restrizioni sui contenuti, vietando ai compagni di intelligenza artificiale di generare materiale che metta a repentaglio la sicurezza nazionale, diffonda voci o promuova violenza o oscenità: disposizioni che riecheggiano le attuali normative cinesi sull'intelligenza artificiale generativa.

La sfida dell'applicazione della legge

Obbligare le aziende a rilevare la dipendenza e a intervenire sembra un'operazione semplice nel linguaggio delle politiche. L'attuazione è un'altra questione. Definire cosa costituisca "uso eccessivo" o "emozioni estreme" in modo significativo e applicabile metterà alla prova sia le autorità di regolamentazione che le aziende.

Se troppo sensibile, il sistema diventa fastidioso, interrompendo gli utenti semplicemente impegnati in lunghe conversazioni. Se troppo indulgente, gli utenti vulnerabili riescono a passare inosservati senza alcun intervento. Il requisito del promemoria di due ore fornisce uno strumento poco efficace, ma il requisito più sfumato di rilevare l'eccessiva dipendenza "quando si possono rilevare i segnali" lascia un ampio margine interpretativo.

Aziende che costruiscono barriere di protezione per le applicazioni di intelligenza artificiale hanno dovuto affrontare sfide simili. I filtri dei contenuti sono notoriamente imprecisi e l'aggiunta del monitoraggio psicologico introduce nuove dimensioni di complessità. Determinare se un utente sta sviluppando un attaccamento malsano richiede di dedurre stati mentali dal testo, una capacità che i sistemi di intelligenza artificiale non possiedono in modo affidabile.

La bozza è aperta ai commenti del pubblico e la normativa definitiva è prevista per il 2026. Se implementata come proposto, la Cina avrebbe il quadro normativo più prescrittivo al mondo per la regolamentazione dei prodotti complementari all'intelligenza artificiale.

Una resa dei conti globale

L'azione normativa simultanea in Cina e California suggerisce che le preoccupazioni relative alla dipendenza da dispositivi di intelligenza artificiale hanno raggiunto una dimensione critica nei diversi sistemi politici.

Per le aziende di intelligenza artificiale, il messaggio è sempre più chiaro: l'era non regolamentata dei dispositivi di intelligenza artificiale sta finendo. Che sia attraverso il diritto amministrativo cinese, la responsabilità civile della California o un'eventuale legislazione federale negli Stati Uniti, le piattaforme dovranno affrontare obblighi per proteggere gli utenti dai propri prodotti.

La questione non è se la regolamentazione arriverà, ma se gli interventi progettati funzioneranno davvero. L'approccio cinese di imporre monitoraggio e intervento potrebbe rivelarsi difficile da attuare nella pratica.

Ciò che è chiaro è che il mercato dell'intelligenza artificiale di accompagnamento è diventato troppo vasto e con conseguenze troppo rilevanti perché i governi possano ignorarlo. I chatbot con cui le persone instaurano legami emotivi non sono più curiosità: sono prodotti utilizzati da centinaia di milioni di persone, con casi documentati di gravi danni. Una regolamentazione, per quanto imperfetta, era inevitabile. Il dibattito ora si sposta sulla questione se le norme specifiche proposte proteggeranno gli utenti vulnerabili senza soffocare una tecnologia che molti considerano davvero preziosa.