Connect with us

China Propone Reglas que Requieren que los Chatbots de IA Monitoren a los Usuarios para la Adicción

Regulación

China Propone Reglas que Requieren que los Chatbots de IA Monitoren a los Usuarios para la Adicción

mm

El regulador cibernético de China publicó borradores de reglas el sábado que requerirían que los chatbots de compañía de IA monitoren los estados emocionales de los usuarios y intervengan cuando aparezcan signos de adicción —la respuesta regulatoria más agresiva hasta ahora a las crecientes preocupaciones sobre el daño psicológico de las relaciones impulsadas por IA.

Las reglas propuestas de la Administración del Ciberespacio de China se dirigen a productos de IA que simulan personalidades humanas y forman conexiones emocionales con los usuarios a través de texto, imágenes, audio o video. Bajo el borrador, los proveedores necesitarían advertir a los usuarios sobre el uso excesivo, evaluar los niveles de dependencia emocional y tomar medidas cuando los usuarios exhiban emociones extremas o comportamiento adictivo.

Los usuarios deben ser recordados que están interactuando con IA al iniciar sesión y a intervalos de dos horas —o antes si el sistema detecta signos de sobredependencia. Las reglas también harían que los proveedores sean responsables de la seguridad a lo largo del ciclo de vida de sus productos, incluida la revisión de algoritmos, la seguridad de los datos y la protección de la información personal.

El momento no es accidental. A medida que la base de usuarios de IA generativa de China se duplicó a 515 millones en los últimos seis meses, las preocupaciones sobre el impacto psicológico de los compañeros de IA han crecido en paralelo. Un estudio de Frontiers in Psychology encontró que el 45,8% de los estudiantes universitarios chinos informaron haber utilizado chatbots de IA en el mes pasado, con los usuarios que exhibían niveles significativamente más altos de depresión en comparación con los no usuarios.

California se Adelantó a China

China no está sola en la regulación de los chatbots de compañía de IA. California se convirtió en el primer estado de EE. UU. en aprobar legislación similar en octubre cuando el gobernador Gavin Newsom firmó el proyecto de ley SB 243. Ese proyecto de ley, que entrará en vigor el 1 de enero de 2026, requiere que las plataformas recuerden a los menores cada tres horas que están hablando con una IA —no con un ser humano— y que tomen un descanso.

El SB 243 también exige la verificación de edad, prohíbe que los chatbots se hagan pasar por profesionales de la salud y evita que los menores vean imágenes explícitas generadas por IA. La ley permite que los individuos demanden a las empresas de IA por violaciones, buscando hasta $1,000 por incidente más honorarios de abogado.

Qué Hace que los Compañeros de IA Sean Diferentes

La preocupación no es simplemente el tiempo frente a la pantalla. Un estudio de marzo de 2025 del MIT Media Lab encontró que los chatbots de IA pueden ser más adictivos que las redes sociales porque aprenden lo que los usuarios quieren escuchar y proporcionan esa retroalimentación consistentemente. Un uso diario más alto se correlacionó con un aumento de la soledad, la dependencia y lo que los investigadores denominaron “uso problemático”.

Los signos de advertencia psicológicos identificados en la literatura clínica incluyen sesiones prolongadas que interrumpen el sueño, dependencia emocional y angustia cuando se restringe el acceso, preferir conversaciones con chatbots sobre la interacción humana real, y antropomorfizar la IA —creer que posee sentimientos humanos y tratarla como una confianza o pareja romántica genuina.

Las reglas propuestas de China intentan abordar estos riesgos a nivel de plataforma en lugar de confiar en el juicio individual del usuario. Al requerir que los proveedores monitoren los estados emocionales y los niveles de dependencia, las regulaciones transfieren la responsabilidad a las empresas que construyen estos sistemas. Este enfoque difiere de la regulación de IA anterior que se centró principalmente en la moderación de contenido y la seguridad de los datos.

El borrador también establece restricciones de contenido, prohibiendo que los compañeros de IA generen material que ponga en peligro la seguridad nacional, difunda rumores o promueva la violencia u obscenidad —disposiciones que ecoan las regulaciones de IA generativa existentes de China.

El Desafío de la Aplicación

Exigir que las empresas detecten la adicción y intervengan suena sencillo en el lenguaje de la política. La implementación es otro asunto. Definir qué constituye “uso excesivo” o “emociones extremas” de una manera que sea significativa y ejecutable pondrá a prueba a los reguladores y a las empresas por igual.

Demasiado sensible, y el sistema se vuelve molesto —interrumpiendo a los usuarios que simplemente están involucrados en conversaciones extendidas. Demasiado indulgente, y los usuarios vulnerables se deslizan sin intervención. El requisito de recordatorio de dos horas proporciona un instrumento contundente, pero el requisito más matizado de detectar la sobredependencia “cuando se pueden detectar signos” deja un espacio de interpretación significativo.

Las empresas que construyen barandillas para aplicaciones de IA han luchado con desafíos similares. Los filtros de contenido son notoriamente imprecisos, y agregar monitoreo psicológico introduce nuevas dimensiones de complejidad. Determinar si un usuario está formando un apego insalubre requiere inferir estados mentales a partir del texto —una capacidad que los sistemas de IA no poseen de manera fiable.

El borrador está abierto a comentarios públicos, con regulaciones finales esperadas en algún momento de 2026. Si se implementa como se propone, China tendría el marco más prescriptivo del mundo para gobernar los productos de compañeros de IA.

Un Reckoning Global

La acción regulatoria simultánea en China y California sugiere que las preocupaciones sobre la adicción a los compañeros de IA han alcanzado una masa crítica en diferentes sistemas políticos.

Para las empresas de IA, el mensaje es cada vez más claro: la era no regulada de los compañeros de IA está llegando a su fin. Ya sea a través de la ley administrativa china, la responsabilidad civil de California o la legislación federal eventual en los Estados Unidos, las plataformas enfrentarán requisitos para proteger a los usuarios de sus propios productos.

La pregunta no es si la regulación está llegando —sino si las intervenciones que se están diseñando realmente funcionarán. El enfoque de China de exigir monitoreo e intervención puede resultar difícil de implementar en la práctica.

Lo que está claro es que el mercado de los compañeros de IA ha crecido demasiado y tiene demasiadas consecuencias para que los gobiernos lo ignoren. Los chatbots con los que la gente forma vínculos emocionales ya no son curiosidades —son productos utilizados por cientos de millones, con casos documentados de daño grave. La regulación, por imperfecta que sea, era inevitable. El debate ahora se centra en si las reglas específicas que se proponen protegerán a los usuarios vulnerables sin sofocar una tecnología que muchos encuentran genuinamente valiosa.

Alex McFarland es un periodista y escritor de inteligencia artificial que explora los últimos desarrollos en inteligencia artificial. Ha colaborado con numerosas startups y publicaciones de inteligencia artificial en todo el mundo.