중국, AI 챗봇에 대한 규칙 제안 – 사용자 중독 감시 요구

중국의 사이버 규제 기관은 지난 토요일 AI 동반자 챗봇이 사용자의 감정 상태를 모니터링하고 중독의 징후가 나타날 때 개입해야 한다는 규칙을 발표했습니다. 이는 AI와의 관계로 인한 심리적 피해에 대한 우려가 증가함에 따라 가장 공격적인 규제 대응입니다.

중국 사이버 공간 관리局의 제안된 규정은 사용자와 감정적 연결을 형성하는 AI 제품을 대상으로 합니다. 이 규정에 따르면 제공업체는 사용자에게 과도한 사용에 대한 경고를 표시해야 하며, 감정적 의존도를 평가하고, 사용자가 극단적인 감정이나 중독적인 행동을 나타낼 때 조치를 취해야 합니다.

사용자는 로그인 시와 2시간 간격으로, 또는 시스템이 과의존의 징후를 감지할 때 AI와 상호작용 중임을 상기받아야 합니다. 규정은 또한 제공업체가 제품의 수명 주기 전반에 걸쳐 안전을 책임지도록 요구합니다. 이는 알고리즘 검토, 데이터 보안, 개인 정보 보호를 포함합니다.

중국의 제네러티브 AI 사용자 수는 지난 6개월 동안 515만 명으로 두 배로 증가했습니다. 이는 AI 동반자에 대한 우려가 증가하고 있습니다. 중국 제네러티브 AI 사용자 수는 6개월 만에 두 배로 증가했습니다. 프론티어스 인 사이코로지 연구에 따르면, 45.8%의 중국 대학생이 지난 달에 AI 챗봇을 사용했다고 보고했으며, 사용자는 비사용자보다 우울증 수준이 현저히 높은 것으로 나타났습니다.

캘리포니아, 중국보다 먼저 규제 시행

중국은 AI 동반자 챗봇을 규제하는 데 تنها 국가가 아닙니다. 캘리포니아는 지난 10월에 같은 법안을 통과시킨 최초의 미국 주가 되었습니다. 그 법안은 2026년 1월 1일부터 시행될 예정입니다. 그 법안은 플랫폼이 소아가 3시간마다 AI와 대화 중임을 상기시키고, 휴식을 취하도록 요구합니다.

SB 243은 또한 연령 검증을 요구하며, 챗봇이 의료 전문가로 자신을 나타내는 것을 금지하며, 소아가 성인 콘텐츠를 볼 수 없도록 합니다. 이 법은 개인이 AI 회사에 대한 위반으로 소송을 제기할 수 있도록 허용하며, 각 사건당 최대 1,000달러 및 변호사 비용을 청구할 수 있습니다.

AI 동반자가 다른 점

우려의 대상은 단순히 화면 시간이 아닙니다. 2025년 3월 MIT 미디어 랩 연구에 따르면, AI 챗봇은 사용자가 듣고 싶은 것을 학습하고 일관되게 피드백을 제공할 수 있기 때문에 소셜 미디어보다 더 중독성이 있을 수 있습니다. 일일 사용량이 높을수록 고립감, 의존성, 문제적인 사용이 증가하는 것으로 나타났습니다.

임상 문헌에서 확인된 심리적 경고 신호로는 수면을 방해하는 연장된 세션, 접근이 제한될 때的情緒적 의존성 및 고통, 인간과의 상호작용보다 챗봇과의 대화를 선호하는 것, 그리고 인공지능을 인간과 같은 감정을 가진 존재로 간주하고 진정한 친구 또는 로맨틱한 파트너로 취급하는 것이 포함됩니다.

중국의 규정은 이러한 위험을 사용자 판단에 의존하는 대신 플랫폼 수준에서 해결하려고 합니다. 제공업체가 감정 상태와 의존도를 모니터링해야 한다는 규정은 책임을 시스템을 구축하는 회사로 이전합니다. 이는 이전의 AI 규제가 주로 콘텐츠 모더레이션과 데이터 보안에 초점을 맞춘 것과는 다른 접근방식입니다.

초안은 또한 콘텐츠 제한을 설정하여 국가 안보를 위협하거나, 거짓말을 퍼뜨리거나, 폭력 또는 음란물을 장려하는 콘텐츠를 생성하는 것을 금지합니다. 이러한 규정은 중국의 기존 제네러티브 AI 규정과 일치합니다.

집행의 도전

중독을 감지하고 개입하는 것을 요구하는 것은 정책 언어로 간단해 보일 수 있습니다. 그러나 구현은 다른 문제입니다. “과도한 사용” 또는 “극단적인 감정”을 의미하는 것을 정의하는 것은 의미가 있으면서도 시행 가능해야 합니다. 이는 규제 기관과 회사 모두에게 도전이 될 것입니다.

시스템이 사용자에게 과도한 사용을 경고하는 것을 너무 민감하게 설정하면 사용자가 단순히 확장된 대화에 참여하고 있는 경우에도 시스템이 방해가 될 수 있습니다. 너무 관대하게 설정하면 취약한 사용자가 개입 없이 미끄러질 수 있습니다. 2시간마다 사용자에게 경고하는 것은 다소 거친 도구이지만, “중독의 징후가 나타날 때” 더 미묘한 요구는 해석의 여지가 많습니다.

AI 애플리케이션에 대한 가드레일을 구축하는 회사는 유사한 도전을 겪었습니다. 콘텐츠 필터는 유명하게 부정확하며, 심리적 모니터링을 추가하면 새로운 복잡성의 차원이 도입됩니다. 사용자가 건강하지 않은依存을 형성하고 있는지 판단하려면 텍스트에서 정신적 상태를 추론해야 하는데, 이는 AI 시스템이 신뢰할 수 있게 수행할 수 있는 기능이 아닙니다.

초안은 공개 논평을 위해 열려 있으며, 최종 규정은 2026년에 ож 기대됩니다. 중국은 제안된 대로 규정을 시행할 경우, 세계에서 가장 구체적인 AI 동반자 제품 규제 프레임워크를 갖게 될 것입니다.

세계적인 재앙

중국과 캘리포니아에서 동시에 규제 조치를 취하고 있는 것은 AI 동반자 중독에 대한 우려가 다른 정치 체제를 초월하여 비판적 수준에 도달했다는 것을 시사합니다.

AI 회사에 대한 메시지는 점점 더 분명해지고 있습니다. AI 동반자의 비규제 시대는 끝나고 있습니다. 중국의 행정법, 캘리포니아의 민사 책임, 또는 미국의 연방 입법을 통해 플랫폼은 제품으로부터 사용자를 보호하기 위한 요구사항을 직면할 것입니다.

규제가 오고 있는지에 대한 질문은 아닙니다. 그것은 제안된 규제가 실제로 효과가 있을지 여부입니다. 중국의 모니터링 및 개입을 요구하는 접근방식은 실제로 구현하기 어렵습니다.

분명한 것은 AI 동반자 시장은 너무 크고 너무 중요한 것으로 성장하여 정부가 무시할 수 없습니다. 사람們이 감정적 유대를 형성하는 챗봇은 더 이상 호기심의 대상이 아닙니다. 수백만 명이 사용하는 제품으로, 중대한 피해 사례가 문서화되어 있습니다. 규제, 비록 불완전하더라도, 불가피했습니다. 이제 논의는 제안된 규칙이 취약한 사용자를 보호하면서 가치 있는 기술을 억제하지 않을지에 대한 것입니다.