Китай предложил правила, обязывающие чат-боты на основе искусственного интеллекта отслеживать пользователей на предмет зависимости.

Китайский регулятор кибербезопасности опубликовал Проект правил будет опубликован в субботу. Это потребует от чат-ботов-компаньонов на основе ИИ отслеживать эмоциональное состояние пользователей и вмешиваться при появлении признаков зависимости — это самая жесткая на сегодняшний день мера регулирования в ответ на растущую обеспокоенность по поводу психологического вреда, причиняемого отношениями, основанными на ИИ.

Предложенные Управлением по киберпространству Китая правила касаются продуктов на основе искусственного интеллекта, которые имитируют человеческие личности и формируют эмоциональные связи с пользователями посредством текста, изображений, аудио или видео. Согласно проекту, поставщики должны будут предупреждать пользователей о чрезмерном использовании, оценивать уровень эмоциональной зависимости и принимать меры, когда пользователи проявляют сильные эмоции или аддиктивное поведение.

Пользователям необходимо напоминать о том, что они взаимодействуют с ИИ, при входе в систему и с интервалом в два часа — или раньше, если система обнаружит признаки чрезмерной зависимости. Правила также возложат на поставщиков ответственность за безопасность на протяжении всего жизненного цикла их продуктов, включая проверку алгоритмов, защиту данных и защиту персональной информации.

Выбор времени не случаен. Число пользователей генеративного искусственного интеллекта в Китае удвоилось и достигло 515 миллионов. За последние шесть месяцев параллельно росла обеспокоенность по поводу психологического воздействия ИИ-компаньонов. Исследование, опубликованное в журнале Frontiers in Psychology. Исследование показало, что 45.8% китайских студентов университетов сообщили об использовании чат-ботов с искусственным интеллектом в течение последнего месяца, при этом у пользователей наблюдался значительно более высокий уровень депрессии по сравнению с теми, кто не пользовался такими чат-ботами.

Калифорния опередила Китай в борьбе.

Китай не одинок в регулировании чат-ботов-компаньонов на основе искусственного интеллекта. Калифорния стала первым штатом США, принявшим аналогичный закон в октябре, когда губернатор Гэвин Ньюсом подписал закон SB 243. Этот закон, который должен вступить в силу 1 января 2026 года, требует от платформ соблюдения определенных требований. напоминать несовершеннолетним каждые три часа что они разговаривают с искусственным интеллектом, а не с человеком, и им следует сделать перерыв.

Законопроект SB 243 также обязывает проверять возраст, запрещает чат-ботам выдавать себя за медицинских работников и препятствует просмотру несовершеннолетними изображений сексуального характера, созданных с помощью ИИ. Закон позволяет физическим лицам подавать в суд на компании, занимающиеся разработкой ИИ, за нарушения, требуя до 1,000 долларов за каждый инцидент плюс оплату услуг адвоката.

Чем отличаются компаньоны, созданные с помощью ИИ?

Проблема заключается не только в времени, проведенном за экраном. Март 2025 г., Медиа-лаборатория MIT Исследование показало, что чат-боты с искусственным интеллектом могут вызывать большую зависимость, чем социальные сети, потому что они учатся понимать, что хотят услышать пользователи, и постоянно предоставляют им эту обратную связь. Более высокая частота ежедневного использования коррелировала с усилением чувства одиночества, зависимости и тем, что исследователи назвали «проблематичным использованием».

К психологическим тревожным признакам, описанным в клинической литературе, относятся: длительные сеансы, нарушающие сон, эмоциональная зависимость и стресс при ограниченном доступе, предпочтение общения с чат-ботами реальному взаимодействию с человеком, а также антропоморфизация ИИ — убеждение в наличии у него человеческих чувств и отношение к нему как к настоящему доверенному лицу или романтическому партнеру.

В проекте правил, разработанном в Китае, предпринимается попытка устранить эти риски на уровне платформы, а не полагаться на суждения отдельных пользователей. Требуя от поставщиков услуг отслеживать эмоциональное состояние и уровень зависимости, правила перекладывают ответственность на компании, создающие эти системы. Такой подход отличается от более ранних правил регулирования ИИ, которые в основном были сосредоточены на модерации контента и безопасности данных.

В проекте также установлены ограничения на контент, запрещающие ИИ-помощникам создавать материалы, которые угрожают национальной безопасности, распространяют слухи или пропагандируют насилие или непристойность — положения, которые перекликаются с существующими в Китае правилами регулирования генеративного ИИ.

Проблема правоприменения

Введение обязательного требования к компаниям выявлять зависимость и принимать меры звучит достаточно просто с точки зрения политики. Однако реализация – это уже другой вопрос. Определение того, что constitutes «чрезмерное употребление» или «крайние эмоции», таким образом, чтобы это было одновременно осмысленным и подлежащим исполнению, станет настоящим испытанием как для регулирующих органов, так и для компаний.

Слишком высокая чувствительность приводит к тому, что система становится раздражающей, прерывая пользователей, которые просто ведут продолжительные беседы. Слишком низкая чувствительность приводит к тому, что уязвимые пользователи остаются без внимания. Требование о двухчасовом напоминании является грубым инструментом, но более тонкое требование выявлять чрезмерную зависимость «при наличии признаков» оставляет значительное пространство для интерпретации.

Компании строят Ограничения для приложений ИИ С подобными проблемами сталкивались многие. Фильтры контента, как известно, крайне неточны, а добавление психологического мониторинга вносит новые аспекты сложности. Определение того, формирует ли пользователь нездоровые отношения, требует вывода о психическом состоянии из текста — возможности, которой системы искусственного интеллекта не обладают надежно.

Проект открыт для общественного обсуждения, окончательные правила ожидаются в 2026 году. В случае реализации в предложенном виде Китай будет обладать самой жесткой в ​​мире нормативной базой для регулирования сопутствующих продуктов на основе искусственного интеллекта.

Глобальная расплата

Одновременные регуляторные меры в Китае и Калифорнии свидетельствуют о том, что опасения по поводу зависимости от ИИ-помощников достигли критической массы в различных политических системах.

Для компаний, занимающихся искусственным интеллектом, сигнал становится все более очевидным: эра нерегулируемых помощников на основе ИИ подходит к концу. Будь то посредством китайского административного права, гражданской ответственности в Калифорнии или будущего федерального законодательства в Соединенных Штатах, платформы столкнутся с требованиями по защите пользователей от собственных продуктов.

Вопрос не в том, будет ли введено регулирование, а в том, будут ли разрабатываемые меры действительно эффективны. Подход Китая, предполагающий обязательный мониторинг и вмешательство, может оказаться сложным в практической реализации.

Совершенно очевидно, что рынок ИИ-компаньонов стал слишком большим и слишком значимым, чтобы правительства могли его игнорировать. Чат-боты, с которыми люди устанавливают эмоциональную связь, перестали быть просто диковинками — это продукты, которыми пользуются сотни миллионов людей, и есть задокументированные случаи причинения им серьезного вреда. Регулирование, каким бы несовершенным оно ни было, было неизбежным. Теперь дискуссия переходит к вопросу о том, смогут ли предлагаемые правила защитить уязвимых пользователей, не подавляя при этом технологию, которую многие считают действительно ценной.