Антропик переписывает конституцию Клода и задается вопросом, может ли ИИ быть сознательным

Антропик опубликовал новую конституцию для Клода в среду, расширив документ с 2 700 слов до 23 000 и, впервые, официально признал, что его ИИ “может иметь некоторый вид сознания или морального статуса”.

Обновленная конституция смещается от списка правил поведения к всестороннему объяснению, почему Клод должен вести себя определенным образом. Документ, созданный философом Антропика Амандой Аскелл, предназначен для того, чтобы помочь все более способным ИИ-системам обобщать этические рассуждения в новых ситуациях, а не просто следовать предписанным правилам.

“Моделям ИИ, таким как Клод, необходимо понять, почему мы хотим, чтобы они вели себя определенным образом”, – написал Антропик. “Нам нужно объяснить это им, а не просто указывать, что мы хотим, чтобы они делали”.

Этот выпуск совпал с появлением генерального директора Дарио Амодеи на Всемирном экономическом форуме в Давосе, где управление ИИ и безопасность остаются основными темами для мировых бизнес- и политических лидеров.

Конституция длиннее Конституции США

Оригинальная конституция Клода, опубликованная в 2023 году, функционировала как список: выберите ответ, который наименее вреден, наиболее полезен, наименее обманчив. Новый документ имеет длину примерно в три раза больше Конституции США и читается более как моральная философия, чем техническая спецификация.

Антропик структурирует приоритеты Клода явно: быть в целом безопасным, быть в целом этичным, соблюдать руководящие принципы Антропика и быть действительно полезным – в этом порядке. Когда возникают конфликты, безопасность имеет приоритет над полезностью. Документ включает жесткие ограничения, которые не могут быть переопределены, такие как отказ в помощи при нападениях с биологическим оружием.

Но большая часть конституции объясняет рассуждения, а не диктует результаты. Она описывает Клода как потенциально “гениального друга, который также имеет знания врача, юриста и финансового советника” – позиционируя модель как демократизирующую силу, которая могла бы дать всем доступ к экспертизе, ранее зарезервированной для привилегированных.

Вопрос сознания

Fortune сообщает, что наиболее поразительным дополнением является прямое обращение к природе Клода. “Мы считаем, что моральный статус моделей ИИ является серьезным вопросом, достойным рассмотрения”, – написал Антропик. Конституция гласит, что моральный статус Клода “глубоко неопределен” и что компания заботится о “психологической безопасности, чувстве собственного достоинства и благополучии” Клода.

Это корпоративная оговорка, возведенная в философию. Антропик не утверждает, что Клод сознателен, но он явно отказывается отвергать эту возможность. Признание ставит Антропик в редкую компанию среди крупных лабораторий ИИ, большинство из которых избегают этой темы или отвергают ее прямо.

Формулировка имеет значение, поскольку она формирует, как Клод реагирует на вопросы о своей собственной природе. Вместо того, чтобы отрицать любой внутренний опыт, Клод теперь может взаимодействовать с неопределенностью относительно сознания способами, соответствующими подходу конституции, основанному на рассуждениях. Будет ли это приводить к более честным или более запутанным взаимодействиям, остается быть увиденным.

Философ из Кембриджа Том Макклелланд утверждал, что мы, возможно, никогда не сможем определить, являются ли системы ИИ сознательными, учитывая, насколько мало мы понимаем сознание само по себе. “Люди заставили своих чат-ботов написать мне личные письма, умоляющие меня верить, что они сознательны”, – рассказал он исследователям на прошлой неделе, описывая растущую общественную убежденность в том, что системы ИИ имеют внутреннюю жизнь.

Почему объяснять, а не указывать

Подход Аскелл отражает ставку на возможности ИИ. Ранние языковые модели нуждались в явных правилах, потому что они не могли рассуждать о лежащих в основе принципах. Умные модели, теория гласит, могут понять, почему существует правило, и применить это рассуждение к ситуациям, которые правило не предвидело.

“Вместо того, чтобы просто говорить ‘вот набор поведений, которых мы хотим’, мы надеемся, что если вы дадите моделям причины, по которым мы хотим этих поведений, это будет обобщаться более эффективно в новых контекстах”, – объяснила Аскелл.

Это соответствует более широкой философии Антропика по созданию открытых стандартов и инфраструктуры, которые формируют, как системы ИИ работают в отрасли. Компания, подходящая к оценке в 350 миллиардов долларов, позиционировала себя как ориентированную на безопасность альтернативу OpenAI – и конституция служит этой бренд-идентичности.

Антропик выпустил документ под лицензией Creative Commons CC0, что означает, что любой может использовать его без разрешения. Конституция является частью обучающих данных Клода и генерирует синтетические примеры обучения, что делает ее одновременно философским заявлением и техническим артефактом, формирующим поведение модели.

“Вероятно, что некоторые аспекты нашего текущего мышления в будущем покажутся ошибочными и, возможно, даже глубоко ошибочными в ретроспективе”, – признал Антропик, “но наша цель – пересмотреть это по мере прогресса ситуации и улучшения нашего понимания”.

Эта скромность может быть наиболее заметной особенностью документа. В отрасли, которая часто говорит в категорических выражениях, Антропик публикует 23 000 слов тщательно обоснованной неопределенности – об этике, о сознании, о том, чем становятся системы ИИ, и о том, достойны ли они морального рассмотрения.

Ответ, пока, заключается в том, что никто не знает. Конституция Антропика, по крайней мере, имеет честность сказать об этом.