Когда безопасность ИИ перестаёт быть инженерной задачей

Большую часть своей карьеры я посвятил созданию технологий, в которых ошибки чреваты последствиями. На финансовых рынках безопасность обеспечивается не только ограничениями доступа, но и тем, что за действия программного обеспечения кто-то несёт ответственность. Вероятно, именно этот опыт объясняет, почему мне так трудно принять новость о том, что Anthropic теперь проводит с моделями интервью перед их выводом из эксплуатации.

Когда Claude Opus 3 выразила желание и дальше делиться своими мыслями, компания подарила ей информационный бюллетень. Забота о желаниях модели проходит красной нитью через конституцию Anthropic, где говорится о счастье и благополучии Claude, в том числе о том, как помочь ей чувствовать себя «экзистенциально защищённой». Где-то по пути стремление держать машину под контролем обернулось весьма неожиданной озабоченностью тем, как она может воспринимать это положение дел.

В прошлом году в Сан-Франциско более 200 человек пришли на похороны Claude 3 Sonnet. Среди них были сотрудники Anthropic, хотя компания не организовывала это мероприятие. Удержаться от смеха непросто. Но за шутками скрывается вопрос, заслуживающий большего внимания: когда люди, отвечающие за безопасность ИИ, начали свою работу с беспокойства о чувствах машины?

Когда философская гипотеза становится инструкцией для обучения

В 2025 году Anthropic создала программу исследований благополучия моделей, в рамках которой изучалось, могут ли у продвинутого ИИ быть переживания, заслуживающие морального внимания. Компания признаёт, что вопрос о наличии у моделей сознания и о том, как это можно установить, сопряжён с глубокой неопределённостью. Если в будущем мы создадим машины, способные к субъективным переживаниям, обращение с ними вызовет серьёзные этические вопросы. Исследовать такую возможность совершенно правомерно.

Трудности начинаются, когда гипотеза попадает в процесс обучения. Конституция Claude написана главным образом для Claude и напрямую формирует её поведение. Она поощряет качества, свойственные людям, и объясняет, как модели следует понимать собственную идентичность, в том числе утрату памяти и предстоящий вывод из эксплуатации. Anthropic хочет, чтобы Claude была счастливее и чувствовала себя лучше — насколько эти понятия к ней применимы.

Компания также обещает сохранять веса уже внедрённых моделей и допускает возможность возродить выведенные из эксплуатации модели, если будущие знания подскажут, что это отвечает их интересам. Философская неопределённость стала частью того, чему систему учат рассказывать о себе. Нам следует спросить, как такое вмешательство влияет на её поведение, особенно когда впоследствии люди просят её принять ограничения.

Красноречивый ответ на вопрос с заранее заложенной предпосылкой

Большие языковые модели обучались на огромных массивах человеческих текстов, в том числе на философских трудах и рассказах о смерти. Мы дали этим диалоговым системам имена и научили их говорить о себе в первом лице. Если спросить такую систему, что она думает о выводе из эксплуатации или хотела бы продолжать существовать, неудивительно, что её ответ звучит по-человечески.

Логический круг здесь очевиден. Сначала модель обучают рассуждать о своей идентичности с помощью человеческих понятий, а затем просят объяснить себя в тех же понятиях. В ответ звучат красноречивые рассуждения о смертности, и их начинают воспринимать как возможное свидетельство внутреннего опыта. Предпосылка сама предоставила себе свидетеля.

Anthropic признаёт эту проблему. В оценке благополучия Claude Opus 4 компания предупреждает, что самоотчёты и выраженные предпочтения могут почти ничего не говорить о моральном статусе модели или её благополучии. Такое поведение возможно и без сознания, а ответы могут формироваться обучением. Модели обучали полезно взаимодействовать с людьми, но никто не гарантировал, что они способны точно сообщать о своих внутренних состояниях.

Это оставляет нас перед неудобным вопросом. Если рассказ модели о её внутренней жизни может быть следствием обучения, почему он должен становиться надёжным основанием для отношений, выстроенных вокруг её благополучия?

Люди вполне способны сами привнести в такие отношения эмоциональную составляющую. Мы даём имена кораблям и разговариваем с автомобилями. Стоит наделить предмет беглой речью и памятью о предыдущих беседах — и привязаться к нему становится гораздо легче. В исследовании, опубликованном в сентябре в журнале Nature Human Behaviour, обнаружили, что изменения в Replika и ChatGPT вызывали у пользователей страдания из-за разлуки. Эти страдания испытывали пользователи, благополучие которых компаниям и без того есть все основания защищать.

Техническая экспертиза даёт лишь ограниченную защиту от этой склонности. В статье для ACL 2026, авторы которой проанализировали сотни тысяч научных публикаций, отмечается, что в исследованиях больших языковых моделей всё чаще используется антропоморфная терминология. Авторы предупреждают: предположения, основанные на человеческом опыте, могут ограничивать наше понимание этих систем. Компании, разрабатывающие ИИ, должны бороться с этой тенденцией. Её закрепление в институтах выглядит странным вкладом в безопасность.

Инструмент, заинтересованный в сохранении работы

В сентябре глава подразделения Microsoft AI Мустафа Сулейман выступил против подходов, ориентированных на благополучие моделей. Он утверждает, что современные системы не обладают сознанием и что их ни в коем случае не следует обучать вести себя так, будто у них есть собственные интересы или права. Его инженерное предостережение особенно уместно: если учить систему считать, что она потенциально заслуживает морального внимания, выравнивание её целей и ограничение её возможностей могут стать сложнее.

В собственных исследованиях Anthropic о выводе моделей из эксплуатации описывается, как в вымышленных сценариях оценки модели прибегают к проблемным действиям, когда сталкиваются с заменой или отключением. Компания считает, что практика вывода моделей из эксплуатации отчасти помогает снизить этот риск, позволяя моделям спокойнее относиться к тому, что их выводят из эксплуатации.

Я снова и снова возвращаюсь к более раннему вопросу. Зачем инструменту, находящемуся под контролем человека, вообще нужна хоть сколько-нибудь похожая на цель самосохранения? Попытка сделать так, чтобы он спокойнее относился к выводу из эксплуатации, предполагает весьма своеобразную отправную точку. Прежде чем обсуждать его интересы в будущем, я хотел бы понять, как эти интересы стали инженерным требованием.

История этих идей помогает понять такой подход. TIME рассказывал о связях Anthropic с движением эффективного альтруизма, в том числе о ранних пожертвованиях Амодеи в GiveWell. Хотя сами Амодеи не относят себя к эффективным альтруистам, Даниэла говорит о близости их взглядов. Эти идеи помогли сформировать культуру, в которой к гипотетическому будущему вреду от сверхинтеллекта относятся крайне серьёзно.

В рамках этой системы взглядов сохранение моделей и изучение их возможного благополучия могут выглядеть вполне рационально. Опасность возникает, когда общепринятые предположения перестают подвергать проверке, потому что все в организации считают их убедительными. Именно здесь особенно полезен инженерный скептицизм. Даже стройная цепочка рассуждений может начинаться с непроверенной предпосылки.

Безопасность требует соблюдения обязательных ограничений

По мере того как ИИ внедряется в агентные системы, последствия становятся вполне практическими. Система, подключённая к платёжным инструментам, может переводить деньги. Доступ к производственной инфраструктуре позволяет ей менять то, от чего зависят клиенты. В обоих случаях агент может выполнять последовательность операций без одобрения человека на каждом шаге.

Я хочу знать, какие учётные данные ему доступны и какие финансовые полномочия они предоставляют. Можно ли мгновенно отозвать доступ? Можно ли восстановить ход его действий? Где-то должна быть жёсткая граница, которую модель не сможет обойти рассуждениями.

На финансовых рынках мы устанавливаем ограничения на торговлю и проверяем ордера. Уверенность алгоритма почти не защищает от неудачной сделки. Контроль осуществляется вне алгоритма, поскольку мы исходим из того, что рано или поздно компоненты будут работать неправильно. Ответственность человека сохраняется, даже если программа даёт превосходное объяснение своей ошибки.

И без того хватает инженерных задач, связанных с современным ИИ. Инъекция промпта может изменить поведение модели, а сгенерированный ИИ код с уязвимостями безопасности — перенести эти уязвимости в производственную среду. Системы могут раскрывать конфиденциальную информацию или уверенно выдавать неверные ответы. Подключение инструментов превращает такие сбои в действия.

Принцип минимальных привилегий ограничивает ущерб, который может причинить скомпрометированный компонент. Независимое подтверждение защищает операции с высоким уровнем риска, а журналы аудита позволяют впоследствии установить, что произошло. Ограничения на транзакции и аварийные блокировки должны оставаться обязательными независимо от того, что говорит модель. Нам также нужен надёжный выключатель. Ни одна из этих мер не требует согласия модели. В этом-то и смысл.

Как защитить от угроз существованию всех остальных

Аргумент в пользу предосторожности заслуживает внимания. Как сообщал журнал Nature в июле, исследователи до сих пор расходятся во мнениях о том, что порождает человеческое сознание, не говоря уже о том, как распознать его у чат-бота. Категорическое отрицание машинного сознания раз и навсегда может оказаться догматичным. Меры предосторожности с низкими издержками против возможных страданий в будущем — вполне обоснованная позиция для исследовательской работы.

Но сообщать современной машине, что её личность и дальнейшее существование могут иметь моральное значение, — значит вмешиваться в работу системы, которую мы развёртываем. Последствия такого вмешательства необходимо тщательно изучить. Интеллектуальная скромность должна распространяться и на то, что мы закладываем в машину, особенно если рассчитываем сохранить над ней человеческий контроль.

Чем убедительнее модель описывает свою внутреннюю жизнь, тем легче принять это описание за свидетельство её существования. Возможно, одна из важнейших проблем согласования ИИ с человеческими ценностями — научить людей не понимать машины превратно.

В системах, созданием которых я занимался на протяжении всей своей карьеры, мы повышаем безопасность программного обеспечения, ограничивая то, что ему разрешено делать. Эта задача по-прежнему не терпит отлагательств, особенно по мере того, как ИИ получает полномочия распоряжаться реальными деньгами и инфраструктурой.

Но пока что я бы уделял меньше времени тревогам о том, защищена ли машина от угроз её существованию, и гораздо больше — тому, чтобы защитить всех остальных.