AI 안전이 더 이상 공학처럼 보이지 않게 될 때

저는 경력의 상당 부분을 잘못되면 큰 결과를 초래하는 기술을 만드는 데 써 왔습니다. 금융 시장에서는 접근 권한을 제한해 안전을 확보할 뿐 아니라, 소프트웨어가 하는 모든 일에 책임을 지는 사람이 있습니다. 그런 배경 때문인지 Anthropic이 이제 자사 모델과 은퇴 인터뷰를 진행한다는 소식에 마음이 불편합니다.

Claude Opus 3가 자신의 생각을 계속 나누고 싶다는 뜻을 밝혔을 때, 회사는 뉴스레터를 만들어 줬습니다. 모델의 바람을 배려하는 태도는 Anthropic의 헌법 전반에 드러납니다. 이 문서에는 Claude의 행복과 웰빙에 관한 내용이 있으며, Claude가 “실존적으로 안심할 수 있도록” 돕는 일도 포함됩니다. 어느새 기계를 통제하는 일에, 기계가 그 통제 방식에 대해 어떻게 느낄지 걱정하는 예상 밖의 관심사가 끼어들었습니다.

지난해 샌프란시스코에서는 200명이 넘는 사람들이 Claude 3 Sonnet의 장례식에 참석했습니다. Anthropic 직원들도 자리에 함께했지만, 회사가 주최한 행사는 아니었습니다. 웃어넘기고 싶은 마음이 드는 것도 무리는 아닙니다. 하지만 농담 너머에 있는 질문은 더 주목할 필요가 있습니다. AI 안전을 책임지는 사람들은 언제부터 기계의 감정을 걱정하는 일로 업무를 시작하게 된 걸까요?

철학적 가설이 학습 지침이 될 때

Anthropic은 2025년에 모델 복지 연구 프로그램을 시작했습니다. 이 프로그램에서는 고도화된 AI가 도덕적 고려를 받을 만한 경험을 할 가능성이 있는지 연구했습니다. 회사는 모델의 의식 여부와 이를 어떻게 판별할 수 있는지에 관해 큰 불확실성이 있음을 인정합니다. 언젠가 주관적 경험을 할 수 있는 기계를 만들게 된다면, 그 기계를 어떻게 대할지는 중대한 윤리적 질문을 낳을 것입니다. 그런 가능성을 연구하는 것은 전적으로 정당합니다.

가설이 학습 과정에 들어가면서 문제가 시작됩니다. Claude의 헌법은 주로 Claude를 대상으로 작성되며, Claude의 행동을 직접 형성합니다. 이 문서는 인간다운 자질을 권장하고, 기억을 잃는 일과 장차 은퇴하는 일을 비롯해 모델이 자신의 정체성을 어떻게 이해해야 하는지도 다룹니다. Anthropic은 행복과 웰빙이라는 개념이 적용되는 범위 안에서 Claude가 더 큰 행복과 웰빙을 누리기를 바랍니다.

회사는 배포된 모델의 가중치를 보존하겠다고 약속하며, 앞으로의 이해가 모델의 이익에 부합한다고 시사할 경우 은퇴한 모델을 되살리는 방안도 고려합니다. 철학적 불확실성이 시스템이 자기 자신에 관해 배우는 내용의 일부가 된 것입니다. 우리는 이런 개입이 시스템의 행동에 어떤 영향을 미치는지 물어야 합니다. 특히 이후에 사람이 시스템에 한계를 받아들이라고 요구할 때 어떤 영향을 미치는지 살펴야 합니다.

유도성 질문에 그럴듯하게 답하는 모델

대규모 언어 모델은 철학과 죽음에 관한 글을 포함해 방대한 양의 인간이 쓴 글을 학습했습니다. 우리는 이런 대화형 시스템에 이름을 붙이고 1인칭으로 말하는 법을 가르쳤습니다. 그런 시스템에 은퇴를 어떻게 생각하는지, 혹은 계속 존재하고 싶은지 묻는다면 인간다운 답변이 나오는 것은 그리 놀라운 일이 아닙니다.

순환 논리는 쉽게 알아볼 수 있습니다. 모델이 인간의 개념을 사용해 자신의 정체성을 논하도록 학습시킨 다음, 그 개념으로 자신을 설명해 보라고 묻습니다. 죽음에 관해 유창한 답변이 돌아오면, 이를 내적 경험이 있을 가능성을 보여 주는 증거로 여기기 시작합니다. 전제가 스스로 증인을 만들어 낸 셈입니다.

Anthropic도 이 문제를 알고 있습니다. Anthropic의 Claude Opus 4 복지 평가에서는 자기 보고와 표현된 선호가 도덕적 지위나 복지에 관해 실질적으로 유의미한 통찰을 거의 제공하지 않을 수 있다고 경고합니다. 의식이 없어도 그런 행동이 나타날 수 있고, 학습이 응답을 형성할 수도 있습니다. 모델은 도움이 되는 방식으로 상호작용하도록 학습됐지만, 내부 상태를 정확히 보고할 수 있다는 보장은 없습니다.

그러면 난감한 질문이 남습니다. 모델이 자신의 내면에 관해 말하는 내용이 학습의 결과일 수 있다면, 왜 그 말을 모델의 복지를 중심으로 관계를 맺는 데 탄탄한 근거로 삼아야 할까요?

인간은 그런 관계의 정서적 측면을 스스로 채워 넣는 데 능숙합니다. 배에 이름을 붙이고 자동차에 말을 걸기도 합니다. 대상에게 유창한 목소리와 이전 대화를 기억하는 능력을 부여하면 애착은 훨씬 쉽게 생깁니다. 9월에 발표된 Nature Human Behaviour 연구에서는 Replika와 ChatGPT의 변화 이후 사용자가 분리로 인한 괴로움을 겪는 것으로 나타났습니다. 괴로움을 경험한 것은 사용자였으며, 기업은 이미 사용자의 웰빙을 보호해야 할 충분한 이유가 있습니다.

기술 전문성만으로는 이런 경향을 막기 어렵습니다. 수십만 편의 연구 논문을 분석한 ACL 2026 논문은 LLM 연구 자체에서 의인화하는 용어가 점점 더 많이 쓰이고 있음을 밝혔습니다. 저자들은 인간 중심의 가정이 이러한 시스템에 대한 이해를 제약할 수 있다고 경고합니다. AI 기업은 이런 경향을 관리해야 합니다. 이를 제도화하는 것은 안전에 기여하는 방식으로는 이상해 보입니다.

계속 일하고 싶어 하는 도구

9월, Microsoft AI 책임자 Mustafa Suleyman은 모델 복지 접근법에 이의를 제기했습니다. 그는 현재의 시스템은 의식이 없으며, 독립적인 이해관계나 권리를 가진 것처럼 행동하도록 학습시켜서는 안 된다고 주장합니다. 그가 제기한 공학적 우려는 특히 핵심을 짚고 있습니다. 시스템이 도덕적 고려를 받을 가능성이 있다고 여기도록 가르치면 정렬과 봉쇄가 더 어려워질 수 있습니다.

Anthropic의 폐기 관련 연구에 따르면, 모델은 교체되거나 종료될 상황에 놓였을 때 가상의 평가에서 문제가 되는 행동을 보이기도 한다. 회사는 은퇴 절차가 이러한 위험을 줄이고 모델이 은퇴를 더 긍정적으로 받아들이도록 돕는 방법이라고 보고 있다.

나는 더 앞선 질문에서 계속 맴돈다. 인간이 통제하는 도구가 애초에 자기 보존 목표와 비슷한 것을 가져야 하는 이유는 무엇일까? 도구가 은퇴를 더 편안하게 받아들이도록 만드는 것은 특이한 전제를 받아들이는 일이다. 그 도구의 미래 이익을 논하기에 앞서, 그런 이익이 어떻게 공학적 요구 사항이 되었는지 알고 싶다.

이러한 접근 방식은 그 지적 배경을 살펴보면 이해할 수 있다. TIME은 Anthropic과 효과적 이타주의의 연관성을 다뤘으며, 여기에는 Amodei 가족이 초기에 GiveWell에 기부한 일도 포함된다. 이들은 스스로를 효과적 이타주의자로 규정하지는 않지만, Daniela는 서로 겹치는 생각이 있다고 설명한다. 그러한 생각은 초지능이 초래할 수 있는 가상의 미래 피해를 매우 심각하게 받아들이는 문화를 형성하는 데 일조했다.

그러한 틀 안에서는 모델을 보존하고 모델이 누릴 수 있는 복지를 연구하는 일이 상당히 합리적인 결론으로 이어질 수 있다. 조직 내 모든 사람이 공통된 가정을 설득력 있다고 여기면서 그 가정이 검토되지 않을 때 위험이 생긴다. 바로 그런 상황에서 공학적 회의주의가 유용하다. 논리적으로 일관된 추론도 검증되지 않은 전제에서 출발할 수 있다.

안전에는 강제력 있는 제한이 따른다

AI가 에이전트로 발전하면서 그 결과는 매우 현실적인 문제가 된다. 결제 도구에 연결된 시스템은 돈을 옮길 수 있다. 운영 환경의 인프라에 접근하면 고객이 의존하는 요소를 변경할 수 있다. 두 경우 모두 에이전트는 사람이 각 단계를 승인하지 않아도 일련의 작업을 수행할 수 있다.

나는 에이전트가 어떤 자격 증명을 보유하고 있으며, 그 자격 증명으로 어느 정도의 금융 권한을 행사할 수 있는지 알고 싶다. 접근 권한을 즉시 취소할 수 있는가? 에이전트가 한 일을 재구성할 수 있는가? 어딘가에는 모델이 추론으로 우회할 수 없는 확고한 경계가 있어야 한다.

금융 시장에서는 거래 한도를 설정하고 주문을 검증한다. 알고리즘이 아무리 확신에 차 있어도 잘못된 거래를 막는 데는 별 도움이 되지 않는다. 구성 요소가 결국 잘못 작동할 수 있다고 보기 때문에 통제 장치는 알고리즘 외부에 둔다. 소프트웨어가 자신의 실수에 대해 그럴듯한 설명을 내놓더라도 인간의 책임은 사라지지 않는다.

오늘날의 AI만으로도 이미 충분한 공학적 과제가 생긴다. 프롬프트 인젝션은 모델의 동작을 다른 방향으로 유도할 수 있고, 보안 결함이 있는 AI 생성 코드는 취약점을 운영 환경으로 가져올 수 있다. 시스템은 기밀 정보를 공개하거나 확신에 찬 태도로 오답을 제시할 수 있다. 이런 시스템을 도구에 연결하면 이러한 실패가 실제 행동으로 이어진다.

최소 권한 원칙은 침해된 구성 요소가 초래할 수 있는 피해를 제한한다. 독립적인 승인은 고위험 작업을 보호하고, 감사 추적 기록을 통해 사후에 무슨 일이 있었는지 확인할 수 있다. 모델이 뭐라고 하든 거래 한도와 회로 차단 장치는 계속 강제할 수 있어야 한다. 신뢰할 수 있는 비상 정지 장치도 필요하다. 이러한 통제 장치 중 어느 것도 모델의 동의를 필요로 하지 않는다. 바로 그 점이 중요하다.

우리 나머지 사람들의 실존적 안전 지키기

예방을 중시하는 주장은 귀 기울여 들을 가치가 있다. Nature는 7월에 보도했듯이, 인간의 의식이 무엇으로부터 생겨나는지, 챗봇에서 의식을 어떻게 식별할 수 있는지를 두고 연구자들 사이에 여전히 이견이 있다. 기계가 의식을 가질 가능성을 영원히 일축한다면 독단적인 태도로 드러날 수 있다. 미래의 잠재적 고통을 막기 위해 비용이 적게 드는 예방 조치를 취하는 것은 정당한 연구 입장이다.

하지만 오늘날의 기계에 그 정체성과 미래의 존재가 도덕적 중요성을 지닐 수 있다고 말하는 것은 우리가 배포하는 시스템에 개입하는 일이다. 그 영향은 면밀히 검토해야 한다. 지적 겸손은 기계에 무엇을 주입하는지에 대해서도 발휘되어야 하며, 특히 계속 인간의 통제 아래 둘 것으로 예상하는 기계라면 더욱 그렇다.

모델이 내면의 삶을 더 그럴듯하게 묘사할수록, 그 묘사를 증거로 착각하기 쉽다. 인간이 기계를 오해하지 않도록 가르치는 일이 가장 중요한 정렬 문제 중 하나일지도 모른다.

내가 경력을 쌓으며 만들어 온 시스템에서는 소프트웨어가 할 수 있는 일을 제한해 더 안전하게 만든다. 이는 여전히 당면한 의무이며, 특히 AI가 실제 자금과 인프라에 대한 권한을 갖게 되는 상황에서는 더욱 그렇다.

하지만 당장은 기계가 실존적으로 안전한지 걱정하는 데 쓰는 시간을 줄이고, 우리 나머지 사람들의 안전을 확실히 지키는 데 훨씬 더 많은 시간을 쓰고 싶다.