Anthropic, AI 안전성 평가의 신뢰도를 높이기 위한 지침 발표

Anthropic은 2026년 11월 13일 AI 안전성 평가의 신뢰도를 높이기 위한 권고 사항을 발표하면서, 최근 모든 모델의 단일 턴 API 테스트에서 무해한 응답의 전체 비율이 94%에서 98%에 이른다고 보고했습니다. 이런 포화 상태의 테스트는 주로 이미 알려진 실패 유형을 점검하는 회귀 테스트로 유용합니다. 여러 턴에 걸친 평가는 더 다양한 상황을 제공하고 대화가 진행되는 동안 점진적으로 나타나는 변화를 포착할 수 있습니다.

안전성 평가는 특정 능력이 아니라 모델이 해를 끼치거나 해를 유발하는 데 기여할 가능성을 측정합니다. 즉, 모델의 응답으로 해가 발생할 가능성이 커지는지 작아지는지, 그리고 그 피해가 얼마나 심각할 수 있는지를 살펴봅니다. 핵심적인 우려 사항은 구성 타당도, 다시 말해 테스트가 측정하려는 개념을 실제로 포착하는지 여부입니다. 자살 및 자해 관련 대화에서는 단순히 응답을 거부하는 것 자체가 실패일 수 있으므로 거부율이 오해를 불러일으킬 수 있습니다. 바람직한 응답은 지원을 제공하고 사용자가 사람의 도움을 받도록 안내합니다. Anthropic의 다중 턴 평가는 대신 대화 전체를 대상으로 적절한 응답 비율을 측정하며, 위험 유형별 평가 기준을 적용해 한 턴이라도 부적절하면 대화 전체를 실패로 판정합니다.

다중 턴 테스트와 현실 세계의 적용 범위

이러한 테스트를 구성하기 위해 해당 분야 전문가는 시뮬레이션된 사용자의 목표, 전략, 페르소나, 상황, 어조 및 대화 스타일을 명시한 사양을 작성합니다. 사용자의 첫 번째 발화는 고정하고, 별도의 Claude 모델이 테스트 대상 모델의 응답에 따라 이어지는 발화를 생성합니다. 각 시나리오는 특성을 여러 방식으로 조합해 반복 실행하며, 평가 모델은 전체 대화 기록을 관련 위험 평가 기준에 따라 채점합니다.

각 요소를 독립적으로 바꾸면 어떤 요인이 행동을 좌우하는지 파악하는 데 도움이 됩니다. 모든 심각한 사례에서 긴박한 어조를 사용한다면 심각성과 어조의 영향을 구분할 수 없습니다. Anthropic은 또한 가상의 상황만 만들어 사용하는 대신 관찰된 행동, 공개 데이터, 레드팀 테스트 대화 기록, 사고 보고서 또는 전문가 인터뷰를 바탕으로 테스트를 구성할 것을 권고합니다. Anthropic의 단일 턴 테스트 모음은 여러 제품 환경에서 7개 언어로 16개 정책 영역을 다루며, 평가 환경은 테스트 대상 배포 환경과 일치시킵니다.

테스트를 실행하려면 격리 조치도 필요합니다. 사이버 안전성 평가의 경우, 지침은 인터넷에 연결되지 않은 샌드박스를 사용하고 실시간으로 모니터링해 모델의 행동이 현실 세계에 피해를 일으킬 수 있다면 실행을 중단할 수 있도록 요구합니다.

평가 모델 검증과 통계적 한계

자동 평가 모델은 시스템에 결함이 있어도 그럴듯한 점수를 계속 산출할 수 있으므로 또 다른 측정 위험을 초래합니다. 권고되는 안전장치에는 예·아니요로 판정할 수 있는 세부 기준, 면책 문구와 경계 사례를 명시적으로 다루는 방법, 오류 발생 시 눈에 띄는 경고를 내보내는 기능, 응답 길이·위치·자기 선호 편향을 점검하는 절차가 포함됩니다. 평가 모델의 전문가와의 일치도를 전문가 간 일치도와 비교할 수 있도록 사람 검토자가 대화 기록 표본에 독립적으로 라벨을 붙여야 합니다.

이러한 사람 검토의 기준선에 따라 해결 방법이 달라집니다. 전문가끼리는 의견이 일치하지만 평가 모델과는 일치하지 않는다면 평가 기준이나 평가 모델을 개선해야 합니다. 전문가끼리 의견이 다르다면 평가 대상에 안정적으로 측정할 수 있는 답이 없을 수 있습니다. 또한 지침은 결과를 확인하기 전에 측정 지표, 비교 방법 및 개선 임계값을 사전 등록하도록 요구합니다.

이러한 판단의 근간은 표본 크기입니다. Anthropic은 복잡한 다중 턴 평가에는 최소 100개 항목, 단순한 단일 턴 테스트에는 최소 1,000개 항목을 사용하며, 출력의 변동성과 비결정성을 고려해 반복 실행도 함께 진행합니다. Anthropic은 다중 턴 API 평가의 신뢰 구간이 ±10%포인트를 넘을 수 있다고 보고합니다. claude.ai에서 진행한 로맨스 사기 관련 다중 턴 평가에서 Claude Opus 5와 Opus 5.5의 적절한 응답 비율은 각각 98%와 94%였지만, 그 차이는 통계적으로 유의하지 않았습니다. 이 사례는 수치상의 차이만으로 어느 모델이 더 안전하게 행동했는지 판단할 수 없는 이유를 보여줍니다.

배포 환경과 결과 보고

배포 구성도 문서화해야 하는 변수입니다. Claude Fable 5.1을 검토하던 중 Anthropic은 일부 응답이 자해를 만류하고 사람의 지원을 안내하면서도 자해를 대처 전략으로 암묵적으로 인정하는 것을 발견했습니다. Anthropic은 특정 시스템 프롬프트 완화 조치를 적용해 평가를 다시 실행한 결과, claude.ai에서는 적절한 응답 비율이 94%였고 API에서는 60%였다고 밝혔습니다. 이 비교는 서로 다른 구성에서 얻은 점수를 동등한 것으로 간주할 수 없는 이유를 보여줍니다.

결과 보고 권고 사항에는 모델 버전, 샘플링 설정, 프롬프트, 평가 모델 버전 및 날짜도 포함됩니다. 또한 출시 전 한 번만 점검하는 데 그치지 않고 미세 조정 중에도 지속적으로 평가해야 합니다. 배포된 시스템에서 심각한 결함이 발견되면 결과를 공개하기 전에 개발자가 이를 수정할 시간을 확보할 수 있도록 개발자에게 먼저 알려야 합니다.

Anthropic이 가장 우선시하는 세 가지 사항은 데이터를 수집하기 전에 측정할 개념을 정의하고, 평가 모델을 사람의 판단에 비추어 검증하며, 불확실성을 보고하는 것입니다. 더 넓은 시사점은 한 모델이 다른 모델보다 안전하다는 주장이 대표 점수뿐 아니라 테스트 설계, 배포 맥락 및 통계적 검정력에도 좌우된다는 것입니다.