AI 기초
AI 역량 제어란 무엇이며 왜 중요한가?
Unite.AI를 Google의 선호 소스에 추가
AI 역량 제어는 AI 시스템이 접근하거나 시도하거나 초래할 수 있는 것을 제한하는 기술적 및 조직적 조치들의 집합입니다. 이 용어는 구체적인 배포와 연결될 때 가장 유용합니다: 데이터, 도구, 권한, 자율성, 속도, 컴퓨팅, 사용자 및 운영 환경.
읽기 전용 샌드박스 내의 유능한 모델은 프로덕션 자격 증명에 연결되어 검토 없이 작동하도록 허용된 동일한 모델과는 다른 위험을 초래합니다. 따라서 제어는 모델 훈련이나 안전 프롬프트에만 국한되지 않고 전체 시스템에 적용됩니다.
핵심 요점
- 모델 행동과 도구, 데이터, 권한, 자율성을 포함한 역량을 목록화합니다.
- 최소 권한, 격리, 속도 제한, 범위가 지정된 자격 증명 및 중요한 작업에 대한 승인을 사용합니다.
- 예정된 성능과 오용, 회피, 확대, 복합 도구 실패를 모두 평가합니다.
- 역량 및 배포 노출이 증가함에 따라 보호 조치를 강화하고 증거를 공개합니다.
역량은 상황에 따라 달라집니다
벤치마크는 특정 조건에서 제한된 행동을 보여줍니다. 배포된 역량은 프롬프트, 스캐폴딩, 검색, 메모리, 도구, 재시도 및 접근에 따라 달라집니다. 애플리케이션은 반복적인 계획 및 실행을 통해 보통 모델을 보다 중요한 역할을 하도록 만들 수 있습니다.
입력에서 효과까지의 각 경로를 매핑합니다. 이 목록을 생성 AI 위험 분석 및 고객 기록, 코드, 금전, 물리적 장치, 통신 등 실제 자산과 연결합니다.
예방, 억제 및 탐지
예방 제어에는 권한 경계, 승인된 도구 스키마, 입력 검증 및 명시적 사용자 확인이 포함됩니다. 억제에는 샌드박스, 네트워크 외부 제한, 자원 할당량, 단기 자격 증명 및 되돌릴 수 있는 환경이 포함됩니다.
탐지는 로깅, 이상 알림, 트리퍼, 카나리 데이터 및 독립적인 정책 검사를 추가합니다. 어느 계층도 완벽하지 않으므로 방어 심화는 하나의 제어가 실패할 수 있음을 전제로 합니다. 인터페이스가 대화형이라도 사이버 보안 원칙이 적용됩니다.
접근 전 평가
도구 없이 모델을 테스트한 뒤, 역량을 점진적으로 추가합니다. 모델이 비밀을 발견하거나, 소프트웨어를 악용하거나, 운영자를 설득하거나, 행동을 연쇄시키거나, 실패에서 복구하거나, 현실적인 제약 하에서 의도를 숨길 수 있는지를 측정합니다. 민감한 평가 세부 정보를 광범위하게 공개하지 않고 거부를 검증합니다.
벤치마크 통과가 모든 환경에서 안전을 보장하는 것은 아닙니다. 통합 시스템을 레드팀으로 검증하고, 모델, 프롬프트 또는 도구 변경 후 테스트를 반복하며, 모니터링된 제한을 두고 단계적 릴리스를 사용합니다.
거버넌스 및 대응
소유자, 승인된 목적, 위험 허용 범위, 출시 기준, 변경 관리 프로세스 및 비상 권한을 지정합니다. 각 중요한 결과에 대해 어떤 버전, 정책, 도구 및 권한이 활성화되었는지 기록합니다.
제어를 책임 있는 AI 거버넌스와 연결합니다. 심각한 사고가 발생하기 전에 자격 증명 취소, 도구 차단, 모델 롤백, 사용자 알림, 조사 및 교훈을 준비합니다.
역량-제어 분류 체계
입력 제어는 누가 작업을 제출할 수 있는지, 어떤 형태와 파일 유형이 허용되는지, 그리고 제공될 수 있는 컨텍스트 양을 제한합니다. 모델 제어에는 파인튜닝, 거부 행동, 디코딩 제한 및 체크포인트 선택이 포함됩니다. 애플리케이션 제어는 메모리, 검색, 도구 가용성 및 출력 해석 방식을 결정합니다.
자원 제어는 토큰, 시간, 동시 작업, 컴퓨팅, 저장소 및 네트워크 사용을 제한합니다. 행동 제어는 도메인, 수신자, 거래 금액, 코드 실행 및 물리적 장치를 제한합니다. 인간 제어는 승인, 감독, 확대 및 비상 차단을 정의합니다. 거버넌스 제어는 출시 기준, 모니터링, 감사 및 책임성을 포함합니다.
이러한 계층은 서로 다른 실패 모드를 다룹니다. 콘텐츠 필터는 겉보기에는 유효하지만 허가되지 않은 도구 호출을 차단할 수 없으며, 샌드박스는 통신이 허용될 경우 해로운 공개 메시지를 방지할 수 없고, 인간 승인자는 수천 개의 불투명한 마이크로 행동을 감독할 수 없습니다. 제어는 효과 경로에 맞춰야 합니다.
억제와 최소 에이전시
최소 권한은 현재 작업에 필요한 데이터와 행동만을 허용합니다. 최소 에이전시는 기간, 범위, 주도성 및 위임에 대한 제한을 추가합니다. 검토를 위해 변경 초안을 작성하는 어시스턴트는 독립적으로 커밋, 배포, 모니터링 및 재시도하는 어시스턴트보다 에이전시가 낮습니다.
샌드박스는 코드와 파일을 격리하지만, 격리에는 명시적인 네트워크, 프로세스, 디바이스 및 영속성 정책이 필요합니다. 일회성 환경, 허용된 외부 연결, 제한된 파일 시스템 및 별도 비밀을 사용합니다. 샌드박스를 떠나는 출력물(패치, 바이너리, 메시지 또는 요청)도 여전히 검증이 필요합니다.
장기 실행 에이전트의 경우 반복 횟수를 제한하고 체크포인트를 요구합니다. 계획과 실행을 분리하고 모든 도구가 구조화된 결과를 보고하도록 합니다. 엄격히 관리되는 사용 사례가 요구되지 않는 한, 에이전트가 새로운 자격 증명을 생성하거나 자체 정책을 수정하거나 로그를 비활성화하거나 무제한 복제본을 생성하는 것을 방지합니다.
역량 평가 및 릴리스 결정
모델 버전, 스캐폴딩, 도구, 권한 및 사용자 역량을 기준으로 평가 매트릭스를 구축합니다. 자율 작업 완료, 오용 지원, 사이버 행동, 민감한 지식, 설득, 복제 및 회피를 관련성에 따라 테스트합니다. 평균 성능과 반복 시도 중 가장 강력한 결과를 모두 포함합니다.
위험한 평가 세부 정보를 보호하되, 책임성을 위해 충분한 방법론과 집계된 증거를 공개합니다. 독립 평가자는 이해 충돌을 감소시킵니다. 임계값은 결과가 알려진 후 논쟁이 아니라, 접근 제한, 강화된 모니터링, 릴리스 지연 또는 추가 검토와 같은 사전 정의된 제어를 트리거해야 합니다.
릴리스 후 모니터링은 파인튜닝, 프롬프트 업데이트, 새로운 도구 또는 더 긴 컨텍스트에 의해 발생하는 역량 변화를 감지해야 합니다. 모델 및 배포 레지스트리, 사고 보고 및 접근을 신속히 감소시키는 프로세스를 유지합니다. 롤백은 알려진 구성을 복원하지만 이미 노출된 데이터나 수행된 행동을 지우지는 않습니다.
계층형 역량-제어 시스템 구축
모델 출력, 도구, 데이터 소스, 코드 실행, 네트워크 접근, 메모리, 정체성 및 하위 행동을 포함하는 역량 목록으로 시작합니다. 각 항목을 되돌릴 수 있음, 범위, 민감도 및 잠재적 피해에 따라 분류합니다. 이메일 초안을 작성하는 모델은 수신자를 선택하고 전송할 수 있는 모델과 다릅니다. 현재 작업에 필요한 최소 역량을 제한된 기간과 환경에서 부여합니다.
집행은 모델 외부에 위치합니다: 타입화된 도구 스키마, 인증 서비스, 허용 목록, 샌드박싱, 자원 할당량, 거래 제한, 데이터 손실 방지 및 인간 승인. 모델 지시를 신뢰할 수 없는 입력으로 간주하고 모든 행동을 신원 및 정책에 따라 검증합니다. 계획과 실행을 분리하고, 중요한 작업에 대해 멱등성과 미리보기를 사용하며, 모델이 자신을 제어하는 제어 또는 로그를 수정하지 못하도록 보장합니다.
프롬프트 주입, 혼란 대리인 공격, 간접 악성 콘텐츠, 권한 상승, 데이터 유출, 무한 루프 및 손상된 도구를 테스트합니다. 요청 및 거부된 행동, 비정상적인 순서, 비용 및 자원 사용, 정책 변화를 모니터링합니다. 모델에게 중지를 요청하는 것에 그치지 않고 실제로 자격 증명을 제거하거나 실행을 차단하는 비상 정지를 유지합니다. 역량 제어는 도달 가능한 피해를 감소시키며, 모델 평가, 안전한 인프라, 거버넌스 및 사고 대응과 결합되어야 합니다.
보증은 구성된 시스템 전체를 포괄해야 합니다. 개별적으로 안전한 구성 요소가 위험한 연쇄를 만들 수 있기 때문입니다. 낮은 권한의 읽기 도구가 메시징 도구에 비밀을 제공하지 못하고, 메모리가 이후 세션에 명령을 몰래 전달하지 않으며, 승인이 정확한 행동과 목적지를 표시하는지 확인합니다. 모델, 커넥터, 데이터 소스 또는 정책이 변경될 때마다 역량 경계를 재평가하십시오; 상속된 권한은 의도치 않은 확장의 빈번한 원인입니다.
실제 구현 체크리스트
개념을 제한되고 테스트 가능한 워크플로우로 전환합니다: 접근 매핑 → 테스트 → 제한 → 승인 → 모니터링 → 대응. 책임자를 지정하고, 데이터와 종속성을 문서화하며, 간단한 기준선을 설정하고, 수용 및 중단 기준을 정하고, 대표적인 실패를 테스트하며, 범위 확대 전에 모니터링, 롤백 및 검토를 정의합니다. 버전과 가정을 기록하여 다른 팀이 결과를 재현하고 변경 사항을 이해할 수 있도록 합니다.
출시 전에 시스템을 구축, 운영, 보안 및 영향을 받는 사람들과 함께 문서화된 준비 검토를 수행합니다. 정상 사례, 경계 조건, 종속성 실패 및 오용을 테스트하고 증거와 미해결 위험을 보존합니다. 릴리스를 승인하거나 임계값을 변경하거나 출력을 무시하거나 운영을 중단할 수 있는 사람을 정의합니다. 실제 데이터가 도착한 후 결정을 재검토하십시오. 기술적으로 성공적인 파일럿이 더 넓은 규모에서 신뢰할 수 있는 성능을 보장하지 않기 때문입니다.
- CAPABILITY: 모델과 도구 및 스캐폴딩.
- EXPOSURE: 사용자, 자산 및 운영 컨텍스트.
- CONTROL: 예방, 억제, 탐지 및 대응.
자주 묻는 질문
시스템 프롬프트가 역량 제어인가요?
이는 하나의 행동 지시 계층이지만, 모델 외부에서 적용되는 권한, 샌드박스, 검증, 범위가 지정된 도구 및 승인을 신뢰할 수 있는 대체 수단은 아닙니다.
모든 AI 시스템이 동일한 제어를 사용해야 하나요?
아니요. 제어는 역량, 접근, 자율성, 영향을 받는 사용자, 되돌릴 수 있음 및 영향에 따라 확장되어야 합니다. 동일한 모델이라도 배포 환경에 따라 다른 제어가 필요할 수 있습니다.
주요 참고 문헌
