사상 리더

의도에서 자율적 행동으로: 기업 환경에서 AI 에이전트 거버넌스 구축

Casey Kindiger
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트거버넌스는 조직이 안전하게 위임할 수 있는 책임을 정의하기 때문에 제품 내부에 자리해야 합니다.
더 보기
  • 거버넌스는 조직이 안전하게 위임할 수 있는 책임을 정의하기 때문에 제품 내부에 자리해야 합니다.
  • 에이전트 제어 플레인은 에이전트 신원과 승인된 기능을 정책 시행 및 실행 감독에 연결합니다.
  • 조직은 좁은 워크플로로 시작하고 운영 증거가 뒷받침할 때만 에이전트 권한을 확장해야 합니다.

‘서비스를 복구하라’와 같은 지시는 간단해 보이지만, AI 에이전트가 그 지시로 무엇을 허용받는지 판단해야 하는 순간부터는 그렇지 않다. 애플리케이션을 재시작하거나 구성을 변경하거나 인프라를 프로비저닝하는 일은 모두 그 목표 달성에 도움이 될 수 있지만, 각각 초래하는 결과는 다르다. 에이전트가 행동을 추천하는 데서 직접 실행하는 단계로 나아가면서, 조직은 비즈니스 의도와 운영 권한을 명확히 연결해야 한다.

조직이 어떤 책임을 안심하고 위임할 수 있는지는 거버넌스에 달려 있으므로, 거버넌스는 제품에 내재되어야 한다. 합의된 경계 안에서 행동하고 그 근거를 제시하면서 작업을 안정적으로 완료할 수 있는 에이전트는 권한의 범위가 모호한 에이전트보다 기업 도입의 토대가 되기에 적합하다. 아키텍처상의 과제는 그러한 경계를 시스템 작동 방식의 일부로 만드는 것이다.

이러한 경계를 실제로 구현하려면 에이전트의 행동을 일관된 방식으로 관리해야 한다. 에이전트 제어 평면은 에이전트의 신원, 승인된 기능, 정책 집행, 메모리 제어, 실행 감독을 기존 기업 시스템 전반에 걸쳐 연결함으로써 그 토대를 마련할 수 있다. 이를 통해 누가 행동을 요청했는지, 어떤 권한에 근거한 행동인지, 어떤 리소스에 영향을 미칠 수 있는지, 결과를 어떻게 검증할 것인지 명확히 할 수 있다.

기업 환경에서 AI 에이전트를 관리하기 위해 권장하는 실용적인 지침 세 가지는 다음과 같다.

기능을 명시적 권한과 연결하기

모든 에이전트에는 식별 가능한 담당자와 명확한 목적이 있어야 하며, 작업에 적합한 권한이 부여되어야 한다. 이는 AI 수명 주기 전반에 걸쳐 거버넌스를 지속적으로 수행해야 할 기능으로 다루는 NIST AI 위험 관리 프레임워크의 원칙과 부합한다. 에이전트의 경우 이 원칙은 행동이 기업 시스템을 변경하는 순간까지 적용되어야 한다. 한 에이전트가 다른 에이전트에 작업을 위임하더라도 이러한 경계는 유지되어야 한다.

기능을 탐색할 때도 비슷한 원칙을 적용해야 한다. 승인된 카탈로그에는 각 도구의 목적, 입력값과 출력값, 사용이 허용된 환경, 발생 가능한 부작용이 명시되어야 한다. 도구를 찾았다고 해서 실행 권한까지 주어지는 것은 아니므로, 행동을 시도할 때 권한을 확인해야 한다. OWASP의 과도한 자율성 지침은 기능과 권한을 제한하고 후속 시스템에서 권한을 확인하라는 권고를 통해 이 차이를 강조한다.

예를 들어, 에이전트가 애플리케이션 속도 저하의 원인을 조사한 뒤 구성 요소의 재시작을 제안하는 서비스 복구 작업 흐름을 생각해 보자. 정책상 승인된 원격 측정 데이터에 접근할 수 있지만, 프로덕션 환경을 재시작하려면 이중화 상태가 정상이라는 근거와 서비스 책임자의 승인이 필요하다. 이러한 조건을 두면 포괄적인 지시를 범위가 정해진 운영상 의사 결정으로 구체화할 수 있다.

운영 의도를 통제된 도구로 구현하기

승인된 복구 도구가 있다면 에이전트는 해당 기능을 이용해 요청을 준비할 수 있다. 그런 도구가 없다면 스크립트, 런북, 입력 스키마와 도구 설명자를 만드는 데 도움을 주어 운영 의도를 다른 사람이 검토할 수 있는 제안된 기능으로 바꿀 수 있다. 이것이 에이전트 기반 도구 코딩의 실질적인 가치다. 에이전트는 운영 도구를 사용하는 데 그치지 않고 운영 체계의 구축에도 기여할 수 있다.

그러나 운영 체계를 생성했다고 해서 이를 프로덕션 환경에서 자동으로 실행할 수 있게 해서는 안 된다. 제안된 기능을 승인된 카탈로그에 추가하기 전에는 책임 소재가 분명한 소유권, 보안 점검, 버전 관리, 잘못된 입력·과도한 권한 범위·부분 실패·반복 실행을 다루는 테스트를 포함한 독립적인 릴리스 절차를 거쳐야 한다. 에이전트가 생성한 테스트도 근거 자료가 될 수 있지만, 해당 기능이 운영 요구 사항을 충족하는지는 독립적인 검증을 통해 확인해야 한다.

그다음에는 실행 경계를 통해 리소스 범위, 네트워크 접근, 실행 시간과 지출 한도를 제한해야 하며, 필요한 승인은 구체적인 행동, 대상 및 버전에 연결해야 한다. 일부 변경 사항은 되돌릴 수 있지만, 다른 변경 사항은 보상 조치가 필요하거나 되돌릴 수 없으므로 복구 방안에도 똑같이 주의를 기울여야 한다. 각 기능은 이러한 한계를 명확히 알리고, 운영자가 추가 실행을 중단할 수 있도록 검증된 방법을 제공해야 한다.

기억된 관찰 정보는 원래의 맥락이 달라진 뒤에도 향후 의사 결정에 영향을 미칠 수 있으므로, 메모리 관리에도 거버넌스 책임이 따른다. 조직은 출처 추적 및 수정 절차를 마련하고, 에이전트가 무엇을 저장할 수 있는지, 정보가 얼마나 오래 유지되는지, 어떤 접근 경계가 적용되는지를 정해야 한다. 기억된 권한이 상시 권한으로 바뀌어서는 안 되며, 오래된 운영 지식이 새로운 행동을 알리는 데 아무런 고지 없이 사용되어서도 안 된다.

근거를 바탕으로 자율성 확대하기

효과적인 감독을 위해서는 최초 요청, 적용되는 정책, 승인, 도구 버전, 실행 결과, 후속 검증을 연결하는 근거 자료가 필요하다. 사람 검토자는 불필요한 세부 정보에 압도되지 않으면서도 제안된 변경 사항과 그 불확실성, 복구 방안을 평가할 수 있을 만큼 충분한 맥락을 제공받아야 한다. 이러한 감독을 뒷받침하려면 에이전트가 표현하는 확신에만 의존하지 말고, 관찰 내용이 서로 충돌하거나 익숙하지 않은 시스템 상태가 발생하는 등 사전에 정한 조건에 따라 상위 담당자에게 에스컬레이션해야 한다.

IT 리더는 제한된 업무 흐름부터 시작해 운영상 근거가 뒷받침되는 대로 권한을 확대해야 합니다. 이때 성공적인 결과뿐 아니라 예외 발생 건수, 복구 시간, 정책 위반, 감독에 드는 노력도 측정해야 합니다. 이러한 지표는 에이전트가 더 큰 책임을 맡을 준비가 되었는지, 추가 안전장치나 테스트가 필요한 영역은 어디인지 판단하는 데 도움이 됩니다.

위임을 반복 가능한 방식으로 구현할 기회가 있습니다. 승인된 각 기능을 통해 에이전트가 무엇을 할 수 있는지, 어떤 조건에서 작동하는지, 어떤 책임을 지는지를 정할 수 있습니다. 이러한 체계는 회복탄력성과 효율성을 높이는 동시에, 조직이 더 큰 자율성을 부여할 때 이를 정당화할 근거를 마련해 줍니다. 가장 중요한 점은 거버넌스가 이러한 발전을 가능하게 함으로써 제품에서 제 역할을 한다는 것입니다.

Casey Kindiger는 Droma (전 Grokstream)의 창립자 겸 CEO이며, 이전에 Resolve Systems를 설립한 연쇄 창업가이다. Droma는 예측 및 에이전트형 운영을 선도하는 기업용 AI 회사이다. 기업 기술 분야에서 25년 이상, 응용 AI/ML 연구팀을 이끌며 10년을 보냈으며, 런던 킹스칼리지에서 정신 건강의 심리학 및 신경과학 석사 학위를 보유한 그는 인간 인지가 보다 능력 있고 신뢰할 수 있는 AI 시스템 개발에 어떻게 기여할 수 있는지에 대한 독특한 관점을 제시한다.