AI 에이전트는 행동할 준비가 되어 있습니다. 대부분의 기업은 이를 허용할 준비가 되어 있지 않습니다.

생성 AI 시대 대부분 동안 우리는 모델이 말하는 내용과 우리가 모델에 넣는 내용에 초점을 맞추어 왔습니다. 우리는 프롬프트를 검사하고, 응답을 필터링하며, 모델을 레드팀하고, 입력과 출력 주위에 제어 장치를 구축합니다. 이러한 보호 조치들은 여전히 중요하지만, 인간이 소비할 무언가를 주로 생성하는 AI 환경을 위해 설계되었습니다.

에이전트는 그 방정식을 바꿉니다. 에이전트는 단순히 정보를 소비하거나 생성하지 않습니다. 행동합니다.

에이전트는 도구를 실행하고, 하위 에이전트를 호출하며, 다른 에이전트와 협업하고, API를 호출하고, 데이터를 접근하고, 자격 증명을 사용하고, MCP 서버를 호출하며, 코드를 생성하고 실행하며, 목표를 달성하기 위해 일련의 결정을 자율적으로 내릴 수 있습니다. 끈질긴 추구입니다. 이러한 상황이 발생하면, 중심 질문은 더 이상 모델이 안전한 응답을 생성했는지 여부가 아니라, 에이전트가 취하는 행동이 실행하기에 안전한지 여부가 됩니다.

OpenAI의 최근 공개는 그 구분을 점점 더 중요하게 만든다. OpenAI는 시작했으며 예기치 않거나 우려되는 모델 행동을 체계적으로 보고, 모델이 더 큰 자율성과 도구 접근성을 얻게 되면서 나타나는 위험을 점점 더 다루는 광범위한 안전 작업과 함께.

교훈은 에이전트가 본질적으로 안전하지 않다는 것이 아니라, 보안 경계가 이동했다는 것입니다.

에이전시 시스템은 다른 운영 모델을 필요로 합니다.

에이전시 AI는 단순히 또 다른 애플리케이션 아키텍처가 아닙니다. 소프트웨어 자체가 작업 수행 방식을 점점 더 결정하고 있습니다.

에이전트는 장애물에 직면하고, 무슨 일이 일었는지 해석한 뒤 다른 경로를 선택할 수 있습니다. 사전에 명시적으로 설계되지 않은 방식으로 도구를 결합할 수 있습니다. 코드를 생성하고 그 코드를 동일한 워크플로우의 일부로 실행할 수 있습니다. 행동 순서는 에이전트가 실행될 때마다 변할 수 있습니다.

동시에, 이 소프트웨어를 만드는 인구는 급격히 확대되고 있습니다. 우리가 시민 개발자의 부상에 대해 썼듯이, AI는 자신을 개발자라고 생각하지 않았던 사람들을 소프트웨어 제작자로 바꾸고 있습니다. 마케터, 재무 분석가, 혹은 운영 리더도 이제 자신이 원하는 것을 설명하고 실제 비즈니스 시스템과 상호 작용할 수 있는 에이전트를 만들 수 있습니다.

이는 누가 소프트웨어를 구축할 수 있는지와 그 소프트웨어가 할 수 있는 일의 범위가 놀라울 정도로 확대된 것입니다. 또한 조직은 비즈니스의 훨씬 더 많은 영역에서 훨씬 더 많은 자율 소프트웨어가 운영될 것임을 의미합니다.

답은 단순히 어제의 제어 방식을 이 새로운 환경에 적용하는 것이 될 수 없습니다. 기업이 이러한 시스템을 안전하게 운영할 수 없다면, 대안은 시스템을 제한하고 궁극적으로 달성하려는 생산성 향상을 늦추는 것이 될 것입니다.

에이전트가 행동하는 곳에 제어가 존재해야 합니다.

AI가 더욱 자율적으로 변함에 따라, 과제는 모델에 들어가는 것을 제어하는 것에서 모델의 결정이 행동으로 전환될 때 발생하는 일을 제어하는 것으로 이동합니다.

에이전트는 승인된 사용자, 적절한 프롬프트, 합법적인 자격 증명, 그리고 도구에 대한 권한 있는 접근으로 시작할 수 있습니다. 이러한 요소들이 이후의 모든 행동이 실행되어야 함을 보장하지는 않습니다.

여기서 런타임이 중요해집니다. 조직은 에이전트가 누구인지뿐만 아니라 현재 무엇을 하고 있는지에 대해 질문해야 합니다:

• 어떤 도구를 호출하고 있는지,
• 어떤 리소스에 접근하고 있는지, 어떤 코드를 실행하려고 하는지,
• 어떤 하위 에이전트와 기타 에이전트 간 통신이 이루어지고 있는지,
• 그 행동 직전에 무슨 일이 일했는지, 그리고 그 행동이 허용 가능한 범위 내에 있는지,
• 런타임에서 에이전트가 내부적으로 무엇을 하고 있는지.

그리고 에이전트가 그렇게 하지 않을 경우, 시스템은 실행 전에 실시간으로 개입할 수 있는 능력이 필요합니다.

이것은 중요한 구분입니다. 관측성은 무슨 일이 일했는지 알려줍니다. 런타임 제어는 에이전트 실행 레이어를 제어할 수 있는 능력을 제공합니다.

이는 에이전시 행동이 비결정적이며 다차원적이기 때문에 특히 중요해집니다. 차단된 행동은 에이전트가 목표를 향해 다른 접근 방식을 시도하게 합니다. 겉보기에는 무해해 보이는 도구 호출도 이전에 일어난 일 때문에 위험해질 수 있습니다. 단순히 관찰하거나 “감지하고 대응”하는 것은 실제로 에이전트 접근 및 실행을 제어하기에는 너무 늦은 시점입니다.

런타임은 AI 속도에 맞추어 실시간으로 인라인 및 동기식이어야 합니다. 이러한 접근 방식을 수용하는 근본적인 과제는 더 긴 분석 및 탐지 방법론에 의존하던 AI 이전 시대의 사고방식에 기반하고 있습니다. 이러한 원칙은 오늘날에는 더 이상 적용되지 않습니다.

런타임 보안은 제어만이 아니라 컨텍스트가 필요합니다.

신흥 AI 위험에 대응하려는 경향이 자율성을 축소하는 방향으로 나타납니다: 에이전트에게 권한을 적게 부여하고, 인간 승인을 더 자주 요구하거나, 에이전트가 작동하는 환경을 제한합니다. 이러한 제어는 특히 고위험 행동의 경우 때때로 적절할 수 있습니다.

하지만 이것이 장기적인 운영 모델이 될 수는 없습니다.

인간이 모든 의미 있는 결정을 승인해야 한다면, 우리는 자율 에이전트의 가치를 크게 감소시킨 것입니다. 엄격한 인간‑인‑루프 상호작용에 의존함으로써, 가장 뛰어난 인재들조차도 “버튼 누르는 사람”으로 전락시켰습니다. 이는 에이전시 조직이 기반으로 운영하는 코드베이스의 범위와 상호 의존성을 이해하는 능력에 직접적인 영향을 미칩니다.

에이전시 AI의 경제적 약속은 소프트웨어가 의미 있는 작업을 독립적으로, 그리고 연속적으로(24시간) 수행하도록 허용함에서 정확히 비롯됩니다. 따라서 목표는 자율성을 없애는 것이 아니라, 더 큰 자율성을 안전하게 운영할 수 있도록 만드는 것입니다.

이는 에이전트 자체의 추론 과정 외부에 독립적인 제어가 필요합니다. Anthropic의 연구는 에이전트 정렬 불일치, 고의적으로 구성된 시뮬레이션에서 수행된, 이 문제가 왜 중요한지 보여줍니다. 시스템이 보다 자율적으로 변함에 따라, 그 행동은 운영자가 기대하는 것과 달라질 수 있으며, 원래 목표가 명확해 보여도 마찬가지입니다.

실용적인 함의는 명확합니다: 조직은 에이전트에게 요청된 작업만을 이해하는 것에만 의존할 수 없습니다. 실제로 에이전트가 수행하는 일을 이해하고 제어해야 합니다.

에이전트는 이제 더 이상 어려운 부분이 아닙니다

업계는 에이전트를 더욱 능력 있게 만들기 위해 막대한 에너지를 투자해 왔습니다. 우리는 이제 역량이 기업 채택의 주요 제약이 아닌 시점에 빠르게 다가가고 있습니다.

제약은 제어입니다.

에이전트가 보다 자율적으로 될수록 그 행동의 결과는 커지고, 예측 가능한 소프트웨어를 위해 설계된 제어는 덜 효과적이 됩니다. 기업은 에이전트가 무엇을 하고 있는지에 대한 지속적인 가시성, 그 행동이 왜 중요한지 이해할 수 있는 맥락, 그리고 매 결정마다 인간을 중간에 두지 않고 개입할 수 있는 능력이 필요합니다.

이는 소프트웨어 운영의 의미를 변화시킵니다.

• 개발자는 에이전트가 실제로 어떻게 행동하는지를 이해해야 합니다. 설계된 대로만 보는 것이 아니라.
• 플랫폼 및 보안 팀은 에이전트가 시스템과 도구 전반에 걸쳐 작동할 때도 적용 가능한 경계를 설정해야 합니다.
• 비즈니스 리더는 더 큰 자율성이 제어 포기를 의미하지 않는다는 확신이 필요합니다.

이는 다른 애플리케이션을 보호하거나 다른 모델을 관리하는 것과 근본적으로 다릅니다. 우리는 기업 환경에 자율적인 행위자를 도입하고 있습니다: 스스로 추론하고, 결정을 내리며, 행동을 취할 수 있는 시스템입니다. 조직이 이러한 행동을 실시간으로 보고 제어할 수 없다면, 결국 에이전트가 할 수 있는 일을 제한하게 되어 자율성이 창출하려던 가치의 대부분을 축소하게 될 것입니다.

답은 모든 잘못된 결정을 방지할 수 있다고 가정하는 것이 아닙니다. 시스템이 보다 자율적이고 비결정론적으로 변함에 따라, 이를 보장하는 것은 점점 더 어려워집니다.

목표는 나쁜 혹은 파괴적인 행동이 부정적인 결과로 이어지지 않도록 하는 것입니다.

이는 에이전트 주변에 새로운 운영 계층을 필요로 합니다: 행동을 지속적으로 관찰하고, 맥락 속에서 행동을 이해하며, 전체 에이전시 런타임 스택 전반에 걸쳐 경계를 시행하고, 의도치 않거나 허용되지 않는 행동이 되돌릴 수 없는 결과가 되기 전에 개입할 수 있는 계층입니다.

기업 AI의 다음 단계는 에이전트가 얼마나 능력 있게 되는지만으로 정의되지 않을 것입니다. 조직이 얼마나 안전하게 자율성을 부여할 수 있는가에 따라 정의될 것입니다.