기업용 AI가 자율성을 갖추려면 누적되는 맥락이 필요하다

분기별 실적 전망 회의를 몇 시간 앞둔 월요일 아침이라고 상상해 보자. 재무 책임자가 AI 에이전트에게 묻는다. “매출총이익률이 왜 하락했나요? 어떤 가정을 바꿔야 하나요? 회사는 다음에 무엇을 해야 할까요?” 에이전트는 몇 초 만에 여러 시스템에서 정보를 가져와 몇 가지 주요 원인을 파악하고, 재량 지출을 줄이거나 채용 계획을 재검토하라고 권고한다. 답변은 명확하고 상세하며 그럴듯하다. 어느 부분도 명백히 틀려 보이지 않는다.

바로 그 점이 이 상황을 매우 위험하게 만든다.

자세히 들여다보면 몇 가지 중요한 정보가 빠져 있다. 에이전트는 잘못된 버전의 실적 전망을 사용했다. 이전 분기에 승인된 회계 조정을 놓쳤다. 한 지역에는 다른 사업 규칙이 적용된다는 점도 고려하지 못했다. 기초 데이터 자체가 반드시 잘못된 것은 아니었다. 에이전트는 조직이 그 데이터를 어떻게 해석하는지, 각 요소가 어떻게 연결되는지 알지 못했을 뿐이다. 문제는 다른 모델로 쉽게 해결할 수 있는 모델 자체에 있지 않다. 모델이 이 회사의 사업을 모른다는 것이 문제다.

기업용 AI 개발의 상당 부분은 모델 성능과 에이전트의 자율성에 집중해 왔다. 하지만 조직이 수치를 어떻게 정의하고 이를 사업 운영 방식과 어떻게 연결하는지 이해하지 못하면, 모델은 신뢰할 수 있는 기업별 결론을 내릴 수 없다.

여기에 빠져 있는 계층은 누적되는 비즈니스 맥락이다. 즉, 기업 데이터가 무엇을 의미하는지에 관한 체계적으로 관리되는 이해다. 여기에는 데이터의 정의와 관계, 가정, 계산, 업무 흐름, 예외 사항, 그리고 시간이 흐르며 축적되는 관련 의사결정이 포함된다.

이러한 맥락은 계획 수립, 실적 전망, 시나리오 모델링, 차이 분석, 수정, 피드백, 결산 업무와 승인된 의사결정을 거치며 형성된다. 이러한 맥락이 없다면 조직은 AI가 그 책임을 안정적으로 수행하는 데 필요한 사업 이해를 제공하지 않은 채 더 많은 책임을 맡길 위험이 있다.

AI 역량의 발전 속도가 기업의 준비 수준을 앞지르고 있다

스탠퍼드의 2026년 AI Index에 따르면, 조사에 참여한 조직의 88%가 2025년에 AI를 사용했지만, 거의 모든 사업 기능에서 에이전트 도입률은 한 자릿수에 머물렀다.

이 통계는 기업들이 AI 역량을 이용할 수 있지만, 많은 기업이 중대한 업무를 AI에 맡길 준비는 아직 되어 있지 않음을 보여 준다. 리더들은 AI를 활용해 구축해야 한다는 점을 알지만, 문제의 올바른 계층에서 구축하고 있는지는 여전히 판단해야 한다.

모델은 데이터를 읽을 수 있지만 사업을 이해하지는 못한다

파운데이션 모델은 패턴 인식, 종합, 자연어 상호작용, 대규모 데이터 세트 탐색에 효과적이다. 이는 의미 있는 발전이지만, 모델 자체의 차별성은 점차 줄어들고 있다.

기업이 해결해야 할 더 어려운 과제는 회사 정보가 무엇을 의미하는지, 그리고 특히 그 정보가 의사결정과 분석에 어떻게 활용되는지 AI에 가르치는 일이다.

AI 거버넌스를 둘러싼 논의의 상당 부분은 정제된 데이터에 초점을 맞춰 왔다. 이는 필요한 단계지만, 기업 전반에 AI를 도입하고 확산하기에는 충분하지 않다. 정제된 데이터 세트 두 개도 서로 다른 정의와 기간, 사업 규칙을 사용할 수 있다.

IBM의 2025년 CEO 연구에 따르면 AI 이니셔티브의 25%만이 기대한 투자수익률을 달성했고, 전사적으로 확장된 사례는 16%에 불과했다. 이러한 양상은 더 큰 실행 과제와 맞닿아 있다. 모델과 데이터에 접근할 수 있다고 해서 AI 시스템이 정보를 어떻게 사용해야 하는지를 결정하는 조직의 규칙을 조정할 수 있는 것은 아니다.

더 뛰어난 모델은 쉽게 도입할 수 있다. 하지만 기업별 이해는 구축해야 한다.

검색 시점의 맥락은 누적되는 맥락과 다르다

기업용 AI에서 맥락이라고 불리는 것의 상당 부분은 여전히 요청이 들어온 시점에 검색을 통해 제공된다. 시스템은 관련 문서나 기록, 데이터 포인트를 찾아 답변을 생성하는 데 사용하고, 다음 요청을 받으면 다시 처음부터 시작한다.

검색은 유용하지만, 검색만으로는 조직의 기억이 누적되지 않는다. 이전 정보를 거의 이어받지 못하기 때문에 AI는 새로운 상호작용을 할 때마다 그 사업을 처음 만나는 것처럼 대할 수 있다.

이는 매일 아침 유능한 신입 분석가를 온보딩하는 것과 비슷하다. 그 분석가는 재무를 이해하고 데이터 세트를 분석하는 방법도 알지만, 이 특정 회사가 지표를 어떻게 정의하는지, 어떤 실적 전망이 공식 기준인지, 왜 예외가 승인됐는지, 어떤 가정이 반복해서 틀리는지부터 배워야 한다.

누적되는 맥락은 다른 목적을 갖는다. 맥락은 프롬프트나 계획 주기마다 초기화되는 대신 시간이 지날수록 축적된다. 각각의 조사와 시나리오, 수정, 승인, 의사결정은 조직의 운영 방식에 관한 체계적으로 관리되는 이해에 보탬이 될 수 있다. 따라서 이후 주기는 프롬프트가 들어올 때마다 같은 관계와 논리, 업무 방식을 새로 찾아내는 대신 이전 주기에서 확립한 내용을 바탕으로 이어 나갈 수 있다.

그렇다고 모든 것을 무기한 보존해야 한다는 뜻은 아니다. 유용한 기업 맥락은 의도적으로 범위를 정하고, 수정할 수 있으며, 권한을 고려하고, 출처를 추적할 수 있어야 한다. 조직은 중요한 정보를 보존하는 동시에 오래된 가정, 일시적 예외, 잘못된 해석을 식별하고 시간이 지나면서 수정할 수 있도록 해야 한다.

신뢰는 모델의 이면에서 작동한다

모델은 AI 시스템에서 가장 눈에 띄는 부분이지만, 기업이 결과를 신뢰할 수 있는지를 결정하는 요소인 경우는 드물다.

성능이 뛰어난 모델은 편차를 조사하고, 가능한 원인을 살펴보고, 조치를 권고할 수 있다. 기업이 그 권고를 신뢰할 수 있는지는 모델을 둘러싼 아키텍처에 달려 있다.

Gartner 조사에 따르면, AI 이니셔티브의 성공을 보고한 조직은성과가 좋지 않은 조직보다 데이터 품질, 거버넌스, AI 활용 준비가 된 인재, 변화 관리 등의 기반에 매출 대비최대 네 배 더 많이 투자한다.

거버넌스가 적용된 맥락 계층은 이러한 기반의 일부로, 소스 시스템과 모델, 비즈니스 조치 사이에 자리한다.

지능과 결정론이 갈라져야 하는 지점도 바로 여기다. AI는 조사하고 초안을 작성하며 권고할 수 있다. 조치를 검토하고 승인한 뒤에는 거버넌스가 적용된 계산, 권한 확인, 데이터 기록 제어, 감사 추적을 거쳐 실행해야 한다. 모델을 탐색에 유용하게 만드는 유연성이 비즈니스에 변화를 확정할 때도 항상 적절한 것은 아니다.

모델은 무엇을 해야 하는지 권고할 수 있다. 사람의 승인과 시스템 제어를 포함한 주변 아키텍처가 무엇을 할 수 있는지를 결정한다.

에이전트를 유용하게 만드는 제약

에이전트 도입은 이를 둘러싼 통제 체계보다 빠르게 진행되고 있다. KPMG에 따르면, 일부라도 AI 에이전트를 배포하는 조직의 비율은 2025년 1분기 11%에서 3분기에는 42%로 증가했다. 그러나 Gartner가 밝힌 바에 따르면, 조직 중 단 13%만이 적절한 에이전트 거버넌스 체계를 갖추고 있다는 데 매우 동의했다.

이 격차가 중요한 이유는 역량과 권한이 별개의 설계 결정이기 때문이다. 시스템은 기술적으로 데이터베이스에 접근하거나, 예측을 수정하거나, 워크플로를 시작할 수 있다. 그렇다고 해서 그러한 작업을 독립적으로 수행하도록 허용해야 한다는 뜻은 아니다.

조직은 의미 있는 업무를 위임하기 전에 세 가지 제약을 적용해야 한다.

• 공통된 의미 체계 확립

에이전트가 여러 항목을 일관되게 추론하려면 정의, 지표, 계층 구조, 회계 달력, 계산 규칙을 먼저 조정해야 한다.

조직이 해결하지 않은 이견을 AI가 말없이 해소할 것이라고 기대해서는 안 된다. 공통된 의미 체계가 없으면 AI는 서로 충돌하는 정의를 서로 바꿔 써도 되는 것으로 취급해, 논리적으로는 일관되지만 실제 운영에는 맞지 않는 답을 내놓을 수 있다.

• 무엇을 이어갈지 결정하기

조직은 어떤 수정, 승인, 결정, 결과를 재사용 가능한 맥락으로 남길지 정해야 한다. 보존, 접근, 수정에 관한 정책도 마련해야 한다.

유용한 기억은 무차별적으로 쌓는 것이 아니라 선별하고 관리해야 한다. 그렇지 않으면 오래된 가정이나 일회성 예외가 나중의 권고를 눈에 띄지 않게 바꿔 놓을 수 있다.

• 권고와 실행 확정을 분리하기

분석, 권고, 변경 제안, 사람의 승인을 거친 실행, 범위가 제한된 자율 실행은 각각 권한 수준이 다르다. 에이전트에는 각 수준에 맞는 신원과 권한을 부여해야 한다.

평가에서는 어떤 정보를 가져왔는지, 어떤 맥락을 활용했는지, 어떤 도구를 호출했는지, 무엇이 바뀌었는지, 그 변경을 되돌릴 수 있는지 등 전체 실행 과정을 살펴봐야 한다.

최종 답변만 테스트하면 에이전트 워크플로가 실패할 수 있는 대부분의 방식을 놓치게 된다.

역량은 에이전트가 할 수 있는 일을 나타내고, 거버넌스는 에이전트에게 허용된 일을 규정한다.

자율성에는 역량 이상의 것이 필요하다

서두에서 제시한 마진 시나리오에서 속도는 시스템이 어떤 예측을 기준으로 삼아야 하는지, 어떤 예외가 승인되었는지, 어떤 조치를 취할 수 있는지, 누가 계속 책임을 지는지도 알고 있을 때에만 유용하다.

기업용 AI가 적절한 맥락을 이어가고 중요한 결과에 이른 과정을 보여줄 수 있을 때에만 신뢰를 얻으리라고 생각한다.

조직은 에이전트의 자율성을 확대하기 전에 그러한 맥락 및 통제 계층을 구축해야 한다. 업무의 양상은 바뀌겠지만 책임 소재는 바뀌지 않을 것이다.