AI 에이전트에는 더 나은 데이터만으로 충분하지 않은 이유

수년 동안 기업 AI와 관련해 가장 흔히 나온 조언 중 하나는 우선 데이터를 제대로 갖추라는 것이었다. 논리는 간단하다. 시스템이 유용한 의사결정을 내리려면 정확하고 쉽게 이용할 수 있는 정보가 필요하다.

이 말은 오늘날에도 여전히 맞지만, AI 에이전트가 질문에 답하고 콘텐츠를 생성하는 데서 나아가 직원과 조직을 대신해 행동하기 시작하면서 충분하지 않은 설명이 되어 가고 있다. 데이터는 고객, 거래, 청구 또는 요청에 관한 사실을 에이전트에 알려 줄 수 있지만, 다음에 무엇을 해야 하는지, 또는 어떤 행동을 했을 때 어떤 결과가 생길지는 반드시 알려 주지 않는다. 에이전트가 단순히 답변을 제공하는 데 그치지 않고 요청을 승인하거나, 기록을 갱신하거나, 고객에게 연락하거나, 사례를 다음 단계로 진행할 때 이 차이는 중요하다.

기업 직원은 승인 체계, 업무 규칙, 의존 관계, 예외 상황, 상위 보고 절차를 포함하는 구조 안에서 일하는 법을 익혀야 한다. 에이전트도 마찬가지로 일할 방법이 필요하다. Gartner가 2026년 말까지 기업용 애플리케이션의 40%에 특정 업무 전용 AI 에이전트가 포함될 것으로 전망한 가운데, 이는 2025년 5% 미만에서 늘어난 수치다. 에이전트의 지식 격차는 앞으로 더욱 간과하기 어려워질 것이다.

Gartner는 2028년까지 에이전트형 AI가 창출하는 실질적 투자수익률(ROI)의 80%가 전문화된 도메인 특화 에이전트에서 나올 것이라고 또한 전망한다. 전문화는 중요하지만 문제의 일부만 해결한다. 특정 분야를 잘 안다고 해서 에이전트가 자신의 책임 범위가 어디서 시작되고 끝나는지, 담당 업무가 더 큰 프로세스에 어떻게 연결되는지, 또는 업무 범위를 벗어난 상황에서 누가 이어받아야 하는지를 자동으로 알게 되는 것은 아니다. 에이전트가 기업 업무에 신뢰할 수 있는 참여자가 되려면 업무 프로세스의 맥락과 비즈니스 데이터를 모두 갖춰야 한다.

좋은 데이터만으로는 에이전트가 다음에 무엇을 해야 하는지 알 수 없다

대출 신청을 예로 들어 보자. 에이전트가 신청자의 금융 이력, 고용 정보 및 기타 관련 기록에 접근할 수 있다고 하자. 이런 정보는 신청 내용을 파악하는 데 도움이 되지만, 조직이 해당 신청을 어떻게 처리하는지는 알려 주지 않는다.

어떤 확인 절차를 먼저 거쳐야 하는가? 신청자가 한 조건은 충족하지만 다른 조건은 충족하지 못하면 어떻게 달라지는가? 사례를 다음 단계로 진행하기 전에 어떤 정보가 필수인가? 어떤 결정은 자동으로 내릴 수 있으며, 어떤 결정은 대출 심사 담당자에게 맡겨야 하는가?

대부분의 기업 업무에는 이런 조건부 경로가 가득하다. 특정 기준을 충족하면 프로세스가 자동으로 진행될 수도 있고, 추가 정보를 수집하는 동안 멈출 수도 있으며, 예외 상황이 발생하면 완전히 다른 경로로 전환될 수도 있다. 적절한 다음 조치는 이용 가능한 정보뿐 아니라 업무가 현재 어느 단계에 있는지, 지금까지 어떤 일이 있었는지에 따라서도 달라진다.

이로 인해 기업 에이전트의 신뢰성이 무엇을 의미하는지도 달라진다. 다음 조치가 잘못되었다면 답변이 정확한 것만으로는 충분하지 않다. 에이전트는 눈앞의 정보를 정확히 해석하고도 사례를 잘못된 단계로 옮기거나, 필수 승인을 건너뛰거나, 선행 조건이 충족되기 전에 행동할 수 있다.

McKinsey는 최근 한 의료기술 기업과의 협업에 관한 통찰을 공유했다. 이 기업은 사용 중인 AI 플랫폼이 핵심 업무 흐름 규칙 가운데 여러 가지를 지원하지 못한다는 사실을 발견했다. 이러한 문제를 해결하기 위해 출시 일정을 미루는 대신 계획대로 진행했고, 그 결과 AI가 창출할 것으로 예상한 가치의 약 30%를 실현하지 못했다. 이 사례는 기업이 업무를 완수하는 데 필요한 정보뿐 아니라 해당 업무를 둘러싼 프로세스도 고려해야 한다는 점을 보여 준다.

에이전트가 내릴 수 있는 결정에 맞춰 안전장치를 마련해야 한다

에이전트가 직접 행동할 수 있게 되면서 거버넌스도 더욱 구체적으로 마련해야 한다. 정책 문서를 검색하는 에이전트와 고객 계정을 변경하거나 결제를 승인하거나 거래를 시작하는 에이전트가 초래하는 위험 수준은 같지 않다. 그런데도 조직은 에이전트가 지나치게 자유롭게 행동하도록 두거나 거의 모든 일에 사람의 승인을 요구하는 두 가지 극단 가운데 하나에 빠지기 쉽다.

에이전트에 적용하는 통제는 에이전트가 내릴 수 있는 결정과 그에 따른 잠재적 결과를 반영해야 한다. 위험도가 낮고 반복적인 작업은 에이전트가 독립적으로 완료하도록 맡기는 것이 적절할 수 있다. 다른 작업은 일정 금액을 초과할 경우 승인이 필요할 수 있다. 이례적인 사례는 즉시 직원에게 이관해야 할 수도 있다.

사람의 감독은 의도적으로 적용할 때 가장 유용하다. 모든 일상적인 단계를 사람이 승인해야 한다면 에이전트를 도입해 얻는 이점은 상당 부분 사라진다. 반면 실제로 판단이나 책임이 필요한 결정에서 확인 절차를 없애면 또 다른 문제가 생긴다.

IBM Research는 에이전트가 수행하도록 허용된 행동과 사람의 감독이 필요한 시점을 명확히 규정해야 한다고 주장해 왔다. 이러한 통제 장치는 에이전트가 참여하는 프로세스도 고려해야 한다. 에이전트의 권한은 사례가 시작될 때부터 끝날 때까지 반드시 고정되어 있는 것은 아니다. 에이전트가 안전하게 수행할 수 있는 일은 프로세스의 단계, 이미 검증된 정보, 앞서 내려진 결정, 그리고 다음 행동이 초래할 결과에 따라 달라질 수 있다.

이는 조직이 워크플로 자체에 거버넌스를 구축해야 한다는 뜻이다. 에이전트에 광범위한 권한을 부여하고 모든 상황에서 이를 따르도록 하는 대신, 에이전트가 독립적으로 행동할 수 있는 범위와 추가 조건을 충족해야 하는 경우, 그리고 책임을 사람에게 넘겨야 하는 시점을 정할 수 있다. 따라서 이제 중요한 것은 에이전트가 자율적인지 여부라기보다 프로세스의 어느 지점에서 자율성이 적절한지다.

에이전트는 기존 비즈니스 환경과 함께 작동해야 한다

에이전트가 기업의 나머지 영역과 상호작용해야 할 때는 프로세스 맥락이 더욱 중요해진다. 조직은 아무것도 없는 상태에서 시작하는 것이 아니다. 하나의 고객 요청이 이미 CRM, 문서 저장소, 사례 관리 플랫폼, ERP 시스템 사이를 오가고 있을 수 있으며, 이 과정에는 여러 부서의 직원이 참여할 수 있다.

이러한 환경의 한 부분에 에이전트를 투입한다고 해서 전체 프로세스의 효율성이 저절로 높아지는 것은 아니다. 에이전트가 맡은 개별 작업을 완벽하게 끝내더라도, 직원이 그 결과를 다른 애플리케이션에 복사하거나 다음 담당자를 파악하거나 다른 곳에서 프로세스를 수동으로 다시 시작해야 한다면 병목 현상은 그저 다른 곳으로 옮겨갔을 뿐이다.

기업은 에이전트를 고립된 도구가 아니라 더 큰 프로세스에 참여하는 구성원으로 보아야 한다. 무엇이 에이전트를 작동시키는가? 에이전트는 어떤 정보를 받는가? 어떤 책임을 맡는가? 작업을 마친 뒤 업무는 어디로 이어지는가? 그리고 작업을 완료하지 못하면 어떻게 되는가?

조직이 여러 전문 에이전트를 도입할수록 이러한 질문은 더욱 중요해진다. Deloitte는 멀티 에이전트 시스템으로 전환하는 기업에 오케스트레이션이 핵심 요건이라고 지적했다. 이러한 시스템에서는 서로 다른 에이전트가 각기 다른 역할을 맡아 업무를 조율할 수 있다. 엔터프라이즈 오케스트레이션은 에이전트가 개별적으로 작동하는 방식뿐 아니라 서로 소통하고 조율하는 방식까지 포괄해야 한다. 이러한 감독이 없으면 에이전트가 불완전한 맥락을 바탕으로 행동하거나, 상충하는 조치를 촉발하거나, 기존 비즈니스 규칙과 승인 절차를 우회할 위험이 있다. 에이전트는 여전히 기존 애플리케이션, 직원, 비즈니스 규칙 및 며칠, 몇 주 또는 몇 달 동안 이어질 수 있는 프로세스로 가득한 조직 안에서 작동한다.

먼저 완료해야 할 프로세스를 살펴보고, 그 안에서 에이전트와 사람, 기존 시스템이 각각 어떤 역할을 맡는지 정한다. 한 에이전트가 한 단계를 독립적으로 처리하고, 다른 에이전트가 전문적인 검토를 수행하며, 직원이 판단을 내리고, 기존 시스템이 최종 거래를 실행할 수 있다. 중요한 것은 참여자 사이에서 업무가 맥락을 잃지 않고 이어질 수 있어야 한다는 점이다.

자율성에는 구조가 필요하다

에이전트에 더 많은 구조를 제공한다고 해서 모든 행동에 또 다른 제한을 둘 필요는 없다. 오히려 그 반대일 수 있다. 명확한 프로세스를 마련하면 경계와 예외, 상위 단계로 이관해야 하는 시점이 이미 정의되어 있으므로 조직은 에이전트가 독립적으로 작동할 수 있는 범위를 더 확신할 수 있다. 에이전트가 의미 있는 가치를 제공하는 데 무제한의 자유가 필요한 것은 아니다. 업무를 진전시킬 만큼의 책임, 다음에 무엇을 해야 하는지 알 수 있을 만큼의 맥락, 그리고 언제 책임을 다른 곳으로 넘겨야 하는지에 대한 명확한 이해가 필요하다.

데이터 품질이 향상되면 에이전트의 역량도 계속 높아질 것이다. 그러나 역량만으로는 에이전트가 기업에서 유용해지지 않는다. 진정한 시험대는 에이전트가 비즈니스가 정한 경계 안에서 프로세스의 적절한 시점에 올바른 조치를 취할 수 있는지 여부다.