에이전트형 AI 프로젝트는 왜 취소되며, 8주 파일럿은 무엇을 제대로 해내는가

고객이 환불을 요청하면 에이전트는 CRM에서 주문을 찾아 반품 정책을 확인하고 1분도 안 돼 답변 초안을 작성합니다. 하지만 환불 승인 권한이 연결되지 않은 재무 시스템에 있고, 고객 주소가 두 데이터베이스에서 서로 일치하지 않아 작업이 더 진행되지 않습니다. 이런 문제는 데모에서는 좀처럼 드러나지 않지만, 에이전트 운영 비용과 신뢰성에 큰 영향을 미칩니다. 따라서 에이전트형 AI의 더 큰 위험은 모델 자체보다 에이전트가 투입되는 기업 내부에 있습니다.

Gartner는 비용 상승, 불분명한 비즈니스 가치, 취약한 위험 통제를 이유로 2027년 말까지 에이전트형 AI 프로젝트의 40% 이상이 취소될 것으로 예상합니다. 이 전망을 자세히 들여다보면, 현재 업무에 드는 비용이나 결과에 대한 책임자가 누구인지 거의 파악하지 못한 채 데모의 성과만으로 프로젝트를 승인하는 방식이 문제라는 점을 알 수 있습니다.

제가 경영진에게 던지고 싶은 질문은 이렇습니다. 기업이 감당할 수 있는 비용과 위험 수준으로 에이전트가 매일 업무를 수행하도록 뒷받침할 수 있는가? 이 질문에 답하려면 제가 ‘자동화 이후의 업무’라고 부르는 부분, 즉 에이전트가 맡은 일을 마친 뒤에도 사람이 해야 하는 모든 일을 면밀히 살펴봐야 합니다. 8주 파일럿은 전면 도입을 결정하기 전에 이를 측정할 수 있는 실용적인 방법입니다.

에이전트가 기업에서 물려받는 문제

에이전트가 단독으로 일하는 경우는 드뭅니다. 겉보기에는 간단한 작업도 고객 기록과 몇 가지 업무용 애플리케이션, 대개는 승인 절차까지 거쳐야 하며, 각 연결 지점은 에이전트가 보고 할 수 있는 일을 제한합니다. 기록이 서로 일치하지 않거나 승인권자가 누구인지 명확하지 않으면 에이전트는 작업과 함께 그런 혼란까지 물려받습니다.

일상적인 사례는 대체로 문제가 되지 않습니다. 운영 비용이 불어나는 예외 상황이 문제인데, 데모는 바로 그런 상황을 피하도록 설계되기 때문입니다. Deloitte의 2026년 연구에 따르면 AI 에이전트를 도입할 준비가 매우 잘 되어 있다고 평가한 조직은 5%에 불과했습니다. 이 수치는 어떤 모델 벤치마크보다 시사하는 바가 큽니다. 대부분의 업무 프로세스가 준비되기 훨씬 전에 AI가 먼저 준비된다는 뜻이기 때문입니다.

비즈니스 사례에는 자동화 이후의 업무도 포함해야 한다

에이전트가 결과를 얼마나 빨리 내놓는지 측정하는 것은 가치를 부풀리기 가장 쉬운 방법입니다. 중요한 수치는 작업을 완료하는 데 드는 총 노력이기 때문입니다. 예를 들어 직원이 요청을 처리하는 데 20분이 걸리고 에이전트가 초안을 만드는 시간을 2분으로 줄인다면, 언뜻 18분을 절약한 것처럼 보입니다. 하지만 누군가 결과를 확인하고 오류를 바로잡는 데 15분을 쓰는 순간 이야기가 달라집니다. 에이전트 운영 비용까지 계산에 넣으면 절약되는 시간은 3분에 불과해 수익성이 낮습니다.

McKinsey의 은행 고객 서비스 에이전트 분석에서도 규모가 커졌을 때 같은 양상이 나타납니다. 토큰은 변동 운영비의 20~25%를 차지한 반면, 사람의 감독은 70~75%를 차지해 비용의 대부분이 모델 외부에서 발생했습니다. 코드를 작성하기 전에 기준선을 마련하지 않으면 파일럿에서 상당한 기술적 진전을 보여도 투자 타당성은 검증되지 않은 채 남을 수 있습니다. 최소한 사업 책임자는 다음 각 항목에 대해 명확히 답할 수 있어야 합니다.

• 처리량: 프로세스가 얼마나 자주 실행되며 몇 명이 관여하는가.
• 완료 시간: 확인과 수정까지 포함해 전체 작업에 얼마나 걸리는가.
• 정확도: 작업이 얼마나 자주 잘못되거나 다시 처리해야 하는가.
• 작업당 비용: 오늘 기준으로 작업을 성공적으로 완료하는 데 드는 비용은 얼마인가.
• 비즈니스 영향: 실질적인 개선이 고객, 직원 또는 비즈니스에 어떤 변화를 가져오는가.

에이전트는 업무 흐름 속에서 제 몫을 해야 한다

도입은 대개 변화 관리의 문제로 분류되지만, 제 경험상 도입 여부는 훨씬 이른 단계에서, 에이전트가 업무 흐름의 어디에 배치되는지에 따라 결정됩니다. 한 글로벌 전문 서비스 기업은 지원 및 컴플라이언스 업무용 에이전트를 개발했습니다. 지원 에이전트는 여러 내부 시스템에서 정보를 가져올 수 있었지만, 이를 사용하려면 별도의 애플리케이션을 열어야 했고 직원들은 대부분 그렇게 하지 않았습니다. 같은 업무 흐름을 기존 지원 플랫폼으로 옮기자 직원들이 이미 처리하던 티켓 안에 에이전트가 나타났습니다. 컴플라이언스 심사 에이전트도 같은 방식으로 Salesforce에 통합되어 케이스가 생성될 때마다 실행되도록 했습니다.

에이전트 자체는 달라지지 않았고 업무 흐름에서의 위치가 달라졌습니다. 직원들은 티켓을 열거나 케이스를 생성할 이유가 이미 있었으므로, 바로 그 순간에 에이전트를 제공해도 추가로 요구되는 일이 없었습니다. 따라서 배치 위치는 도입뿐 아니라 아키텍처 측면에서도 중요한 결정입니다. 에이전트는 실제 업무가 이뤄지는 곳에서 맥락을 파악해야 하며, 누군가 결과를 일일이 복사하지 않아도 다음 단계로 전달할 수 있어야 합니다.

자율성이 보안의 판도를 바꾼다

정보를 읽기만 할 수 있는 에이전트의 위험과 기록을 변경하거나 고객에게 이메일을 보낼 수 있는 에이전트의 위험은 전혀 다릅니다. 따라서 통제 수준은 에이전트에 실제로 허용된 권한에 맞춰야 합니다. 과도한 권한과 민감한 데이터 유출은 익히 알려진 위험이지만, 특히 주의해야 할 것은 프롬프트 인젝션입니다. 에이전트가 정당한 업무를 수행하는 중에 문서나 이메일에 숨겨진 지시를 가져올 수 있기 때문입니다.

에이전트 거버넌스에 관한 Gartner의 2026년 5월 지침은 자율성을 네 단계로 나눕니다. 이를 바탕으로 통제를 얼마나 엄격하게 적용해야 할지 실용적으로 판단할 수 있습니다.

1. 관찰: 에이전트가 정보를 검색하고 패턴을 파악하며, 읽기 전용으로 접근합니다.
2. 조언: 에이전트가 조치를 권고하고 직원이 결정합니다.
3. 승인을 받아 실행: 에이전트가 조치를 준비하거나 시작하면, 실행 전에 사람이 승인해야 합니다.
4. 자율 실행: 에이전트가 정해진 한도 내에서 승인된 조치를 스스로 수행하며, 예외 상황은 모니터링하고 상위 담당자에게 보고합니다.

어떤 단계에서든 에이전트에는 고유한 신원, 맡은 업무에 한정된 권한, 그리고 수행한 모든 조치의 기록이 필요합니다. 조직은 데이터 처리와 보관에 관한 규칙을 마련하고, 어떤 정보가 외부 모델 제공업체에 전달되는지 명확히 해야 합니다. 또한 문제가 의심되는 즉시 에이전트를 중지하고 접근 권한을 회수할 권한이 있는 담당자도 지정해야 합니다.

이러한 통제에는 각각 지속적인 비용이 따릅니다. 권한 범위가 넓을수록, 모니터링을 강화할수록, 승인을 자주 받을수록 시간이 지나면서 비용이 누적되기 때문입니다. 따라서 적정한 자율성 수준은 보안뿐 아니라 경제성도 고려해 결정해야 합니다. 기업이 감당할 수 있는 위험 수준에서 에이전트가 충분한 성과를 내는 지점이 적정 수준입니다.

에이전트를 도입할 가치가 있는 프로세스 선택하기

많은 팀이 기술부터 도입한 뒤 해결할 문제를 찾기 시작합니다. 하지만 더 나은 출발점은 업무를 담당하는 사람들이 이미 비용이나 지연 문제를 분명히 체감하고 있는 프로세스입니다.

우리가 함께 일한 한 글로벌 전문가 네트워크 기업이 바로 그런 사례였습니다. 이 기업의 팀은 서로 연동되지 않는 세 개의 시스템에서 설문 요청에 맞는 전문가를 찾아야 했고, 매칭할 때마다 프로필과 과거 참여 이력, 규정 준수 여부를 일일이 확인했습니다. 우리는 의미 기반 검색에 참여 이력과 규정 준수 규칙을 결합한 에이전트를 구축했습니다. 실제 운영에 투입한 뒤 불일치 관련 티켓은 80% 줄었고, 매핑 정확도는 40% 높아졌으며, 팀은 업무 여력의 22%를 되찾았습니다.

이 프로젝트가 성공한 이유는 문제가 구체적이었기 때문입니다. 정보가 여러 곳에 흩어져 있고, 수작업으로 정보를 취합해야 했으며, 매칭 품질도 도입 전후로 측정할 수 있었습니다. 문제가 구체적이면 해당 프로세스에 에이전트가 필요한지 판단하기도 쉽습니다. 정해진 규칙에 따라 처리하는 업무는 일반적으로 기존 자동화 기술을 활용하는 편이 비용이 적게 듭니다. 정보를 찾고 요약하는 일이 대부분인 업무에는 AI 비서가 적합한 경우가 많습니다. 반면 맥락을 읽고, 허용된 조치 중 하나를 선택하고, 원하는 결과를 얻기 위해 여러 단계를 연결해야 하는 업무라면 에이전트에 추가로 드는 비용과 위험을 감수할 만한 가치가 있습니다.

의사결정 시점을 명확히 한 8주 파일럿

파일럿의 성패는 상업적 질문 하나에 달려 있습니다. 이 에이전트가 프로세스를 개선해 대규모로 운영할 만한 가치를 만들어낼 수 있을까요? 8주면 사업성, 기술, 그리고 조직이 구축한 시스템을 관리할 역량을 시험하기에 충분합니다.

1~2주 차: 개선할 부분 확인하기

현재 프로세스를 문서화하는 것부터 시작합니다. 처리량과 완료 시간부터 오류율, 재작업, 비용까지 기록합니다. 어떤 시스템이 쓰이는지, 각 단계를 누가 담당하는지, 어떤 예외 상황에서 사람이 개입해야 하는지도 파악합니다. 그런 다음 사업 책임자와 기술팀이 에이전트가 개선해야 할 단 하나의 결과에 합의하도록 합니다. 의사결정 시점: 문제와 기준선, 책임자, 성공 지표가 명확해지면 다음 단계로 진행합니다.

3주 차: 에이전트의 경계 정하기

이 단계에서 에이전트의 신원과 권한, 데이터 접근 범위, 승인된 도구, 자율성 수준을 정합니다. 프롬프트 인젝션, 무단 접근, 민감 정보 노출, 도구 오용에 대응해 에이전트를 시험하고, 로그 기록과 사고 대응 절차를 마련합니다. 에이전트를 일시 중지하거나 접근 권한을 회수할 방법도 준비해야 합니다. 의사결정 시점: 통제 장치와 개입 절차를 실제로 시험하고, 모두가 에이전트에 허용된 작업을 알고 있다면 다음 단계로 진행합니다.

4~6주 차: 시연을 무너뜨리는 조건에서 시험하기

이제 불완전한 기록, 상충하는 정보, 이례적인 요청, 간헐적인 시스템 장애 등 현실적인 작업을 맡겨 봅니다. 에이전트가 완료한 작업의 수와 정확도를 추적하고, 사람이 얼마나 많이 수정해야 하는지도 확인합니다. 그런 다음 모델 사용량, 연동, 모니터링, 검토 비용을 모두 포함해 작업을 성공적으로 완료하는 데 실제로 드는 비용을 계산합니다. 의사결정 시점: 에이전트가 합의한 기준을 충족하고 팀이 운영 비용과 실패 양상을 모두 파악하면 실제 운영 환경에서 시험을 시작합니다.

7~8주 차: 실제 사용자에게 제공하기

소규모 직원 그룹에 에이전트를 제공하고, 실제 업무 중 통제된 일부만 맡깁니다. 에이전트가 처리하지 못하는 업무에는 기존 프로세스를 계속 적용합니다. 직원들이 실제로 에이전트를 사용하는지, 업무 부담을 덜어 주는지, 에이전트가 내놓는 결과를 신뢰하는지 살펴봅니다.

마지막으로 결과를 1주 차에 설정한 기준선과 비교하고 생산성, 정확도, 도입률, 사람의 개입 빈도, 총 운영 비용, 아직 해결되지 않은 보안 위험을 살펴봅니다. 그런 다음 규모를 확대할지, 구체적인 문제를 해결하고 다시 시험할지, 아니면 중단할지 결정합니다. 에이전트가 해당 업무에 쓰기에는 너무 비싸거나 신뢰성이 낮다는 사실을 보여 준 파일럿도 제 역할을 다한 것입니다. 근거 없이 훨씬 큰 투자를 하는 일을 막았기 때문입니다.

성과를 측정한 뒤 에이전트에 어느 정도 자율성을 부여할지 결정하기

에이전트가 처리한 작업 수를 세는 것만으로는 알 수 있는 바가 거의 없다. 시스템이 수천 건의 요청을 처리하더라도 직원들이 대부분을 검증하고 수정하거나 마무리해야 할 수 있기 때문이다. 정확도 및 예외 발생률과 함께 성공적으로 완료한 작업당 비용을 살펴보면 프로세스가 처음부터 끝까지 개선되었는지 훨씬 정확하게 파악할 수 있다.

이러한 지표는 에이전트에 더 많은 재량을 부여할 근거가 되기도 한다. 합의된 한도 내에서 일상적인 요청을 안정적으로 처리하는 에이전트는 해당 요청을 단독으로 처리하도록 맡길 수 있다. 반면 모호한 사례를 계속 마주치는 에이전트는 그런 결정을 내릴 때마다 사람이 승인하도록 해야 하며, 근거가 쌓이는 대로 권한을 재검토해야 한다.

기업이 에이전트를 뒷받침할 수 있을 때 규모를 확대하기

한 팀에서 잘 작동하는 에이전트도 언젠가는 다른 부서와 애플리케이션, 승인 절차를 다뤄야 한다. 에이전트의 규모를 확대하려면 명확한 책임 소재와 일관된 접근 제어, 예외 처리 방안이 필요하다. 에이전트를 둘러싼 프로세스가 바뀌더라도 최신 상태를 유지할 수 있도록 예산도 마련해야 한다.

이 모든 판단의 밑바탕에는 조직이 책임을 얼마나 넘길 준비가 되어 있는가라는 문제가 있으며, 그 판단은 훌륭한 시연이 아니라 실제 업무에서 얻은 근거에 기반해야 한다. 리더십은 8주가 끝날 때 에이전트가 무엇을 처리할 수 있는지, 어떤 상황에서 여전히 사람이 개입해야 하는지, 운영 비용이 얼마나 들지 파악하고 있어야 한다. 에이전틱 AI로 앞서 나갈 기업은 첫 주부터 자동화 이후의 업무까지 고려해 설계하고, 에이전트가 실제로 완료하는 작업에 예산을 투입하는 기업일 것이다.