AI의 가장 큰 숨겨진 비용은 컴퓨팅이 아니다. 그것은 사람이다.

모두가 AI의 비용에 대해 이야기하고 있다. 일반적으로 그들은 GPU, 모델 라이선스 또는 토큰 소비에 대해 이야기한다. 나는 그들이 잘못된 곳을 보고 있다고 생각한다.

기업 AI의 가장 큰 비용은 감독하기 위해 필요한 사람들의 비용일 수 있다.

최근 연구에 따르면 직원들은 AI를 사용해 매주 약 11시간을 절약하지만, 출력 확인, 오류 수정, 빠진 맥락 보완, 실제로 쓸 수 있는 결과인지 점검하는 데 6시간 이상을 쓴다. 누군가는 이를 ‘봇 돌보기(botsitting)’라고 불렀다. 귀에 잘 들어오는 표현이지만, 더 큰 문제를 가리킨다.

AI는 작업을 줄여야 했다. 그러나 많은 조직은 AI 자체를 관리하기 위한 완전히 새로운 작업 범주를 생성하고 있다. 그것은 기술 문제가 아니다. 그것은 운영 모델 문제이다.

SaaS 시대를 더 빠르게 되풀이하다

나는 이 영화를 전에 본 적이 있다.

15년 전, 조직들은 SaaS를 받아들여 소프트웨어를 더 쉽게 구매하고 배포할 수 있게 되었다. 비즈니스 단위는 IT를 기다리지 않고 문제를 해결할 수 있었다. 생산성이 향상되었고, 혁신이 가속화되었다. 그런 다음 Shadow IT가 나타났다.

어느 순간 직원들이 쓰는 애플리케이션이 몇 개인지, 회사 데이터가 어디에 저장되는지, 누가 접근권을 갖는지 아무도 알지 못하게 됐다. IT 부서는 여전히 책임을 졌지만 가시성과 통제력은 잃었다. AI도 놀랄 만큼 비슷하다. 차이는 속도다.

SaaS 애플리케이션 하나가 소수의 시스템에 접근할 수 있다면, AI 에이전트는 첫날부터 수십 개에 연결될 수 있다. 대부분의 조직이 에이전트의 존재를 문서로 파악하기도 전에, 에이전트는 문서를 읽고 계약을 요약하고 코드를 생성하며 기록을 갱신하고 업무 흐름을 실행할 수 있다.

기술은 운영 모델을 관리하기 위해 구축된 속도보다 더 빠르게 이동하고 있다.

그것이 내가 IBM의 최근 연구에 놀라지 않은 이유이다. 2/3의 CIO와 CTO가 완전히 제어하지 못하는 AI 시스템에 책임이 있다고 한다. 대부분의 응답자도 AI가 거버넌스보다 더 빠르게 확산되고 있다고 말했다. 그것은 CIO가 갑자기 덜 능력이 있기 때문이 아니다. 그것은 AI가 전통적인 소유 모델에 잘 맞지 않기 때문이다.

보안은 위험을 소유한다.
법률은 준수를 소유한다.
개발자는 통합을 구축한다.
비즈니스 단위는 결과를 소유한다.
벤더는 기본 인프라의 일부를 제어한다.

한편 AI는 이 모든 영역을 가로지른다. 문제가 생기면 모두가 답의 일부를 책임지지만, 시스템 전체를 책임지는 사람은 없을 수 있다. 그렇게 생긴 공백을 조직은 거의 언제나 사람으로 메운다.

누군가가 고객에게 전송되기 전에 AI 생성 보고서를 검토한다.
누군가가 배포되기 전에 AI 작성 코드를 확인한다.
누군가가 결정이 내려지기 전에 추천을 검증한다.
누군가가 예상치 못한 행동을 조사한다.

그 중 일부는 우리가 원하는 바이다. AI는 특히 규제된 산업이나 높은 결과 환경에서 인간의 판단 없이 작동해서는 안 된다. 문제는 사람들이 주요 제어자가 되는 경우이다.

챗봇에서 자율 에이전트로

챗봇을 넘어선 조직이 무슨 일이 일어나는지 생각해 보라.

오늘, AI 어시스턴트는 누군가가 이메일을 작성하는 것을 도와준다.
내일, AI 에이전트가 이메일을 보낸다.

오늘, AI는 고객 레코드에 대한 업데이트를 제안한다.
내일, 그것은 변경을 스스로 한다.

오늘날 AI는 업무 프로세스의 다음 단계를 추천합니다.
앞으로는 그 워크플로를 자동으로 시작합니다.

새로운 행동마다 또 다른 결정을 가져온다:

AI가 이것을 할 수 있도록 허용해야 하는가?

• 그것이 시스템에 접근할 수 있도록 허용해야 하는가?
• 그것이 데이터를 검색할 수 있도록 허용해야 하는가?
• 누군가가 먼저 승인을 해야 하는가?

대부분의 조직은 이러한 질문에 수동으로 대답한다. 그리고 그것은 10개의 AI 사용 사례가 있을 때 작동한다. 그러나 100개나 1000개의 사용 사례가 있을 때는 작동하지 않는다. 아이러니는 조직이 생산성을 개선하기 위해 AI에 투자하지만, 높은 급여를 받는 직원들이 그것을 감독하는 데 시간을 보낸다는 것이다. (MSFT )

그것은 AI를 확장하는 것이 아니다. 그것은 오버헤드를 확장하는 것이다.
마이크로소프트는 2026 워크 트렌드 인덱스에서 유사한 결론에 도달했다. 조직은 AI를 더 빠르게 채택하고 있지만, 그들이 그것을 관리하기 위해 적응하는 속도는 더 느리다.

직원들은 회사가 적응하는 속도보다 빠르게 AI를 도입하고 있다. 이제 진짜 과제는 일하는 방식을 다시 설계하는 것이다. AI가 할 일, 사람이 할 일, 둘이 함께 일하는 방식을 정해야 한다. 나는 기업 리더들이 바로 이 논의를 해야 한다고 생각한다. AI는 도입했다는 이유만으로 가치를 만들지 않는다. 사람들이 일일이 감독하는 대신 판단에 집중할 수 있도록 하는 명확한 운영 모델과 함께 도입될 때 가치를 만든다.

AI 거버넌스 재고: 정책에서 운영으로

이것은 AI 거버넌스에 대한 대화가 변경되어야 하는 곳이다. 사람들이 거버넌스라는 단어를 들으면, 정책, 위원회, 문서에 대해 생각한다. 이러한 것들이 중요하지만, 실시간으로 결정을 내리지 않는다.

정책이나 위원회, 문서가 AI 에이전트의 부적절한 데이터 접근을 막거나 예상 밖으로 작동하는 업무 흐름을 멈추지는 않는다. 어떤 행동이 요청되는 바로 그 순간, 그 행동이 회사 정책에 부합하는지 설명해 주지도 않는다.

그것이 간격이다.

조직은 더 많은 거버넌스 문서가 필요하지 않다. 그것은 운영하는 거버넌스가 필요하다. 루틴 동작은 승인된 정책 내에서 자동으로 발생해야 한다; 더 높은 위험 동작은 인간의 승인이 필요하다; 그리고 민감한 시스템은 AI가 무엇을 할 수 있고 할 수 없는지에 대한 명확한 경계가 있어야 한다.

그리고 만약 AI 프로세스가 예상치 못한 방식으로 동작하기 시작하면, 그것을 즉시 중지할 수 있는 방법이 있어야 한다. AI를 신뢰할 수 없기 때문이 아니다, 모든 비즈니스 프로세스가 가드레일을 필요로 하기 때문이다.

인간을 중요한 곳에 위치시키기

AI에서 가장 많은 가치를 얻는 회사들은 인간을 방정식에서 제거하지 않는다. 그들은 인간을 가장 가치 있는 곳에 위치시키고 있다.

모든 출력을 검토하지 않는다.
모든 프롬프트를 확인하지 않는다.
모든 에이전트를 감시하지 않는다.

그들은 예외, 에지 케이스, 실제로 판단을 요구하는 결정에 사람들을 집중시키고 있다. 그것은 인간 전문지식의 훨씬 더 좋은 사용이다.

기업이 실제로 물어야 할 질문

AI는 기술이 더 이상 가장 큰 질문이 아닌 지점에 도달했다. 대부분의 조직은 이미 AI가 콘텐츠를 생성하고, 코드를 작성하고, 정보를 요약하고, 반복적인 작업을 자동화할 수 있음을 입증했다.

더 어려운 질문은 그들이 기업 규모에서 AI를 확신할 수 있는지이다:

그것이 하는 일을 볼 수 있는가?

• 그것이 접근할 수 있는지 제어할 수 있는가?
• 정책을 일관되게 시행할 수 있는가?
• AI 시스템이 특정 행동을 취한 이유를 설명할 수 있는가?

이것은 운영의 문제이며, 점점 더 경제적인 문제이기도 하다. AI를 감독하는 데 쓰는 매시간이 애초 투자를 정당화했던 생산성 향상을 깎아 먹기 때문이다. AI로 성공하는 기업은 가장 많은 모델을 실행하거나 가장 많은 에이전트를 배포하는 기업이 아닐 것이다. 그것들을 지켜보기 위해 대규모 인력을 동원할 필요가 없는 기업일 것이다.

AI는 기존 인력의 역량을 키워야 한다. 어느새 별도로 관리해야 할 새로운 인력 집단이 되어서는 안 된다.