AI는 분 단위로 의사결정을 내리지만, 거버넌스는 대부분 여전히 분기 단위로 운영된다

AI 지원 시스템은 운영위원회가 다음 회의 일정을 잡기도 전에 수백 건의 운영상 의사결정에 영향을 미칠 수 있다. 분기별 검토를 중심으로 설계된 거버넌스는 애초에 이러한 속도에 대응하도록 만들어지지 않았으며, 이러한 불일치 때문에 많은 기업의 AI 프로그램이 어려움을 겪기 시작한다.

우리는 어떤 모델을 도입할지 논의하는 데 엄청난 시간을 쏟는다. 그러나 Gartner는 2026년까지 AI 활용에 적합한 데이터의 뒷받침을 받지 못하는 AI 프로젝트의 60%가 중단될 것으로 전망한다. 기업의 AI 실패는 대부분 모델 자체와는 거의 관련이 없다. 실패의 원인은 더 근본적인 데 있다. 조직이 자사 비즈니스를 신뢰할 수 있고 통합된 관점에서 이해하지 못한다는 것이다.

‘AI에 적합한’ 데이터의 숨은 비용

대부분의 기업은 데이터의 소유권과 거버넌스, 신뢰, 맥락을 확립하는 데 필요한 노력을 과소평가한다. AI를 시범 사업에서 벗어나 확장하는 데 필요한 투명성, 설명 가능성, 책임성을 갖춘 거버넌스 체계를 구축하려면 여러 부문에 걸친 전문성과 운영 모델이 필요하지만, 이를 위해 투자하는 기업은 많지 않다.

저는 고객에게 간단한 점검을 해보라고 권한다. 조직은 데이터의 소유자가 누구인지, 데이터가 비즈니스 프로세스와 어떻게 연결되는지, 데이터 사용을 어떤 통제가 관리하는지, AI 지원 의사결정에 대한 책임은 누가 계속 지는지 명확히 설명할 수 있는가? 그렇지 않다면 플랫폼, 인프라 또는 모델에 얼마나 투자하든 AI 이니셔티브가 성공할 가능성은 낮다.

기업의 AI 여정에서 첫 단계는 명확한 소유권과 책임, 의사결정 권한을 확립하는 거버넌스와 실용적인 운영 모델에 투자하는 것이어야 한다. 제가 보기에는 대부분의 조직이 순서를 거꾸로 밟는다. AI를 대규모로 운영하는 데 필요한 기반을 마련하기도 전에 모델과 인프라부터 갖춘다.

하지만 AI 지원 의사결정은 개별 데이터 항목에만 의존하는 것이 아니다. 정보가 비즈니스 프로세스, 정책, 소유권, 운영 맥락과 어떻게 연결되는지 이해하는 것에도 달려 있다. 이러한 관계가 단절되어 있다면 AI의 권고가 일관성을 잃더라도 조직은 놀라지 말아야 한다.

AI 애플리케이션에서 아차 사고나 실패가 발생하거나 서로 상충하는 권고가 나올 때 중요한 질문은 기술적인 것이 아니라 조직적인 것이다. 데이터의 소유자는 누구인가? 의사결정의 책임자는 누구인가? 누가 AI의 결정을 뒤집을 수 있는가? 예외는 어떤 절차로 상위 단계에 보고되는가? 이러한 질문에 답하지 못하면 기업은 책임 체계 없는 자동화를 만들어낼 위험이 있다.

신뢰는 배포 전에 구축된다

AI에 대한 신뢰는 어떤 모델이 실제 운영에 들어가기 훨씬 전부터 형성된다. AI 시스템은 조직의 경계를 넘어 작동하지만 책임은 여전히 부서별로 분산되어 있는 경우가 많으므로, 효과적인 거버넌스를 위해서는 기술 부문과 사업 부문, 리스크, 법무, 컴플라이언스, 보안 부문 간의 협력이 필요하다. AI 탓으로 돌려지는 많은 거버넌스 문제는 데이터 소유권과 의사결정 권한을 둘러싼 오래된 문제의 증상이며, 기술은 그 문제를 드러냈을 뿐이다.

대부분의 조직은 이미 보안 정책과 컴플라이언스 체계, 승인 절차를 통해 거버넌스를 운영하고 있다. 흔히 부족한 것은 이러한 요소들이 서로 어떻게 연결되는지 한눈에 파악할 수 있는 관점이다.

이해관계자들이 권고의 근거를 이해하고, 그 바탕이 되는 데이터를 신뢰하며, 적절한 통제와 상향 보고 체계가 마련되어 있음을 알 때 신뢰가 형성된다. 이런 것들은 사고가 발생한 뒤에야 뒤늦게 갖춰 놓을 수 없다.

분기별 거버넌스와 분 단위 의사결정의 만남

전통적인 거버넌스 모델은 정기 검토와 운영위원회, 사후 보고에 의존한다. AI 지원 시스템은 지속적으로 대규모 권고를 생성한다. 기존 체계가 잘못된 것은 아니지만, 운영상 의사결정의 속도를 따라가지 못하고 그 과정과 단절되어 있다. 분기별 검토 주기로는 매일 매시간 내려지는 의사결정을 관리할 수 없다.

제가 가장 큰 성과를 거둔다고 보는 조직은 정책 집행, 승인 절차, 모니터링, 감사 가능성, 인간의 감독을 통해 거버넌스를 운영 워크플로에 직접 반영한다. 이들은 정기 거버넌스에서 지속적 거버넌스로 전환하기로 했으며, 그 결과 어떤 데이터가 사용되는지, 어떤 의사결정에 영향을 미치는지, 누가 책임을 지는지, 언제 사람의 개입이 필요한지를 실시간으로 파악할 수 있다.

지속적 거버넌스는 AI의 출력을 모니터링하는 데 그치지 않는다. AI가 어떤 정보를 사용하는지, 그 정보가 여전히 유효한지, 의사결정이 여전히 비즈니스 정책과 목표에 부합하는지를 파악하는 것이다.

AI는 스스로의 판단과도 충돌할 것이다

대규모 조직은 이미 매일 상충하는 우선순위를 조율한다. 보안팀은 위험을 줄이려 하고, 운영팀은 안정성을 원하며, 사업팀은 속도를 중시하고, 재무팀은 비용 효율성을 추구한다. 여기에 서로 다른 데이터 세트와 목표로 학습해 이러한 우선순위를 자연스럽게 반영하는 AI 시스템까지 더해진다.

보안 AI는 심각한 취약점을 즉시 해결하라고 권고할 수 있지만, 운영팀은 해당 시스템이 핵심 비즈니스 서비스를 지원한다는 이유로 변경을 미룰 수 있다. 양쪽 입장 모두 타당할 수 있다. 이러한 갈등을 해결하려면 명확한 의사결정 권한과 정의된 리스크 책임, 상향 보고 경로가 필요하다.

AI는 데이터와 맥락, 권고안을 제공해야 하지만, 사업·운영·위험 요소 간 균형을 맞출 책임은 조직에 남아 있어야 합니다.

불일치가 드러났을 때 회의적인 반응에 대처하기

AI가 일관성 없는 권고안을 내놓으면 사업 부문이 앞으로 이를 회의적으로 바라보리라는 점은 분명합니다. 권고안이 내려진 이유와 사용된 데이터, 결과에 대한 책임을 누가 계속 지는지 이해관계자들이 이해하면 신뢰를 다시 쌓을 수 있습니다.

AI는 조직 내에 이미 존재하던 데이터 품질 문제, 책임 소재의 공백, 프로세스의 불일치를 드러내는 경우가 많습니다. 이러한 순간을 기술을 옹호하는 대신 거버넌스와 운영 절차를 개선할 기회로 삼는 편이 훨씬 생산적입니다. 시간이 지나면서 투명성, 일관성, 입증 가능한 사업 성과를 통해 신뢰를 얻을 수 있습니다.

신뢰할 수 있는 정보 기반

AI 도입 준비도를 둘러싼 논의는 대체로 모델과 인프라, 도구에 초점을 맞춥니다. 실제로 가장 큰 성과를 거두는 조직들은 더 근본적인 요소, 즉 신뢰할 수 있는 정보 기반에 투자하고 있습니다. 이 기반은 정보가 프로세스, 정책, 책임 소재, 운영상의 의사결정과 어떻게 연결되는지 설명하는 사업 맥락을 제공하여, 조직이 이해하고 관리하며 신뢰할 수 있는 권고안을 AI가 제시할 수 있도록 더 탄탄한 토대를 마련합니다.

가장 고도화된 AI 모델도 취약한 정보 거버넌스와 불분명한 책임 소재, 부족한 사업 맥락을 보완할 수는 없습니다. 조직은 대규모로 AI를 책임감 있고 효과적으로 활용하는 데 필요한 맥락, 거버넌스, 조직의 축적된 지식, 의사결정 인텔리전스를 구축해야 합니다.

이 작업은 새 모델을 배포하는 것보다 느리고 눈에 잘 띄지 않지만, 궁극적으로 그 모델이 지속적인 사업 가치를 창출할지를 좌우합니다.