사상 리더
모델을 넘어서는 AI 거버넌스

핵심 포인트大多数企业AI失败源于问责真空,而非模型缺陷。
더 보기
- 大多数企业AI失败源于问责真空,而非模型缺陷。
- 加拿大航空因其聊天机器人提供错误的丧亲票价建议而被追究责任。
- 自主AI将放大现有治理缺口,因为其自主行为会加剧风险。
경고: 문제는 모델이 아니다
2023년 뉴욕시는 기업이 복잡한 규정에 대응하도록 돕는 MyCity 챗봇을 공개했다. 취지는 간단했다. 법률 정보에 더 쉽게 접근하게 하자는 것이었다.
그러나 실제로 시스템은 팁 규정부터 주택 차별과 지급 관련 법률까지, 틀렸을 뿐 아니라 법적으로도 오해를 불러일으키는 답을 내놓았다.
이후 감사에서는 사용자 피드백의 71.4%가 부정적이었다는 사실이 드러났다. 근본 문제를 고치는 대신 면책 문구를 추가하는 것으로 대응했다. 챗봇은 2년 넘게 베타 상태로 남아 있다가 종료됐다.
실패는 기술의 문제가 아니었다. 정확성을 보장할 장치도, 명확한 책임 주체도, 문제가 생겼을 때 개입할 방법도 없었기에 실제 운영에서 무너졌다.
오늘날 기업 AI에서 반복되는 패턴이다. 기술은 작동하지만, 가동 이후 안정적으로 운영할 수 있도록 조직이 준비되어 있지 않다.
파일럿에서 실제 운영까지: 어디서 무너지는가
파일럿을 만드는 일은 비교적 단순하다. 사용 사례와 모델을 고르고, 데이터를 준비하고, 후원자를 찾으면 된다. 실제 운영 환경에서 시스템을 돌리는 것은 차원이 다르다.
그 차이는 수영장에 뛰어드는 것과, 펠릭스 바움가르트너가 2012년 했듯 성층권에서 뛰어내리는 것의 차이와 같다. 기본 물리는 같아도 조건이 완전히 다르고, 실패의 결과도 크게 다르다.
실제 운영에서 AI는 현실의 의사결정 흐름에 들어가 고객과 상호작용하고 법적·운영상 결과를 만든다. 바로 여기서 모델 자체보다 관리 방식의 허점이 드러난다.
유럽에서는 이 점이 대부분의 다른 지역보다 일찍 보인다. EU AI법, GDPR, NIS2 같은 규정은 도입을 늦추는 것이 아니라 조직이 실제 제약 속에서 AI를 운영할 수 있는지 드러낸다.
2025년에는 EU 대기업의 55%가 이미 AI를 사용하고 있었다. 도입은 이미 대규모로 진행 중이다. 과제는 배포 후에 벌어지는 일이다.
그때 기본적인 운영 질문이 떠오른다. 그런데 답할 사람이 없는 경우가 많다. AI 출력과 자율적 결정은 누가 책임지는가? 시스템이 예상 밖으로 행동하면 어떻게 되는가? 피해가 언론에 보도되기 전에 누가 문제를 발견하는가?
책임은 기술이 아니라 회사에 있다. 에어 캐나다의 챗봇 (AC.TO )은 고객에게 가까운 가족의 사망 시 적용되는 특별 항공운임을 잘못 안내했다. 고객은 이를 믿었지만 나중에 환불을 거부당했다. 재판소는 챗봇이 독립된 실체가 아니므로 항공사에 책임이 있다고 판단했다.
같은 문제를 다른 각도에서 보여 주는 사례다. 맥도날드의 McHire 시스템은 약 6만4,000명에 가까운 지원자의 민감한 데이터를 노출했다. 원인은 정교한 공격이 아니라 관리자 로그인에 ‘admin’과 ‘123456’을 사용한 것이었다. 시스템은 첨단으로 보였지만 실패는 초보적이었다.
이미 가동 중인 시스템에 거버넌스를 덧붙이는 것은 늦다. 배포는 기술적 결정이지만, 안정적 운영은 조직의 결정이다. 대부분의 기업은 바로 이 부분을 과소평가한다.
AI 위험의 최종 책임자는 누구인가? 아무도 없다
이것이 문제의 핵심이자 역설적으로 가장 적게 논의되는 부분이다. IT는 인프라를, 법무는 규정 준수를 맡고 사업팀은 사용 사례를 추진한다. 하지만 AI 위험 전반을 처음부터 끝까지 책임지는 사람은 없다.
그래서 두 가지 문제가 바로 생긴다. 책임을 지려는 사람이 없어 시작 결정이 늦어지고, 멈출 권한이 누구에게 있는지 몰라 중지 결정도 늦어진다.
데이터도 이를 보여 준다. AI 사용 사례 중 10% 미만만이 파일럿에서 실제 운영으로 넘어가며, 대부분의 조직은 측정 가능한 사업 효과를 만드는 데 어려움을 겪는다. 동시에 이미 AI를 도입하는 조직도 많지만, 거버넌스 성숙도 조사에 따르면 체계적이고 일관되게 적용되는 거버넌스를 갖춘 곳은 7%뿐이었다.
왜 이런 일이 되풀이되는가? 대부분의 프레임워크와 기업 정책은 무엇이 일어나야 하는지 정하지만, 정작 중요한 때 누가 책임지는지는 정하지 않기 때문이다. 금요일 자정에 시스템이 잘못된 출력을 내기 시작하면 이론적인 질문이 아니다. 누가 움직이는가? 누가 결정권을 갖는가?
규모가 커지면 더 나빠진다. 시스템 하나는 비공식적으로 관리할 수 있어도 30개가 되면 책임이 여러 팀으로 분산되고 전체를 보는 사람이 없어진다.
호주 코먼웰스은행 (CBA.AX )은 분명한 사례다. 은행은 수요가 줄 것이라 예상하며 고객 서비스 직원 45명을 AI 음성 봇으로 대체했다. 수요는 줄지 않았다. 전화량은 늘었고 관리자가 초과 물량을 처리해야 했으며, 결국 45명 전원을 다시 고용했다. 결정을 추궁받아도 자동화가 업무량을 줄였음을 입증하지 못했다.
배포 전에 가정을 검증한 사람도, 그 가정이 무너졌을 때 결과를 책임진 사람도 없었다. 책임 공백은 실제로 이렇게 나타난다.
규칙만으로는 부족하다. 작동하는 장치가 필요하다
대부분의 조직에 부족한 것은 정책이 아니다. 문제가 생겼을 때 작동하는 체계다.
정책은 무엇이 일어나야 하는지 정한다. 장치는 모델이 틀린 출력을 내거나 공급업체가 뒤에서 무언가를 바꾸거나 시스템이 예상 밖으로 행동할 때 실제로 무엇이 일어나는지 결정한다.
그 차이는 실제 조건에서 결정을 내려야 하는 운영 현장에서 드러난다.
이런 실패는 일관된 패턴을 따른다. 형태만 다를 뿐 같은 운영상 허점이 반복된다.
먼저 책임 주체를 정해야 한다
배포된 모든 AI 시스템에는 명확한 책임자가 필요하다. 팀이나 부서가 아니라 승인, 일시 중지, 종료 권한을 가진 한 사람이어야 한다.
그렇지 않으면 신속한 배포도 안전한 개입도 불가능하다. 코먼웰스은행 사례처럼 책임 주체가 불분명하면 곧바로 운영 실패로 이어진다.
데이터와 법적 근거가 불명확한 경우가 많다
많은 시스템이 문서화된 데이터 흐름이나 확인된 법적 근거, 실제 운영 시 적용되는 의무를 명확히 하지 않은 채 가동된다.
이탈리아 규제 당국이 2025년 DeepSeek에 취한 조치가 이를 잘 보여 준다. 문제는 모델 품질이 아니라 개인정보를 어떻게 처리하는지 설명하지 못한 것이었다. 그 결과 유럽 사용자는 갑작스러운 서비스 중단을 겪었다.
테스트는 실제 사용을 거의 반영하지 못한다
시스템은 잘 작동하는 시나리오로 평가되는 경우가 많지만, 실패의 영향이 가장 큰 사례로는 평가되지 않는다.
MyCity 챗봇은 분명한 예다. 노동법, 주택 차별, 지급 규칙에 관한 기본적인 경계 사례를 배포 전에 걸러내지 못했다. 실제 사용자가 접하자 실패는 곧바로 공개됐다.
테스트는 성능만의 문제가 아니다. 사용자, 규제 당국, 기자보다 먼저 시스템의 실패 지점을 찾아내는 일이다.
개입이 불분명하거나 너무 느리다
문제가 보여도 시스템을 일시 중지하거나 종료할 명확한 발동 조건이나 권한이 없는 경우가 많다.
Zillow Offers는 이를 대규모로 보여 준다. 시스템은 알고리즘으로 주택 가격을 정하고 매입했다. 2021년 시장이 식어도 부풀려진 가격으로 계속 샀다. 변화를 제때 감지할 장치도, 중지를 결정할 명확한 시점도 없었다. 결과는 8억8,000만 달러가 넘는 손실과 부문 전체의 폐쇄였다.
모니터링이 책임을 대신하지 않는다
모니터링은 종종 대시보드로 축소되지만, 그것만으로 실패를 막을 수는 없다.
중요한 것은 명확히 정한 책임이다. 누가 신호를 살피고 무엇이 상위 단계 보고를 촉발하며 누가 행동해야 하는지를 정해야 한다.
Deloitte Australia 사례는 이것이 없으면 어떻게 되는지 보여 준다. 정부 보고서에 가짜 인용과 틀린 법률 참조가 들어갔다. 제출 전에 출력을 검증할 책임자가 명시되지 않았기 때문이다. 결과는 일부 환불과 평판 손상이었다.
에이전틱 AI: 앞으로는 더 어려워진다
생성형 AI는 출력을 만든다. 에이전틱 AI는 행동한다. 위험의 성격이 완전히 달라진다.
평가할 답변 하나 대신 명령 하나가 여러 시스템에 걸친 결정의 연쇄를 일으킬 수 있다. API 호출, 데이터 접근, 거래, 업데이트가 매 단계 인간의 개입 없이 진행되는 경우도 많다.
문제가 생기면 더는 정확성만의 문제가 아니다. 추적 가능성이 문제다. 어느 단계가 원인이었는가? 어떤 데이터를 썼는가? 누가 행동을 허가했는가? 사후에는 답하기 어려운 경우가 많다.
이때 기존의 허점이 치명적이 된다. 불분명한 책임, 취약한 모니터링, 개입 수단의 부재는 지속될 뿐 아니라 서로 증폭된다. 틀린 답은 고칠 수 있지만, 잘못된 행동은 누군가 알아차리기 전에 결과를 초래할 수 있다.
초기 신호가 이미 이 방향을 가리킨다. Gartner는 2027년까지 에이전틱 AI 프로젝트의 40%가 넘게 취소될 것으로 추정한다. 모델의 제약보다 조직이 비용, 위험, 성과를 통제하기 어려워하기 때문이다. 도입 후 생성형 AI에서 보는 것과 같은 패턴이지만, 걸린 것은 더 크다.
규제 당국은 이미 단순한 원칙으로 대응한다. 자동화가 책임을 없애지는 않는다. 조직에 주는 의미는 명확하다. 지금 책임과 통제가 불분명하면 에이전틱 시스템으로 확대해도 문제가 해결되지 않고 더 커진다.
운영하지 못하면 잃는다
AI는 더는 제약이 아니다. 모델은 널리 구할 수 있고 유능하며 점점 범용 상품이 되고 있다. 진짜 차이는 AI를 만들 수 있는가가 아니라 가동 후 안정적으로 운영할 수 있는가다.
대부분의 실패는 구축보다 운영에서 발생한다. 성공하는 조직은 가장 앞선 모델을 가진 곳이 아니라 모델을 둘러싼 운영 체계가 가장 명확한 곳이다.
직접 확인할 수 있다. 가장 중요한 AI 시스템을 고르고 세 가지 질문에 답해 보라.
- 누가 중지할 수 있는가?
- 실패하고 있다는 것을 어떻게 아는가?
- 실패하면 무엇이 일어나는가?
답이 불명확하면 시스템은 실제 운영에 투입할 준비가 안 된 것이다.
모델은 준비됐을지 모른다. 조직은 그렇지 않다.












