AI가 옳고 프로세스가 잘못된 경우

금융 서비스에서 흔히 있을 법한 상황을 생각해 봅시다. 한 팀이 AI로 계약서를 검토합니다. 수백 페이지의 반복 조항을 살피는 일은 직원에게 보통 며칠이 걸리는 정형 업무입니다. 모델은 위험을 찾아 올바른 문단을 근거로 제시합니다. 그런데 결과가 맞지 않습니다.

문제는 계약 폴더에 있었습니다. contract_v1.docx, contract_v2.docx, contract_final.docx, contract_final2.docx, contract_finalfinal_THIS_ONE.docx라는 파일들이 나란히 저장돼 있었습니다.

AI는 가장 최근에 저장된 파일을 골랐습니다. 하지만 누군가 지난주 실수로 열었다가 자동 저장한 구버전이었습니다.

모델은 설계된 대로 정확히 작동했습니다. 문제는 프로세스였습니다.

모델이 문제가 아닐 때

이전 글에서 저는 AI 실패가 종종 모델 밖의 거버넌스, 책임 체계, 의사결정 구조에서 시작된다고 주장했습니다. 하지만 거버넌스도 문제의 일부일 뿐입니다. 그 아래 프로세스가 오래된 문서, 비공식 예외, 훨씬 느린 업무 속도를 전제로 한 승인 경로에 의존하면 관리가 잘 되는 AI도 어려움을 겪습니다.

AI의 결과가 나쁘면 보통 모델을 먼저 의심합니다. 환각을 일으켰거나 업무를 오해했거나 프롬프트가 부실했을 수 있습니다. 그러나 모델이 해야 할 일을 정확히 했을 때도 있습니다. 실패는 정보를 공급한 프로세스나 결과를 받아 행동하지 못한 조직에서 발생한 것입니다.

AI 도입은 진단 도구처럼 늘 있었지만 드러나지 않았던 프로세스 문제를 보여 줍니다. 누락된 맥락, 불분명한 책임, 문서화되지 않은 비공식 우회 절차처럼 사람들이 무심코 보완해 온 약점이 드러납니다.

감당할 역량 없이 빨라지기만 할 때

AI는 결과 생성만 빠르게 하지 않습니다. 문제의 상위 보고, 의사결정 요청, 문제 발견도 빨라집니다. 누군가 금요일 오후에야 시간을 내 로그를 살필 때가 아니라 실시간으로 이상을 표시합니다.

조직은 이 속도에 맞춰져 있지 않습니다. 승인 절차, 상위 보고 경로, 의사결정 권한은 모두 사람의 속도에 맞춰졌습니다. AI가 조직이 수용할 수 있는 것보다 빠르게 결과를 내면 세 가지 일이 생길 수 있습니다.

• AI가 결정을 기다리면서 효율 향상이 사라집니다.
• 직원이 AI 결과를 무시하고 자신이 효과적이라고 믿는 기존 프로세스로 돌아갑니다.
• 직원이 속도를 유지해야 한다는 압박 때문에 제대로 확인하지 않고 결정을 진행합니다.

어떤 직원은 수작업 확인이 더 안전하게 느껴져 그 방식으로 돌아갑니다. 다른 직원은 기술이 약속한 속도를 유지해야 한다는 압박으로 검증할 시간도 없었던 결과를 승인합니다. 어느 쪽이든 조직은 더 빠른 결과물에 비용을 지불하면서도 책임 있는 의사결정 속도는 높이지 못합니다.

책임 소재도 흐려질 수 있습니다. 표시된 이상을 검토하고 모델이 틀렸는지 판단하며 여러 팀이 관련될 때 문제를 상위로 보고할 책임은 누구에게 있을까요? 명확한 답이 없으면 AI는 뒤에서 계속 돌아가며 실질적인 책임자가 없는 결과를 만듭니다.

이는 더 넓은 조직 문제를 반영합니다. 2025년 말 Forbes 분석 이 지적했듯 기술이 조직의 수용 속도보다 빠르게 워크플로를 바꾸면 결과는 효율이 아니라 과중한 업무입니다. AI가 프로세스의 한 단계를 가속해도 가치는 주변 조직이 결과를 받아들이고 실행할 수 있는지에 달려 있습니다.

아무도 적어 두지 않은 암묵지

Martin이 회사와 공급자 사이의 계약에 2,000유로 미만 지급에 대한 예외가 있다는 것을 안다고 가정해 봅시다. 3년 전 구두로 합의했지만 문서화하지 않았습니다. 회사가 AI로 지급 승인을 자동화하자 시스템이 지급을 차단합니다. 문서에 적힌 계약에 따르면 올바른 결정입니다.

이것이 암묵지입니다. 시스템이 아니라 사람의 머릿속에 있는 조직 지식입니다. 어느 회사에나 있지만 대부분 얼마나 많은지 모릅니다.

AI는 자신이 접근할 수 있게 된 지식만 활용합니다. 시스템 관점에서는 Martin이 아는 예외가 존재하지 않습니다. 그 맥락이 없으면 기술적으로 맞는 판단도 업무상 틀릴 수 있습니다.

McKinsey도 에이전트 AI 도입에서 같은 과제를 확인했습니다. 효과적인 에이전트를 만들려면 표준 절차에 있거나 직원의 머릿속 암묵지로만 존재하는 전문가의 업무 방식을 명문화해야 합니다. 다시 말해 AI 도입을 통해 조직은 프로세스가 Martin의 지식에 얼마나 의존하는지 처음 알게 될 수 있습니다.

잘못된 기준 정보

가장 위험한 AI 결과가 반드시 명백히 틀린 답은 아닙니다. 오래된 정보로 만든, 믿을 만하고 전문적으로 제시된 답일 수도 있습니다.

많은 부서는 법무팀의 Jane이 어느 문서가 권위 있는 최종본인지 늘 알고 있었기에 같은 문서의 여러 버전으로 오랫동안 일해 왔습니다. 안타깝게도 AI는 그것을 모릅니다.

버전을 구분하는 규칙이 주어지지 않았다면 시스템은 받은 문서를 의심할 이유가 없습니다. 그래서 잘못된 문서를 대상으로 검토를 정확히 수행합니다. 결과가 믿을 만해 보이므로 아예 검토하지 않는 것보다 나쁠 수도 있습니다.

숙련된 직원은 정확한 정보가 어디 있는지 알고 혼란 속에서도 찾아갈 수 있습니다. 반면 시스템에는 최신이며 승인됐고 관련성 있는 정보를 신뢰할 수 있게 식별하는 방법이 필요합니다.

암묵지, 믿기 어려운 문서, 사람의 결과 생성 속도에 맞춘 승인 절차는 별개의 문제처럼 보이지만 근본 원인은 같습니다. AI가 만든 문제는 아니지만 AI 때문에 더는 무시하기 어려워집니다.

에이전트를 만들기 전에 답해야 할 질문

AI 에이전트를 배포하기 전에 조직은 세 가지 질문에 답할 수 있어야 합니다.

문서화되지 않은 지식에 의존하는 결정은 무엇인가?

숙련된 직원이 의식적으로 설명하지 않고 적용하는 예외, 지름길, 재량 판단을 찾아내야 한다는 뜻입니다. 면담만으로 모든 지식이 드러나지는 않을 수 있습니다. 실제 업무를 관찰하고 공식 절차와 비교해야 할 수도 있습니다.

시스템은 최신이며 승인됐고 관련성 있는 정보를 어떻게 가려낼 것인가?

승인된 계약과 초안, 유효한 정책과 폐기된 정책을 구분할 수 없다면 문서를 더 많이 열어 주는 것으로는 해결되지 않습니다. 버전 관리, 책임자, 승인 상태, 보존 규칙이 충분히 명확해야 시스템이 어떤 자료를 판단 기준으로 삼을지 알 수 있습니다.

현재 승인·상위 보고 절차가 결과의 양과 속도를 감당할 수 있는가?

팀은 에이전트가 얼마나 많은 일을 끝낼지뿐 아니라 그 일이 얼마나 많은 검토, 예외, 상위 보고를 만들어 낼지도 추산해야 합니다. NIST AI 위험 관리 프레임워크 는 AI 시스템에 대한 사람의 감독 역할과 책임을 명확히 정하도록 권고합니다. 이는 직원들이 업무에 압도된 뒤가 아니라 배포 전에 예상 처리량에 맞춰 설계해야 합니다.

한 번 답하고 잊어도 되는 질문들이 아닙니다. 프로세스는 바뀌고 문서는 오래되며 기록하지 않은 예외가 다시 쌓입니다. 준비 상태는 출시 전에 한 번 갖추는 데 그치지 않고 계속 유지해야 합니다.

AI 도입 준비는 프로세스에서 시작된다

AI 도입 준비는 기술만의 시험이 아닙니다. 기술이 조직의 프로세스 안에서 작동할 만큼 그 프로세스를 명확히 했는지를 확인하는 시험입니다.

따라서 조직의 AI 준비는 모델 선택이나 에이전트 개발을 넘어섭니다. 책임을 명확히 하고 권위 있는 정보를 식별하며 예외를 기록하고 결과를 검토·보고·실행하는 방식을 다시 설계해야 합니다.

어려운 일이지만 도입에 실패하면 결국 해야 할 일입니다. 달라지는 것은 시점뿐입니다.