AI가 옳고 프로세스가 잘못된 경우

금융 서비스에서 흔히 볼 수 있는 시나리오를 상상해 보십시오. 계약을 검토하기 위해 AI를 배포합니다. 수백 페이지, 반복되는 조항, 일반적으로 직원이 며칠 동안 하는 반복적인 작업입니다. 모델은 위험과 참조 문단을 식별합니다. 그러나 출력은 합계가 되지 않습니다.

문제는 계약 폴더에 있습니다. 여기에는 contract_v1.docx, contract_v2.docx, contract_final.docx, contract_final2.docx, contract_finalfinal_THIS_ONE.docx와 같은 이름의 파일이 나란히 있습니다.

AI는 가장 최근에 저장된 파일을 선택했습니다. 그러나 그 파일은 누군가가 지난주에 실수로 열고 자동으로 저장한 오래된 버전이었습니다.

모델은 설계된 대로 정확히 수행했습니다. 그러나 프로세스는 모델을 실패하게 만들었습니다.

모델이 문제가 아닐 때

이전 기사에서, 나는 AI 실패가 모델 외부에서 시작된다고 주장했습니다. 즉, 모델을 둘러싼 거버넌스, 소유권 및 의사 결정 구조에서 시작된 것입니다. 그러나 거버넌스는 문제의 일부에 불과합니다. 잘 관리되는 AI 시스템도 프로세스가 구식 문서, 비공식 예외 또는 느린 작업 속도에 맞게 설계된 승인 경로에 의존하는 경우 어려움을 겪을 것입니다.

AI 시스템이 나쁨을 결과를 생산할 때, 모델이 첫 번째 용의자입니다. 모델이 헛소리했을지 모른다거나, 작업을 잘못 이해했거나, 약한 프롬프트를 받았을 수 있습니다. 그러나 때때로 모델이 정확히 해야 할 일을 했습니다. 실패는 모델에 정보를 제공하는 프로세스에서 발생하거나 모델의 출력에 대응할 수 없는 조직에서 발생했습니다.

AI를 배포하면 항상 존재했지만 보이지 않았던 프로세스 문제를 드러냅니다. 즉, 진단 도구와 같습니다. 사람들이 생각하지 않고 보상한 누락된 컨텍스트, 불분명한 소유권, 문서화되지 않은 비공식 작업을 노출합니다.

용량 없이 속도

AI는 출력을 가속화할 뿐만 아니라 승인, 요청, 문제 발견을 가속화합니다. 모델은 실시간으로 비정상성을 플래그합니다. 금요일 오후 늦게 누군가 로그를 확인할 때가 아닙니다.

조직은 이러한 속도에 대비되어 있지 않습니다. 승인 프로세스, 에스컬레이션 경로, 의사 결정 권한은 모두 인간의 속도에 맞게 조정되었습니다. AI가 조직이 흡수할 수 있는 속도보다 더 빠른 출력을 생성하면 세 가지 일이 발생할 수 있습니다.

• AI는 결정할 때까지 기다립니다. 효율성 향상을 없애버립니다.
• 직원들은 출력을 무시하고 이전 프로세스로 돌아갑니다.
• 직원들은 확인할 시간이 없지만 기술이 약속한 속도를 유지하기 위해 압력을 느끼고 있기 때문에 결정할 때까지 출력을 강제로 전진시킵니다.

일부 직원들은 수동 확인이 더 안전하다고 생각하여 이전 방식으로 돌아갑니다. 다른 사람들은 확인할 시간이 없지만 기술이 약속한 속도를 유지하기 위해 압력을 느끼고 있기 때문에 결과를 승인합니다. 두 경우 모두 조직은 책임있는 quyết정을 내리는 데 더 빠르지 않으면서도 더 빠른 출력을 지불합니다.

소유권도 모호해질 수 있습니다. 누가 플래그된 비정상성을 검토하고, 모델이 잘못된지 결정하고, 여러 팀이 참여할 때 문제를 에스컬레이션할 책임이 있습니까? 명확한答案이 없으면 AI는 배경에서 계속 실행되어 실제로 소유하지 않은 출력을 생성합니다.

이는 더广い 조직 문제를 반영합니다. Forbes 분석에 따르면, 기술이 조직의 준비도보다 더 빠르게 워크플로우를 변경하면 효율성이 아니라 과도한 일감이 발생합니다. AI는 프로세스의 한 단계를 가속화할 수 있지만, 그 가치는 여전히 출력을 흡수하고 실행할 수 있는周囲 조직에 달려 있습니다.

誰も 書き留めなかった默認 지식

마틴이 회사의 공급업체와의 계약에는 2,000 유로 미만의 지불에 대한 예외가 있다고 가정해 보십시오. 그것은 3년 전口頭로 합의되었지만 문서화되지 않았습니다. 회사가 지불 승인을 자동화하기 위해 AI를 배포할 때, 시스템은 지불을 차단합니다. 문서화된 계약에 따르면 이것은 正しい 결정입니다.

이것은默認 지식입니다. 즉, 시스템보다 사람들의 머릿속에 있는 조직의 지식입니다. 모든 회사에는 이러한 지식이 있습니다. 대부분의 회사에서는 이러한 지식이 얼마나 있는지 모릅니다.

AI는 접근할 수 있는 지식만을 사용할 수 있습니다. 마틴의 예외는 시스템의 관점에서 존재하지 않습니다. 이러한 컨텍스트 없이, 시스템의 결정은 기술적으로 正しいですが, 운용적으로는 잘못된 것입니다.

McKinsey도 에이전트 AI 배포에서 같은 도전을 식별했습니다. 효과적인 에이전트를 구축하려면 표준 절차에 존재하거나 직원들의 머릿속에만 있는 전문가의 관행을 구체화해야 합니다. 즉, AI 배포는 조직이 프로세스가 직원들의 머릿속에 있는默認 지식에 얼마나 의존하는지 처음으로 알게 되는 순간일 수 있습니다.

거짓된 진리 출처

가장 위험한 AI 출력은 항상 明显히 잘못된 출력이 아닙니다. 전문적으로 제시된 信頼できる 答案일 수 있습니다. 그러나 이는 구식 정보에서 생성된 것입니다.

수년간 많은 부서에서는 여러 버전의 문서를 사용해 왔습니다. 법률 부서의 제인이 항상 어떤 버전이 권위 있는지 알고 있었기 때문입니다. 그러나 AI는 그렇지 않습니다.

버전을 구별하는 규칙이 주어지지 않는 한, 시스템은 받은 문서를 의심할 이유가 없습니다. 따라서 AI 검토는 正しい 문서에서 실행되지만, 그것은 잘못된 문서일 수 있습니다. 이것은 검토가 전혀 없는 것보다 더 나쁠 수 있습니다. 출력은 信頼できる 것으로 보이기 때문입니다.

경험豊富한 직원은 진리를 알고 혼란을 헤쳐나갈 수 있습니다. 그러나 시스템은 현재, 승인된, 관련된 정보를 식별하는 신뢰할 수 있는 방법이 필요합니다.

默認 지식, 신뢰할 수 없는 문서, 인간의 속도에 맞게 설계된 승인 프로세스는 별개의 문제로 보일 수 있습니다. 그러나 모두 같은 根本 원인을 공유합니다. 이들은 AI에 의해 만들어지지 않았습니다. 그러나 AI는 이들을 무시하기 더 어렵게 만듭니다.

에이전트를 구축하기 전에 답변해야 할 질문

에이전트를 배포하기 전에, 조직은 세 가지 질문에 답변할 수 있어야 합니다.

어떤 결정이 문서화되지 않은 지식에 의존합니까?

즉, 경험豊富한 직원이 의식적으로 설명하지 않고 적용하는 예외, 단축키, 판단을 식별하는 것을 의미합니다. 인터뷰만으로 이러한 지식을 모두 발견할 수 없습니다. 조직은 공식적인 프로세스와 실제 작업 수행 방식을 비교하면서 작업이 실제로 어떻게 수행되는지 관찰할 필요가 있습니다.

시스템은 어떻게 현재, 승인된, 관련된 정보를 식별할 것입니까?

에이전트에게 더 많은 문서에 접근권을 부여하는 것은 시스템이 승인된 계약과 초안을 구별하거나 활성 정책과 구식 정책을 구별할 수 없는 경우에는 문제를 해결하지 않습니다. 버전, 소유권, 승인 상태, 보존 규칙이 시스템이 어떤 출처가 의사 결정에 우선해야 하는지 식별할 수 있을 정도로 명확해야 합니다.

기존 승인 및 에스컬레이션 프로세스는 출력의 볼륨과 속도를 흡수할 수 있습니까?

팀은 에이전트가 완료할 수 있는 작업의 양만을 추정해서는 안 됩니다. 또한 생성될 수 있는 검토, 예외, 에스컬레이션의 양도 추정해야 합니다. NIST AI 리스크 관리 프레임워크는 AI 시스템의 인간 감시를 위한 역할과 책임을 명확히 정의하는 것을 권장합니다. 이러한 역할과 책임은 시스템 배포 이전에, 시스템에 의해 압도되기 전에 설계되어야 합니다.

이러한 질문은一度 답변하고 잊어버리는 것이 아닙니다. 프로세스는 변경되고, 문서는 오래되며, 문서화되지 않은 예외가 다시 축적됩니다. 따라서 준비도는 유지되어야 하며, 출시 이전에만 확립되어서는 안 됩니다.

AI 준비도는 프로세스에서 시작됩니다

AI 준비도는 기술의 테스트만이 아닙니다. 조직이 자신의 프로세스를 기술이 작동할 수 있도록 충분히 명시적으로 만들었는지의 테스트입니다.

조직을 AI에 준비시키는 것은 모델을 선택하거나 에이전트를 구축하는 것보다 더 많은 것을 포함합니다. 즉, 소유권을 명확히 하기, 권위 있는 정보를 식별하기, 예외를 문서화하기, 출력이 검토되고 에스컬레이션되고 실행되는 방식을 재설계하는 것을 의미합니다.

이것은 어려운 작업이지만, 실패한 배포는 결국 조직이 그렇게 하도록 강제할 것입니다. 변수는 타이밍뿐입니다.