루프 안의 인간은 거버넌스가 아님

AI 위험에 대한 명백한 답은 “루프 안에 인간을 넣어라.” 하지만 이 문구는 어려운 부분을 숨긴다.

루프 안의 인간은 루프가 설계되어 있을 때만 작동한다. 그렇지 않으면 인간은 세 가지 실패 중 하나가 된다:

• 병목 현상. 검토하는 검토하는 시간이 수동으로 작업하는 시간과 같기 때문이다.
• 형식적인 승인. 검토자가 검토자가 과부하되어 증거를 볼 수 없으며 비즈니스 맥락을 이해하지 못하고 승인을 클릭하여 큐를 이동시킨다.
• 세 번째 실패: 크럼플 존. 루프 안의 인간을 추가함으로써 기관은 책임자를 명명하지만 실제 통제, 시간, 권한, 중지할 수 있는 능력, 다음 실행을 변경할 수 있는 경로를 제공하지 않는다. 결과는 인간에게 영향을 미치지만 결정 서브스트레임은 변경되지 않는다.

이것이 기업 AI에 대한 대화에서 잘못된 부분이다. 우리는 검토가 필요한지 여부에 대해 논의하지만 검토가 어떻게 설계되어 있는지에 대해 논의하지 않는다. 우리는 한 사람을 추가하면 거버넌스를 생성한다고 가정한다. 하지만 그렇지 않다. 거버넌스는 검토자가 의미 있는 통제, 의미 있는 가시성, 결정 후 시스템을 개선할 수 있는 능력을 가지고 있는지 여부에 달려 있다.

인간의 검토는 가치가 있지만 의미 있는 판단을 내릴 수 있는 맥락에서 지원될 때만 가치가 있다.

검증 게이트는 검토 단계 이상이다

게이트는 일시 정지 버튼이 아니다. 그것은 검증 인터페이스이다.

에이전트 또는 자동화가 제안을 생성할 때 – 응답 초안, 추천 작업, 분류, 지불 승인, 사례 라우팅, 환불 패킷 또는 거절 편지 – 검토자는 즉시 무엇이 발생할지 그리고 왜 발생하는지 이해해야 한다.

실제 검증 게이트는 중요한 것을 보여주어야 한다: 제안된 작업, 그 뒤의 근거, 확인된 규칙, 비즈니스 전환, 사용된 권한, 기록될 감사 기록, 검토를 트리거한 불확실성 또는 예외, 승인, 편집, 거부 또는 에스컬레이션을 위한 선택지.

이러한 요소는 모두 이유가 있다. 제안된 작업은 시스템이 무엇을 하려는지 설명한다. 근거는 왜 그렇게 하는지 설명한다. 규칙과 권한은 추천이 조직 정책에 부합하는지 보여준다. 불확실성은 검토자가 왜 인간에게 도달했는지 알려준다. 함께 검토를 추측에서 검증으로 바꾼다.

검토자가 수동으로 모든 것을 재구성해야 한다면 게이트는 구축되지 않는다.

게이트의 목적은 단순히 실수를 방지하는 것이 아니다. 두 번째 목적이 더 중요하다. 그것은 기관의 판단을 캡처한다.

이것이 기업 배포에서 복합 효과가 나타나는 곳이다. 모든 실제 승인, 편집, 거부 또는 에스컬레이션 결정은 기관의 판단을 캡처한다. 그러나 이유가 캡처되지 않는다면 시스템은 아무 것도 배우지 않는다. 검토자가 승인을 클릭하지 않고 이유를 입력하면 기관은 판단을 캡처한다.

시간이 지나면 이러한 판단은 조직의 가장 귀중한 자산 중 하나가 된다. 정책이 불분명한 곳, 워크플로가 일관되게 깨지는 곳, 예외가 가장 자주 발생하는 곳, 자동화가 더 자신감을 갖거나 더 제한되어야 하는 곳을 보여준다. 목표는 단순히 더 많은 작업을 자동화하는 것이 아니다. 미래의 결정의 품질을 향상시키는 것이다. 경험이 풍부한 사람들이 오늘 판단을 어떻게 행사하는지 캡처하여.

책임은 이름이 붙은 소유자 이상이다

이 구별은 책임에 대한 조직의 생각을 변경한다.

게이트는 충분하지 않다. 이름이 붙은 소유자는 충분하지 않다. 감사 로그는 충분하지 않다.

책임은 결과 수신을 필요로 한다: 실수가 어디에 떨어져야 미래의 행동을 변경할 수 있는지.

기업은 AI를 중요한 작업에 배포하기 전에 다섯 가지 질문을 해야 한다:

1. 이 작업이 잘못된 경우 결과를 받는 사람은 누구인가?
2. 그 사람이나 시스템이 행동 이전에 의미 있는 통제를 가지고 있었는가?
3. 책임 소유자는 에이전트 또는 자동화를 검사, 제한, 재정의 또는 중지할 수 있는가?
4. 책임이 실제 통제에 비례하는가?
5. 다음 실행 이전에 무엇이 변경되는가: 기술, 규칙, 권한, 워크플로, 자동화, 검증 게이트, 이유 코드, 훈련, 또는 신뢰 클래스?

의미 있는 통제가 없는 인간 게이트는 거버넌스가 아니다. 그것은 크럼플 존이다.

루프는 캡처된 판단이 무언가를 변경할 때까지 닫히지 않는다: 기술, 규칙, 권한, 에스컬레이션 임계값, 자동화, 테스트, 검토 인터페이스, 훈련 계획, 감사 샘플, 또는 신뢰 클래스. 다음 실행을 변경하지 않는 결과는 학습이 아니라 사건이다. 조직은 의미 있는 검토가 시스템의 다음 버전을 변경할 때마다 개선된다.

가드레일은 실패를 방지한다. 평가는 신뢰를 구축한다.

조직은 또한 가드레일과 평가를 구별해야 한다. 서로 다른 문제를 해결한다.

1. 가드레일은 런타임에 행동을 강제한다. 스키마 확인, 안전하지 않은 매개 변수 차단기, 권한 확인, PII 삭제, 프롬프트 주입 방어, 도구 사용 제한은 안전하지 않은 행동을 방지하기 위해 존재한다.
2. 평가는 시간이 지남에 따라 성능을 측정한다. 품질, 드리프트, 도구 선택, 에스컬레이션 품질, 비용, 지연, 정책 준수를 검사한다. 시스템이 계속 신뢰할 수 있는지 여부를 조직에 알려준다.

한 가지 경우는 현재 결정에 대한 보호를 제공한다. 다른 경우는 미래의 결정에 대한 개선을 제공한다.

가드레일과 평가의 목적은 다르며, 책임자도 다르다. 플랫폼은 정책을 강제한다. 운영자는 결과를 평가한다. 함께 피드백 루프를 생성하여 시스템이 거버넌스를 희생하지 않고 개선할 수 있다.

시스템은 정책, 청구 기록, 지원 문서, 이전 사례, 조직의 플레이북을 검색하고 분류 패킷을 준비한다. 제안된 심각도, 누락된 증거, 사기 하위 사례를 식별하고 규칙이 요구하는 경우 이를 엽니다. 조정자는 제안된 이동, 지원 증거, 이유 코드, 감사 기록, 승인 결과를 볼 수 있다. 여러 시스템에서 사례를 재구성하는 대신 검토자는 추천 자체를 검증할 수 있다. 검증 후에 자동화는 사례를 업데이트하고, 지불을 발급하고, 추가 문서를 요청하거나, 작업을 닫는다.

청구 워크플로는 실제로 어떻게 작동하는지 보여준다. 에이전트는 프로세스를 외우지 않았다. 그것은 게시된 맵 안에서 작동했다.

아키텍처는 작업을 따라야 한다

같은 원칙이 적용된다. 작업 자체가 어떻게 조직되어 있느냐에 따라 다르다. 모든 기업 문제가 같은 모양을 갖고 있지 않으며, 거버넌스는 그것을 반영해야 한다. 어떤 작업은 목표에서 시작한다. 어떤 작업은 사례에서 시작한다. 어떤 작업은 안정적인 워크플로에서 시작한다. 아키텍처는 작업을 따라야 하며, 그 반대는 아니다.

목표 주도 배포는 경로가 아니라 결과에서 시작한다. 이 고객 에스컬레이션을 해결하라. 이 계정의 이탈 위험을 줄여라. 이 사기 신호를 조사하라. 이 갱신 계획을 준비하라. 목적지는 분명하지만, 새로운 정보가 나타남에 따라 경로가 변경될 수 있다. 마스터 에이전트는 작업을 분해하고, 승인된 에이전트와 도구를 사용하고, 승인된 자동화를 호출하고, 통제된 경계 내에서 인간 작업을 할당한다. 강점은 유연성이다. 위험은 유연성 없이 제약이 없는 경우 예측할 수 없는 결과가 나타날 수 있다는 것이다.

그 이유로 유연한 시스템은 더 강한 거버넌스를 필요로 한다, 적은 거버넌스를 필요로 하지 않는다. 명확한 워크플로우 경계, 자동화 권한, 결정 권한, 감사 기록, 에스컬레이션 규칙은 에이전트가 자신의 경로를 결정할 수 있는 자유가 커질수록 더 중요해진다. 기관은 에이전트가 작동할 수 있는 경계를 더 신중하게 정의해야 한다.

기업 AI는 모든 결정에 인간이 루프 안에 있다는 이유로 성공하지 않는다.

루프 자체를 구축하는 방법을 배우는 기관으로 인해 성공한다.