AI 거버넌스 계획에 야간 근무 문제가 있습니다

AI 워크플로가 새벽 2시 13분에 예외를 표시한다고 상상해 보세요. 시스템은 거버넌스 계획이 요구한 대로 정확히 작동했습니다: 멈추고 인간에게 알렸습니다. 단 한 가지 문제가 있습니다. 결정을 내릴 자격이 있는 사람은 아침 9시에 출근합니다.

그 격차는 근무 시간 외에도 운영되는 모든 작업에 영향을 미칩니다. 정책은 소유자를 지정하고 명확한 에스컬레이션 라인을 그릴 수 있습니다. 그러나 새벽 2시에는 호출을 이해하거나 실행 권한이 있는 유일한 사람이 오프라인이라면 이러한 조치도 도움이 되지 않습니다.

따라서 가용성은 제어 자체에 포함되어야 합니다. 야간에 운영되는 시스템의 경우 실질적인 질문은 단순합니다: 누가 담당하고, 무엇을 결정할 수 있으며, 어떤 정보를 확인해야 하고, 아무도 응답하지 않으면 어떻게 되는가? 답변은 교대가 바뀌어도 유지되어야 합니다.

규제는 기한이 있고, 운영은 여러 일정이 있다

규제 일정은 이 문제에 시급성을 부여합니다. 2026년 8월 2일, European Commission’s AI Office와 국가 당국은 AI 법의 적용 가능한 조항을 시행하기 시작했습니다, 그리고 새로운 투명성 규칙이 발효되었습니다.

그 날짜를 모든 고위험 AI 의무가 한 번에 시행된다는 주장으로 확대해서는 안 됩니다. 현재 위원회의 일정에 따르면 부속서 III 고위험 시스템에 대한 규칙은 December 2, 2027에 적용되며, 규제 제품에 내장된 고위험 AI에 대한 규칙은 August 2, 2028에 이어 적용됩니다.

어쨌든 보다 구체적인 운영 관점이 더 유용합니다. 거버넌스 요구사항은 정책 작업에서 집행 단계로 이동하고 있으며, 거버넌스 대상 시스템은 이미 야간, 주말 및 다양한 시간대에 걸쳐 운영되고 있습니다. 월요일부터 금요일까지의 조직도에 맞춰 설계된 제어는 결국 토요일 아침 예외 상황에 직면하게 됩니다.

많은 거버넌스 계획은 이러한 상황을 설명하지 않습니다. 시스템 소유자, 사용 사례 승인자, 위험 검토 위원회를 지정합니다. 이는 필수적인 결정이지만, 야간 운영자에게 거래를 7시간 동안 보류해야 하는지, 대기 중인 분석가가 이를 해제할 수 있는지, 대기열이 계속 증가할 경우 누가 위험을 감수하는지에 대한 정보를 제공하지 않습니다.

정책은 상자 안에 이름이 적혀 있습니다. 운영에는 시계를 보는 사람이 필요합니다.

루프 내 인간은 담당 명단을 전제로 한다

Unite.AI는 실제 검증 게이트가 의미 있는 가시성과 제어를 필요로 한다는 점을 이미 제시했습니다. 검토자는 제안된 행동과 시스템이 중단된 이유를 확인해야 합니다. 더 중요한 것은 화면이 검토자가 유용한 작업을 수행하도록 해야 한다는 것입니다: 승인, 변경, 거부 또는 프로세스 종료.

다음 설계 과제는 커버리지입니다. 잘 설계된 검토 화면도 유일한 검토자가 잠들어 있거나, 휴가 중이거나, 공식적인 인계 없이 다른 지역에서 근무하고 있다면 도움이 되지 않습니다.

여기서 “루프 내 인간”이라는 표현이 지나치게 모호해집니다. 이는 여러 다른 역할을 숨길 수 있습니다. 워크플로 소유자는 프로세스 운영에 대한 책임이 있으며, 교대 중인 검토자는 예외를 해석하고 누락된 컨텍스트를 수집합니다. 분야 전문가가 도메인 위험을 판단하고, 승인자는 제안된 행동을 허용, 변경 또는 중단할 권한을 가집니다. 예외가 더 큰 실패를 나타낼 경우, 사고 담당자가 대응을 조정합니다.

역할을 결합하는 것이 자동으로 문제인 것은 아닙니다. 낮은 위험의 워크플로에서는 가장 깔끔한 구성일 수 있습니다. 그러나 이를 문서화해야 합니다. 모델 출력에 대한 이해가 있는 분석가라도 대규모 결제를 해제하거나, 안전 제한을 무시하거나, 고객에게 영향을 미치는 행동을 승인할 권한이 없을 수 있습니다.

NIST AI Risk Management Framework은 거버넌스를 운영 구조로 간주하기 때문에 여기서 유용합니다. 그 Govern 기능은 명확한 역할, 책임 및 커뮤니케이션 라인을 요구하며, 적절한 인력이 권한을 부여받고 책임을 지며 교육받도록 합니다. 또한 인간 감독 프로세스를 정의하고, 평가하고, 문서화하도록 요구합니다. “인간이 검토할 것입니다”는 그 명확성 기준을 충족하지 못합니다.

알림이 도착하기 전에 ‘자격 있음’의 의미를 정의하라

근무 중이라고 해서 바로 결정을 내릴 준비가 된 것은 아닙니다. 비즈니스 프로세스를 잘 알더라도 특정 모델 예외를 판단할 근거가 없을 수 있습니다.

자격은 넓은 직함이 아니라 결정에 맞춰 정의되어야 합니다. 조직은 검토자가 워크플로의 목적, 시스템이 제시하는 증거, 모델의 한계, 관련 정책 기준 및 각 가능한 행동의 결과를 이해하도록 요구할 수 있습니다. 일부 역할은 최신 교육, 인증 또는 최근 감독 하에 수행한 실무 경험이 필요할 수도 있습니다.

최근성이 중요합니다. 2년 전에 교육을 마친 사람이라도 그 이후 모델, 인터페이스 및 에스컬레이션 규칙이 두 번 변경되었음에도 불구하고 정적 스프레드시트에서는 여전히 자격이 있는 것으로 보일 수 있습니다. 거버넌스 질문은 준비 증거가 현재 워크플로와 여전히 일치하는가 입니다.

권한은 별도로 기록되어야 합니다. 거래가 왜 표시되었는지 설명할 수 있는 사기 분석가를 예로 들어 보겠습니다. 해당 분석가는 증거를 평가할 충분한 자격이 있지만 설정된 금액 이상을 결제해제할 권한이 없을 수 있습니다. 따라서 야간 결정은 판단을 내릴 수 있는 사람과 행동을 승인할 수 있는 사람, 두 종류의 커버리지에 의존합니다.

이 구분은 흔한 실패를 방지합니다. 팀은 지식이 풍부한 사람을 찾고 그 가용성을 완전한 커버리지로 간주하지만, 사건 발생 시 해당 인물이 필요한 조치를 취할 수 없음을 발견합니다. 에스컬레이션은 계속해서 위로 올라가 자격과 권한을 모두 갖춘 사람에게 도달하는데, 이는 종종 운영 마감 시간이 지난 후가 됩니다.

실용적인 커버리지 정의는 네 가지 질문으로 시작합니다. 검토자는 무엇을 알아야 합니까? 어떤 증거가 이를 입증합니까? 검토자는 또한 정의된 의사결정 한계가 필요합니다. 마지막으로, 그 권한은 언제 만료되거나 재평가가 필요합니까? 이러한 답변이 서로 다른 시스템에 존재한다면, 에스컬레이션 프로세스는 사례를 할당하기 전에 이를 조정해야 합니다.

검토자에게 권한을 부여하고 시스템에 안전한 기본값을 제공

근무 시간 외 검토자는 단순 알림 이상의 것이 필요합니다. 알림은 제안된 조치와 그 근거가 되는 소스 또는 기록, 검토를 촉발한 예외, 사용 가능한 시간 및 지연 시 발생할 결과와 함께 제공되어야 합니다. 또한 검토자가 허용된 작업을 표시해야 합니다.

이러한 권한에는 경계가 필요합니다. 검토자가 제안된 조치를 승인하거나 수정할 수 있습니까? 거부는 영구적일 수도 있고, 경우에 따라 사례를 큐로 되돌리는 것에 그칠 수도 있습니다. 유사한 여러 예외가 더 넓은 워크플로우를 중단하는 근거가 될 수도 있습니다. 최종 경계는 두 번째 승인자를 호출해야 하는 시점입니다.

이 질문들은 AI 에이전트를 위한 런타임 제어 설계에 포함되어야 하며, 이미 큐가 형성된 후의 긴급 논의에 포함되어서는 안 됩니다. 일시 중지, 격리 및 제한 권한 상태는 운영 팀에게 불확실한 작업을 안전하게 보관할 장소를 제공합니다. 텔레메트리와 감사 기록은 프로세스가 대기 중일 때 발생한 일을 보여줍니다.

가장 어려운 상황은 응답이 없을 때입니다. 모든 관리되는 워크플로우는 해당 상황에 대한 사전 승인된 답변이 필요합니다. 위험 수준에 따라 시스템은 조치를 보류하거나 다음 자격 있는 교대로 큐에 넣거나, 축소된 모드로 계속 진행하거나, 영향을 받은 프로세스를 중단할 수 있습니다. 고객 지원 시스템은 일상적인 요청은 계속 처리하면서 비정상적으로 큰 환불을 일시 중지할 수 있습니다. 제조 품질 워크플로우는 라인이 무응답을 승인으로 간주하는 대신 의심스러운 배치를 격리할 수 있습니다.

침묵은 승인이 될 수 없습니다.

위임은 보호 장치가 있을 때만 작동합니다. 권한을 전달한 사람, 받은 사람, 해당 호출이 포함되는 범위, 만료 시점 및 제한 사항을 기록하십시오. 이러한 추적이 없으면 근무 시간 외 프로세스는 나중에 조합하기 어려운 일련의 메시지에 불과합니다.

교대 인수인계는 제어의 일부입니다

일부 예외는 교대 시간을 초과합니다. 퇴근하는 검토자는 증거를 수집하고 전문가와 연락했으며 최종 결정을 내리지 못한 채 하나의 옵션을 배제했을 수 있습니다. 티켓 번호와 급히 적은 메모는 충분한 인수인계가 되지 못합니다. 다음 검토자는 이미 수행된 작업을 재구성하는 데 소중한 시간을 낭비하게 됩니다.

이는 새로운 문제는 아닙니다. 안전이 중요한 작업에서는 인수인계를 독립적인 업무로 오랫동안 다루어 왔습니다. 영국 보건·안전청은 효과적인 교대 인수인계를 세 부분으로 구성된 프로세스로 설명합니다: 퇴근 직원의 사전 준비, 작업 관련 정보 교환, 그리고 책임을 인수하는 직원이 수행하는 교차 검증. 이 지침은 서면 및 구두 정보로 뒷받침되는 양방향 커뮤니케이션을 선호하며, 작업을 수행할 충분한 시간과 자원을 확보하도록 권고합니다.

AI 예외 인수인계도 동일한 규율이 필요하며, 워크플로우에 맞게 조정되어야 합니다. 기록에는 제안된 조치, 시스템이 제공한 증거, 에스컬레이션 사유, 이미 수행된 단계, 배제된 옵션, 남은 시간 및 현재 위험 등급이 포함되어야 합니다. 또한 양쪽 모두에 명시된 소유권이 필요합니다.

가장 중요한 부분은 확인입니다. 로그는 정보가 기록되었음을 보여줄 수 있지만, 인수인계받는 검토자가 사건의 상태를 이해했거나 다음 결정에 대한 책임을 수락했음을 증명하지는 못합니다. 교차 검증은 인수인계받는 사람이 누락된 증거에 이의를 제기하고, 마감일을 확인하며, 다음 허용 행동을 재진술할 기회를 제공합니다.

여기서는 인터페이스 설계가 중요합니다. 인수인계 화면은 모델의 논리, 인간의 메모, 권한 상태를 별도의 탭에 숨겨서는 안 됩니다. 인수인계받는 검토자는 이전 교대 동안 어떤 변화가 있었는지와 아직 확인이 필요한 사실을 확인할 수 있어야 합니다. 그렇지 않으면 각 인수인계마다 상황이 사라지는 새로운 위험이 발생합니다.

교대별 자격 있는 커버리지 매핑

대부분의 팀은 AI 워크플로와 연관된 인원 목록을 만들 수 있습니다. 그러나 모든 운영 기간에 적절한 지식과 권한이 조합되어 있음을 보여줄 수 있는 팀은 적습니다.

실용적인 시작점은 역할별·교대별 보기입니다. 명단상의 이름이 아니라 실제 의사결정을 기준으로 보기를 구성하십시오. 가능한 각 에스컬레이션에 대해 필요한 지식, 현재 역량을 입증하는 방법, 필요한 권한을 기록합니다. 그런 다음 이를 야간, 주말, 휴일을 담당하는 인원과 대조합니다.

스킬 또는 역량 매트릭스는 예외가 발생하기 전에 교대, 역할 및 현장 전반에 걸쳐 적격한 커버리지를 매핑함으로써 인력 위험을 가시화할 수 있다. 매트릭스는 한 사람이 중요한 검토에 대한 현재 유일한 자격을 보유하고 있거나, 인증이 계획된 배포 중에 만료될 예정이거나, 주말 교대에 기술 전문성이 있지만 최종 승인자가 없다는 사실을 드러낼 수 있다.

그 격차는 구체화된다. 그러나 이러한 가시성이 누군가가 작업을 수행할 수 있다는 증거가 되는 것은 아니다. 실제 실무 경험, 현재 교육 및 관찰된 의사결정이 여전히 중요하며, 매트릭스는 법적 또는 조직적 권한을 부여할 수 없기 때문이다. 매트릭스의 역할은 더 좁다: 커버리지 모델이 가정, 오래된 기록 또는 단일 인물에 의존하고 있는지를 보여주는 것이다.

격차가 드러나면 팀은 선택지를 갖는다. 다른 검토자를 교차 교육하거나, 온콜 커버리지를 조정하거나, 야간 작업 흐름의 권한을 축소하거나, 커버리지가 개선될 때까지 안전한 대체 방안을 변경할 수 있다. 올바른 대응은 지연의 결과와 잘못된 결정의 결과에 따라 달라진다. 위험이 낮은 대기열은 기다릴 수 있다. 안전 관련 예외는 즉각적인 전문가 커버리지를 요구하거나 강제 중단이 필요할 수 있다.

커버리지는 문서화에 그치지 않고 테스트되어야 한다. 근무시간 외 연습을 실행한다. 대표적인 예외 상황을 발생시키고, 에스컬레이션 경로를 따라가며, 지정된 인물이 허용된 시간 내에 행동할 수 있을 만큼 충분한 맥락을 받는지 측정한다. 그런 다음 교대 교체 시에도 테스트를 반복한다. 서류상의 커버리지는 첫 번째 메시지가 오래된 전화번호로 전송되거나 승인 한도가 너무 낮은 사람에게 도달할 때까지는 안심이 될 수 있다.

야간 교대 테스트 실행

기업 거버넌스는 이미 정의된 소유자와 에스컬레이션 경로에 의존한다. 야간 교대 테스트는 평소 담당자가 책상에 없을 때에도 이러한 구조가 여전히 활용 가능한지를 확인한다.

실제 워크플로와 타당한 예외 상황 하나를 시작점으로 삼는다. 가장 불편한 시간에 누가 알림을 받는지 확인한다. 그 사람이 정확히 그 판단을 내릴 자격이 있는지 확인한 뒤, 그가 승인, 변경, 중단 또는 위임할 수 있는 범위를 검토한다. 응답이 없을 경우의 경로를 따라간다. 마지막으로, 해결되지 않은 사례를 교대 인수인계 과정에 넘겨서, 새 검토자가 조사를 다시 시작하지 않고도 상태를 설명할 수 있는지 확인한다.

테스트는 보통 일상적인 문제를 드러낸다: 온콜 로테이션이 없는 역할, 현재 모델과 일치하지 않는 자격 기록, 한도가 너무 낮은 승인자, 혹은 소유권 이전 없이 메모만 전달되는 인수인계 등. 일상적인 문제는 좋은 신호이다. 이러한 운영상의 문제는 실시간 예외가 마감 기한을 앞두고 발생하기 전에 발견된다면 해결 가능하다.

AI 워크플로는 밤새 실행될 수 있다. 그 거버넌스도 동일하게 해야 한다.