AI는 여전히 코치가 필요하고 인간 감독에는 플레이북이 필요합니다

AI는 어디를 보든 존재하며, 프로 축구도 예외는 아닙니다.

NFL은 Digital Athlete를 도입했으며, 이는 데이터와 AI를 활용해 팀이 선수들의 부상 위험이 높은 상황을 식별하도록 돕습니다. 이는 훈련, 연습, 경기에서의 비디오와 데이터를 수백만 건의 시뮬레이션과 결합하여 32개 팀 모두에게 리그 전반의 트렌드 정보를 제공합니다. 코치와 트레이닝 스태프는 그 정보를 활용해 개별화된 부상 예방, 훈련, 회복 프로그램을 개발합니다.

기술이 필드를 읽어도, 최종 판단은 여전히 코치에게 달려 있습니다. 조직이 컴플라이언스와 직장 조사 등을 포함해 비즈니스 프로세스 전반에 AI 활용을 확대함에 따라 자동화 가능성은 무한해 보입니다. 하지만 어떤 작업을 AI가 수행해야 하며, 어떤 조건에서, 어떤 인간 감독과 함께 해야 할까요?

그렇기 때문에 조직의 플레이북이 방향을 제시할 수 있습니다: 코치가 AI 도구를 활용하면서도 중요한 인간 감독을 유지할 수 있게 합니다.

AI에게 전체 필드가 아니라 특정 위치를 부여하라

조사는 다양한 위험 수준을 포함합니다. AI는 초기 보고서와:

• 누락된 세부 정보를 식별한다
• 정보를 요약하여 최종 보고서로 만든다
• 타임라인을 구축한다
• 조사자가 추가로 검토하고 싶어 할 수 있는 패턴을 드러낸다

이러한 사용 사례는 수작업 정렬을 줄이고 인간 판단이 필요한 작업에 집중할 시간을 확보합니다.

AI가 주장을 요약할 수는 있지만, 그 신뢰성을 판단할 수는 없습니다. AI가 불일치를 식별할 수는 있지만, 그 원인을 판단할 수는 없습니다. 이는 가드레일 없이 AI만 사용하는 경우 조직이 곤란에 빠질 수 있는 부분입니다.

감독을 유지하려면 AI에 정의된 역할이 필요합니다. 조직은 다음을 결정해야 합니다:

• 시스템이 수행하도록 설계된 작업
• 접근할 수 있는 정보
• 허용되는 범위
• 사람이 개입해야 하는 상황

NIST의 AI 위험 관리 프레임워크는 유용한 기준을 제공합니다. NIST 로드맵은 AI RMF 프로파일을 특정 분야, 기술, 맥락 등에 적용하는 방법으로 제시합니다. 즉, 책임 있는 AI 거버넌스는 조직이 광범위한 원칙을 특정 사용 사례의 현실에 맞게 번역할 때 실행 가능해집니다.

AI 플레이북은 운영 차원에서 유사한 역할을 할 수 있습니다. 그것은 역할, 상황, 행동을 구체적으로 정의합니다.

인간 감독은 시스템 설계 문제이다

‘human in the loop’라는 문구는 책임 있는 AI 논의에서 흔히 사용됩니다. 그러나 워크플로우 어딘가에 사람이 존재한다는 것만으로 AI 시스템이 잘 관리된다는 보장은 없습니다.

NIST는 human-AI teaming을 AI 위험 관리 연구와 지침의 중요한 영역으로 식별했습니다. 여기서 강조하는 문제는 사람들이 AI가 만든 출력물을 어떻게 해석하고, 실제 환경에서 AI 시스템을 어떻게 감독하는가입니다.

인간 감독은 AI가 충분히 정교해져 스스로 운영될 때까지의 임시 방편으로 간주해서는 안 됩니다. 많은 고위험 환경에서 장기적으로 AI를 책임 있게 사용하기 위해서는 필수적인 아키텍처의 일부입니다.

A human oversight in AI governance에 대한 동료 검토 연구는 인간 감독자가 정확성과 안전성을 향상시켜 인간 가치를 유지하고 신뢰를 구축한다고 지적합니다. 그러나 인간은 항상 신뢰할 수 있는 감독자는 아닙니다. 효과적인 감독은 역량, 인센티브, 감독 역할 설계에 달려 있습니다.

조사자에게 AI가 생성한 권고안을 승인하도록 요구하는 것만으로는 충분하지 않습니다. 그들이 이를 도전할 정보나 권한이 없을 경우 말이죠. 플레이북은 인간이 관여한다는 사실뿐 아니라, 언제, 어떻게 개입할 수 있는지를 정의해야 합니다.

핸드오프는 모델만큼 중요하다

또 다른 도전 과제가 있습니다: 인간이 최종 권한을 가지고 있더라도, AI가 정보를 제시하는 방식이 이후 결정에 영향을 미칠 수 있습니다.

2025년 University of California, Santa Barbara 연구자들의 사전 인쇄 연구는 인터페이스 설계가 왜 중요한지 보여줍니다. 108명의 참가자를 대상으로 의료 의사결정 시나리오에서 6가지 형태의 AI 의사결정 지원을 테스트한 실험에서, AI 신뢰도 정보, 텍스트 설명, 성능 시각화 등 메커니즘이 인간‑AI 의사결정 정확도를 향상시켰습니다.

이 연구는 자동화 편향 위험도 강조합니다: 사람들은 잘못된 제안이라도 AI 제안에 과도하게 의존할 수 있습니다.

이 실험은 기계와 인간 사이의 핸드오프가 의도적인 설계와 테스트가 필요함을 보여줍니다.

이를 더 확장해 조사 개념을 도입하면 여러 질문이 떠오릅니다:

• 조사자는 AI가 생성한 결론만 보는가, 아니면 그 뒤의 정보를 검토할 수 있는가?

• 시스템이 불확실성을 전달할 수 있는가?

• 정보가 누락된 경우가 명확히 표시되는가?

• 조사자가 출력을 거부하고 이유를 문서화할 수 있는가?

이것은 기술적 질문만큼이나 거버넌스 질문입니다.

AI 플레이북이 답해야 할 다섯 가지 질문

유용한 AI 플레이북은 ‘책임 있는 AI’와 ‘인간 감독’ 같은 추상적인 원칙을 구체적인 운영 규칙으로 전환해야 합니다.

1. AI가 무엇을 할 수 있나요? 조직은 전체 워크플로우에 AI 사용을 허용하기보다 특정 작업을 승인해야 합니다.
2. 어떤 정보를 사용할 수 있나요? 조사와 내부 고발에 대해, 조직은 AI 시스템이 접근할 수 있는 정보와 그 처리 방식을 명확히 해야 합니다.
3. 사람은 어떻게 출력물을 평가하나요? 인간 검토자는 시스템이 만든 결과, 관련 제한 사항, 결과를 질문하기 위해 필요한 정보를 충분히 이해할 수 있는 맥락이 필요합니다.
4. 언제 인간이 개입해야 하나요? 플레이북은 개별 직원이 AI가 과도하게 작동했을 때 판단하도록 하기보다 에스컬레이션 트리거를 설정해야 합니다.
5. AI 권한은 어디까지인가? 일부 결정은 인간 판단이 필요하며, 그 책임자는 기술을 무시하거나 중단할 실제 권한을 가져야 합니다.

이러한 아이디어는 세계에서 가장 중요한 AI 규제 문서 중 하나에 반영되어 있습니다. EU AI 법령 제14조는 고위험 범주에 해당하는 AI 시스템에 대한 인간 감독 요구사항을 규정합니다. 이는 감독 조치가 시스템의 위험, 자율성, 사용 맥락에 비례해야 함을 명시합니다. 또한 감독자는 관련 능력과 제한을 이해하고, 출력물을 올바르게 해석하며, 자동화 편향에 주의하고, 출력물을 무시하거나 재정의하며, 시스템을 중단하거나 개입할 수 있어야 한다고 요구합니다.

이는 모든 조사에 사용되는 AI 도구가 자동으로 고위험 시스템이 된다는 의미는 아닙니다. 프레임워크는 AI 거버넌스에 중요한 원칙을 보여줍니다. 인간 감독은 인간에게 의미 있는 역량을 제공해야 하며, 단순히 워크플로우에 자리 잡는 것만으로는 충분하지 않습니다.

AI는 코치를 대체하지 않는다. 코치가 볼 수 있는 범위를 바꾼다.

NFL의 Digital Athlete는 AI가 코치를 대체한다는 것을 보여주는 것이 아니라, 정교한 기술이 숙련된 전문가에게 제공할 수 있는 정보를 확장한다는 점에서 설득력이 있습니다.

AI는 사람들이 정보를 정리하고, 주목할 만한 부분을 드러내며, 반복 가능한 작업에서 일관성을 높이는 데 도움을 줄 수 있습니다. 그러나 조사에서 가장 중요한 순간은 종종 다른 것이 필요합니다: 맥락, 회의적 시각, 해석, 그리고 책임감.

따라서 AI로부터 가장 큰 혜택을 받을 수 있는 조직은 기술이 자동화할 수 있는 것 이상을 요구합니다. 그들은 AI가 해야 할 일, 하지 말아야 할 일, 인간과 AI가 어떻게 협력해야 할지를 정의할 것입니다.