AI 정책과 현실 세계의 집행 사이에서 벌어지는 격차

AI를 다루는 단일한 규정집은 없다

AI는 이를 감독하는 데 필요한 정책과 거버넌스 체계가 정비되는 속도보다 빠르게 다양한 산업과 분야에 도입되고 있다. 과거에는 AI 애플리케이션이 주로 기존 소비자 보호·개인정보 보호·산업별 규제와 기업 자체의 내부 정책에 따라 관리됐다. 이제 각국 정부가 AI 전용 요건을 도입하고 있지만, 이러한 요건은 여전히 파편화되어 있으며 시스템이 실제로 어떻게 작동해야 하는지에 관한 지침도 부족한 경우가 많다. 따라서 기업은 외부 요건을 자체적인 위험 감수 수준, 제품 목표, 운영 현실에 맞춰 조율해야 한다.

EU는 AI법의 일부 조항을 현재 적극적으로 집행하고 있는 반면, 미국 연방 정책은 부담이 덜한 단일 국가 체계를 명시적으로 지향한다. 행정명령 14365는 상충하는 주별 요건을 제한하려 하지만, 각 주에서는 2025년에 AI 관련 조치를 1,000건 넘게 도입했다. 이들 기관은 저마다 다른 방향을 제시하고 있으며, 이를 조율하는 일은 시스템을 개발하고 배포하는 기업의 몫이 되고 있다.

그러나 규제 요건을 마련하는 것은 과제의 일부일 뿐이다. AI가 더 많은 애플리케이션과 맥락에 도입됨에 따라 기업은 폭넓은 요건과 내부 정책을 운영 통제와 개별 AI 의사결정으로 구체화해야 한다. 어떤 규제 체계도 모든 애플리케이션과 맥락, 상충 관계를 미리 예측할 수는 없다. 따라서 조직은 지배 요건과 내부 정책에서 시스템 동작, 측정 가능한 결과, 감사 또는 검토에 이르는 경로를 추적할 수 있어야 한다. NIST AI 위험관리 프레임워크도 거버넌스를 독립된 규정 준수 과제로 취급하기보다 지속적인 측정과 관리를 강조한다는 점에서 비슷한 관점을 취한다. 요건은 아래로 전달되고 증거는 위로 올라간다. 규제 당국과 경영진이 바람직한 결과를 정할 수는 있지만, 조직은 시스템이 실제로 그 결과를 내고 있는지 입증해야 한다.

이로 인해 AI 거버넌스의 실질적인 책임 상당 부분이 이러한 시스템을 배포하는 조직에 놓이게 된다.

거버넌스는 구현 단계에서 어려워진다

규제와 거버넌스 체계는 대체로 원칙과 의무, 바람직한 결과를 규정한다. 그러나 실제 운영 시스템은 이를 개별 의사결정으로 구체화해야 하며, 바로 그 과정에서 거버넌스가 어려워진다. 정책에는 차별을 방지하고, 사용자를 보호하며, 투명성을 제공하고, 의미 있는 사람의 검토를 허용해야 한다고 명시할 수 있다. 하지만 실제 운영 시스템은 훨씬 구체적인 질문에 답해야 한다. 어떤 기준점에서 조치를 취할 것인가? 어떤 증거를 바탕으로, 어느 정도의 확신을 갖고 판단할 것인가? 사람의 검토는 언제 필요한가? 어떤 내용을 기록할 것인가? 시스템이 확신하지 못할 때는 어떻게 할 것인가?

규제 당국은 이미 이러한 답변을 요구하고 있다. FTC, DOJ, CFPB, EEOC는 자동화 시스템에 대해 기존 권한을 행사하겠다고 공동으로 밝혔다. 이는 결국 누군가 기업에 시스템의 의사결정 방식에 대한 설명을 요구하게 된다는 뜻이다.

괴롭힘을 금지하는 명확한 정책을 둔 플랫폼을 생각해 보자. 욕설이 담긴 메시지도 친구 사이의 무해한 농담일 수 있지만, 겉보기에는 무해한 메시지가 다른 사용자를 겨냥한 지속적인 공격의 일부일 수도 있다. 시스템은 어떤 맥락 정보를 신뢰할 수 있게 활용할 수 있는지, 개입하려면 증거가 얼마나 충분해야 하는지, 어떤 조치가 적절한지 판단해야 한다. 메시지를 차단할 것인가, 발신자에게 경고할 것인가, 사람의 검토를 위해 상신할 것인가, 아니면 아무 조치도 하지 않을 것인가? 탐지 기준을 낮추면 유해한 행동을 더 많이 포착할 수 있지만 정당한 대화까지 억제할 수 있다. 사람의 검토를 의무화하면 판단의 질은 높아질 수 있지만 개입이 늦어질 수 있다. 괴롭힘을 금지하는 일반 정책에는 이러한 결정이 하나도 구체적으로 명시되어 있지 않지만, 이 결정들이 모여 정책이 실제로 어떻게 집행되는지를 좌우한다.

어떤 정책 문서도 이러한 상충 관계를 미리 해소해 주지 않으므로, 회사 내부의 누군가는 이를 결정하고 문서화한 뒤 다시 검토해야 한다. 조직도에 그렇게 표시되어 있든 아니든, 그 사람은 사실상 정책을 만드는 셈이다.

책임 있는 AI에 실제로 필요한 것

시스템을 구현하는 사람들이 사실상 정책을 만드는 사람이라면, 책임 있는 AI는 단순한 의향 표명으로 취급될 수 없다. 시스템이 매일 어떻게 작동하는지에 반영되어야 하기 때문이다. 이는 정책을 승인하거나 초기 평가를 통과하는 데 그치지 않고, 시간이 흐르는 동안 AI의 사용 방식과 측정, 시정 조치를 관리한다는 뜻이다. 실제로 가장 중요한 세 가지 원칙이 있으며, 각각은 앞서 살펴본 상충 관계에서 비롯된다.

• 거버넌스는 결과의 중대성에 비례해야 한다. 문구를 추천하는 AI 시스템, 대출을 승인하는 시스템, 보안 위협을 표시하는 시스템, 의료 의사결정을 지원하는 시스템은 각기 매우 다른 위험을 낳는다. 조직은 예상되는 결과에 따라 더 강력한 통제와 검토, 감독이 필요한 영역을 판단해야 한다.
• 정확성만으로는 충분하지 않다. 오류마다 초래하는 비용은 다르다. 콘텐츠 관리에서 발생한 오탐은 정당한 표현을 억압할 수 있지만, 대출·의료·보안 분야의 실수는 훨씬 더 심각한 결과를 낳을 수 있다. 거버넌스는 모델 성능만이 아니라 의사결정이 현실 세계에 미치는 영향을 반영해야 한다.
• 지속적인 평가와 피드백은 필수적이다. 사람의 개입으로 바뀐 결정, 이의 제기, 사고, 예외 사례, 후속 결과를 모두 지속적인 평가에 반영해야 한다.

내부 AI 거버넌스를 위한 실용적 프레임워크

이러한 원칙을 실제로 적용하려면 AI 시스템을 설계하고 배포하며 관리하는 방식에 거버넌스를 내재화해야 합니다. 특히 중요한 실천 방안은 네 가지입니다.

• 처음부터 거버넌스 요건을 제품 및 시스템 요건으로 다루세요. 배포 후에 추가하는 규정 준수 통제는 비용이 많이 들고 취약해지기 쉽습니다. 개인정보 보호, 투명성, 감사 가능성, 검토 체계는 나중에 뒤늦게 적용하는 것보다 시스템 설계 단계부터 반영하는 편이 훨씬 쉽습니다.
• 정책에서 의사결정까지 감사 가능한 연결 고리를 구축하세요. 조직은 적용되는 통제와 그에 따른 의사결정을 지배하는 요건 또는 내부 정책과 연결할 수 있어야 합니다. 또한 해당 결정을 평가하는 데 필요한 증거도 확보해야 합니다.
• 책임 소재와 책무를 명확히 정하세요. 누가 정책을 소유하고, 누가 허용 가능한 위험 수준을 결정하며, 누가 성과를 모니터링하는지 정해야 합니다. 시스템이 정해진 범위를 벗어나 작동할 때 개입할 권한을 가진 사람도 있어야 합니다.
• 공유 가능하고 유연하게 조정할 수 있는 거버넌스 인프라를 구축하세요. 데이터 통제, 감사 추적, 설정 가능한 정책, 검토 절차, 측정 체계는 여러 규제 요건과 활용 사례를 뒷받침해야 합니다. 통제와 임계값은 관할 지역, 적용 분야, 위험 수준에 따라 조정할 수 있어야 하며, 이를 통해 조직은 시스템을 다시 구축하지 않고도 변화하는 요건에 대응할 수 있습니다.

거버넌스는 실제로 작동해야 한다

규제는 의무와 원칙을 정할 수 있지만, 기업은 이를 대규모로 실제 의사결정을 내리는 시스템에 반영해야 합니다. 따라서 내부 거버넌스는 단순한 규정 준수 활동이 아니라 운영상의 책임입니다. AI를 대규모로 배포하는 모든 기업은 이미 임계값, 검토 규칙, 상향 보고 절차를 통해 정책을 만들어 가고 있습니다. 유일하게 남은 질문은 이를 의도적으로 하느냐는 것입니다.

규제 당국은 원하는 결과를 계속해서 제시할 것이며, 그 의견이 항상 일치하는 것도 아닙니다. 따라서 기업은 그러한 기대를 어떻게 통제로 구현할지 결정한 뒤, 통제가 제대로 작동한다는 사실을 증거로 보여줘야 합니다. 지금 명확한 책임 소재, 측정 가능한 통제, 감사 가능성, 유연한 인프라를 갖추는 기업은 규제가 계속 변화하는 상황에 더 잘 대비할 수 있습니다.

저는 사이버 보안 환경에서, 위험 모델을 구축하면서, 그리고 지금은 AI 시스템을 대규모로 운영하면서 이 문제를 여러 측면에서 경험했습니다. 모든 경우에 얻은 교훈은 비슷합니다. 프레임워크는 명확한 의사결정으로 구체화하고, 실제로 측정하며, 현실에서 드러나는 간극에 맞춰 개선할 수 있어야만 작동합니다.