최소화는 AI 거버넌스에 가장 적합한 접근법인가?

조직이 인공지능(AI)을 업무에 통합함에 따라 AI의 개발과 사용에 수반되는 위험을 관리할 명확한 방안이 필요하다. 효과적인 거버넌스는 감독 기능을 제공하지만, 복잡한 절차는 자원을 소모하고 도입을 늦출 수 있다. 최소화는 불필요한 데이터 사용을 제한하면서 책임성과 안전장치를 유지해 거버넌스를 목적과 위험에 더욱 비례하도록 운영하는 한 가지 방안이 될 수 있다.

AI 거버넌스가 중요한 이유

AI 거버넌스는 조직이 AI 시스템을 개발하고 배포하며 사용하는 방식을 안내하는 정책과 책임, 감독 체계를 수립한다. 이를 통해 조직은 위험을 파악하고, 의사결정 권한을 배분하며, 성능을 모니터링하고 문제를 해결하기 위한 절차를 마련할 수 있다.

조직은 AI를 도입할 때 개인정보 침해, 보안 취약성, 편향된 결과, 부정확한 출력, 제한된 투명성 등 여러 위험을 고려해야 한다. 적절한 통제 장치가 없으면 AI가 내린 결정이 고객과 직원, 기타 이해관계자에게 영향을 미칠 수 있으며, 그 영향을 바로잡기 어려울 수 있다. 거버넌스는 조직이 적용되는 법적 요건을 충족하고 AI 사용을 사업 목표에 부합시키는 데도 도움이 된다.

International Association of Privacy Professionals는 조사에 참여한 조직의 77%가 2025년에 AI 거버넌스를 추진하고 있었다고 보고했다. 이 결과는 조직들이 이 주제에 상당한 관심을 기울이고 있음을 보여준다. 다만 거버넌스를 추진하고 있다는 사실만으로 조직이 거버넌스 체계를 완성했거나 전면적으로 도입했다는 뜻은 아니다.

명확한 책임 체계와 지속적인 모니터링은 조직이 새롭게 나타나는 문제를 파악하고, 예상치 못한 결과를 조사하며, 시스템이 바뀔 때 통제 장치를 조정하는 데 도움이 된다. 효과적인 거버넌스는 조직이 AI 사용의 영향을 고려하고 의사결정에 책임을 진다는 점을 보여줌으로써 이해관계자의 신뢰를 높일 수도 있다.

AI 거버넌스의 과제

거버넌스는 조직이 AI 위험을 관리하는 데 도움이 되지만, 효과적인 감독 체계를 수립하고 유지하는 일은 쉽지 않을 수 있다. 감독 범위를 정하려면 어떤 AI 시스템과 활동, 종속 요소에 거버넌스가 필요한지 판단해야 한다.

AI 거버넌스의 범위를 명확히 설정하기 위해 조직은 AI 관리 시스템의 수립과 유지에 필요한 요건을 제시하는 ISO/IEC 42001을 참고할 수 있다. 이 표준을 준수하면 모델 성능을 향상할 수 있으며, 이를 통해 더 빠르고 안전한 AI를 구현할 수 있다. 또한 조직의 운영 중 어느 부분이 AI 관리 시스템의 적용 범위에 포함되는지 판단하는 데 도움이 된다. 이 표준은 지리적 적용 범위, 다른 시스템과의 연계, AI 활동의 범위를 고려한다.

그 밖의 주요 과제는 다음과 같다.

• AI 시스템의 복잡성: AI 애플리케이션은 서로 연결된 모델과 데이터 세트, 타사 도구, 자동화된 의사결정에 의존할 수 있다. 이러한 종속 관계 때문에 출력 결과를 추적하고 취약성을 파악하며 통제가 필요한 지점을 판단하기 어려울 수 있다.
• 데이터 개인정보 보호 및 보안: 조직은 데이터 수집, 모델 학습, 배포, 지속적인 사용 전 과정에서 민감한 정보를 보호해야 한다.
• 편향과 제한된 투명성: 대표성이 부족한 학습 데이터는 불공정한 결과를 초래할 수 있으며, 모델의 작동 방식이 불투명하면 의사결정을 설명하고 평가하거나 이의를 제기하기 어려울 수 있다.
• 변화하는 규정과 표준: 여러 관할권에서 사업을 운영하는 조직은 서로 다르거나 계속 바뀌는 법적 요건을 적용받을 수 있다. 거버넌스 절차는 불필요한 중복을 만들지 않으면서 관련 의무를 반영해야 한다.
• 자원 및 운영상의 제약: 전문 인력의 역량, 문서화, 검토, 지속적인 모니터링에는 시간과 비용이 필요하다.
• 감독과 혁신의 균형: 과도한 승인 요건은 프로젝트를 지연시킬 수 있는 반면, 통제가 미흡하면 중대한 위험을 방치할 수 있다.

이러한 과제는 불필요한 복잡성을 줄이는 것이 중요하다는 점을 보여준다. 그러나 거버넌스를 간소화할 때도 사람과 정보를 보호하고 조직의 책임성을 보장하는 통제 장치를 마련해야 한다.

예를 들어 New York State Comptroller는 New York City 산하 기관들이 AI 감독에 일관성 없는 접근 방식을 취했다고 밝혔다. 일부 기관에는 편향과 정확성을 평가할 정책이 없었다. 이 조사 결과는 복잡성을 줄이려면 책임성을 유지할 수 있도록 명확하고 일관된 거버넌스 기준이 필요하다는 점을 보여준다.

AI 거버넌스에서 최소화가 의미하는 것

AI 거버넌스에서 최소화란 위험 관리에 필요한 조치는 유지하면서 불필요한 데이터 사용과 행정 부담을 줄이는 것을 말한다. 여기에는 데이터 최소화와 거버넌스 최소화라는 두 가지 주요 측면이 있다. 두 측면 모두 AI 관행이 그 목적과 잠재적 영향에 더욱 비례하도록 하는 데 목적이 있다.

데이터 최소화

데이터 최소화는 정의된 목적을 위해 AI 시스템에 필요한 범위로 정보의 수집, 보관, 처리 및 공유를 제한합니다. 조직은 민감한 정보에 대한 접근을 제한하고, 적절한 경우 익명화된 데이터나 합성 데이터를 사용해 이 원칙을 적용할 수 있습니다.

불필요한 데이터를 줄이면 개인정보 노출 위험과 조직이 보호해야 할 정보의 양을 낮출 수 있습니다. 그러나 데이터 최소화에는 신중한 판단이 필요합니다. 관련 정보를 제거하면 모델의 정확도가 떨어지거나 다양한 집단이 충분히 반영되지 않을 수 있으며, 편향된 결과를 파악하기가 더 어려워질 수도 있습니다. 조직은 의도한 목적을 달성하고 신뢰할 수 있고 공정한 결과를 뒷받침하는 데 어떤 데이터가 필요한지 판단해야 합니다.

거버넌스 최소화

거버넌스 최소화는 감독 절차를 간소화하는 데 중점을 둡니다. 조직은 중복되는 검토 절차를 통합하고 적절한 경우 평가 결과를 재사용할 수 있습니다. 또한 의사결정 권한을 명확히 하고 실질적인 위험 보호 효과를 더하지 않는 승인 단계를 없앨 수 있습니다.

이러한 변화는 팀의 책임을 명확히 하는 동시에 행정 비용과 지연을 줄이는 데 도움이 됩니다. 그러나 거버넌스 최소화가 필수 문서화, 독립적인 검토, 사람의 감독 또는 의무 통제를 없애서는 안 됩니다. 목표는 책임성을 유지하면서 감독의 효율성을 높이는 것입니다.

AI 거버넌스를 위한 최소화 전략

조직이 각 활용 사례의 위험에 맞춰 데이터 관리 방식과 감독 요건을 조정하면 최소화 접근법을 통해 AI 거버넌스의 효율성을 높일 수 있습니다. 여러 조치를 활용하면 책임성, 안정적인 성능, 적절한 안전장치를 유지하면서 불필요한 복잡성을 줄일 수 있습니다.

위험 기반 접근법 채택

조직은 AI 시스템을 의도된 용도, 잠재적 영향, 데이터 민감도에 따라 분류할 수 있습니다. National Institute of Standards and Technology의 AI Risk Management Framework는 거버넌스, 매핑, 측정, 관리의 네 가지 기능을 통해 AI 위험을 관리하는 체계를 제공합니다. 조직은 이러한 기능을 활용해 위험을 식별하고, 그 중요성을 평가하며, 적절한 대응 방안을 결정할 수 있습니다.

명확한 데이터 요건 정의

데이터 수집을 시작하기 전에 각 AI 시스템의 목적을 명확히 정해야 합니다. 그런 다음 조직은 필요한 데이터 범주를 파악하고, 관련 없는 필드를 제거하며, 접근을 제한하고, 적절한 보관 기간을 설정할 수 있습니다. 데이터셋을 줄인 뒤에도 정확하고 공정한 결과를 뒷받침하는지 테스트를 통해 확인해야 합니다.

모델과 컴퓨팅 자원 최적화

모델 최적화, 효율적인 알고리즘, 에너지 효율이 높은 하드웨어는 불필요한 컴퓨팅 부담을 줄이는 데 도움이 됩니다. 기업은 연합 학습을 검토할 수 있습니다. 연합 학습은 대량의 정보를 전송할 필요를 줄입니다. 이러한 관행은 데이터 개인정보 보호를 지원하면서 컴퓨팅 비용과 에너지 소비를 낮출 수 있습니다. 

거버넌스 업무 흐름 간소화

조직은 중복되는 검토 절차를 통합하고, 동일한 위험을 다루는 평가를 재사용하며, 책임을 명확히 하고, 위험 수준에 따라 승인 경로를 정할 수 있습니다. 표준화된 절차를 마련하면 팀은 일상적인 활용 사례를 효율적으로 처리하고, 더 복잡한 사안은 적절한 전문가에게 맡길 수 있습니다.

필수 안전장치 유지

최소화 접근법을 적용하더라도 개인정보 보호 및 보안 조치, 편향 평가, 적절한 사람의 감독, 감사 추적 기록, 사고 대응 절차는 유지해야 합니다. 또한 조직은 간소화된 절차가 관련 법률 및 규제 의무를 계속 충족하는지 확인해야 합니다.

성능 모니터링 및 통제 재평가

AI 시스템이 발전하거나 새로운 사용자에게 제공되거나 추가 작업을 지원하게 되면 거버넌스 요건이 달라질 수 있습니다. 조직은 시스템 배포 후 정확성, 공정성, 개인정보 보호 위험을 모니터링해야 합니다. 또한 여건이 변함에 따라 데이터 요건과 감독 절차를 재검토해야 합니다.

AI 거버넌스에 최소화 접근법 적용하기

최소화는 위험 기반 거버넌스 전략의 일부로 활용할 때 가장 효과적입니다. 그러나 적절한 최소화 수준은 AI 시스템의 목적, 복잡성, 잠재적 영향에 따라 달라집니다. 조직은 효율성과 적절한 안전장치, 책임성, 지속적인 평가 사이의 균형을 맞춤으로써 책임 있고 신뢰할 수 있는 AI 활용을 유지하면서 AI 거버넌스를 간소화할 수 있습니다.