조달이 AI의 가장 강력한 규제 도구가 되고 있는 이유

AI 입법에 대한 모든 관심에도 불구하고, 기술을 규제하는 가장 중대한 규칙 중 일부는 전혀 예상치 못한 곳, 즉 조달 부서에서 나올 수 있습니다.

미국의 많은 규제 시작 사례와 마찬가지로, 캘리포니아는 초기 사례를 제시합니다: 주는 생성 AI를 사용하는 제품 및 서비스 구매에 대한 구체적인 요구사항을 마련했습니다. 주 기관은 GenAI 구매와 관련된 위험을 평가해야 하며, 중·고위험 사용에 대해서는 캘리포니아 기술부(CDT)의 추가 검토를 받습니다. 입찰 요청서에는 GenAI 공개 문구가 필요하고, 공급업체는 AI가 제품이나 서비스에 부수적으로 사용되는 경우에도 해당 기술 사용을 공개해야 할 수 있습니다.

거래가 완료된 후에 일어나는 일은 더욱 흥미롭습니다. 캘리포니아의 GenAI 조달 지침는 초기 구매를 넘어 감독을 확대합니다. 계약 관리자는 기술에 대한 특정 변경이 새로운 위험 평가를 촉발할 수 있기 때문에 시간이 지남에 따라 GenAI 기술을 지속적으로 모니터링해야 합니다.

이는 공급업체에게 변화를 가져옵니다. 조달을 통과하는 것이 더 이상 보안 설문에 답하고 일부 문서를 제출하는 문제만이 아니기 때문입니다. AI 거버넌스는 캘리포니아에서 비즈니스를 수행하기 위한 진입 장벽의 일부가 되고 있습니다. 그리고 이것이 현재 캘리포니아의 상황이지만, 연방 입법이 없는 경우 다른 주에도 종종 영향을 미치며, 기업이 이를 캘리포니아 조달 문제로만 보는 것은 근시안적일 것입니다.

구매자가 규칙을 만들기 시작할 때

조달 부서는 어떻게 AI 거버넌스의 최전선이 되었을까요? 정부는 입법을 논의하는 데 수년을 소비할 수 있지만, 조달 규칙은 더 즉각적인 청중, 즉 계약을 원하는 모든 사람을 대상으로 하기 때문에 보다 민첩할 수 있습니다.

포괄적인 AI 입법이 없을 경우, 구매자는 AI에 대한 자체 기대치를 설정하는 다른 방법을 찾았습니다. 계약서에 서명하기 전에 공급업체의 기술 사용에 대해 알아야 할 사항, 기대하는 증거, 그리고 감수할 수 있는 위험 수준을 스스로 결정할 수 있습니다. 특히 정부와 대기업과 같은 대규모 구매자에게 이러한 요구사항은 상당한 영향을 미칠 수 있습니다.

민간 부문의 조달 팀도 AI가 어디에 사용되는지, 적절한 통제가 존재한다는 증거가 있는지 등에 대한 질문을 시작할 자체적인 이유가 있습니다. 기업은 이미 공급업체의 보안 및 개인정보 보호 관행을 검토하는 데 상당한 시간을 투자하고 있습니다. AI 도입은 구매자가 공급업체에 데이터를 제공하거나, 기술을 핵심 프로세스에 투입하거나, 고객 및 직원에게 영향을 미치는 결정을 내리도록 허용하기 전에 이해해야 할 또 다른 위험군을 추가합니다.

귀하의 AI 위험이 다른 사람에게 귀속될 수 있습니다

캘리포니아 접근 방식의 중요한 점 중 하나는 조직의 AI 사용에 대한 명확한 경계를 그리기가 얼마나 어려워졌는지를 인식한다는 것입니다. 자체 AI 제품을 구매했든, 컨설팅 업체와 협력해 서비스를 제공받았든, 혹은 단순히 클라우드 기반 서비스를 이용했든, AI는 조직이나 그 공급망에 내재되어 있습니다.

캘리포니아의 조달 프로세스는 이 중 일부를 고려합니다. 여기에는 기술을 사용하는 컨설턴트를 포함한 GenAI와 관련된 IT 및 비IT 구매가 포함되며, 조달 과정에서 GenAI가 확인될 경우 위험 평가를 요구합니다.

이 프로세스는 사이버보안 팀이 자체 시스템을 보호하는 것만으로는 충분하지 않다는 것을 깨달았을 때와 유사합니다. 데이터나 인프라에 접근할 수 있는 공급업체의 통제가 약하면 문제가 되기 때문입니다. 이러한 인식은 제3자 사이버보안을 공급업체 위험 관리의 핵심 요소로 만들었으며, AI도 같은 방향으로 나아가고 있는 것으로 보입니다.

보안, 개인정보 보호, AI 거버넌스 및 새로운 규정 준수 의무를 위해 별도의 프로그램을 구축한 조직에게도 어색한 문제가 발생합니다. 위험은 이러한 조직 경계를 존중하지 않기 때문입니다. AI 애플리케이션은 동시에 개인정보 문제, 보안 노출 및 규제 의무를 야기할 수 있습니다.

이를 관리하기 위해 또 다른 사일로를 구축하는 것은 사각지대가 생길 가능성을 추가하는 것과 같습니다.

한 번의 컴플라이언스 입증에 대한 문제점

이미 복잡한 문제에 추가적인 복잡성을 더하는 것은 AI가 계속 변화한다는 점입니다. 모델이 업데이트되고, 공급업체가 새로운 기능을 출시하며, 직원들이 구매 당시 예상하지 못했던 방식으로 도구를 활용하고, 데이터도 변합니다. 이러한 유동성은 규제 역시 변화해야 함을 의미합니다.

하지만 많은 컴플라이언스 활동은 여전히 특정 시점에 기반하고 있습니다. 감사가 다가오면 증거를 수집하고, 고객이 설문지를 보내면 누군가가 답변을 찾아냅니다. 새로운 요구사항이 등장하면 또 다른 컴플라이언스 프로젝트가 시작됩니다.

이러한 접근 방식은 이미 번거로웠지만, AI와 함께라면 방어가 점점 더 어려워집니다. 제품을 구매할 때 수행한 위험 평가는 당시에는 정확할 수 있지만, 1년 후에는 크게 구식이 될 수 있습니다.

캘리포니아는 이를 인식하는 것으로 보이며, 그 계약 모니터링 지침은 부정확한 출력, 조작된 콘텐츠 및 편향을 포함한 GenAI 산출물에 대한 지속적인 평가를 요구합니다. 이전에 CDT 상담이 필요했던 계약에서 GenAI 기술에 대한 변경이나 추가도 재평가가 필요할 수 있습니다.

이NIST AI Risk Management Framework는 AI 위험 관리를 AI 수명 주기 전반에 걸친 지속적인 프로세스로 보며, 이를 수행하려면 다음 감사에 대비하고 끝나면 한숨 돌리는 것에 익숙한 조직과는 다른 사고방식이 필요합니다.

조달은 증거를 원하며, 급하게 서두르지 않는다

자동화된 컴플라이언스에 대한 기대감이 많이 있었으며, 특히 기업들이 늘어나는 보안, 프라이버시 및 AI 요구사항을 따라잡으려 할 때 그렇습니다. 이러한 매력은 이해할 수 있지만, 효율성을 거버넌스와 혼동할 때 위험이 발생합니다.

워크플로를 완료했다고 해서 기본 위험이 변했는지는 알 수 없습니다. 예를 들어, 6개월 전에는 특정 서비스에 AI를 사용하지 않았던 공급업체가 현재는 사용하고 있을 수 있습니다. 이러한 이유로 컴플라이언스는 결승선보다 루프처럼 작동해야 합니다. 조직은 자신이 관리하는 것이 무엇인지 알고, 통제가 여전히 제 역할을 하는지 확인하며, 새로운 위험과 요구사항이 나타날 때마다 프로세스에 반영해야 합니다.

올바르게 수행하면 조달이 훨씬 덜 고통스러워집니다. 고객이 AI가 어떻게 관리되는지 묻는다면, 답은 지난해 누군가가 감사를 위해 작성한 문서에 있지 않습니다. 실제로 위험이 어떻게 관리되고 있는지를 보여주는 현재 진행 중인 증거가 있으며, 이는 상업적으로 중요해지고 있습니다.

캘리포니아는 조달이 AI 거버넌스 원칙을 실제로 비즈니스를 원한다면 공급업체가 충족해야 하는 요구사항으로 전환할 수 있음을 보여주고 있습니다. 다른 공공 부문 구매자들도 동일하게 할 수 있으며, 기업 조달 팀은 자체 공급업체에게 더 까다로운 질문을 할 충분한 동기를 가지고 있습니다.

기업들은 결국 AI 거버넌스가 규제기관이 요구하기 때문에 하는 것이 아니라는 사실을 알게 될 수 있습니다. 조달 팀이 증명을 요구하기로 결정하면, 기업은 비즈니스를 따내기 위해 기꺼이 AI를 관리하게 될 것입니다.