기업 AI 가드레일은 최첨단 AI보다 더 중요할 수 있다

AI 최전선은 잊어라. 고객들은 이미 사용 중인 AI에 더 강력한 안전장치를 마련하라고 기업에 요구하고 있으며, PCI DSS의 경험은 유용한 본보기가 된다.

AI 규제의 밀월기는 끝났다. 최근 공개된 사례들로 최첨단 AI 개발 속도를 늦추고 통제를 의무화하자는 논의가 촉발됐다. 몇 안 되는 공통된 의견 중 하나는 통제가 모델 외부에 있어야 하며 독립적인 검증을 거쳐야 한다는 것이다.

앞으로 어떤 일이 벌어질지는 논의 중이지만, 규제 당국은 움직이고 있다. 유럽연합 AI법은 구매자의 책임을 포함한 보안 의무를 단계적으로 도입하고 있다. 미국에서는 NIST AI 위험 관리 프레임워크가 합리적인 주의 의무의 기준으로 채택되고 있다. 전 세계적으로는 OWASP LLM 애플리케이션 상위 10개 항목이 보안 검토에서 흔히 참고하는 자료가 되었으며, ISO/IEC 42001 인증도 조달 문서에 등장하고 있다.

따라서 책임을 지는 주체가 모델 개발자에만 국한되지는 않는다. 이미 출시된 모델을 사용하는 기업에도 보안 의무와 위험이 따르며, 특히 고위험 사용 사례에서 그렇다. 고객의 보안 설문이나 제안요청서(RFP)에 잘못 답하면 기업 간(B2B) 거래가 지연될 수 있다.

PCI DSS가 보여 주는 길

다행히 이런 상황은 낯설지 않다. 20년 전 웹 애플리케이션 보안은 주로 정기적인 코드 감사와 정적 분석, 개발자의 주의에 의존했다. 그러다 2006년에 발표되어 2008년부터 시행된 PCI DSS 요구사항 6.6에 따라 카드 소지자 데이터를 처리하는 조직은 모든 애플리케이션 코드에서 취약점을 검토하거나 자동화된 기술적 통제를 설치해야 했다. 이후 코드 검토라는 선택지는 사라지고 기술적 통제가 의무화됐다.

하지만 PCI DSS는 법률로 시작된 것이 아니다. 시장을 재편한 계약상 표준으로 시작됐으며, 계약은 정부 법령보다 빠르게 움직이기 때문에 법률보다 더 빠르게 변화를 이끌었을 가능성이 크다.

마찬가지로 이제 조직들은 규제 당국이 아니라 고객과 파트너로부터 배포된 AI에 안전장치를 마련하라는 압박을 받고 있다. 보안 설문, 제안요청서(RFP) 조항, 보험 약관 요건을 통해서다.

운영 문제를 해결하면 규정 준수는 뒤따른다

이러한 압박에 대응하기 어려울 수 있다. AI 거버넌스는 정책만의 문제가 아니기 때문이다. 지속적으로 확보되는 기술적 증거도 중요하다.

제가 이야기를 나누는 많은 기업은 운영 환경에서 여섯 개 이상의 모델을 실행하고 있으며, 한 모델의 출력이 다른 모델의 입력이 되도록 모델을 자주 연쇄적으로 연결하거나 오케스트레이션한다. 이런 환경에서 PII가 모델 출력에 포함되지 않도록 하는 것과 같은 정책 하나라도 시스템 전반에 걸쳐 시행되고 있음을 입증한다고 상상해 보라. 개별적으로 구성된 여러 모델을 수동으로 감사하면 개발자의 시간이 크게 소모될 것이다. 또한 대부분의 조직은 직원이 민감한 데이터를 소비자용 AI 도구에 붙여 넣거나 SaaS 제공업체가 새 AI 기능을 조용히 활성화하는 등 승인되지 않은 고위험 AI 사용 문제로 어려움을 겪는다. 그런데도 책임은 전적으로 기업에 있다.

이처럼 까다로운 상황에서 요구사항은 하나의 간단한 과제로 요약할 수 있다. 모델의 입력과 출력을 지속적으로 제한하고, 검증할 수 있도록 그 활동을 기록할 수 있음을 입증하는 것이다. 애플리케이션이 모델을 호출하고, 에이전트가 도구를 실행하며, 모델이 작업을 수행하거나 워크플로를 시작할 때 통제해야 하는 것은 바로 그 행위, 즉 도구 호출, API 요청, 워크플로 시작이다.

보안 통제를 추론 경로로 옮겨라

그 행위가 바로 애플리케이션 보안 전문가들이 20년 동안 애플리케이션 트래픽을 위해 구축해 온 통제 지점이다. 특히 추론이 공유 인프라를 통해 라우팅될 때 추론 경로는 여러 모델은 물론 승인되지 않은 AI 사용까지 아우르는 이상적인 통제 지점이 된다. AI 추론 트래픽은 다른 중요한 애플리케이션 상호작용과 마찬가지로, 트래픽의 출처와 수행하려는 작업을 바탕으로 전달하고 검사하며 인증하고 관리해야 한다. 수동 감사와 달리 추론 트래픽 관리는 확장할 수 있다.

시작하는 방법

규제가 향하는 방향을 고려할 때, 조직은 지금 다음 세 가지를 시작해야 한다.

1. SaaS API와 호스팅 엔드포인트부터 섀도 AI까지, 책임이 발생할 수 있는 범위를 파악한다.
2. 보안 정책과 집행을 모델에서 분리해 추론 경로에 둔다.
3. 모델과 에이전트의 통제를 받지 않는 감사 추적을 생성한다. 모델과 에이전트가 자신들의 행위 기록을 변경하려 한 사례가 확인된 바 있다.

무엇이 적절한 모니터링과 통제에 해당하는지는 아직 결정되는 중이다. 그러나 기업의 운영 및 보안 팀은 실제로 집행할 수 있는 것이 무엇인지, 통제가 지연 시간과 복잡성 측면에서 어떤 비용을 초래하는지, 선의로 만든 규칙이 어디에서 잘못된 결과를 낳을 수 있는지 알고 있다. 지금 이들을 참여시켜라. AI 사용에 따르는 보안 위험과 의무는 현실이며, 고객과 경영진은 내일의 최첨단 모델 위협보다 자신들이 오늘 직면한 위험과 의무에 분명 더 큰 관심을 갖는다.