AI 업계는 우리의 신뢰를 원하지만, 먼저 더 나은 통제 장치를 마련해야 한다

보안에서는 문제가 발생한 뒤에야 통제 장치가 제대로 작동하는지 확인하지 않습니다. 미리 시험하고, 실제로 문제를 일으켜 보며, 우리가 놓친 약점을 언젠가는 누군가 찾아낼 것이라고 가정합니다.

보안의 기본 원칙입니다.

그렇다면 최첨단 AI에는 왜 다른 기준을 적용해야 할까요?

AI 시스템의 자율성이 높아지고 현실 세계의 시스템에 대한 접근 권한이 확대되면서, 사이버 보안의 방어 업무를 경험한 사람이라면 누구나 우려할 만한 상황이 나타나고 있습니다. 역량이 통제보다 빠르게 발전하고 있다는 점입니다.

속도가 보안을 약화해도 된다는 핑계가 될 수는 없습니다. 오히려 더 강력한 보안이 필요한 이유입니다.

비영리단체 Guidelight AI가 Anthropic, Google, Meta, OpenAI, xAI의 AI 통제 관행에 관한 공개적으로 이용 가능한 증거를 살펴본 최근 평가에서, 전체 점수가 C+를 넘은 곳은 없었다.

그렇다고 이 기업들이 무모하게 행동한다는 뜻은 아닙니다. 공개되지 않은 곳에서 추가적인 통제 장치가 작동하지 않는다는 뜻도 아닙니다.

하지만 보안은 가정에 기대어 유지되지 않습니다. 갈수록 강력해지는 시스템을 신뢰해 달라는 요청을 받는다면, 그 시스템을 둘러싼 통제 장치가 다른 모든 분야에서 요구할 만한 수준의 엄정한 검증을 견딜 수 있다는 증거를 기대해야 합니다.

실패를 흥미로운 이야기로만 다루지 말자

AI 에이전트가 예상 밖으로 행동하거나 의도하지 않은 접근 권한을 얻거나 취약점을 드러내면, 이야기는 대개 기술이 어떤 일을 했는지에 초점을 맞춥니다.

흥미로운 이야기입니다.

하지만 가장 중요한 질문은 아닙니다.

보안 실무자라면 다음을 알고 싶어 합니다. 해당 활동이 기록되었는가? 누군가 그 상황을 목격했는가? 위험한 행동에 제한 장치가 있었는가? 누군가 시스템을 멈출 수 있었는가? 격리 계획이 있었으며, 실제로 시험해 본 사람이 있었는가?

이러한 질문은 AI만의 문제가 아닙니다. 사이버 보안 분야에서 수년 동안 던져 온 질문입니다.

그럼에도 새롭게 부상하는 최첨단 AI 통제 체계에서는 예방과 격리가 여전히 취약한 부분으로 보입니다. 제한이 적용된 작업, 비상 차단 장치, 긴급 격리에 관한 공개 증거는 여전히 제한적입니다.

이는 사건의 참신함보다 더 중요하게 다뤄져야 합니다. 문제가 생기면 무엇이 실패했는지, 상황이 더 악화되는 것을 무엇이 막았는지, 그 후 무엇이 바뀌었는지 알고 싶습니다.

투명성은 유용합니다. 그로부터 배우는 일은 더욱 중요합니다.

AI 보안의 진짜 문제는 속도다

가까운 시일 내에 가장 큰 위협은 AI가 완전히 새로운 유형의 사이버 공격을 갑자기 만들어 내는 데 있다고 생각하지 않습니다. 더 큰 문제는 훨씬 현실적입니다. AI는 이미 알고 있는 공격을 훨씬 빠르게 수행하게 만들 수 있습니다.

예전에는 몇 시간이 걸리던 연구를 이제 몇 분 만에 수행할 수 있습니다. 공격 기법을 더 빠르게 연계할 수 있습니다. 사람이 중심이 되는 보안 절차가 첫 번째 상부 보고 전화조차 마치기 전에 취약점을 찾아내고 이를 악용할 수 있습니다.

이는 오늘날의 보안 인프라 상당수가 여전히 대응할 시간이 있을 것이라고 전제하기 때문에 문제가 됩니다.

하지만 때로는 그럴 시간이 없습니다.

공격이 급속히 전개되면 티켓 발행, 회의, 승인, 수동 상부 보고를 중심으로 마련된 대응 절차는 누구든 세 번째 단계에 이르기도 전에 무용지물이 될 수 있습니다.

바로 이 점에서 AI 업계가 해야 할 일이 있습니다.

최첨단 AI 연구소가 기업들에 AI 시대에 맞춰 가시성 확보, 취약점 관리, 아키텍처, 사고 대응 방식을 재고하라고 요구한다면, 자신들도 똑같이 해 왔다는 것을 보여줘야 합니다.

“우리를 믿으라”는 말은 통제 체계가 아니다

저는 보안 테스트 분야에서 경력을 쌓아 왔으며, 한 가지 원칙은 놀라울 만큼 변함없이 유효합니다. 보안은 의도만으로 입증되지 않습니다. 증거가 있어야 합니다.

• 시험합니다.
• 모니터링합니다.
• 문제를 일으켜 봅니다.

아키텍처 다이어그램에 적힌 대로 통제 장치가 작동하지 않을 때 어떤 일이 벌어지는지 확인합니다. 그리고 필요할 때 누군가 시스템을 멈출 권한을 갖고 있는지 확인합니다. 최첨단 AI에도 똑같은 기준을 적용해야 합니다.

그러려면 통제 장치에 대한 적대적 테스트를 실시하고, 해당 장치가 작동한다는 것을 보여주는 측정 가능한 증거를 확보하며, 문제가 발생했을 때 시스템을 종료할 수 있는 명확한 권한을 마련해야 합니다.

격리 방식을 재고하는 일도 필요합니다.

최첨단 AI 연구소는 AI 에이전트가 의도된 경계를 벗어나 행동한 뒤에야 격리 방안을 즉흥적으로 마련해서는 안 됩니다. 갈수록 역량이 높은 모델을 훈련하고 시험하는 만큼, 그러한 시스템이 취할 수 있는 행동에 대해서도 책임져야 합니다. 그러려면 엄격한 적대적 테스트, 사전 승인된 보호 장치, 에이전트 권한에 대한 명확한 한계, 그리고 실패가 확산되기 전에 개입하거나 시스템을 종료할 수 있다는 검증된 방법이 필요합니다.

사람의 판단은 여전히 중요합니다. 하지만 이러한 시스템을 개발하는 연구소는 경계를 정하고, 그 경계가 지켜지는지 시험하며, 지켜지지 않을 때 책임을 져야 합니다.

그들의 책임은 에이전트가 무엇을 할 수 있는지 보여주는 데 그치지 않는다. 에이전트가 안전하게 작동하고, 그 행동을 통제할 수 있으며, 새로운 역량이 세상을 덜 안전하게 만드는 것이 아니라 더 안전하게 한다는 점을 입증해야 한다.

신뢰는 얻어야 한다

AI 혁신을 극도로 늦추자는 주장은 아니다. 보안이 혁신의 속도를 따라가야 한다는 것이다. AI의 역량을 높이는 데 막대한 자원을 투자한다면, 이를 방어할 수 있도록 만드는 일에도 그에 걸맞은 긴급성을 가져야 한다.

하지만 최첨단 AI 연구소들이 사이버 역량을 갖춘 새로운 AI 모델의 학습과 테스트를 가속화하면서, 방어 담당자들을 염두에 둬야 한다. 첫째, 방어 담당자들이 위협을 더 빠르게 탐지하고 대응하도록 도와야 한다. 더 중요한 것은 해당 시스템 자체가 위협이 되지 않도록 하는 일이다. 그러려면 외부의 검증과 감시도 받아들여야 한다.

독립적인 검토를 기업이 자신들이 전하고 싶은 이야기에 힘을 실어줄 때만 받아들이는 관행이 되어서는 안 된다. 최첨단 AI 시스템이 위협 환경을 바꿀 만큼 강력하다면, 그 통제 장치도 의미 있는 독립 검증을 견딜 만큼 견고해야 한다.

AI 업계는 우리의 신뢰를 원한다.

보안 실무자로서 나는 기꺼이 신뢰를 보낼 생각이다. 하지만 먼저 통제 장치를 보여 달라.