영국, AI 위험 대응 패키지 발표하고 사이버 방어 시범 사업 확대

영국 정부는 갈수록 강력해지는 AI가 초래하는 위험으로부터 영국을 보호하기 위해 2026년 10월 12일 일련의 조치를 발표했다. 여기에는 정부 시스템 전반에서 잠재적 취약점 1,000건 이상을 이미 찾아내고 해결하는 데 도움이 됐다고 정부가 밝힌 프런티어 AI 사이버 방어 프로그램의 확대도 포함된다.

이번 발표는 내각부, AI 보안 연구소(AISI), 국가사이버보안센터(NCSC), 디지털·문화·미디어·스포츠부가 공동으로 내놓았다. AI 담당 장관 Kanishka Narayan은 Imperial College London의 과학기술 창업 보육 시설인 Base One에서 조치를 설명하며, 사회 전체가 참여하는 회복력 강화 방안을 제시했다. 그는 프런티어 AI 시스템이 더욱 강력해지고 자율적으로 행동할 수 있게 되면서, 시스템 장애나 악의적 사용으로 인한 잠재적 결과가 훨씬 심각해질 수 있다고 경고했다.

Narayan은 “인공지능을 이용한 공격이 세계에서 가장 어려운 나라 중 하나가 되도록 영국을 만들고 싶다”고 말했다. 그는 필요하다면 법률을 제정하고, 갈수록 강력해지는 시스템을 이해하고 새롭게 등장하는 위협에 대응하며 문제가 발생했을 때 조치를 취하기 위해 영국의 과학 전문성, 기술 역량과 기관에 의존하겠다고 약속했다. 또한 세계에서 가장 강력한 AI 시스템을 개발하는 기업들은 과학자들이 심각한 위험에 대해 보내는 경고에 귀를 기울이고, 예상치 못한 동작을 조사하며, 위험을 적절히 통제할 수 없는 시스템은 출시하지 말아야 한다고 말했다.

이번 조치는 취약점을 찾아 해결하고 잠재적인 사이버 위협을 탐지하는 데 도움이 된 두 차례의 시범 사업을 토대로 한다고 발표문은 밝혔다. 정부는 프로그램을 확대하면 사람들이 매일 의존하는 공공 서비스를 보호하고, 단기적으로 위험을 줄이며, 공공 부문 전반에서 장기적으로 AI를 도입하는 데 도움이 될 것이라고 말했다.

사이버 보안 법안 개정과 AI 사고 대비

정부는 병원과 공공시설 같은 필수 서비스가 AI 관련 신종 위험으로부터 더 잘 보호받도록 사이버 보안 및 회복력 법안의 일부 조항과 더 광범위한 규제 체계를 강화하는 방안을 검토하겠다고 밝혔다. 여기에는 자율 시스템이 인간의 감독을 벗어나는 AI 통제 상실 위험도 포함된다. 또한 심각한 AI 사고와 사고로 이어질 뻔한 상황을 어떻게 식별하고 보고할지, 향후 피해 위험을 줄이기 위해 교훈을 어떻게 신속하게 얻을지도 검토할 예정이다. 구체적인 조치는 이를 시행해야 하는 의원, 기술 전문가 및 운영자와 협의해 마련한다.

NCSC 및 AISI와 함께 AI 에이전트가 관련된 사고에 어떻게 대응할지도 검토하고 있다. AI 에이전트는 사람의 감독이 거의 없어도 복잡한 작업을 수행할 수 있는 시스템이다. 발표문에 따르면 이런 사고는 정부가 대응하도록 설계된 다른 대형 사고보다 더 빠르게 전개되고 더 넓게 확산될 수 있으며, 이에 대응하려면 새로운 전문성과 역량이 필요하다.

이번 대책에는 AI 검증도 포함된다. 발표문은 AI 검증을 AI 시스템의 개발·시험·평가 방식에 관한 주장이 면밀한 검토를 견뎌내는지 확인하는 신흥 분야라고 설명했다. 정부는 영국이 이 분야에서 주도적인 역할을 맡기에 유리한 위치에 있으며, 영국의 AI 검증 활동을 지원하는 방안에 관한 자세한 내용은 앞으로 몇 달 안에 발표하겠다고 밝혔다.

사이버 담당 장관 Liz Lloyd는 민간과 공공 부문의 크고 작은 조직이 사이버 사고로 계속 피해를 입고 있다며, 사이버 보안에 선제적으로 대응하는 일이 기업 운영에 필수적이라고 말했다. Lloyd는 “공공 서비스를 보호하기 위해 AI를 시험하는 프로젝트를 확대하고 방어력을 강화하는 사이버 법안을 추진함으로써, 정부는 사이버 보안과 AI 대비를 영국 디지털 미래의 핵심에 두고 있다”고 말했다.

취약점 수치의 근거가 된 시범 사업

발표문은 수치의 근거로 과학·혁신·기술부(DSIT)와 NCSC가 2026년 6월 12일에 발표한 사례 연구를 인용했다. 이 연구에는 NCSC와 DSIT의 협력 조직인 정부 사이버 조정 센터(GC3)가 프런티어 AI를 활용해 정부 전반의 공개 코드 저장소를 검사하는 대면 해커톤을 매주 진행한 시범 사업이 기록돼 있다. AISI와 NCSC 전문가들과 협력한 팀들은 악용되기 전에 이전에 발견되지 않은 취약점을 찾아 완화하고자 했다. GC3는 단일 접근 방식을 의무화하지 않았으며, 각 팀은 모델에 접근할 수 있었고 자체 도구를 구축했다.

사례 연구에는 여러 작업 흐름이 소개돼 있다. 한 팀은 각 공개 저장소를 6단계 AI 에이전트 체인(분류, 검증, 감사, 추적, 판정, 요약)에 통과시켰다. 각 단계는 앞선 단계의 결과를 읽고 검토하며, 사람이 직접 개입하는 절차도 마련했다. 팀원은 모든 코드를 확인하고, 노출 여부를 다시 검증하며, 오탐을 처리했다. 다른 팀은 먼저 Gitleaks, Trivy, Semgrep, Hadolint를 비롯한 기존 검사 도구를 실행한 다음, 취약점 발견, 공격 경로 조사, 분류를 담당하는 세 단계의 모델을 추가했다. 또 다른 부서는 수백 개 서비스에 걸친 조직 전체 감사를 5개의 분야별 Claude Skills로 압축했다.

사례 연구에 따르면 참여자들은 총 407건의 문제를 확인했으며, 여기에는 서비스의 인증 우회, 데이터 노출, 원격 코드 실행을 가능하게 하는 심각한 취약점도 포함됐다. 한 달 동안 9개 정부 기관에서 사용한 토큰 비용은 13,000파운드였으며, 모든 심각한 취약점을 수정했고 어떤 문제에서도 악용된 증거는 발견되지 않았다. 저자들은 기존 스캐너로는 할 수 없는 방식으로 모델이 서비스 경계를 넘어 취약점을 추적하고, 비즈니스 로직을 기술적 세부 사항과 연결했다고 밝혔다.

심각한 문제 중 하나는 주요 정부 디지털 서비스를 지원하는 저장소의 레거시 GitHub Actions와 관련이 있었다. 특별히 조작된 공개 풀 리퀘스트 댓글을 통해 외부 사용자가 워크플로 연쇄 실행을 유발하면 GitHub Actions 러너에서 임의의 원격 코드 실행이 가능해지고, 해당 워크플로에서 사용할 수 있는 비밀 정보와 토큰을 탈취할 가능성이 있었다. GC3는 더 많은 부서와 추가 모델을 참여시키고, 공개 코드에서 비공개 소스 환경으로 범위를 넓혀 파일럿 2단계를 시작할 예정이다.

모델 평가와 정부 차원의 확대 계획

Narayan은 주요 AI 개발업체 및 미국 정부와 협력해 온 데 이어, AISI 과학자들이 최신 세대의 첨단 AI 모델을 엄격하게 평가하고 있다고 확인했다.

이번 발표는 2026년 4월 15일에 발표된 기업 리더들에게 보내는 공개 서한도 소개했다. 서한에서 DSIT 장관 Liz Kendall과 안보 담당 장관 Dan Jarvis는 기업에 조직 최고위층에서 사이버 보안을 중시하고, 정부의 Cyber Essentials 제도를 통해 기본을 철저히 갖추며, NCSC의 조언을 따르라고 촉구했다. 여기에는 잠재적인 사이버 공격을 조직에 알리는 NCSC의 무료 Early Warning 서비스에 가입해 사고가 확대되기 전에 대응하는 것도 포함된다.

발표에 따르면 이번 조치는 더 긴 여정의 첫걸음이며, 총리의 AI 태스크포스가 더 폭넓은 작업을 주도하고 있다. 발표는 9월 유엔 총회에서 총리가 AI 위험이 발생할 때마다 영국 국민을 보호하기 위해 필요한 모든 조치를 취하겠다고 약속한 사실을 언급했으며, 영국의 G20 의장국 활동에서 AI가 핵심 의제가 될 것이라고 밝혔다. 앞으로 몇 달 동안 태스크포스는 국가 안보와 경제 성장, 공공 서비스와 노동력의 미래 등 AI의 영향을 가장 크게 받는 분야에 집중할 예정이다.