OpenAI는 AI 브라우저가 완전히 안전하지 않을 수도 있음을 인정했습니다.

OpenAI는 보안 블로그 게시물 12월 22일에 발표된 보고서에는 놀라운 내용이 담겨 있습니다. AI 브라우저에 대한 즉각적인 주입 공격은 "완전히 해결될 수 없을지도 모른다"는 것입니다. 이러한 양보는 회사가 해당 보고서를 발표한 지 불과 두 달 만에 나온 것입니다. ChatGPT 아틀라스자율 에이전트 기능을 갖춘 브라우저입니다.

이 회사는 즉각적인 유전자 주입을 "웹상의 사기 및 사회 공학적 공격"에 비유하며, 방어자가 제거하기보다는 관리해야 하는 지속적인 위협이라고 설명했습니다. AI 에이전트가 사용자를 대신해 인터넷을 탐색하도록 신뢰하는 사용자에게 이러한 관점은 어느 정도의 자율성이 적절한지에 대한 근본적인 질문을 제기합니다.

OpenAI가 밝힌 내용

해당 블로그 게시물은 OpenAI의 Atlas 방어 아키텍처를 설명하며, 여기에는 악의적인 공격자가 취약점을 발견하기 전에 이를 찾아내는 강화 학습 기반의 "자동 공격자"가 포함됩니다. 회사 측은 이 내부 레드팀이 "자사의 인간 레드팀 활동이나 외부 보고서에서 나타나지 않았던 새로운 공격 전략"을 발견했다고 주장합니다.

한 시연에서는 악성 이메일이 사용자의 받은 편지함을 확인하는 AI 에이전트를 어떻게 해킹할 수 있는지 보여주었습니다. 지시대로 부재중 자동 응답 메시지를 작성하는 대신, 해킹당한 에이전트는 사직 메시지를 보냈습니다. 오픈아이언은 최신 보안 업데이트를 통해 이러한 공격을 차단할 수 있다고 밝혔지만, 이 사례는 AI 에이전트가 민감한 상황에서 자율적으로 행동할 때 발생할 수 있는 위험성을 잘 보여줍니다.

OpenAI는 자동화된 공격자가 "수십(또는 수백) 단계에 걸쳐 진행되는 정교하고 장기적인 악성 워크플로우를 실행하도록 에이전트를 유도할 수 있다"고 밝혔습니다. 이러한 기능은 OpenAI가 외부 공격자보다 빠르게 취약점을 발견하는 데 도움이 되지만, 동시에 프롬프트 주입 공격이 얼마나 복잡하고 파괴적일 수 있는지를 보여줍니다.

이미지: OpenAI

근본적인 안보 문제

프롬프트 인젝션은 대규모 언어 모델의 기본적인 한계를 악용합니다. 즉, 이러한 모델은 처리하는 데이터에 포함된 정상적인 명령과 악성 콘텐츠를 확실하게 구분할 수 없습니다. AI 브라우저가 웹페이지를 읽을 때, 해당 페이지의 모든 텍스트가 잠재적으로 브라우저의 동작에 영향을 미칠 수 있습니다.

보안 연구원들은 이를 여러 차례 입증해 왔습니다. AI 브라우저는 적당한 자율성과 매우 높은 접근 권한을 결합하고 있는데, 이는 보안 측면에서 매우 어려운 과제입니다.

이러한 공격에는 정교한 기술이 필요하지 않습니다. 웹페이지에 숨겨진 텍스트, 정교하게 작성된 이메일, 문서에 숨겨진 지침 등을 통해 시스템을 조작할 수 있습니다. AI 에이전트 의도치 않은 동작을 수행하게 될 수 있습니다. 일부 연구원들은 AI가 사용자의 화면을 캡처할 때 스크린샷에 숨겨진 악성 프롬프트가 실행될 수 있음을 보여주었습니다.

OpenAI는 어떻게 대응하고 있는가

OpenAI의 보안 조치에는 적대적 학습 모델, 즉각적인 인젝션 분류기, 그리고 민감한 작업을 수행하기 전에 사용자 확인을 요구하는 "속도 제한 장치"가 포함됩니다. OpenAI는 사용자가 Atlas의 접근 권한을 제한하도록 권장하는데, 예를 들어 로그인한 사용자의 접근만 허용하고, 결제나 메시지 전송 전에 확인을 요구하며, 광범위한 명령보다는 구체적인 지침을 제공하는 방식입니다.

이 권고는 의미심장합니다. OpenAI는 사실상 자사 제품을 경계하라고 조언하며, 인공지능 브라우저의 매력을 높이는 핵심 요소인 자율성을 제한하고 있습니다. AI 브라우저가 이메일 수신함 전체를 관리하거나 재정을 처리해주기를 바라는 사용자들은 회사 스스로가 보증하지 않는 위험을 감수하는 셈입니다.

이번 보안 업데이트로 성공적인 인젝션 공격이 줄어들었습니다. 이러한 개선은 중요하지만, 여전히 공격 가능한 취약점이 남아있다는 것을 의미하기도 합니다. 공격자들은 OpenAI가 어떤 방어책을 내놓든 그에 맞춰 대응할 것입니다.

업계 전반에 미치는 영향

OpenAI만 이러한 문제에 직면하고 있는 것은 아닙니다. Google의 보안 프레임워크 크롬의 에이전트 기능은 여러 방어 계층을 포함하고 있으며, 모든 제안된 작업을 검증하는 별도의 AI 모델도 갖추고 있습니다. 퍼플렉시티의 코멧 브라우저 역시 브레이브의 보안 연구원들로부터 유사한 조사를 받았는데, 악성 웹페이지로 이동하면 유해한 AI 작업이 실행될 수 있다는 사실이 밝혀졌습니다.

업계는 이제 공통된 이해에 도달하고 있는 것으로 보입니다. 즉, 즉각적인 데이터 주입은 근본적인 한계이지, 수정해야 할 버그가 아니라는 것입니다. 이는 복잡하고 민감한 작업을 자율적으로 처리하는 AI 에이전트의 비전에 중대한 영향을 미칩니다.

사용자가 고려해야 할 사항

솔직히 말해서 불편한 평가이지만, AI 브라우저는 유용한 도구이긴 하지만, 아무리 엔지니어링을 개선해도 제거할 수 없는 본질적인 보안 한계를 가지고 있습니다. 사용자들은 편의성과 위험 사이에서 선택을 강요받는데, 어떤 업체도 이 문제를 완전히 해결할 수는 없습니다.

OpenAI의 지침, 즉 접근 제한, 확인 절차 요구, 광범위한 의무 사용 자제 등은 제품의 성능이 낮은 버전을 사용하라는 조언과 같습니다. 이는 악의적인 의도가 아니라 현재의 한계를 현실적으로 인정한 것입니다. AI 어시스턴트 더 많은 일을 할 수 있는 것은 더 많은 일을 하도록 조종될 수도 있다.

기존 웹 보안과의 유사점은 시사하는 바가 큽니다. 피싱 공격은 수십 년이 지난 지금도 여전히 사용자들의 사기 행각을 불러일으키고 있으며, 브라우저는 매일 수백만 개의 악성 사이트를 차단하고 있습니다. 위협은 방어 체계가 영구적으로 해결할 수 있는 속도보다 훨씬 빠르게 진화하고 있습니다.

AI 브라우저는 이러한 익숙한 역학 관계에 새로운 차원을 더합니다. 사람이 웹서핑을 할 때는 무엇이 의심스러운지 판단하는 반면, AI 에이전트는 모든 것을 동등하게 신뢰하며 처리하기 때문에, 능력이 향상될수록 조작에 더욱 취약해집니다.

앞으로 나아가는 길

OpenAI의 투명성은 칭찬받아 마땅합니다. 이 회사는 근본적인 문제가 지속되고 있음을 인정하지 않고 조용히 보안 업데이트를 배포할 수도 있었습니다. 하지만 대신 공격 벡터와 방어 아키텍처에 대한 상세한 분석 자료를 공개했습니다. 이는 사용자들이 정보에 기반한 결정을 내리고 경쟁사들이 자체 보안을 강화하는 데 도움이 되는 정보입니다.

하지만 투명성만으로는 근본적인 갈등을 해결할 수 없습니다. AI 에이전트가 강력해질수록 공격 대상으로서의 매력도 커지기 때문입니다. 아틀라스가 복잡한 워크플로우를 처리할 수 있게 해주는 바로 그 기능들이 정교한 공격의 기회를 만들어내기도 합니다.

현재로서는 AI 브라우저 사용자는 이를 의미 있는 한계를 가진 강력한 도구로 여겨야 하며, 감독 없이 민감한 작업을 처리할 준비가 된 완전한 자율 디지털 비서로 생각해서는 안 됩니다. OpenAI는 이러한 현실에 대해 이례적으로 솔직하게 언급해 왔습니다. 문제는 업계의 마케팅이 보안 팀이 이미 알고 있는 사실을 따라잡을 수 있을지 여부입니다.