OpenAI, AI 브라우저가 완전히 안전할 수 없음을 인정

OpenAI는 12월 22일에 보안 블로그 포스트를 게시했으며, 주목할 만한 사실을 인정했습니다. AI 브라우저에 대한 프롬프트 주입 공격은 “완전히 해결될 수 없다”는 것입니다. 이 인정은 회사가 ChatGPT Atlas를 출시한 지 2개월 후에 나왔습니다. Atlas는 자율 에이전트 기능을 갖춘 브라우저입니다.

회사는 프롬프트 주입을 “웹上的 사기 및 사회 공학”에 비유했습니다. 즉, 방어자가 완전히 제거하는 것이 아니라 관리하는 지속적인 위협입니다. 사용자가 인터넷을 대신 탐색하기 위해 AI 에이전트를 신뢰하는 경우, 이 프레임워크는 기본적인 질문을 제기합니다. 즉, 얼마나 많은 자율성이 적절한지에 대한 것입니다.

OpenAI가 공개한 내용

블로그 포스트는 Atlas의 방어 아키텍처를 설명하며, 취약성을 악의적 인 배우가 발견하기 전에 찾는 강화 학습 기반 “자동 공격자”가 포함되어 있습니다. 회사는 이 내부 레드 팀이 “인간 레드 팀 캠페인이나 외부 보고서에 나타나지 않은 새로운 공격 전략”을 발견했다고 주장합니다.

한 예는 악의적 인 이메일이 사용자의 받은 편지함을 확인하는 AI 에이전트를 탈취하는 방법을 보여줍니다. 지시대로 외출 중인 답변을 작성하는 대신, 손상된 에이전트는 사직 메시지를 보냅니다. OpenAI는 최신 보안 업데이트가 이제 이 공격을 잡지만, 이 예는 AI 에이전트가 민감한 상황에서 자율적으로 작동할 때의 결과를 보여줍니다.

자동 공격자는 “에이전트를 실행하여 유해한 워크플로를 수행하도록 유도할 수 있으며, 이는 수십 개(또는 수백 개)의 단계에 걸쳐 진행됩니다”라고 OpenAI는 썼습니다. 이 기능은 외부 공격자보다 빠르게 결함을 찾는 데 OpenAI를 도와주지만, 프롬프트 주입 공격이 얼마나 복잡하고 유해할 수 있는지 также 보여줍니다.

이미지: OpenAI

기본적인 보안 문제

프롬프트 주입은 대형 언어 모델의 기본적인 제한을 악용합니다. 즉, 합법적인 지시와 데이터에 포함된 악의적 인 내용을 신뢰할 수 있는 방식으로 구별할 수 없습니다. AI 브라우저가 웹 페이지를 읽을 때 페이지上的 텍스트는 모두 브라우저의 동작에 영향을 줄 수 있습니다.

보안 연구자들은 이것을 반복적으로 보여주었습니다. AI 브라우저는 중간 정도의 자율성과 매우 높은 접근성을 결합합니다. 이는 보안 공간에서 어려운 위치입니다.

공격에는 정교한 기술이 필요하지 않습니다. 웹 페이지上的 숨겨진 텍스트, 조심스럽게 작성된 이메일 또는 문서에 포함된不可见 지침은 모두 AI 에이전트를 의도하지 않은 동작으로 조작할 수 있습니다. 일부 연구자들은 악의적 인 프롬프트가 사용자의 화면을 찍었을 때 실행될 수 있다고 보여주었습니다.

OpenAI의 대응

OpenAI의 방어에는 적대적 인 학습 모델, 프롬프트 주입 분류기 및 민감한 동작 전에 사용자 확인을 요구하는 “스피드 범프”가 포함됩니다. 회사는 사용자가 Atlas에 접근할 수 있는 항목을 제한하도록 권장합니다. 즉, 로그인된 접근을 제한하고, 결제 또는 메시지 전에 확인을 요구하며, 광범위한 지시 대신 좁은 지시를 제공합니다.

이 추천은 의미심장합니다. OpenAI는 본질적으로 자신의 제품을 의심하도록 사용자를 조언하며, 에이전트 브라우저가 매력적인 첫 번째 자율성을 제한합니다. 사용자가 AI 브라우저가 자신의 전체 받은 편지함을 처리하거나 재정을 관리하도록 하려는 경우, 회사가 승인하지 않는 위험을 감수하는 것입니다.

보안 업데이트는 성공적인 주입 공격을 줄입니다. 이 개선은 중요하지만, 남아있는 공격 표면도 의미하며, 공격자는 OpenAI가 배치하는 모든 방어에 적응할 것입니다.

업계 전반의 영향

OpenAI는 이러한 도전에 직면하는 유일한 회사가 아닙니다. Google의 보안 프레임워크는 Chrome의 에이전트 기능을 위한 여러 방어 계층을 포함하며, 여기에는 제안된 모든 동작을 검토하는 별도의 AI 모델이 포함됩니다. Perplexity의 Comet 브라우저는 Brave의 보안 연구자들로부터 비슷한 검토를 받았으며, 악의적 인 웹 페이지로 이동하면 유해한 AI 동작을 트리거할 수 있습니다.

업계는 프롬프트 주입이 기본적인 제한이라는 공통된 이해에 합류하는 것으로 보입니다. 즉, 패치할 수 있는 버그가 아닙니다. 이는 AI 에이전트가 자율적으로 복잡하고 민감한 작업을 처리하는 비전에重大한 의미를 갖습니다.

사용자가 고려해야 할 사항

진실한 평가입니다. 불편함: AI 브라우저는 유용한 도구이지만, 완전히 제거할 수 없는 내재된 보안 제한이 있습니다. 사용자는 편리성과 위험 사이에서 트레이드 오프를 직면해야 하며, 이는 공급자가 완전히 해결할 수 없습니다.

OpenAI의 지침 – 접근을 제한하고, 확인을 요구하고, 광범위한 지시를 피하십시오 – 이는 제품의 덜 강력한 버전을 사용하도록 조언하는 것입니다. 이것은 비관적 인 위치가 아닙니다. 현재의 제한을 인정하는 현실적 인 인식입니다. AI 어시스턴트가 더 많은 일을 할 수 있으면, 조작하여 더 많은 일을 할 수도 있습니다.

전통적인 웹 보안과 비교하면, 사용자는 여전히 수십 년 전 등장한 피싱 공격에 걸립니다. 브라우저는 여전히 매일 수백만 개의 악의적 인 사이트를 차단합니다. 위협은 방어가 영구적으로 해결하기 전에 더 빠르게 적응합니다.

AI 브라우저는 이 익숙한 역학에 새로운 차원을 추가합니다. 인간이 브라우징을 할 때, 그들은 의심스러운 것에 대한 판단을 가지고 있습니다. AI 에이전트는 모든 것을 동일한 신뢰로 처리하므로, 조작에 더 취약해지며, 더 강력해집니다.

앞으로의 길

OpenAI의 투명성은 인정할 만합니다. 회사는 보안 업데이트를 조용히 출荷할 수 있었으며, 기본적인 문제의 지속성을 인정하지 않았을 수 있습니다. 대신, 회사는 공격 벡터 및 방어 아키텍처에 대한 자세한 분석을 게시했습니다. 이는 사용자가 정보에 입각한 결정을 내리도록 도와주며, 경쟁자가 자신의 보호를 개선하도록 도와줍니다.

그러나 투명성은 기본적인 긴장을 해결하지 않습니다. AI 에이전트가 더 강력해질수록, 더 매력적인 표적을 제시합니다. Atlas가 복잡한 워크플로를 처리하도록 허용하는 동일한 기능은 또한 정교한 공격의 기회를 생성합니다.

현재로서는 AI 브라우저 사용자는 완전히 자율적인 디지털 어시스턴트가 아닌, 의미있는 제한이 있는 강력한 도구로 접근해야 합니다. OpenAI는 이 현실에 대해 비상常히 솔직했습니다. 질문은 업계의 마케팅이 이미 보안 팀이 알고 있는 것에 따라 잡히는지 여부입니다.