Meta, AI 안경에 Private Processing Confidential Computing을 확대

Meta는 Private Processing이라는 기밀 컴퓨팅 인프라를 AI 안경에 도입하고 있으며, 이 내용은 2026년 9월 24일에 발표된 Meta의 Engineering 게시물에 자세히 나와 있습니다. Meta에 따르면, 이 설계 덕분에 클라우드 기반 AI 모델이 안경의 요청을 처리하더라도 Meta 자체가 사용자 데이터에 접근할 수 없습니다.

게시물에서 Meta 엔지니어인 Pritam Shah와 Oskar Linde는 현재 사람들이 안경에 내리는 많은 명령, 예를 들어 통화를 걸거나 문자에 핸즈프리로 답변하는 것이 전적으로 디바이스에서 이루어진다고 적었습니다. 보다 고급 기능은 안경 자체에서 실행하기엔 너무 큰 AI 모델을 필요로 하며, 일상 생활에 유용한 어시스턴트는 며칠 또는 몇 주에 걸친 컨텍스트를 유지하고 백그라운드에서 능동적으로 작동해야 합니다. 엔지니어들은 이러한 요구가 작업이 클라우드에서 이루어져야 함을 의미한다고 말했습니다.

Meta는 2025년에 WhatsApp과 Meta AI 앱을 위해 Private Processing을 처음 도입했으며, 이를 통해 Meta나 WhatsApp이 데이터를 볼 수 없게 하면서 Meta AI와의 비공개 채팅을 가능하게 했습니다. 엔지니어들은 이 접근 방식을 안경에 확장하면서 배운 점이 있다고 말합니다. Meta에 따르면, 안경 버전은 스트리밍 전사, 컨텍스트 검색, 장기 기억과 같은 고부하 작업을 오프로드하도록 설계되었습니다.

기밀 컴퓨팅 설계

전통적인 클라우드 아키텍처는 데이터를 저장 중 및 전송 중에 암호화하지만, 처리 중에는 호스트 메모리에서 복호화해야 하므로 호스트 운영체제, 하이퍼바이저 및 인프라 운영자에게 노출됩니다고 게시물은 설명합니다. 기밀 컴퓨팅은 이러한 사용 중 보안 격차를 해소하기 위한 업계 전반의 노력이며, 그 하드웨어 기반은 신뢰 실행 환경(Trusted Execution Environment, TEE)입니다. 특정 CPU와 GPU는 온칩 보안 하드웨어가 보유한 키로 기밀 가상 머신(CVM)의 메모리를 암호화하고, 이 키는 호스트, 하이퍼바이저 또는 기계 운영자에게 절대 공개되지 않습니다.

Confidential Computing Consortium의 정의를 인용하면서, 게시물은 TEE가 물리적으로 데이터 기밀성, 데이터 무결성 및 코드 무결성을 강제한다고 말합니다. 연결하기 전에 클라이언트 디바이스는 칩 내부에만 존재하는 키로 서명된 원격 증명 보고서를 요구하고, 해당 서명이 칩 공급업체가 공개한 루트 키와 연결되는지 확인하며, 독립 제3자가 증인한 추가 전용 원장에 대한 소프트웨어 측정값을 검사합니다. 이 중 하나라도 실패하면 디바이스는 연결을 거부하고 데이터를 전송하지 않습니다.

Meta는 안경 구현을 다섯 가지 요구 사항을 중심으로 설계했다고 밝혔습니다: 호스트 운영체제, 하이퍼바이저 및 Meta 자체가 전송 중, 사용 중, 저장 중에 사용자 데이터를 암호학적으로 읽을 수 없게 하는 하드웨어 격리; 기밀 프로세싱 보장을 수정하려는 시도가 시스템을 폐쇄 상태로 만들거나 공개적으로 드러나게 하는 실패-폐쇄 보장; 모든 프로덕션 CVM 이미지에 대해 공개적으로 증인된 투명성 원장을 통한 공개 검증 가능성; 공격자가 전체 시스템을 손상시키지 않고는 특정 사용자의 세션이나 저장소를 선택적으로 노릴 수 없는 비표적성; 사용자 제공 키로만 접근 가능한 암호화 저장소. 회사는 이 시스템을 다지역 및 내결함성으로 설명하며, 위협 모델은 Private Processing 백서에 문서화되어 있습니다.

요청 흐름, 저장소 및 관측 가능성

엔지니어들은 시스템이 먼저 메타데이터 문제를 해결한다고 적었습니다: 요청을 보내는 사람을 알고 있는 운영자가 트래픽을 손상된 머신으로 라우팅할 수 있기 때문입니다. 디바이스는 익명 자격 증명(무작위 일정에 따라 가져오는 블라인드 서명 토큰)을 사용하므로 Meta의 인증 서비스가 요청을 계정에 연결할 수 없으며, Fastly 또는 Cloudflare가 운영하는 제3자 OHTTP 릴레이를 통해 Meta의 게이트웨이에 연결합니다. 각 요청은 사용자 식별이 불가능한 휴리스틱에 따라 선택된 TEE에 의해 처리됩니다.

게시물에 따르면, 안경은 어떠한 컨텍스트도 전송하기 전에 서버의 TEE와 원격 증명 및 TLS(RA‑TLS) 세션을 열어, 연결이 이루어지기 전에 하드웨어 서명 인증서와 바이너리 해시를 공개 투명성 원장과 교차 검증합니다. TEE 내부에서는 모델이 격리된 상태로 실행되며, 데이터 전송 전에 TEEs는 동일한 프로토콜에 따라 서로를 증명해야 합니다.

특정 기능에 지속 메모리가 필요할 경우, 출력은 TEE를 떠나기 전에 사용자 제공 키로 암호화되며, Meta의 인프라가 암호문을 저장합니다; 메모리를 나중에 검색할 때 디바이스가 키를 제공합니다. Meta는 외부 암호화 데이터베이스가 여전히 접근 패턴(데이터가 언제, 얼마나 자주 읽히는지, 어떤 레코드가 함께 접근되는지)을 노출하기 때문에, 그리고 일반 암호화 저장소 위에서의 의미 벡터 검색과 같은 작업이 사용자의 컨텍스트가 커짐에 따라 확장되지 않기 때문에, 스토리지 엔진을 TEE 내부에 직접 구축했다고 밝혔습니다.

이 설계는 Meta 자체 운영자에게도 제약을 가합니다. 게시물에 따르면, 이들은 암호학적으로 차단되어 있기 때문에 엔지니어가 실행 중인 TEE에 디버거를 연결하거나 메모리 스택을 덤프하고, 모델 입력·출력을 로그로 남기거나, 운영 오류 뒤의 페이로드를 검사할 수 없습니다. 따라서 관측 레이어는 CPU 사용률, 메모리 할당, 네트워크 지연시간, 그리고 전체 하드웨어 오류율과 같은 집계된 건강 신호에 의존합니다.

외부 검증 및 에이전시 로드맵

Meta는 프로덕션에 배포된 모든 CVM 이미지가 투명성 원장에 등록된다고 말합니다. 회사는 이를 다른 바이너리로 교체하면 Meta가 통제하지 않는 기록에 표시되어 변조 방지를 입증한다는 의미로 설명합니다. 원장과 그 측정값은 공개적으로 볼 수 있으며, 해당 바이너리는 Meta 보안 프로그램에 참여하는 연구자들에게 계약 하에 제공됩니다. 회사는 NCC Group을 포함한 독립 보안 업체와 협력해 아키텍처 설계, 증명 로직 및 격리 모델을 감사하고 있으며, AI 안경용 Private Processing을 명시적으로 포함하도록 Bug Bounty 프로그램을 확대하여 외부 연구자에게 도구, CVM 바이너리 및 문서를 제공하고 있습니다.

게시물이 공개된 시점에서 Private Processing은 메시지 요약과 같은 개별 작업에 집중하고 있었습니다. Meta는 이 인프라를 보다 에이전시적이고 멀티모달한 안경 경험의 기반으로 설명하며, 장치가 세션 전반에 걸쳐 사용자를 대신해 행동을 수행하게 됩니다. 엔지니어들은 2025년 7월 Mark Zuckerberg의 개인 초지능에 관한 서한을 언급하는데, 이 서한은 안경과 같은 개인 디바이스가 컴퓨팅에서 가장 많이 의존하게 될 디바이스가 될 것이라고 예측했습니다.

별도로, 2026년 9월 23일 Connect 뉴스룸 게시물에서 Meta는 개인 AI 에이전트인 Muse를 AI 안경에 도입한다고 발표했습니다. Meta는 또한 $449부터 구매 가능한 Ray-Ban Meta Gen 3를 발표했으며, 최대 9시간 배터리 수명, 6마이크 배열, 12메가픽셀 카메라와 3K Ultra HD 비디오를 지원합니다. 또한 연말까지 Ray-Ban, Oakley, Meta Glasses 전반에 걸쳐 100개가 넘는 안경 옵션을 제공할 것이라고 밝혔습니다. Meta는 최초의 오디오 전용 모델인 Ray-Ban Meta Audio는 무게가 43그램이며 최대 12시간 배터리 수명을 제공한다고 밝혔으며, 사전 주문은 $349부터 시작하고 안경은 2026년 10월 13일에 출하됩니다.