Jonathan Mortensen, Confident Security의 설립자 및 CEO – 인터뷰 시리즈

Jonathan Mortensen, Confident Security의 설립자 및 CEO는 현재 산업에서 엄격한 보안 및 컴플라이언스 요구 사항을 가진 provably-private AI 시스템의 개발을 주도하고 있습니다. 그는 또한 South Park Commons의 Founder Fellow로 활동하며 AI 컴퓨팅, 메모리, 프라이버시 및 소유권의 미래를 탐구합니다. Confident Security를 설립하기 전에 그는 Databricks의 Staff Software Engineer로 재직했으며, multi-tenant 보안, IAM/ACLs, VPC 분리, 암호화 및 데이터 소유권에 중점을 둔 bit.io의 기술을 데이터 플랫폼에 통합했습니다. 이전에는 bit.io의 설립자 및 CTO로 활동했으며, 수백만 개의 보안 데이터베이스를 지원하는 멀티 클라우드, 멀티 리전 서버리스 PostgreSQL 서비스를 구축했으며, 이후 Databricks에 인수되었습니다.

Confident Security는 기업이 민감한 정보를 노출하지 않고 AI 워크플ロー를 실행할 수 있는 인프라를 구축합니다. 해당 플랫폼은 프롬프트, 데이터 및 모델 출력이 완전히 프라이버시를 유지하고, 로깅되지 않고, 재사용되지 않도록 설계되어, 조직이 엄격한 규제 및 컴플라이언스 표준을 충족하면서 AI를 채택할 수 있는 안전한 방법을 제공합니다.

당신은 2024년에 Confident Security를 설립하기 전에 bit.io를 구축하고 Databricks에서 근무했습니다. AI에 대한 근본적으로 다른 프라이버시 접근 방식의 필요성을 인식하게 된 것은 무엇입니까?

데이터 인프라를 구축하는 경험을 통해 사람들이 민감한 정보를 시스템에 입력할 때 신뢰만으로는 충분하지 않다는 것을 배웠습니다. 그들에게 증거가 필요합니다. 우리는 고객이 데이터를 소유하고, 그들에게 데이터를 검증할 수 있는 방법을 제공하는 인프라를 구축했습니다.

LLM을 사용하는 회사를 볼 때, 그런 증거가 존재하지 않는다는 것을 알게 되었습니다. 직원들은 소스 코드, 법적 문서 및 환자 기록을 제3자에 의해 실행되는 모델에 붙여 넣었습니다. 이미 프라이버시 모델이 얼마나 취약한지 보여주었습니다.

AI가 세계에서 가장 민감한 정보를 처리할 경우, 벤더의 내부 약속에 의존하지 않는 보장이 필요합니다. 그것이 나를 Confident Security를 시작하게 만든 동기입니다.

OpenPCC는 “AI의 Signal”로 묘사되고 있습니다. 프라이버시 계층이 오픈, 검증 가능 및 상호 운용 가능한 이유는 무엇입니까?

엔드 투 엔드 암호화는 표준이 된 후에야普及되었습니다. 우리는 AI 프라이버시에도 같은 것을 원합니다. 만약 몇몇 회사만이 실제 보장을 제공할 수 있다면, 프라이버시는 확장되지 않을 것입니다.

OpenPCC는 Apache 2.0하에 오픈 소스이므로, 누구든지 빌드하거나 검사할 수 있습니다. 비밀 신뢰 요구 사항이 없습니다. 하드웨어 증명은 실행 중인 코드와 위치에 대한 암호학적 증거를 제공합니다. 또한, 우리는 그것이 모든 곳에서 작동하도록 했습니다. 모든 클라우드, 모든 모델 제공자, 모든 개발자 스택에서 작동합니다.

일관성 있고 보편적인 프라이버시 기준에는巨大한 가치가 있습니다. OpenPCC를 사용하면, 데이터가 모델 제공자, 규제 기관 또는 우리에게 노출되지 않는다는 것을 알 수 있습니다. 표준은 전체 생태계가 참여할 수 있을 때만 작동하므로, 우리는 그것을 가능한 한 포괄적으로 설계했습니다.

Confident Security를 설립하기 전에, 당신은 멀티 테넌트, 암호화 및 데이터 소유권을 위한 대규모 시스템을 구축했습니다. 이러한 경험은 OpenPCC의 아키텍처를 어떻게 형성했습니까?

그 시스템은 두 가지 진리를 강조했습니다. 시스템이 데이터를 유지할 수 있다면, 결국에는 로그, 잘못된 구성 또는 법적 요청을 통해 유지될 것입니다. 또한, 신뢰는 프라이버시 모델이 아닙니다. 사용자는 가시성과 제어가 필요합니다.

OpenPCC는 무상태 모드로 실행되므로, 프롬프트가 처리된 후 사라집니다. 증명은 사용자가 데이터가 어디로 가는지 및 어떤 코드가 실행되고 있는지 검증할 수 있도록 합니다. 또한, 제어를 데이터에서 분리함으로써, OpenPCC는 민감한 입력이 실행 가능한 명령으로 처리되는 것을 방지합니다.

그런 제약 조건이 기업이 기다리고 있던 보장이 됩니다. 데이터가 예상치 못한 곳에 다시 나타나지 않는다는 보장입니다.

당신은 대부분의 “프라이버시 AI” 솔루션이 불투명한 시스템에 대한 신뢰에 의존한다고 주장했습니다. 독립적인 검증이 진정한 프라이버시에 왜 필수적인지 설명해 주십시오.

현재 대부분의 프라이버시 언어는 효과적으로 “우리를 믿어주세요”입니다. 그것은 민감한 정보를 다루는 경우에는 충분하지 않습니다. 사용자가 주장을 검증할 수 없다면, 그것은 보장이 아니라 마케팅입니다.

검증 가능한 프라이버시는 다릅니다. 사용자는 운영자의 의도를 신뢰하지 않습니다. 사용자는 하드웨어, 소프트웨어 이미지 및 데이터 처리 보장을 검증합니다. 암호학은 경계를 강제합니다. 로그는 누군가가 실수로 누출하거나 소환할 수 없습니다.

사용자가 프라이버시를 감사할 수 있는 시스템은 본질적으로 더 안전한 시스템을 만듭니다. 그것은 수학에 기반한 책임입니다.

구글의 “프라이버시 AI” 발표는 OpenPCC 발표 직후였습니다. 당신은 독립적인 테스트를 위한 TPU를 제공하도록 공개적으로 도전했습니다. 그 호출은 무엇으로 동기화되었으며, 무엇을 기대했습니까?

프라이버시 보장을 주장하려면, 커뮤니티가 그것을 검증할 수 있어야 합니다. NVIDIA는 이미 외부 검증을 위한 H100 GPU를 허용하고 있으며, 우리는 심지어采用을鼓励하기 위해 그들의 증명 라이브러리의 Go 버전을 오픈 소스화했습니다.

구글이 TPUs에서 유사한 약속을 하려면, 우리는 그것을 측정하고 검증할 수 있어야 합니다. 우리는 다른 프라이버시 시스템에서 기대하는 것과 같은 제어를 찾을 것입니다. 엄격한 데이터 유지 경계, 감사 가능한 증명, 로그 또는 텔레메트리가 탈출하는 비밀 경로가 없습니다. 프라이버시 클레임은 검토를 견뎌야 합니다.

기계학습에 대한 메커니즘에 익숙하지 않은 독자들을 위해, OpenPCC의 완전히 암호화된 채널이 전통적인 클라이언트 측 암호화 또는 신뢰할 수 있는 컴퓨팅과 어떻게 다른지 설명해 주십시오.

클라이언트 측 암호화는 데이터가 들어오는 동안 보호하고, 신뢰할 수 있는 컴퓨팅은 처리 중에 보호하지만, 여전히 운영자가 또는 공격자가 민감한 정보에 접근할 수 있는 간격이 있습니다.

OpenPCC는 이러한 간격을 닫습니다. 클라이언트와 모델 사이에 프롬프트, 응답, 사용자 ID 및 메타데이터 또는 타이밍 신호를 포함한 모든 것을 보호하는 완전히 암호화된 경로를 생성합니다. 운영자는 아무것도 해독할 수 없습니다. 로깅 또는 유지되지 않으며, 심지어 침해 조건에서도 유지되지 않습니다.

프라이버시는 제공자가 뒤에서 올바른 일을 하는 것을 희망하는 것에 의존해서는 안 됩니다. 그것은 암호학적으로 강제되어야 합니다.

검증 가능한 프라이버시가 금융, 의료, 국방과 같은 규제 산업의 방정식에 어떻게 영향을 미칩니까?

규제 산업은 가장 많은 것을 얻을 수 있지만, 또한 누출되면 가장 많은 것을 잃을 수 있습니다. 현재, 78%의 직원이 내부 데이터를 AI 도구에 붙여 넣으며, 5건 중 1건은 PHI 또는 PCI와 같은 규제 정보를 포함합니다. 이미 노출이 발생하고 있습니다.

검증 가능한 프라이버시는 가장 큰 장애물을 제거합니다. 민감한 프롬프트는 모델 제공자의 환경에서 평문으로 존재하지 않습니다. 훈련에 사용될 수 없습니다. 심지어 합법적인 요청도 시스템 자체가 볼 수 없는 것을 접근할 수 없습니다.

위험 및 컴플라이언스 팀은 이제 “예”가 기본값이 되는 경로를 가지고 있습니다.

클라우드에 중립적인 프라이버시 계층을 설계하는 데 가장 큰 엔지니어링 도전은 무엇입니까?

신뢰할 수 있는 컴퓨팅 및 원격 증명은 아직 초기 단계에 있습니다. 각 클라우드 제공업체와 베어 메탈 제공업체는 약간 다르게 작동합니다. 일부 제공업체, 예를 들어 AWS는 그렇게 하는 하드웨어가 없습니다. 따라서, 추가하는 모든 기능은 1000개의 절단과 고위험을 걸으면서 걷는 것과 같습니다. 그러나, 오픈 소스로 되어 있으므로, 모든 클라우드에서 작동하도록 해야 합니다. 따라서, 모든 클라우드에서 작동하도록 해야 합니다. 오픈 소스이므로, 사람들이 더 많은 플랫폼과 구성에 지원을 추가하도록鼓励합니다!

기본적인 검증 가능한 암호화가 있는 세계는 어떻게 보이며, 기업, 클라우드 벤더 및 모델 제공자 간의 힘의 균형을 어떻게 재구성할 수 있습니까?

기업은 가장 귀중한 자산인 데이터를 제어합니다. 모델 제공자는 성능과 비용에 따라 경쟁하며, 누가 가장 많은 독점 정보를 축적할 수 있는지에 따라 경쟁하지 않습니다. 클라우드는 프라이버시를 가능하게 하는 대신, 그것을 조용히 관찰합니다.

그것은 더 건강한 힘의 균형입니다. 또한, 보안이 기초에 통합될 때, 전체 생태계가 이익을 얻습니다.

AI가 普及되고 엄격하게 규제되는 미래에서, 검증 가능한 프라이버시가 기업, 클라우드 제공업체 및 모델 개발자 간의 경쟁 환경을 어떻게 재구성할 수 있습니까?

규제 기관은 이미 사용자 데이터가 어떻게 저장되고 사용되는지에 대해 질문하고 있습니다. 신뢰 기반 프라이버시는 오래 지속되지 않을 것입니다. 사용자는 오늘날 메시지 앱에서 암호화를 기대하는 것과 같은 방식으로 프라이버시 보장을 기대할 것입니다.

승자는 사용자에게 妥協을 요구하지 않는 회사입니다. 프라이버시를 증명할 수 있다면, 세계에서 가장 귀중한 데이터를 가진 조직의 신뢰를 얻을 수 있습니다. 데이터는 이전에 잠겨 있던 곳에서 사용할 수 있게 됩니다.

그레이트 인터뷰, 더 많은 정보를 원하는 독자는 Confident Security를 방문하십시오.