Leo Brunnick, Cloudera 최고 제품 책임자 – 인터뷰 시리즈

자율성이 높아짐에 따라 효과적인 거버넌스에 대한 필요성도 커집니다. 기업은 에이전트가 접근할 수 있는 범위, 스스로 수행할 수 있는 작업, 그리고 인간 승인이 필요한 시점을 명확히 규정하는 정책을 마련해야 합니다. 작업의 잠재적 영향이 클수록 이러한 통제는 더욱 중요해집니다. 자율성과 거버넌스는 병행해서 발전해야 하며, 에이전트가 실질적인 생산성 향상을 달성할 충분한 자유를 갖는 동시에 조직이 핵심 데이터와 인프라에 대한 감독과 통제를 유지하도록 해야 합니다.

Cloudera는 NVIDIA와 협력하여 cuDF를 통한 네이티브 GPU 가속을 Apache Spark 4.1 워크로드에 제공하고 있으며, 기존 PySpark 또는 SQL 애플리케이션을 재작성하지 않아도 최대 4배까지 성능 향상을 기대할 수 있습니다. 코드 재작성 필요성을 없애는 것이 기업 AI 도입 가속에 왜 중요한가요?

기업은 기존 애플리케이션, 기술 역량 및 데이터 파이프라인에 상당한 투자를 해왔습니다. 새로운 기술로 전환하려면 엔지니어링 작업 이상의 것이 필요합니다. 이는 위험을 초래하고 결과를 지연시키며 이미 가동 중인 시스템에 혼란을 야기할 수 있습니다.

제로코드 가속은 이러한 과제를 해결하는 데 도움이 됩니다. 조직은 기존 PySpark 및 SQL 워크로드를 활용해 팀 운영 방식을 근본적으로 바꾸지 않고도 GPU 가속의 이점을 얻을 수 있습니다. 이는 기술 도입을 용이하게 할 뿐만 아니라 분석 및 AI를 지원하는 데이터 파이프라인의 성능을 향상시키고 기존 투자를 보호합니다.

GPU는 모델 학습 및 추론을 넘어 데이터 준비와 분석에도 점점 더 많이 활용되고 있습니다. GPU 가속이 기업 데이터 스택의 표준 요소가 될 것으로 보시나요? 그리고 이것이 대규모 AI 데이터셋 준비의 경제성에 어떤 변화를 가져올 수 있을까요?

제 의견으로는 기업이 인프라를 워크로드에 맞게 조정하는 역량이 크게 향상될 것입니다. GPU는 이미 모델 학습 및 추론 방식을 바꾸었으며, 데이터 엔지니어링이 다음 혁신 분야가 될 것입니다. 대규모 데이터셋 준비는 AI 애플리케이션을 프로덕션에 도입할 때 주요 병목 현상이 될 수 있기 때문입니다.

경제적 영향도 마찬가지로 중요합니다. 처리 속도가 빨라지면 단순히 Spark 작업을 더 빠르게 완료하는 것을 넘어선 효과가 있습니다. 컴퓨팅 실행 시간이 줄어들면 인프라 비용을 낮출 수 있고, 데이터 팀이 더 빠르게 반복 작업을 수행할 수 있어 AI 워크로드가 증가함에 따라 점점 더 중요한 고려 사항이 됩니다. 우리 연구에 따르면 응답자의 84%가 AI 워크로드가 인프라 비용을 증가시켰다고 보고했으며, 이는 기업이 전체 데이터 파이프라인을 살펴 성능과 비용을 동시에 개선할 기회를 모색해야 함을 의미합니다. GPU 가속 데이터 처리는 이러한 방정식에서 중요한 부분이 될 수 있습니다.

Cloudera Anywhere Cloud의 약속 중 하나는 규제, 경제 또는 운영 요구 사항에 따라 워크로드를 지속적으로 이동하거나 복사하지 않고도 원하는 위치에 배치할 수 있게 하는 것입니다. AI 연산을 데이터를 중심으로 수행하는 것이, 모든 기업 데이터를 AI로 이동시키는 것보다 얼마나 중요한가요?

이는 필수적입니다. 기업은 여러 환경에 걸쳐 방대한 데이터를 수년간 구축해 왔으며, 모든 데이터를 하나의 장소로 옮겨 AI에 활용하는 것은 현실적으로 어려운 경우가 많습니다. 비용과 시간이 많이 들 뿐만 아니라 보안, 프라이버시 또는 주권 요구 사항 때문에 특정 데이터를 전혀 이동할 수 없을 수도 있습니다.

현재로서는 기업이 AI가 배포되는 다양한 애플리케이션 및 환경으로 모든 데이터를 안전하게 이동시키는 것이 실용적이지 않습니다. AI를 데이터에 가져오면 조직은 이미 보유하고 있는 데이터를 더 많이 활용하면서도 데이터를 필요한 위치에 그대로 유지할 수 있습니다. 또한 비즈니스 및 기술 요구 사항에 따라 가장 적합한 위치에서 워크로드를 실행할 유연성을 제공합니다. AI가 기업 전반에 점점 더 깊게 통합됨에 따라 데이터가 존재하는 어디에서든 일관되게 운영할 수 있는 능력이 점점 더 중요해질 것입니다.

데이터 주권은 정부와 규제 산업이 AI를 도입함에 따라 주요 관심사가 되었습니다. 주권 AI 요구사항이 기업이 필요로 하는 아키텍처에 어떤 변화를 가져오고 있으며, 향후 몇 년 안에 주권 클라우드와 프라이빗 AI 인프라가 크게 더 중요해질 것으로 예상하십니까?

절대적으로 그렇습니다. 주권은 단순한 규정 준수 문제가 아니라 아키텍처적 요구사항이 되고 있습니다. 조직은 데이터가 어디에 저장되어 있는지, AI 워크로드가 어디에서 실행되는지를 파악해야 하며, 누가 접근하고 지적 재산권 및 민감한 정보가 어떻게 보호되는지도 알아야 합니다.

조직은 더 이상 모든 것을 단일 퍼블릭 클라우드에 중앙 집중화할 수 있다고 가정할 수 없습니다. 이들은 주권 클라우드, 프라이빗 인프라, 퍼블릭 클라우드 및 온프레미스 시스템 전반에 걸쳐 유연하게 운영하면서 각 환경에 일관된 거버넌스를 적용할 필요가 있습니다. 이러한 요구사항은 AI가 규제 산업 및 핵심 비즈니스 프로세스로 더욱 확대됨에 따라 점점 더 중요해질 것입니다. 데이터와 AI 환경에 대한 통제력을 유지하면서 혁신할 수 있는 조직이 AI를 책임감 있게 확장할 수 있는 더 좋은 위치에 서게 됩니다.

자율 AI 에이전트가 기업 데이터, 애플리케이션 및 인프라에 접근하게 되면서 기존 데이터 거버넌스만으로는 충분하지 않을 수 있습니다. 사용자가 인간이 아닌 AI 에이전트가 되는 상황에서 거버넌스는 어떻게 진화해야 할까요?

과거에는 거버넌스가 주로 사람과 애플리케이션이 데이터에 접근할 수 있는지를 기준으로 했습니다. 에이전트는 정보를 접근하고, 그 정보를 기반으로 추론하며, 발견한 내용에 따라 행동을 취할 수 있다는 새로운 측면을 추가합니다.

이 때문에 기업은 신원, 권한, 데이터 라인리지, 가시성, 제로 트러스트 접근과 같은 개념을 에이전트에 적용하여 데이터의 보안과 거버넌스를 보장해야 합니다. 조직은 어떤 에이전트가 어떤 데이터를 접근했는지, 해당 정보를 어떻게 활용했는지, 어떤 행동을 취했는지, 그리고 그 행동이 기업 정책에 부합했는지를 알아야 합니다. 거버넌스는 에이전트가 행동을 취한 뒤에 도입될 수 없으며, 정책과 보호 장치가 데이터와 함께 이동하도록 환경에 내재화되어야 하며, 해당 엔터티가 사람, 애플리케이션 또는 자율 에이전트인지에 관계없이 지속적으로 적용되어야 합니다.

Cloudera는 고객이 완전히 독점 스택에 머물도록 요구하기보다 Apache Iceberg, Polaris, Spark, Kafka, Trino과 같은 개방형 표준을 강조하고 있습니다. AI 인프라가 대형 플랫폼 중심으로 통합됨에 따라 새로운 세대 AI 공급업체 락인을 방지하기 위해 개방형 표준과 상호 운용성이 얼마나 중요해질까요?

AI가 기업 인프라의 일부가 될수록 개방형 표준의 중요성도 커집니다. AI는 빠르게 진화하고 있으며, 조직은 오늘 내린 아키텍처 결정이 향후 사용할 수 있는 모델, 엔진, 인프라 또는 기술을 제한하지 않도록 해야 합니다.

Apache Iceberg, Spark, Kafka, Trino 및 오픈 카탈로그와 같은 기술은 조직이 다양한 워크로드에 맞는 도구를 선택하면서 데이터 환경 전반에 걸쳐 상호 운용성을 유지할 수 있게 해줍니다. 이는 기업이 퍼블릭 클라우드, 주권 인프라, 프라이빗 데이터 센터를 넘나들며 운영할 때 특히 중요합니다. 기업은 단일 공급업체에 맞춰 데이터를 재구축하지 않고도 데이터와 AI 워크로드를 어디에 배치할지 자유롭게 결정할 수 있어야 합니다.

개방형 접근 방식은 기존 투자를 기반으로 새로운 AI 기능을 도입하기 쉽게 만들며, 기술이 진화함에 따라 데이터를 반복적으로 이동하거나 복사할 필요가 없습니다. AI 환경이 계속 변화함에 따라 개방형 표준은 조직이 선택과 통제권을 유지하면서 시간에 따라 아키텍처를 진화시킬 수 있는 유연성을 제공합니다.

훌륭한 인터뷰에 감사드립니다. 더 자세히 알고 싶은 독자분들은 Cloudera를 방문해 주세요.