찰스 시, Zilliz의 창립자 및 CEO – 인터뷰 시리즈

찰스 시는 Zilliz의 창립자이자 CEO로, AI 및 LLMs 애플리케이션을 위한 차세대 데이터베이스 및 검색 기술을 개발하는 데 중점을 두고 있습니다. Zilliz에서 그는 또한 세계에서 가장 인기 있는 오픈소스 벡터 데이터베이스인 Milvus를 개발했습니다. 그는 현재 LF AI & 데이터 재단의 이사로 있으며 2020년과 2021년에 이사회의 의장을 역임했습니다. 찰스는 이전에 오라클에서 오라클 12c 클라우드 데이터베이스 프로젝트의 창립 엔지니어로 일했습니다. 찰스는 위스콘신 매디슨 대학교에서 컴퓨터 과학 석사 학위를 취득했습니다.

Zilliz는 LF AI Milvus를 개발한 팀으로, 이는 널리 사용되는 오픈소스 벡터 데이터베이스입니다. 이 회사는 데이터 인프라 관리를 단순화하는 데 중점을 두고 있으며, 기업, 조직, 개인 등에게 AI를 더 쉽게 접근할 수 있도록 합니다.

Zilliz를 설립한 배경과 Milvus를 개발한 이유, 벡터 데이터베이스에 대한 집중을 설명해 주시겠습니까?

나는 데이터베이스 분야에서 15년 이상의 경력을 가지고 있으며, 그 중 6년은 오라클에서 소프트웨어 엔지니어로 일했습니다. 그때 나는 한계를 느꼈는데, 구조화된 데이터는 잘 관리되었지만, 비구조화된 데이터는 대부분 분석되지 않았습니다. 2017년에 AI가 비구조화된 데이터를 처리하는 능력이 증가하면서, 나는 Zilliz를 설립하기로 결정했습니다. 벡터 임베딩은 비구조화된 데이터를 의미 있는 정보로 변환하는 데 사용되었습니다. 우리는 Milvus를 개발하여 이 비전을 실현했습니다.

過去 2년 동안, 산업은 이 접근 방식을 검증했습니다. 벡터 데이터베이스는 비구조화된 데이터를 관리하는 데 필수적인 기술입니다. 우리는 기술 이상의 것을 목표로 합니다. 인류가 AI 시대에 비구조화된 데이터의 잠재력을 활용할 수 있도록 하는 것입니다.

Zilliz의 여정은 6년 전 설립 이후 어떻게 진화했으며, 벡터 데이터베이스 분야를 개척하면서 어떤 주요 도전을 직면했습니까?

여정은 변혁적이었습니다. 우리가 Zilliz를 시작했을 때, 주요 도전은 자금 조달이나 인력이 아니었습니다. 우리에게는 도로지도, 모범 사례, 사용자 기대가 없었습니다. 우리는自己的 길을 찾아야했습니다.

우리의 돌파구는 Milvus를 오픈소스로 만든 것이었습니다. 사용자 피드백을 통해 제품을 개선하고, 2019년에 출시했을 때 30명의 사용자로부터 시작하여 2020년에 200명으로, 이후 1,000명으로 성장했습니다.

오늘날, 벡터 데이터베이스는 AI 시대에 필수적인 인프라로 변모했습니다. 우리가 시작한 비전을 검증했습니다.

Zilliz는 현대적인 AI 애플리케이션에서 멀티모달 벡터 검색을 지원하기 위해 어떤 고유한 기술적 능력을 제공합니까?

Zilliz는 멀티모달 벡터 검색을 지원하기 위해 다음과 같은 고유한 기술적 능력을 개발했습니다:

1. 하이브리드 검색: 우리는 다양한 모달리티를 동시에 검색할 수 있습니다. 예를 들어, 이미지의 시각적 특징과 텍스트 설명을 결합할 수 있습니다.
2. 최적화된 알고리즘: 우리는 크로스모달 검색을 위한 리콜 정확도와 메모리 효율성을 균형을 잡는 독점적인 양자화 기술을 개발했습니다.
3. 실시간 및 오프라인 처리: 우리의 이중 트랙 시스템은 낮은 지연 시간의 실시간 쓰기와 높은 처리량의 오프라인 가져오기를 지원하여 데이터의 신선도를 보장합니다.
4. 비용 효율성: 우리의 확장된 용량 인스턴스는 지능형 티어드 스토리지를 활용하여 저장 비용을 크게 줄이면서 높은 성능을 유지합니다.
5. 임베디드 AI 모델: 우리는 멀티모달 임베딩 및 랭킹 모델을 통합하여 복잡한 검색 애플리케이션을 구현하는 장벽을 낮췄습니다.

이러한 능력으로 개발자는 다양한 데이터 유형을 효율적으로 처리할 수 있으며, 현대적인 AI 애플리케이션이 더 강력하고 다재다능해집니다.

멀티모달 RAG가 복잡한 실제 데이터를 처리하는 AI의 능력에 미치는 영향은 무엇입니까?

멀티모달 RAG는 AI의 중요한 진화입니다. 텍스트 기반 RAG는 두드러졌지만, 대부분의 기업 데이터는 이미지, 비디오, 오디오 등 다양한 형식으로 구성되어 있습니다. 이러한 다양한 형식을 AI 워크플로에 통합하는 능력은 중요합니다.

이 시프트는 적절한 때에 발생했습니다. AI 커뮤니티는 텍스트 데이터의 한계를 논의하고 있습니다. 텍스트 데이터는有限하지만, 멀티모달 데이터는まだ 활용되지 않은 광대한 잠재력을 가지고 있습니다.

멀티모달 RAG는 이 잠재력을 해방시킵니다. AI 시스템이 이러한 다양한 데이터 유형을 처리하고 활용할 수 있도록 합니다. 이는 데이터 부족을 해결하는 것 이상입니다. 실제 세계를 더 잘 이해하고 상호작용하는 AI의 능력을 확장하는 것입니다.

Zilliz는 벡터 데이터베이스 시장에서 경쟁사와 어떻게 차별화합니까?

Zilliz는 다음과 같은 고유한 측면으로 차별화됩니다:

1. 듀얼 아이덴티티: 우리는 AI 회사이자 데이터베이스 회사로, 데이터 관리와 AI 통합의 경계를 확장하고 있습니다.
2. 클라우드 네이티브 디자인: Milvus 2.0은 분산 벡터 데이터베이스로, 저장소와 컴퓨팅 아키텍처를 분리하여 100억 개의 벡터에 대한 확장성과 비용 효율성을 제공합니다.
3. 독점적 향상: 우리의 카디널 엔진은 오픈소스 Milvus의 3배, 경쟁사의 10배 성능을 제공합니다. 우리는 또한 디스크 기반 인덱싱과 지능형 티어드 스토리지를 제공하여 비용 효율적인 확장을 가능하게 합니다.
4. 지속적인 혁신: 하이브리드 검색 기능부터 마이그레이션 툴인 VTS까지, 우리는 지속적으로 벡터 데이터베이스 기술을 발전시키고 있습니다.

우리의 오픈소스에 대한 헌신은 유연성을 보장하며, 우리의 관리 서비스인 Zilliz Cloud는 기업급 성능을 최소한의 운영 복잡성으로 제공합니다.

Zilliz Cloud의 중요성과 벡터 검색 서비스를 민주화하여 작은 개발자와 기업에게도 접근할 수 있도록 하는 역할을 설명해 주시겠습니까?

벡터 검색은 2015년부터 기술 거물들에 의해 사용되어 왔지만, 독점적인 구현으로 인해 더广泛한 채택이 제한되었습니다. Zilliz에서 우리는 두 가지 보완적인 접근 방식을 통해 이 기술을 민주화하고 있습니다:

1. 오픈소스: Milvus를 통해 개발자는 자신의 벡터 검색 인프라를 구축하고 소유할 수 있습니다. 이는 기술적인 장벽을 낮춥니다.
2. 관리 서비스: Zilliz Cloud는 운영 오버헤드를 제거하여 비용 효율적인 솔루션을 제공합니다. 이는 기업들이 전문 엔지니어가 필요하지 않은 상태에서 벡터 검색을 채택할 수 있도록 합니다.

이러한 접근 방식으로 우리는 개발자와 기업에게 벡터 검색을 접근할 수 있도록 하며, 혁신적인 AI 애플리케이션을 구축할 수 있도록 합니다.

LLM과 기초 모델의 발전에 따라 AI 데이터 인프라에서 다음 큰 변화를 기대합니까?

다음 큰 변화를 기대하는 것은 AI 데이터 인프라가 비구조화된 데이터를 처리하는 데 적합하도록 전체적으로 변환하는 것입니다. 현재 시스템은 구조화된 데이터에 최적화되어 있기 때문에 이 변환은 필수적입니다.

이 변환은 데이터 스택의 모든 계층에 영향을 미칠 것입니다:

• 기초 데이터베이스 시스템
• 데이터 파이프라인 및 ETL 프로세스
• 데이터 정리 및 변환 메커니즘
• 보안 및 암호화 프로토콜
• 준수 및 거버넌스 프레임워크
• 데이터 관찰 가능성 시스템

우리는 기존 시스템을 업그레이드하는 것 이상을 말합니다. 우리는 새로운 패러다임을 구축하는 것입니다. 이는 도서관에서 책을 관리하는 세계에서 인터넷 전체를 관리하고 처리하는 세계로의 이동입니다. 이는 완전히 새로운 세계로, 데이터 인프라의 모든 구성 요소가 재구상되어야 합니다.

이 혁명은 데이터를 저장, 관리, 처리하는 방식을 재정의할 것입니다. 이는 AI 혁신에 대한巨大的 기회를 열어줄 것입니다.

NVIDIA GPU의 통합이 벡터 검색의 성능과 확장성에 미친 영향은 무엇입니까?

NVIDIA GPU의 통합은 두 가지 주요 영역에서 벡터 검색의 성능을 크게 향상시켰습니다.

첫째, 인덱스 빌딩에서, 이는 벡터 데이터베이스에서 가장 컴퓨팅 집약적인 작업 중 하나입니다. 전통적인 데이터베이스 인덱싱과 비교하여 벡터 인덱스 구축에는 훨씬 더 많은 컴퓨팅 파워가 필요합니다. GPU 가속을 사용하면 인덱스 빌딩 시간을 크게 줄일 수 있으며, 이는 데이터 수신과 데이터 가시성을 개선합니다.

둘째, GPU는 높은 처리량의 쿼리 사용 사례에서 중요합니다. 전자상거래와 같은 애플리케이션에서 시스템은 초당 수천 또는 수만 개의 쿼리를 처리해야 합니다. GPU의 병렬 처리 능력은 이러한 높은 볼륨의 벡터 유사성 검색을 효율적으로 처리하는 데 매우 중요합니다.

2021년부터 우리는 NVIDIA와 협력하여 알고리즘을 GPU 아키텍처에 최적화하고, 다양한 프로세서 아키텍처에서 이종 컴퓨팅을 지원하는 시스템을 개발했습니다. 이는 고객이 자신의 특정 요구에 가장 적합한 하드웨어 인프라를 선택할 수 있도록 합니다.

벡터 데이터베이스는 AI에서 중요한 역할을 하기 때문에, 의료와 같은 산업으로의 적용 범위를 확장하는 것을 기대합니까?

벡터 데이터베이스는 전통적인 사용 사례를 넘어 다양한 산업으로 확장되고 있습니다. 의료 및 제약 연구에서 벡터 데이터베이스는 약물 발견을 혁신적으로 변화시키고 있습니다. 분자는 기능적 특성에 따라 벡터화할 수 있으며, 범위 검색과 같은 고급 기능을 사용하여 연구자들은 특정 질병이나 증상을 치료할 수 있는 모든 잠재적인 약물 후보를 발견할 수 있습니다.

자율 주행에서 벡터 데이터베이스는 차량의 안전성과 성능을 향상시키고 있습니다. 하나의 흥미로운 적용은 에지 케이스 처리입니다. 시스템은 비정상적인 시나리오가 발생했을 때, 대량의 데이터베이스를 검색하여 관련된 훈련 데이터를 찾을 수 있습니다.

우리는 또한 금융 서비스에서 사기 탐지, 사이버 보안에서 위협 탐지, 타겟 광고에서 고객 참여 개선과 같은 분야에서 혁신적인 적용 사례를 보이고 있습니다. 예를 들어, 은행에서 거래는 벡터화되어 역사적인 패턴과 비교하여 잠재적인 사기 활동을 식별할 수 있습니다.

벡터 데이터베이스의 힘은 도메인에 관계없이 유사성을 이해하고 처리하는 능력에 있습니다. AI가 계속 진화함에 따라, 우리는 가능성의 표면만Scratching하고 있습니다. 광대한 양의 비구조화된 데이터를 효율적으로 처리하고 패턴을 찾는 능력은 우리가 아직 탐색하지 않은 가능성을 열어줍니다.

개발자와 기업은 Zilliz와 Milvus를 통해 벡터 데이터베이스 기술을 자신의 AI 프로젝트에 어떻게 활용할 수 있습니까?

Zilliz와 Milvus를 통해 벡터 데이터베이스 기술을 활용하는 두 가지 주요 경로가 있습니다. 각 경로는 다른 요구와 우선순위에 적합합니다. Milvus, 우리의 오픈소스 솔루션,는 유연성과 사용자 지정이 필요한 경우 가장 좋은 선택입니다. Milvus를 사용하면:

• 자유롭게 실험하고 기술을 학습할 수 있습니다
• 해결책을 특정 요구 사항에 맞게 사용자 지정할 수 있습니다
• 개발에 기여하고 코드베이스를 수정할 수 있습니다
• 인프라에 대한 완전한 제어를 유지할 수 있습니다

그러나, 인프라 관리 없이 애플리케이션 구축에 집중하고 싶다면, Zilliz Cloud가 최적의 선택입니다. 이는:

• 한 번의 클릭으로 배포되는 솔루션을 제공합니다
• 기업급 보안 및 규정 준수를 제공합니다
• 높은 가용성과 안정성을 제공합니다
• 운영 오버헤드 없이 최적의 성능을 제공합니다

이를 이렇게 생각해 볼 수 있습니다. 만약您가 ‘수정’하고 최대 유연성을 원한다면, Milvus를 선택하세요. 만약 운영 복잡성을 최소화하고 애플리케이션 구축에 바로 집중하고 싶다면, Zilliz Cloud를 선택하세요.

두 경로 모두 목적지에 도달하는 데 도움이 될 것입니다. 그것은 얼마나 많은 여정을 제어하고, 얼마나 빨리 도착해야 하는지에 관한 문제입니다.

감사합니다. 더 많은 정보를 원하는 독자는 Zilliz 또는 Milvus를 방문할 수 있습니다.