Ugur Tigli, MinIO의 최고 기술 책임자 – 인터뷰 시리즈

Ugur Tigli는 최고 기술 책임자(CTO)입니다. 미니오, 고성능 객체 스토리지 분야의 선두주자 AI. CTO로서 Ugur는 고객이 MinIO를 사용하여 API 기반, 클라우드 기반 및 확장 가능한 엔터프라이즈급 데이터 인프라를 설계하고 배포하도록 돕습니다.

MinIO의 CTO가 되기까지의 여정과 경험이 어떻게 MinIO에 대한 접근 방식을 형성했는지 설명할 수 있습니까? AI 그리고 데이터 인프라?

저는 Merrill Lynch에서 백업 및 복원 관리자로 인프라 엔지니어링 분야의 경력을 시작했습니다. 저는 계속해서 다양한 도전과 다양한 기술적인 입장을 취했습니다. 저는 Merrill Lynch를 인수하면서 Bank of America에 입사했으며, 그곳에서 스토리지 엔지니어링 부사장을 역임했습니다. 하지만 내 역할은 컴퓨팅과 데이터 센터 엔지니어링까지 확대되었습니다.

업무의 일환으로 저는 다양한 벤처 캐피탈 회사(VC) 및 그 포트폴리오 회사와 협력하여 최신 및 최고의 기술을 도입했습니다. General Catalyst와의 회의 중 MinIO의 아이디어와 사람들을 소개받았습니다. 데이터 인프라에 접근하는 방식이 저에게 매력적이었습니다. 이는 시장의 다른 모든 업체와 달랐습니다. 회사는 애플리케이션을 시작하는 데 사용되는 객체 저장소와 표준 API의 중요성을 깨달았습니다. 그 기간 동안 그들은 컴퓨팅의 미래를 예측할 수 있었고 AI 다른 사람보다 먼저, 심지어 오늘날의 이름으로 불리기 전에도 말이죠. 저는 그 비전을 실행하고 진정으로 독특한 것을 구축하는 데 참여하고 싶었습니다. MinIO는 이제 지구상에서 가장 널리 배포된 개체 저장소입니다.

나의 이전 역할과 경험이 내가 새로운 기술에 접근하는 방식에 미치는 영향, 특히 AI 데이터 인프라는 제가 수년간 매우 까다로운 금융 서비스 회사에서 애플리케이션 팀을 지원하면서 참여한 많은 프로젝트의 집합일 뿐입니다.

15년 전 Hadoop 기술이 최신 기술이 된 제한된 네트워크 대역폭 시대부터 하드 디스크 드라이브(HDD)에서 솔리드 스테이트 드라이브(SSD)에 이르는 다양한 데이터 미디어 기술에 이르기까지 이러한 기술 변화 중 상당수가 현재의 관점을 형성했습니다. ~의 AI 생태계와 데이터 인프라.

MinIO는 고성능 개체 스토리지 기능으로 인정받고 있습니다. MinIO는 구체적으로 어떻게 다음의 요구 사항을 충족합니까? AI오늘날 주도형 기업은 무엇입니까?

AB와 Garima가 MinIO를 개념화할 때 최우선 순위는 문제 설명에 대해 생각하는 것이었습니다. 그들은 데이터가 계속해서 증가할 것이고 기존 스토리지 기술은 이러한 증가와 호환되지 않는다는 것을 알고 있었습니다. 급속한 출현 AI 시장에 대한 그들의 예지력 있는 견해를 현실로 만들었습니다. 그 이후로 객체 스토리지는 다음의 기반이 되었습니다. AI 인프라(OpenAI 및 Anthropic과 같은 모든 주요 LLM은 모두 객체 저장소를 기반으로 구축됨), 최신 데이터 센터는 객체 저장소 기반을 기반으로 구축됩니다.

MinIO는 최근 조직의 업무를 지원하기 위해 중요한 엔터프라이즈급 기능을 갖춘 새로운 객체 스토리지 플랫폼을 출시했습니다. AI 이니셔티브: MinIO Enterprise Object Store. 대규모로 인해 발생하는 성능 및 규모 문제를 해결하도록 설계되었습니다. AI 고객은 수십억 개의 개체와 초당 노드당 수십만 건의 암호화 작업과 관련된 문제를 더 쉽게 해결할 수 있습니다. 여기에는 기업이 직면한 주요 운영 및 기술 과제를 대상으로 하는 6가지 새로운 상용 기능이 있습니다. AI 워크로드: 카탈로그(객체 스토리지 네임스페이스 및 메타데이터 검색 문제 해결), 방화벽(데이터용으로 구축됨), 키 관리 시스템(수십억 개의 암호화 키 처리 문제 해결), 캐시(캐싱 서비스로 작동) ), 관찰 가능성(관리자가 모든 인스턴스에서 모든 시스템 구성 요소를 볼 수 있음), 마지막으로 Enterprise Console(조직의 모든 MinIO 인스턴스에 대한 단일 창 역할을 함)입니다.

처리 AI 규모가 점점 더 중요해지고 있습니다. 이것이 왜 해당되는지, 그리고 MinIO가 현대 기업의 이러한 요구 사항을 어떻게 촉진하는지 자세히 설명해 주시겠습니까?

조직이 구축하는 거의 모든 것이 이제 객체 스토리지에 있으며, 이는 어플라이언스를 사용하여 인프라를 실행하는 기업이 최신 데이터 레이크 시대에 벽에 부딪히면서 가속화될 것입니다. AI. 조직은 시스템으로 들어오는 모든 데이터를 관리하고 그 위에 데이터 중심 애플리케이션을 구축하기 위해 새로운 인프라를 찾고 있습니다. 이를 위해서는 객체 스토리지만이 지원할 수 있는 뛰어난 확장성과 유연성이 필요합니다. 이것이 바로 MinIO가 등장하는 이유이며 회사가 무엇을 위해 설계되었기 때문에 항상 경쟁사보다 훨씬 앞서 서 있는 이유입니다. AI 요구 사항 – 대량의 정형 및 비정형 데이터를 저장하고 규모에 맞는 성능을 제공합니다.

이전 세대의 기계 학습(ML) 요구 사항과 유사합니다. AI, 데이터 및 최신 데이터 레이크는 모든 "예측" 성공에 매우 중요했습니다. AI. 하지만 '생성' 기술이 발전하면서 AI, 이 환경은 다음과 같은 다른 많은 구성 요소를 포함하도록 확장되었습니다. AI 운영 데이터 및 문서 파이프라인, 기본 모델, 벡터 데이터베이스.

이러한 추가 구성 요소는 모두 객체 스토리지를 사용하며 대부분 MinIO와 직접 통합됩니다. 예를 들어 벡터 데이터베이스인 Milvus는 MinIO를 사용하며 많은 최신 쿼리 엔진은 S3 API를 통해 MinIO와 통합됩니다.

AI 기술 부채는 많은 조직에서 점점 더 우려되고 있습니다. 특히 GPU를 보다 효율적으로 활용하는 측면에서 고객이 이 문제를 피할 수 있도록 MinIO는 어떤 전략을 사용합니까?

사슬은 가장 약한 고리만큼 강합니다. AI/ML 인프라는 가장 느린 구성 요소만큼만 빠릅니다. GPU를 사용하여 기계 학습 모델을 훈련하는 경우 약한 링크가 스토리지 솔루션이 될 수 있습니다. 그 결과는 제가 "GPU 부족 문제"라고 부르는 것입니다. GPU 부족 문제는 네트워크 또는 스토리지 솔루션이 GPU를 완전히 활용할 수 있을 만큼 빠르게 훈련 논리에 훈련 데이터를 제공할 수 없어 귀중한 컴퓨팅 성능이 저하될 때 발생합니다. 조직이 GPU를 완전히 활용하기 위해 할 수 있는 일은 먼저 열악한 데이터 아키텍처의 징후와 이것이 어떻게 GPU의 활용도 저하로 직접적으로 이어질 수 있는지를 이해하는 것입니다. AI 기술. 기술적인 부채를 피하려면 기업은 데이터를 보고 저장하는 방식을 바꿔야 합니다.

조직은 컴퓨팅 인프라와 동일한 데이터 센터에 스토리지 솔루션을 설정할 수 있습니다. 이상적으로는 컴퓨팅과 동일한 클러스터에 있어야 합니다. MinIO는 소프트웨어 정의 스토리지 솔루션이기 때문에 최근 출시된 GPU에 필요한 성능을 제공할 수 있습니다. 기준 기성 NVMe SSD 노드 325개만으로 GET에서 165GiB/s, PUT에서 32GiB/s를 달성했습니다.

당신은 글로벌 금융 기관을 위한 고성능 데이터 인프라 구축에 대한 풍부한 배경 지식을 가지고 있습니다. 이러한 경험이 MinIO에서의 업무, 특히 다양한 업계 요구에 맞는 솔루션 설계에 어떤 영향을 미치나요?

저는 Bank of America의 최초 프라이빗 클라우드 구축을 도왔으며, 그 이니셔티브는 퍼블릭 클라우드에서 내부적으로 사용할 수 있는 기능을 저렴한 비용으로 제공함으로써 수십억 달러를 절약했습니다. 이 주요 이니셔티브뿐만 아니라 BofA Merrill Lynch에서 작업한 기타 다양한 애플리케이션 요구 사항은 오늘날 고객을 위한 솔루션 설계와 관련하여 MinIO에서의 작업을 형성했습니다.

예를 들어, 서버 CPU를 충분히 활용하지 않거나 거의 유휴 상태로 유지하면서 서버의 데이터 스토리지 구성 요소만 사용하는 Hadoop 클러스터를 구축한 팀에서는 이를 잘못 학습하거나 "어려운" 방법으로 작업했습니다. 이와 같은 간단한 예나 학습을 통해 오늘날의 현대 데이터 인프라에서 분리된 데이터 및 컴퓨팅 솔루션을 사용하는 동시에 오늘날의 고대역폭 네트워크 기술과 MinIO와 같은 고성능 개체 저장소를 사용하여 기술적으로 더 우수하고 저렴한 솔루션인 고객과 파트너를 도울 수 있었습니다. 그리고 모든 쿼리 또는 처리 엔진.

 하이브리드 클라우드는 고유한 과제와 복잡성을 제시합니다. 이에 대해 자세히 논의하고 MinIO의 클라우드 모델에 대한 하이브리드 "버스트"가 클라우드 비용을 효과적으로 제어하는 ​​데 어떻게 도움이 되는지 설명해 주시겠습니까?

멀티클라우드 전환으로 인해 IT 예산이 급증하거나 목표 달성이 불가능해져서는 안 됩니다. 비용을 관리하고 조직의 로드맵을 가속화하는 데 도움이 되어야 합니다. 고려해야 할 사항은 클라우드 송환입니다. 현실적으로 운영을 클라우드에서 온프레미스 인프라로 전환하면 경우에 따라 상당한 비용 절감이 가능하며 클라우드를 항상 목적지가 아닌 운영 모델로 보아야 합니다. 예를 들어, 조직에서는 GPU 인스턴스를 가동하지만 이를 GPU에 맞추기 위해 데이터를 전처리하는 데 시간을 소비합니다. 이는 귀중한 시간과 비용을 낭비합니다. 조직은 상당한 비용을 들이지 않고 멀티클라우드의 힘을 발휘할 수 있는 클라우드 네이티브, 그리고 더 중요하게는 클라우드 이식 가능 기술을 선택하여 더 효과적으로 최적화해야 합니다. 클라우드 우선 운영 모델 원칙을 사용하고 해당 프레임워크를 준수하면 변화하는 운영 요구 사항에 적응할 수 있는 민첩성이 제공됩니다.

Kubernetes 기반 솔루션은 현대 인프라의 중추입니다. MinIO와 Kubernetes의 통합은 어떻게 확장성과 유연성을 향상합니까? AI 데이터 인프라?

MinIO는 설계상 Kubernetes 기반이며 처음부터 S3와 호환됩니다. 개발자는 모든 클라우드 네이티브 애플리케이션에 대해 영구 객체 스토리지를 신속하게 배포할 수 있습니다. MinIO와 Kubernetes의 조합은 애플리케이션이 모든 멀티 클라우드 및 하이브리드 클라우드 인프라 전반에 걸쳐 확장되고 퍼블릭 클라우드 종속을 방지하면서 중앙에서 관리 및 보호될 수 있도록 하는 강력한 플랫폼을 제공합니다.

Kubernetes를 엔진으로 사용하면 MinIO는 Kubernetes가 실행되는 모든 곳에서 실행될 수 있습니다.AI 세상은 본질적으로 어디에나 있다.

앞으로 MinIO의 맥락에서 사용자가 기대할 수 있는 향후 개발 또는 개선 사항은 무엇입니까? AI 데이터 인프라?

우리의 최근 파트너십과 제품 출시는 우리가 조만간 속도를 늦추지 않을 것이라는 시장의 신호이며 우리는 고객에게 합당한 방향으로 계속 노력할 것입니다. 예를 들어, 우리는 최근 Carahsoft와 제휴하여 MinIO의 소프트웨어 정의 개체 스토리지 포트폴리오를 정부, 국방, 정보 및 교육 부문에서 사용할 수 있도록 했습니다. 이를 통해 공공 부문 조직은 광범위한 최신 데이터레이크부터 자율 엣지의 임무별 데이터 스토리지 솔루션에 이르기까지 다양한 규모의 데이터 인프라를 구축할 수 있습니다. 우리는 함께 이러한 최첨단 고유 솔루션을 공공 부문 고객에게 제공하여 고객이 데이터 인프라 문제를 쉽고 효율적으로 해결할 수 있도록 지원하고 있습니다. 이 파트너십은 공공 부문이 AI-준비, 최근 OMB 요구 사항에 따르면 모든 연방 기관에는 국장이 필요합니다. AI 장교 (무엇보다도). 전반적으로 이번 파트너십은 업계의 경쟁력을 강화하는 데 도움이 됩니다. AI 자세를 취하고 공공 부문에 성공하는 데 필요한 귀중한 도구를 제공합니다.

또한 MinIO는 미래를 위해 매우 좋은 위치에 있습니다. AI 데이터 인프라는 아직 초기 단계입니다. 앞으로 몇 년 안에 많은 부분이 더욱 분명해질 것입니다. 예를 들어, 대부분의 기업은 기본 모델 및 RAG(검색 증강 생성)를 통해 독점 데이터 및 문서를 사용하기를 원할 것입니다. 이 배포 패턴에 대한 추가 통합은 이러한 모든 아키텍처 선택과 배포 패턴에 한 가지 공통점이 있다는 사실, 즉 모든 데이터가 이미 MinIO에 저장되어 있다는 사실을 MinIO에 쉽게 적용할 수 있습니다.

마지막으로 데이터 인프라를 구축하거나 강화하려는 기술 리더를 위한 정보입니다. AI, MinIO에서의 경험과 통찰력을 바탕으로 어떤 조언을 해주실 수 있나요?

조금이라도 만들기 위해서는 AI 이니셔티브가 성공하려면 올바른 데이터, 올바른 인프라, 올바른 애플리케이션을 확보해야 한다는 세 가지 핵심 요소를 준수해야 합니다. 정말 필요한 것이 무엇인지 이해하는 것부터 시작됩니다. 단지 기회를 놓칠까 봐 두려워서 비싼 GPU를 사지 마십시오. AI 보트. 나는 그 기업을 굳게 믿는다. AI 조직이 데이터가 아닌 모델 자체에만 집중한다면 2024년에는 전략이 실패할 것입니다. 모델을 아래로 생각하고 데이터를 위로 생각하는 것은 중대한 실수입니다. 데이터부터 시작해야 합니다. 적절한 데이터 인프라를 구축하세요. 그런 다음 모델에 대해 생각해 보세요. 조직이 다음 방향으로 이동함에 따라 AI-첫 번째 아키텍처에서는 데이터 인프라가 데이터를 제한하는 것이 아니라 데이터를 활성화하는 것이 중요합니다.

훌륭한 인터뷰 감사합니다. 자세한 내용을 알고 싶은 독자는 방문하세요. 미니오.