Ugur Tigli, Diretor Técnico da MinIO – Série de Entrevistas

Ugur Tigli é o Diretor Técnico da MinIO, líder em armazenamento de objetos de alto desempenho para IA. Como Diretor Técnico, Ugur ajuda os clientes a arquitetar e implantar infraestruturas de dados de nível empresarial, impulsionadas por API, nativas em nuvem e escaláveis, usando a MinIO.

Pode descrever sua jornada para se tornar o Diretor Técnico da MinIO e como suas experiências moldaram sua abordagem para IA e infraestrutura de dados?

Comecei minha carreira em engenharia de infraestrutura no Merrill Lynch como administrador de backup e restauração. Continuei a assumir diferentes desafios e várias posições técnicas. Entrei no Bank of America (BAC ) por meio da aquisição do Merrill Lynch, onde fui vice-presidente de Engenharia de Armazenamento. No entanto, meu papel se expandiu para incluir engenharia de computação e centros de dados.

Como parte do meu trabalho, também trabalhei com várias firmas de capital de risco (VCs) e suas empresas de carteira para trazer a última e melhor tecnologia. Durante uma de minhas reuniões com a General Catalyst, fui apresentado à ideia e às pessoas por trás da MinIO. Isso me atraiu porque de como elas abordavam a infraestrutura de dados — diferentemente de todos os outros no mercado. A empresa percebeu a importância do armazenamento de objetos e das APIs padrão que as aplicações estavam começando a usar. Durante aqueles anos, eles podiam prever o futuro da computação e da IA antes de qualquer outra pessoa ou mesmo antes de ser chamado de como é hoje. Queria fazer parte da execução dessa visão e construir algo verdadeiramente único. A MinIO agora é o armazenamento de objetos mais amplamente implantado no planeta.

O impacto dos meus papéis anteriores e experiências sobre como abordo novas tecnologias, especificamente IA e infraestrutura de dados, é simplesmente uma acumulação dos muitos projetos nos quais estive envolvido ao longo dos anos, apoiando equipes de aplicativos em uma empresa de serviços financeiros muito exigente.

Desde os dias de largura de banda de rede limitada, que levaram à tecnologia Hadoop como a mais nova tecnologia há 15 anos, até várias tecnologias de mídia de dados, desde Disco Rígido (HDD) até Disco de Estado Sólido (SSD), muitas dessas mudanças de tecnologia moldaram minha visão atual do ecossistema de IA e infraestrutura de dados.

A MinIO é reconhecida por suas capacidades de armazenamento de objetos de alto desempenho. Como a MinIO atende especificamente às necessidades das empresas impulsionadas por IA hoje?

Quando AB e Garima conceituaram a MinIO, sua primeira prioridade foi pensar em uma declaração de problema — eles sabiam que os dados continuariam a crescer e as tecnologias de armazenamento existentes seriam incompatíveis com esse crescimento. O surgimento rápido da IA tornou suas visões precientes do mercado uma realidade. Desde então, o armazenamento de objetos se tornou fundamental para a infraestrutura de IA (todos os principais LLMs, como OpenAI e Anthropic, são construídos em armazenamentos de objetos), e o data center moderno é construído em uma base de armazenamento de objetos.

A MinIO lançou recentemente uma nova plataforma de armazenamento de objetos com recursos de nível empresarial críticos para apoiar as organizações em suas iniciativas de IA: o MinIO Enterprise Object Store. É projetado para os desafios de desempenho e escala introduzidos por cargas de trabalho de IA maciças e permite que os clientes abordem os desafios associados a bilhões de objetos de forma mais fácil, bem como centenas de milhares de operações criptográficas por nó por segundo. Ele tem seis novos recursos comerciais que visam desafios operacionais e técnicos-chave enfrentados por cargas de trabalho de IA: Catálogo (isso resolve o problema de namespace e pesquisa de metadados do armazenamento de objetos), Firewall (projetado especificamente para os dados), Sistema de Gerenciamento de Chaves (resolve o problema de lidar com bilhões de chaves criptográficas), Cache (opera como um serviço de cache), Observabilidade (permite que os administradores visualizem todos os componentes do sistema em cada instância) e, por fim, o Console Empresarial (serve como um único painel de vidro para todas as instâncias da MinIO de uma organização).

Manipular IA em escala está se tornando cada vez mais crucial. Pode elaborar sobre por que isso é o caso e como a MinIO atende a essas necessidades para as infraestruturas de dados modernas?

Quase tudo o que as organizações constroem agora está em armazenamento de objetos, o que só acelerará à medida que aqueles que executam infraestrutura com um appliance atingirem um limite na era dos data lakes e IA modernos. As organizações estão olhando para novas infraestruturas para gerenciar todos os dados que entram em seu sistema e, em seguida, construir aplicações centradas em dados em cima disso – isso requer escala e flexibilidade extraordinárias que apenas o armazenamento de objetos pode suportar. É aí que a MinIO entra e por que a empresa sempre se destacou da concorrência, pois é projetada para atender às necessidades da IA — armazenar volumes maciços de dados estruturados e não estruturados e fornecer desempenho em escala.

Semelhante às necessidades de aprendizado de máquina (ML) em gerações anteriores de IA, os dados e os data lakes modernos foram críticos para o sucesso de qualquer IA “preditiva”. No entanto, com o avanço da IA “geradora”, esse cenário se expandiu para incluir muitos outros componentes, como dados de IA Ops, pipelines de documentos e modelos fundamentais, e bancos de dados de vetores.

Todos esses componentes adicionais usam armazenamento de objetos, e a maioria deles se integra diretamente à MinIO. Por exemplo, o Milvus, um banco de dados de vetores, usa a MinIO, e muitos motores de consulta modernos se integram à MinIO por meio de APIs S3.

A dívida técnica da IA é uma preocupação crescente para muitas organizações. Quais estratégias a MinIO emprega para ajudar os clientes a evitar esse problema, especialmente em termos de uso mais eficiente de GPUs?

Uma corrente é tão forte quanto seu elo mais fraco – e sua infraestrutura de IA/ML é tão rápida quanto seu componente mais lento. Se você treina modelos de aprendizado de máquina com GPUs, seu elo mais fraco pode ser sua solução de armazenamento. O resultado é o que chamo de “Problema da GPU Faminta”. O problema da GPU Faminta ocorre quando sua solução de rede ou armazenamento não consegue servir dados de treinamento para sua lógica de treinamento rápido o suficiente para utilizar completamente suas GPUs, deixando poder de processamento valioso na mesa. Algo que as organizações podem fazer para aproveitar completamente suas GPUs é, primeiro, entender os sinais de uma arquitetura de dados pobre e como isso pode resultar diretamente no subaproveitamento da tecnologia de IA. Para evitar a dívida técnica, as empresas devem mudar a forma como veem (e armazenam) dados.

As organizações podem configurar uma solução de armazenamento que esteja no mesmo data center que sua infraestrutura de computação. Idealmente, isso seria no mesmo cluster que sua computação. Como a MinIO é uma solução de armazenamento definida por software, ela é capaz do desempenho necessário para alimentar GPUs famintas – um benchmark recente atingiu 325 GiB/s em GETs e 165 GiB/s em PUTs com apenas 32 nós de SSDs NVMe padrão.

Você tem uma rica experiência em criar infraestruturas de dados de alto desempenho para instituições financeiras globais. Como essas experiências informam seu trabalho na MinIO, especialmente ao arquitetar soluções para necessidades industriais diversas?

Ajudei a construir a primeira nuvem privada para o Bank of America, e essa iniciativa economizou bilhões de dólares, fornecendo recursos e funcionalidades disponíveis em nuvens públicas internamente a um custo menor. Não apenas essa iniciativa importante, mas muitos outros requisitos de aplicativos diversificados com os quais trabalhei no BofA Merrill Lynch moldaram meu trabalho na MinIO, relacionado à arquitetura de soluções para nossos clientes hoje.

Por exemplo, aprender da maneira difícil ou errada trabalhando com a equipe que construiu clusters Hadoop que usavam apenas os componentes de armazenamento de dados do servidor, mantendo os CPUs do servidor subutilizados ou quase ociosos. Exemplos simples ou aprendizados como esse me permitiram usar soluções de dados e computação desagregadas na infraestrutura de dados moderna de hoje, ajudando nossos clientes e parceiros, que são tecnicamente melhores e mais baratos, usando as tecnologias de rede de alta largura de banda e armazenamento de objetos de alto desempenho como a MinIO e qualquer motor de consulta ou engine de processamento.

A nuvem híbrida apresenta desafios e complexidades únicos. Pode discutir esses em detalhe e explicar como o modelo de “estouro” para a nuvem da MinIO ajuda a controlar os custos de nuvem de forma eficaz?

Ir para a multicloud não deve levar a orçamentos de TI inflados e à incapacidade de atingir marcos — deve ajudar a gerenciar custos e acelerar a estrada da organização. Algo a considerar é a repatriação de nuvem — a realidade é que mudar operações da nuvem para infraestrutura local pode levar a economias de custos substanciais, dependendo do caso, e você sempre deve olhar para a nuvem como um modelo operacional, não como um destino. Por exemplo, as organizações iniciam instâncias de GPU, mas então gastam tempo pré-processando dados para caberem nelas. Isso desperdiça tempo e dinheiro precioso – as organizações precisam otimizar melhor, escolhendo tecnologias nativas em nuvem e, mais importante, tecnologias portáteis em nuvem que possam desbloquear o poder da multicloud sem custos significativos. Usar os princípios do modelo operacional de nuvem em primeiro lugar e aderir a esse framework fornece a agilidade para adaptar-se a requisitos operacionais em constante mudança.

Soluções nativas em Kubernetes são fundamentais para a infraestrutura moderna. Como a integração da MinIO com o Kubernetes melhora sua escalabilidade e flexibilidade para a infraestrutura de dados de IA?

A MinIO é nativa em Kubernetes por design e compatível com S3 desde o início. Os desenvolvedores podem implantar rapidamente armazenamento de objetos persistente para todos os seus aplicativos nativos em nuvem. A combinação da MinIO e do Kubernetes fornece uma plataforma poderosa que permite que os aplicativos escalonem em qualquer infraestrutura de multicloud e híbrida e ainda sejam gerenciados e protegidos centralmente, evitando o bloqueio de nuvem pública.

Com o Kubernetes como seu motor, a MinIO pode ser executada em qualquer lugar onde o Kubernetes é executado – o que, no mundo moderno, nativo em nuvem e de IA, é essencialmente em todos os lugares.

Olhando para o futuro, quais são os desenvolvimentos ou melhorias que os usuários podem esperar da MinIO no contexto da infraestrutura de dados de IA?

Nossas parcerias e lançamentos de produtos recentes são um sinal para o mercado de que não estamos desacelerando em momento algum, e continuaremos impulsionando onde faz sentido para nossos clientes. Por exemplo, recentemente nos associamos à Carahsoft para tornar o portfólio de armazenamento de objetos definido por software da MinIO disponível para os setores de Governo, Defesa, Inteligência e Educação. Isso permite que as organizações do setor público construam qualquer infraestrutura de dados diversa em escala, desde data lakes modernos até soluções de armazenamento de dados específicas de missão na borda autônoma. Juntos, estamos trazendo essas soluções únicas e de ponta para os clientes do setor público, capacitando-os a abordar desafios de infraestrutura de dados de forma fácil e eficiente. Essa parceria ocorre em um momento em que há um impulso crescente para permitir que o setor público esteja pronto para a IA, com os requisitos recentes do OMB afirmando que todas as agências federais precisam de um Oficial de IA Chefe (entre outras coisas). No geral, a parceria ajuda a fortalecer a postura de IA da indústria e fornece ao setor público as ferramentas valiosas necessárias para ter sucesso.

Além disso, a MinIO está muito bem posicionada para o futuro. A infraestrutura de dados de IA ainda está em sua infância. Muitas áreas disso serão mais aparentes nos próximos dois anos. Por exemplo, a maioria das empresas desejará usar seus dados e documentos proprietários com modelos fundamentais e Geração Aumentada de Recuperação (RAG). Uma integração adicional a esse padrão de implantação será fácil para a MinIO, pois todos esses escolhas arquitetônicas e padrões de implantação têm uma coisa em comum – todos esses dados já estão armazenados na MinIO.

Finalmente, para líderes de tecnologia que buscam construir ou aprimorar sua infraestrutura de dados para IA, quais conselhos você ofereceria com base em sua experiência e insights na MinIO?

Para tornar qualquer iniciativa de IA bem-sucedida, há três elementos-chave que você deve seguir: ter os dados certos, a infraestrutura certa e os aplicativos certos. Isso realmente começa com a compreensão do que você precisa – não vá comprar GPUs caras apenas porque tem medo de perder o barco da IA. Acredito firmemente que as estratégias de IA empresariais falharão em 2024 se as organizações se concentrarem apenas nos modelos em si e não nos dados. Pensar de cima para baixo nos modelos versus de baixo para cima nos dados é um erro crítico – você deve começar com os dados. Construa uma infraestrutura de dados adequada. Em seguida, pense nos seus modelos. À medida que as organizações se movem em direção a uma arquitetura de IA em primeiro lugar, é imperativo que sua infraestrutura de dados permita que seus dados sejam utilizados – não os restrinja.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar MinIO.