Escolhendo o armazenamento para oferecer suporte a iniciativas de IA/ML

Por Candida Valois, Field CTO, Américas, Escalação

A adoção de ML e AI continua a aumentar rapidamente, o que não é surpreendente, dados os insights de negócios e a transformação do setor que seus muitos casos de uso pressagiam. A PwC prevê que, até 2030, a IA poderá contribuir com quase US$ 16 trilhões para a economia global. Isso se traduz em um aumento de 26% no PIB para as economias locais.

Estas tecnologias requerem grandes quantidades de dados não estruturados para funcionar, e esses dados muitas vezes vêm na forma de vídeos, imagens, texto e voz. Cargas de trabalho desses tipos exigem uma nova abordagem para armazenamento de dados; os velhos métodos não serão suficientes. Com o advento dessas cargas de trabalho, os aplicativos precisam de acesso mais rápido a grandes quantidades de dados – dados que são criados em qualquer lugar: na nuvem, nas bordas e no local. Essas cargas de trabalho intensivas exigem baixa latência, capacidade de suportar diferentes tipos e tamanhos de cargas úteis e capacidade de escalabilidade linear.

O que é necessário é uma nova abordagem para a entrega de dados, centrada no aplicativo, em vez de centrada na localização ou na tecnologia. Com a adoção em larga escala de IA/ML e análise, os líderes de TI corporativos precisam de uma mudança significativa na forma como pensam sobre o gerenciamento e armazenamento de dados.

Manipulando todos os tamanhos de arquivo

Em termos de cargas de trabalho AI/ML e armazenamento de dados, as organizações precisam de uma solução que possa lidar com diferentes tipos de cargas de trabalho, tanto arquivos pequenos quanto grandes. Em alguns casos, você pode precisar lidar com apenas algumas dezenas de terabytes, enquanto em outros, há muitos petabytes. Nem todas as soluções são destinadas a arquivos enormes, assim como nem todas podem lidar com arquivos muito pequenos. O truque é encontrar um que possa lidar com ambos de maneira flexível.

Escalabilidade é essencial

Para garantir precisão e velocidade, as organizações exigem grandes conjuntos de dados porque é disso que os algoritmos de IA/ML precisam para treinar adequadamente os modelos subjacentes. As organizações desejam crescer em termos de capacidade e desempenho, mas muitas vezes são prejudicadas por soluções de armazenamento tradicionais. Quando tentam escalar linearmente, não conseguem. As cargas de trabalho AI/ML exigem uma solução de armazenamento que pode ser dimensionada infinitamente à medida que os dados crescem.

Algumas centenas de terabytes maximizam as soluções padrão de armazenamento de arquivos e blocos; depois disso, eles não podem escalar. O armazenamento de objetos pode ser dimensionado de forma ilimitada, elástica e contínua com base na demanda. E o que é importante sobre o armazenamento de objetos em comparação com o armazenamento tradicional é que é um espaço completamente plano no qual não há limitações. Os usuários não encontrarão as limitações que encontrariam com o armazenamento tradicional.

Atendendo aos requisitos de desempenho

O dimensionamento da capacidade é importante, mas não é suficiente. As organizações também precisam da capacidade de dimensionar linearmente em termos de desempenho. Infelizmente, com muitas soluções de armazenamento tradicionais, o dimensionamento da capacidade ocorre às custas do desempenho. Assim, quando uma organização precisa escalar linearmente em termos de capacidade, o desempenho tende a estabilizar ou diminuir.

O paradigma de armazenamento padrão consiste em arquivos organizados em uma hierarquia, com diretórios e subdiretórios. Essa arquitetura funciona muito bem quando a capacidade de dados é pequena, mas à medida que a capacidade aumenta, o desempenho sofre em um determinado ponto devido a gargalos do sistema e limitações com tabelas de pesquisa de arquivos. No entanto, o armazenamento de objetos fornece um namespace plano ilimitado para que, simplesmente adicionando nós adicionais, você possa escalar para petabytes e além. Por esse motivo, você pode escalar para desempenho conforme escala para capacidade.

Armazenamento que pode suportar projetos AI/ML

As organizações devem adotar uma nova maneira de olhar para o armazenamento à medida que a IA e o ML aumentam em popularidade. Essa nova abordagem deve capacitá-los a estabelecer, executar e dimensionar suas iniciativas de IA/ML da maneira adequada. O treinamento em IA/ML é uma necessidade clara, portanto, alguns dos softwares de armazenamento de objetos de nível empresarial disponíveis hoje são criados para atender a essa necessidade. As empresas podem iniciar suas iniciativas em pequena escala, começando com um servidor e, em seguida, expandir conforme necessário para capacidade e desempenho. Esses projetos também precisam de desempenho crucial para seus aplicativos analíticos, e o armazenamento rápido de objetos oferece isso. Além disso, o armazenamento de objetos fornece gerenciamento completo do ciclo de vida dos dados em várias nuvens e permite flexibilidade da borda ao núcleo.

As empresas precisam processar dados com eficiência, e o armazenamento de objetos faz isso permitindo que os aplicativos acessem facilmente os dados no local, mesmo em várias nuvens. Sua baixa latência, escalabilidade e flexibilidade tornam o object storage um forte aliado para iniciativas de IA/ML.