Escolhendo Armazenamento para Suportar Iniciativas de IA/ML

Por Candida Valois, Field CTO, Américas, Scality

A adoção de ML e IA continua a aumentar rapidamente, o que não é surpreendente, considerando as percepções comerciais e a transformação da indústria que seus muitos casos de uso prometem. A PwC prevê que, até 2030, a IA poderia contribuir quase $16 trilhões para a economia global. Isso se traduz em um aumento de 26% no PIB das economias locais.

Essas tecnologias exigem vastas quantidades de dados não estruturados para operar, e esses dados geralmente vêm na forma de vídeos, imagens, texto e voz. Cargas de trabalho desses tipos exigem uma nova abordagem para armazenamento de dados; os velhos métodos não são suficientes. Com o advento dessas cargas de trabalho, as aplicações precisam de acesso mais rápido a quantidades massivas de dados – dados que são criados em todos os lugares: na nuvem, nas bordas e no local. Essas cargas de trabalho intensivas exigem baixa latência, a capacidade de suportar diferentes tipos e tamanhos de cargas, e a capacidade de escalar linearmente.

O que é necessário é uma abordagem fresca para entrega de dados, uma que seja centrada no aplicativo em vez de centrada na localização ou tecnologia. Com a adoção em larga escala de IA/ML e análise, os líderes de TI das empresas precisam de uma mudança significativa na forma como pensam sobre gerenciamento e armazenamento de dados.

Manipulando todos os tamanhos de arquivos

Em termos de cargas de trabalho de IA/ML e armazenamento de dados, as organizações precisam de uma solução que possa lidar com diferentes tipos de cargas de trabalho, tanto arquivos pequenos quanto grandes. Em alguns casos, você pode precisar lidar com apenas alguns dezenas de terabytes, enquanto em outros, há muitos petabytes. Não todas as soluções são destinadas a arquivos enormes, assim como nem todas podem lidar com arquivos muito pequenos. O truque é encontrar uma que possa lidar com ambos de forma flexível.

Escalabilidade é essencial

Para garantir precisão e velocidade, as organizações exigem conjuntos de dados massivos porque é isso que os algoritmos de IA/ML precisam para treinar adequadamente os modelos subjacentes. As organizações desejam crescer em termos de capacidade e desempenho, mas são frequentemente impedidas por soluções de armazenamento tradicionais. Quando tentam escalar linearmente, elas não conseguem. As cargas de trabalho de IA/ML exigem uma solução de armazenamento que possa escalar infinitamente à medida que os dados crescem.

Alguns centenas de terabytes atingem o limite máximo das soluções de armazenamento de arquivos e blocos padrão; após isso, elas não podem escalar. O armazenamento de objetos pode escalar ilimitadamente, elasticamente e sem interrupções com base na demanda. E o que é importante sobre o armazenamento de objetos em comparação com o armazenamento tradicional é que é um espaço completamente plano no qual não há limitações. Os usuários não encontrarão as limitações que encontrariam com o armazenamento tradicional.

Atendendo aos requisitos de desempenho

A escalabilidade de capacidade é importante, mas não é suficiente. As organizações também precisam da capacidade de escalar linearmente em termos de desempenho. Infelizmente, com muitas soluções de armazenamento tradicionais, a escalabilidade de capacidade vem à custa do desempenho. Então, quando uma organização precisa escalar linearmente em termos de capacidade, o desempenho tende a se estabilizar ou declinar.

O paradigma de armazenamento padrão consiste em arquivos organizados em uma hierarquia, com diretórios e subdiretórios. Essa arquitetura funciona muito bem quando a capacidade de dados é pequena, mas à medida que a capacidade cresce, o desempenho sofre em um determinado ponto devido a gargalos do sistema e limitações com tabelas de pesquisa de arquivos. No entanto, o armazenamento de objetos fornece um namespace plano ilimitado, de modo que, adicionando simplesmente novos nós, você pode escalar para petabytes e além. Por essa razão, você pode escalar para desempenho à medida que escala para capacidade.

Armazenamento que pode suportar projetos de IA/ML

As organizações devem adotar uma nova forma de olhar para o armazenamento à medida que a IA e a ML aumentam em popularidade. Essa nova abordagem deve capacitá-las a estabelecer, executar e escalar suas iniciativas de IA/ML de forma apropriada. O treinamento de IA/ML é uma necessidade clara, então alguns dos softwares de armazenamento de objetos de nível empresarial disponíveis hoje são projetados para atender a essa necessidade. As empresas podem começar suas iniciativas em pequena escala, começando com um servidor, e então escalar conforme necessário para capacidade e desempenho. Esses projetos também precisam crucialmente de desempenho para suas aplicações analíticas, e o armazenamento de objetos rápido fornece isso. Além disso, o armazenamento de objetos fornece gerenciamento completo do ciclo de vida dos dados em várias nuvens e permite flexibilidade da borda ao núcleo.

As empresas precisam processar dados de forma eficiente, e o armazenamento de objetos faz isso permitindo que as aplicações acessem facilmente os dados no local, mesmo em várias nuvens. Sua baixa latência, escalabilidade e flexibilidade tornam o armazenamento de objetos um forte aliado para as iniciativas de IA/ML.