Escolhendo o Armazenamento para Suportar Iniciativas de AI/ML

Por Candida Valois, Field CTO, Americas, Scality

A adoção de ML e AI continua a aumentar rapidamente, o que não é surpreendente, considerando as informações de negócios e a transformação da indústria que seus muitos casos de uso prometem. A PwC prevê que, até 2030, a IA poderá contribuir quase $16 trilhões para a economia global. Isso se traduz em um aumento de 26% no PIB das economias locais.

Essas tecnologias exigem vastas quantidades de dados não estruturados para operar, e esses dados frequentemente vêm na forma de vídeos, imagens, texto e voz. Cargas de trabalho desses tipos exigem uma nova abordagem para o armazenamento de dados; os velhos métodos não são suficientes. Com o advento dessas cargas de trabalho, as aplicações precisam de acesso mais rápido a grandes quantidades de dados – dados que são criados em todos os lugares: na nuvem, nas bordas e no local. Essas cargas de trabalho intensivas exigem baixa latência, a capacidade de suportar diferentes tipos e tamanhos de payloads e a capacidade de escalar linearmente.

O que é necessário é uma abordagem fresca para a entrega de dados, uma que seja centrada na aplicação em vez de centrada na localização ou tecnologia. Com a adoção em larga escala de AI/ML e análise, os líderes de TI das empresas precisam de uma mudança significativa na forma como pensam sobre gerenciamento e armazenamento de dados.

Manipulando todos os tamanhos de arquivos

Em termos de cargas de trabalho de AI/ML e armazenamento de dados, as organizações precisam de uma solução que possa lidar com diferentes tipos de cargas de trabalho, tanto arquivos pequenos quanto grandes. Em alguns casos, você pode precisar lidar com apenas alguns dezenas de terabytes, enquanto em outros, há muitos petabytes. Nem todas as soluções são feitas para arquivos enormes, assim como nem todas podem lidar com arquivos muito pequenos. O truque é encontrar uma que possa lidar com ambos de forma flexível.

Escalabilidade é essencial

Para garantir a precisão e a velocidade, as organizações exigem conjuntos de dados massivos porque é isso que os algoritmos de AI/ML precisam para treinar os modelos subjacentes. As organizações desejam crescer em termos de capacidade e desempenho, mas frequentemente são impedidas por soluções de armazenamento tradicionais. Quando tentam escalar linearmente, elas não conseguem. As cargas de trabalho de AI/ML exigem uma solução de armazenamento que possa escalar infinitamente à medida que os dados crescem.

Algumas centenas de terabytes esgotam as soluções de armazenamento de arquivos e blocos padrão; após isso, elas não podem escalar. O armazenamento de objetos pode escalar ilimitadamente, elasticamente e de forma transparente com base na demanda. E o que é importante sobre o armazenamento de objetos em comparação com o armazenamento tradicional é que é um espaço completamente plano no qual não há limitações. Os usuários não encontrarão as limitações que encontrariam com o armazenamento tradicional.

Atendendo aos requisitos de desempenho

A escalabilidade da capacidade é importante, mas não é suficiente. As organizações também precisam da capacidade de escalar linearmente em termos de desempenho. Infelizmente, com muitas soluções de armazenamento tradicionais, a escalabilidade da capacidade vem à custa do desempenho. Então, quando uma organização precisa escalar linearmente em termos de capacidade, o desempenho tende a estagnar ou declinar.

O paradigma de armazenamento padrão consiste em arquivos organizados em uma hierarquia, com diretórios e subdiretórios. Essa arquitetura funciona muito bem quando a capacidade de dados é pequena, mas à medida que a capacidade cresce, o desempenho sofre em um determinado ponto devido a gargalos e limitações do sistema com tabelas de lookup de arquivos. No entanto, o armazenamento de objetos fornece um namespace plano ilimitado, de modo que, adicionando simplesmente novos nós, é possível escalar para petabytes e além. Por essa razão, é possível escalar para o desempenho à medida que se escala para a capacidade.

Armazenamento que pode suportar projetos de AI/ML

As organizações devem adotar uma nova forma de olhar para o armazenamento à medida que a IA e a ML crescem em popularidade. Essa nova abordagem deve permitir que elas estabeleçam, executem e escalonem suas iniciativas de AI/ML da maneira correta. O treinamento de AI/ML é uma necessidade clara, então alguns dos softwares de armazenamento de objetos de nível empresarial disponíveis hoje são projetados para atender a essa necessidade. As empresas podem começar suas iniciativas em pequena escala, começando com um servidor, e então escalonar conforme necessário para capacidade e desempenho. Esses projetos também precisam crucialmente de desempenho para suas aplicações de análise, e o armazenamento de objetos rápido fornece isso. Além disso, o armazenamento de objetos fornece gerenciamento completo do ciclo de vida dos dados em múltiplas nuvens e permite flexibilidade da borda ao núcleo.

As empresas precisam processar dados de forma eficiente, e o armazenamento de objetos faz isso permitindo que as aplicações acessem facilmente os dados no local, mesmo em múltiplas nuvens. Sua baixa latência, escalabilidade e flexibilidade tornam o armazenamento de objetos um forte aliado para as iniciativas de AI/ML.