Alimente seus esforços de ML e AI com Transformação de Dados – Líderes de Pensamento

Quanto maior a variedade, velocidade e volume de dados que temos, mais viável se torna usar análise preditiva e modelagem para prever o crescimento e identificar áreas de oportunidade e melhoria. No entanto, obter o maior valor dos relatórios, ferramentas de aprendizado de máquina (ML) e inteligência artificial (AI) exige que uma organização acesse dados de muitas fontes e garanta que os dados sejam de alta qualidade e confiáveis. Isso é frequentemente a maior barreira para transformar grandes dados em estratégia de negócios.

Os profissionais de dados gastam tanto tempo coletando e validando dados para prepará-los para uso que têm pouco tempo para se concentrar em seu propósito principal: analisar os dados e derivar valor de negócios deles. Não é surpreendente que 76 por cento dos cientistas de dados digam que a preparação de dados é a parte menos agradável de seu trabalho. Além disso, os esforços atuais de preparação de dados, como manipulação de dados e ETL tradicional, exigem esforço manual de profissionais de TI e não são suficientes para lidar com a escala e complexidade dos grandes dados.

As empresas que desejam aproveitar o poder da IA precisam se afastar desses processos tediosos e em grande parte manuais que aumentam o risco de resultados “lixo dentro, lixo fora”. Em vez disso, elas precisam de processos de transformação de dados que extraiam dados brutos de múltiplas fontes e formatos, os juntem e os normalize, e adicionem valor com lógica de negócios e métricas para torná-los prontos para análise. Com transformação de dados complexa, elas podem ter certeza de que os modelos de AI/ML são baseados em dados limpos e precisos que entregam resultados confiáveis.

Aproveitando o poder da nuvem com ELT

O melhor lugar para preparar e transformar dados hoje é um armazém de dados na nuvem (CDW) como Amazon Redshift, Google BigQuery, Microsoft Azure Synapse ou Snowflake. Enquanto as abordagens tradicionais de armazenamento de dados exigem que os dados sejam extraídos e transformados antes de serem carregados, um CDW aproveita a escalabilidade e o desempenho da nuvem para uma ingestão e transformação de dados mais rápidas e torna possível extrair e carregar dados de muitas fontes de dados dispersas antes de transformá-los dentro do CDW.

Idealmente, o modelo ELT move inicialmente os dados para uma seção do CDW reservada para dados brutos de estágio. A partir daí, o CDW pode usar seus recursos de computação quase ilimitados disponíveis para trabalhos de integração e ETL que limpam, agregam, filtram e juntam os dados em estágio. Os dados podem então ser transformados em um esquema diferente – como um esquema de cofre de dados ou Estrela, por exemplo, otimizando os dados para relatórios e análise

A abordagem ELT também permite que você replique dados brutos dentro do CDW para preparação e transformação posteriores quando e conforme necessário. Isso permite que você use ferramentas de inteligência de negócios que determinam o esquema na leitura e produzem transformações específicas sob demanda, permitindo efetivamente que você transforme os mesmos dados de múltiplas maneiras à medida que você descobre novos usos para eles.

Acelerando modelos de aprendizado de máquina

Esses exemplos do mundo real mostram como duas empresas de diferentes setores estão aproveitando a transformação de dados em um CDW para impulsionar as iniciativas de IA.

Uma agência de marketing e publicidade boutique construiu uma plataforma de gerenciamento de clientes proprietária para ajudar seus clientes a melhor identificar, entender e motivar seus clientes. Ao transformar dados dentro de um CDW, a plataforma integra rapidamente e com facilidade dados de clientes em tempo real de vários canais em uma visão de 360 graus do cliente que informa os modelos de AI/ML da plataforma para tornar as interações do cliente mais consistentes, oportunas e personalizadas.

Uma empresa global de logística que faz 100 milhões de entregas para 37 milhões de clientes únicos em 72 países precisa de vastas quantidades de dados para alimentar suas operações diárias. A adoção da transformação de dados dentro de um CDW permitiu que a empresa implantasse 200 modelos de aprendizado de máquina em um único ano. Esses modelos fazem 500.000 previsões todos os dias, melhorando significativamente a eficiência e impulsionando um serviço de atendimento ao cliente superior que reduziu as chamadas de entrada no centro de chamadas em 40 por cento.

Melhores práticas para começar

As empresas que desejam apoiar suas iniciativas de AI/ML com o poder da transformação de dados na nuvem precisam entender seu caso de uso e necessidades específicas. Começar com o que você deseja fazer com seus dados – reduzir os custos de combustível otimizando as rotas de entrega, aumentar as vendas entregando as melhores ofertas aos agentes de atendimento ao cliente em tempo real, etc. – permite que você engenharia reversa seus processos para que você possa identificar quais dados entregam resultados relevantes.

Uma vez que você determine quais dados seu projeto de AI/ML precisa para construir seus modelos, você precisa de uma solução de ELT nativa na nuvem que fará com que seus dados sejam adequados para uso. Procure uma solução que:

• Seja neutra em termos de fornecedor e capaz de trabalhar com sua pilha de tecnologia atual

• Seja flexível o suficiente para escalar para cima e para baixo e se adaptar à medida que sua pilha de tecnologia muda

• Possam lidar com transformações de dados complexas de múltiplas fontes de dados

• Ofereça um modelo de preços pay-as-you-go, no qual você paga apenas pelo que usa

• Seja projetada para seu CDW preferido, para que você possa aproveitar completamente os recursos desse CDW para executar trabalhos mais rápido e transformar dados de forma transparente.

Uma solução de transformação de dados na nuvem que atende aos denominadores comuns de todos os CDWs pode fornecer uma experiência consistente, mas apenas uma que habilita os recursos poderosos e diferenciados do seu CDW escolhido pode entregar o desempenho de alto desempenho que acelera o tempo de insight. A solução certa permitirá que você alimente seus projetos de AI/ML com mais dados limpos e confiáveis de mais fontes em menos tempo – e gere resultados mais rápidos e confiáveis que impulsionam valor de negócios e inovação anteriormente não realizados.