Impulsione seus esforços de ML e IA com a transformação de dados – Líderes de pensamento

Quanto maior a variedade, a velocidade e o volume de dados que temos, mais viável se torna o uso de análises preditivas e modelagem para prever o crescimento e identificar áreas de oportunidades e melhorias. No entanto, obter o maior valor das ferramentas de relatórios, aprendizado de máquina (ML) e inteligência artificial (IA) exige que uma organização acesse dados de muitas fontes e garanta que os dados sejam de alta qualidade e confiáveis. Esta é muitas vezes a maior barreira para transformar big data em estratégia de negócios.

Os profissionais de dados gastam tanto tempo reunindo e validando dados para prepará-los para uso que eles têm pouco tempo para se concentrar em seu objetivo principal: analisar os dados e derivar valor comercial deles. Sem surpresa, 76% dos cientistas de dados dizem que a preparação de dados é a parte menos agradável de seu trabalho. Além disso, os esforços atuais de preparação de dados, como disputa de dados e ETL tradicional, exigem esforço manual dos profissionais de TI e não são suficientes para lidar com a escala e a complexidade do big data.

As empresas que desejam aproveitar o poder da IA ​​precisam romper com esses processos tediosos e amplamente manuais que aumentam o risco de resultados de “entra lixo, sai lixo”. Em vez disso, eles precisam de processos de transformação de dados que extraiam dados brutos em várias fontes e formatos, unam-nos e normalizem-nos e agreguem valor com lógica e métricas de negócios para prepará-los para análises. Com a transformação de dados complexa, eles podem ter certeza de que os modelos AI/ML são baseados em dados limpos e precisos que fornecem resultados confiáveis.

Aproveitando o poder da nuvem com ELT

O melhor lugar para preparar e transformar dados hoje é um armazenamento de dados em nuvem (CDW), como Amazon Redshift, Google BigQuery, Microsoft Azure Synapse ou Snowflake. Embora as abordagens tradicionais de armazenamento de dados exijam que os dados sejam extraídos e transformados antes de serem carregados, um CDW aproveita a escalabilidade e o desempenho da nuvem para ingestão e transformação de dados mais rápidas e torna possível extrair e carregar dados de muitas fontes de dados diferentes antes transformando-o dentro do CDW.

Idealmente, o modelo ELT inicialmente move os dados para uma seção do CDW reservada para dados de preparação brutos. A partir daí, o CDW pode usar seus recursos de computação quase ilimitados disponíveis para integração de dados e tarefas ETL que limpam, agregam, filtram e unem os dados preparados. Os dados podem então ser transformados em um esquema diferente – cofre de dados ou Star Schema, por exemplo, otimizando os dados para relatórios e análises

A abordagem ELT também permite replicar dados brutos no CDW para preparação e transformação posteriores quando e conforme necessário. Isso permite que você use ferramentas de inteligência de negócios que determinam o esquema na leitura e produzem transformações específicas sob demanda, permitindo efetivamente transformar os mesmos dados de várias maneiras à medida que descobre novos usos para eles.

Acelerando modelos de aprendizado de máquina

Esses exemplos do mundo real mostram como duas empresas em setores diferentes estão aproveitando a transformação de dados em um CDW para impulsionar iniciativas de IA.

Uma agência boutique de marketing e publicidade criou uma plataforma proprietária de gerenciamento de clientes para ajudar seus clientes a identificar, entender e motivar melhor seus clientes. Ao transformar os dados em um CDW, a plataforma integra rápida e facilmente os dados do cliente em tempo real em todos os canais em uma visão do cliente de 360 ​​graus que informa os modelos AI/ML da plataforma para tornar as interações com o cliente mais consistentes, oportunas e personalizadas.

Uma empresa de logística global que faz 100 milhões de entregas para 37 milhões de clientes únicos em 72 países precisa de grandes quantidades de dados para alimentar suas operações diárias. A adoção da transformação de dados em um CDW permitiu à empresa implantar 200 modelos de aprendizado de máquina em um único ano. Esses modelos fazem 500,000 previsões todos os dias, melhorando significativamente a eficiência e impulsionando um atendimento ao cliente superior que reduziu as chamadas recebidas do call center em 40%.

Práticas recomendadas para começar

As empresas que desejam apoiar suas iniciativas de AI/ML com o poder da transformação de dados na nuvem precisam entender seu caso de uso e necessidades específicas. Começar com o que você deseja fazer com seus dados - reduzir custos de combustível otimizando as rotas de entrega, aumentar as vendas oferecendo as próximas melhores ofertas aos agentes de atendimento ao cliente em tempo real etc. - permite que você faça engenharia reversa de seus processos para identificar quais os dados fornecerão resultados relevantes.

Depois de determinar quais dados seu projeto de IA/ML precisa para criar seus modelos, você precisa de uma solução ELT nativa da nuvem que torne seus dados adequados para uso. Procure uma solução que:

• É fornecedor neutro e capaz de trabalhar com sua pilha de tecnologia atual

• É flexível o suficiente para aumentar e diminuir e se adaptar à medida que sua pilha de tecnologia muda

• Pode lidar com transformações de dados complexas de várias fontes de dados

• Oferece um modelo de precificação pré-pago no qual você paga apenas pelo que usa

• Foi desenvolvido especificamente para o seu CDW preferido, para que você possa aproveitar totalmente os recursos desse CDW para executar trabalhos mais rapidamente e transformar dados de forma contínua.

Uma solução de transformação de dados em nuvem que atenda aos denominadores comuns de todos os CDWs pode fornecer uma experiência consistente, mas apenas uma que permita os poderosos recursos diferenciadores do seu CDW escolhido pode oferecer o alto desempenho que acelera o tempo de percepção. A solução certa permitirá que você potencialize seus projetos de IA/ML com dados mais limpos e confiáveis ​​de mais fontes em menos tempo – e gere resultados mais rápidos e confiáveis ​​que impulsionam inovação e valor de negócios anteriormente não realizados.