Movendo Projetos de Aprendizado de Máquina da Experimentação para a Implementação

Nos últimos meses, parece que a IA agente está monopolizando a atenção das empresas. As empresas estão ansiosas para usá-la para automatizar tarefas, orquestrar fluxos de trabalho e interagir com sistemas e clientes. Mas o aprendizado de máquina (ML), o irmão mais velho da IA agente, merece atenção por seu papel crítico em permitir que os fluxos de trabalho da IA agente ultrapassem as regras estáticas.

Em muitos casos de uso empresariais, o ML pode fornecer previsões, classificações, recomendações e pontuações de risco que ajudam os agentes da IA a decidir qual ação tomar em seguida. Por exemplo, se você usa um agente da IA para responder a consultas de clientes, o ML pode informar o agente com sinais de que um cliente pode cancelar o serviço em breve, acionando fluxos de mensagens relevantes.

No entanto, muitas organizações estão lutando para implementar projetos de ML que são considerados básicos, e essa deficiência está impedindo que elas alcancem o sucesso da IA agente. As taxas de falha para projetos de ML chegam a 85% de acordo com alguns benchmarks da indústria.

Muitas equipes não sabem por onde começar a implementar o aprendizado de máquina, como conceber um experimento de ML de forma que possa ser implantado em larga escala, ou como obter o apoio dos stakeholders certos para o projeto. Neste artigo, compartilharei algumas dicas para configurar projetos de ML para ter as maiores chances de sucesso.

Por Que Muitos Projetos de ML Falham em Lançar?

Existem duas razões principais para as taxas de sucesso ruins dos projetos de ML: ou o caso de uso não é considerado com a perspectiva certa, ou os stakeholders não estão a bordo e sabotam a ideia.

Essas razões geralmente andam juntas. O aprendizado de máquina exige gerenciamento cuidadoso para alcançar bons resultados. Ao mesmo tempo, muitas pessoas no mundo dos negócios são céticas que temem a mudança, desconfiam do aprendizado de máquina ou geralmente querem empurrar seu projeto para fora da mesa.

Se você não configurar seu piloto de forma rigorosa, não obterá apoio em sua organização. O sucesso do ML exige que você se aprofunde nos detalhes específicos.

O Diabo Está nos Detalhes

Os modelos de ML são projetados para resolver problemas específicos e repetitivos que são estreitamente definidos, como prever a perda de clientes, detectar fraude ou prever a demanda. Não é projetado para entender o contexto amplo ou realizar várias tarefas, mas muitos projetos de ML têm ambições grandiosas e objetivos amplos, como “melhorar este departamento”.

Isso torna fundamental configurar casos de teste experimentais relevantes que convertam céticos em defensores. Um piloto bem-sucedido fornece as conclusões da análise de dados necessárias para orientar a tomada de decisões da IA agente e dos negócios, bem como comprovar o valor comercial.

Para a maioria das organizações, o principal obstáculo é encontrar o caso de uso certo. Um conceito de experimento viável precisa ser específico e relevante para os objetivos comerciais. Por exemplo, analisar transações para identificar possíveis fraudes, ou decidir quando agendar manutenção para diferentes tipos de máquinas.

Aqui estão quatro perguntas para fazer para superar a luta e encontrar o caso de uso certo que ajuda a promover a adoção do ML.

Quais São as Apostas?

A primeira preocupação é quanto espaço você tem para cometer erros, porque sua tolerância ao fracasso é pelo menos tão importante quanto o desempenho do modelo. Diferentes casos de uso têm diferentes consequências quando o modelo erra, o que afeta sua adequação para implementação.

Quando o custo dos erros é menor, você tem mais espaço para experimentar com a lógica do modelo. Por exemplo, um modelo que recomenda ofertas de marketing para diferentes audiências pode ter um grau de precisão menor do que um que orienta o atendimento médico.

É melhor começar com casos de uso de baixo risco e alto valor que lidam com áreas onde os erros podem ser facilmente corrigidos e as consequências dos erros são limitadas. À medida que os riscos comerciais, regulamentares ou de reputação aumentam, também deve aumentar a supervisão humana.

Você Tem os Dados Certos?

Os dados são vitais para todos os projetos de ML eficazes. Mais experimentos falham devido a dados insuficientes do que devido a modelos fracos, então certifique-se de que seus dados sejam refinados, relevantes, bem rotulados e coletados consistentemente. A colaboração entre a equipe de negócios e a equipe de dados é fundamental aqui.

Os dados de produção podem ser diferentes dos dados experimentais, fazendo com que os modelos falhem em produção, mesmo que tenham se saído bem no piloto. Às vezes, os dados do mundo real são muito ruins, atrasados ou inacessíveis para apoiar o modelo.

Os dados e os sinais não são a mesma coisa. Sinais previsíveis são vitais para resolver um problema comercial, então seus dados devem incluir padrões históricos e recursos relevantes para ser capaz de apoiar previsões confiáveis. Alguns problemas simplesmente não são previsíveis, então priorize casos de uso que já têm fontes de dados bem governadas, repetíveis e acessíveis.

Quais São as Métricas de Sucesso?

Você terá dificuldade em provar o sucesso se não souber como o sucesso parece, então defina seus objetivos antecipadamente. Você deseja entregar ROI comercial, não apenas um modelo altamente preciso, então vincule o desempenho do modelo ao impacto comercial real. Seja claro sobre seus objetivos comerciais e identifique os KPIs que demonstram verdadeiro sucesso.

Certifique-se de que você possa medir e confirmar a contribuição feita pela sua intervenção de ML. Por exemplo, se você estiver testando um projeto de ML para reduzir a perda de clientes, pode provar que a retenção aumentada é devido à capacidade do seu modelo de identificar clientes insatisfeitos o suficiente antes de eles terem escolhido sair e não outros fatores, como promoções gerais, demanda sazonal ou mudanças de preços?

Lembre-se de que, para os stakeholders do seu projeto, a confiança e a segurança são frequentemente tão importantes quanto o desempenho. Você precisará ser capaz de demonstrar explicabilidade e segurança, bem como ROI e outros tipos de impacto comercial.

O Que Está Por Trás dos Resultados Desejados?

Os projetos de ML têm mais sucesso quando estão incorporados nos processos comerciais diários, o que significa que você precisa entender completamente esses processos. Mapeie como as decisões são tomadas em sua organização, rastreando quem toma a decisão, quais informações são usadas, quais regras orientam e onde surgem gargalos.

Os gargalos são frequentemente os melhores lugares para aplicar o ML. Procure decisões que são tomadas com frequência, mas seguem padrões ou diretrizes reconhecíveis e, em seguida, pense em como as previsões do ML se encaixariam nesse fluxo de trabalho. Seu modelo deve facilitar ou automatizar uma etapa no processo, em vez de operar de forma isolada.

É melhor obter ajuda de proprietários de processos e especialistas em domínio, pois eles são os mais prováveis de saber quais decisões importam, quando surgem exceções e onde a implementação teria o maior impacto. Essas são também as pessoas mais prováveis de se tornar defensores do projeto à medida que a liderança considera levar o experimento para a produção.

Leve Seus Projetos de ML à Fruição

Construir o piloto certo é crucial para permitir que o ML ultrapasse a experimentação e vá para a implementação. Encontrar casos de uso específicos que tenham métricas de sucesso claras, riscos baixos, uma base de dados sólida e um papel claro nos processos comerciais mais amplos pode ajudá-lo a provar o ROI, obter apoio dos stakeholders e impulsionar o sucesso comercial. Encontrando o piloto certo é crucial para permitir que o ML ultrapasse a experimentação e vá para a implementação. Encontrar casos de uso específicos que tenham métricas de sucesso claras, riscos baixos, uma base de dados sólida e um papel claro nos processos comerciais mais amplos pode ajudá-lo a provar o ROI, obter apoio dos stakeholders e impulsionar o sucesso comercial.