Resiliência > Precisão: Por que a ‘resiliência do modelo’ deve ser a métrica real para operacionalizar modelos

Por Ingo Mierswa, Fundador, Presidente e Chief Data Scientist da RapidMiner.

A ciência de dados fez alguns grandes progressos nos últimos anos e muitas organizações estão usando análises avançadas ou modelos de aprendizado de máquina para obter insights mais profundos sobre os processos e, em alguns casos, até mesmo prever resultados prováveis para o futuro. Para outras “ciências”, nem sempre é claro se um projeto será bem-sucedido ou não, e há relatos de que até 87% dos projetos de ciência de dados nunca chegam à produção. Embora uma taxa de sucesso de 100% não possa ser esperada, existem alguns padrões em projetos de ciência de dados que levam a taxas de sucesso mais altas do que o aceitável no campo. Esses padrões problemáticos parecem existir independentemente de qualquer indústria ou caso de uso específico, o que sugere que há um problema universal na ciência de dados que deve ser abordado.

Mensurando o sucesso do aprendizado de máquina

Os cientistas de dados que criam modelos de aprendizado de máquina (ML) confiam em critérios matemáticos bem definidos para medir como esses modelos se saem. Quais desses critérios são aplicados depende principalmente do tipo de modelo. Vamos supor que um modelo deve prever classes ou categorias para novas situações – por exemplo, se um cliente vai cancelar ou não. Em situações como essas, os cientistas de dados usariam medidas como precisão (quão frequentemente o modelo está correto) ou precisão (quão frequentemente os clientes realmente cancelam se prevermos cancelamento).

Os cientistas de dados precisam de critérios objetivos como esses porque parte do seu trabalho é otimizar esses critérios avaliativos para produzir o melhor modelo. Na verdade, além de preparar os dados para estar prontos para modelagem, a construção e ajuste desses modelos é onde os cientistas de dados gastam a maior parte do seu tempo.

A desvantagem disso é que os cientistas de dados não estão realmente se concentrando muito em colocar esses modelos em produção, o que é um problema por mais de um motivo. Em primeiro lugar, modelos que não produzem resultados bem-sucedidos não podem ser usados para gerar impacto comercial para as organizações que os implantam. Em segundo lugar, porque essas organizações gastaram tempo e dinheiro desenvolvendo, treinando e operacionalizando modelos que não produziram resultados bem-sucedidos quando executados contra “dados do mundo real”, elas são mais propensas a considerar ML e outras ferramentas de ciência de dados como inúteis para sua organização e a recusar-se a avançar com futuras iniciativas de ciência de dados.

A verdade é que os cientistas de dados simplesmente gostam de ajustar os modelos e gastam muito tempo nisso. Mas sem impacto comercial, esse tempo não é gasto sabiamente, o que é particularmente doloroso, considerando o quão escasso é o recurso de cientistas de dados no mundo de hoje.

O prêmio Netflix e falha de produção

Vimos esse fenômeno de investimento excessivo na construção de modelos e não na operacionalização de modelos se desenrolar nos últimos anos. O Prêmio Netflix (NFLX ) foi uma competição aberta para o melhor algoritmo de filtragem colaborativa para prever avaliações de usuários para filmes. Se você fosse dar uma nota alta a um novo filme, você provavelmente gostou desse filme – então, usando esse sistema de avaliação, o Netflix recomendaria certos títulos para você e, se você gostasse do conteúdo recomendado, você provavelmente permaneceria mais tempo como cliente do Netflix. O prêmio foi a soma de 1 milhão de dólares, dado à equipe que conseguiu melhorar o algoritmo do Netflix por pelo menos 10%.

O desafio começou em 2006 e, ao longo dos três anos seguintes, as contribuições de mais de 40.000 equipes de ciência de dados em todo o mundo levaram a uma melhoria impressionante de mais de 10% no sucesso de recomendação de títulos. No entanto, os modelos da equipe vencedora nunca foram operacionalizados. O Netflix disse que “o aumento na precisão não parecia justificar o esforço necessário para colocar esses modelos em produção.”

Por que o ótimo não é sempre ótimo

A precisão do modelo e outros critérios de ciência de dados foram usados por muito tempo como a métrica para medir o sucesso de um modelo antes de colocá-lo em produção. Como vimos, muitos modelos nunca chegam a essa etapa – o que é um desperdício de recursos, tanto em termos de energia quanto de tempo gasto.

Mas há mais problemas com essa cultura de investimento excessivo na ajuste de modelos. O primeiro é um ajuste involuntário aos dados de teste, o que resultará em modelos que parecem bons para o cientista de dados que os gerencia, mas que na verdade se saem mal uma vez em produção – às vezes, até mesmo causando danos. Isso acontece por duas razões:

1. Há uma discrepância bem conhecida entre o erro de teste e o que você verá em produção
2. O impacto comercial e os critérios de desempenho de ciência de dados estão frequentemente correlacionados, mas modelos “ótimos” não sempre entregam o maior impacto

O primeiro ponto acima também é chamado de “ajuste ao conjunto de teste“. É um fenômeno bem conhecido, especialmente entre os participantes de competições de ciência de dados como as do Kaggle. Para essas competições, você pode ver uma versão mais forte desse fenômeno já entre os líderes públicos e privados. De fato, um participante pode vencer o líder público em uma competição do Kaggle sem nem mesmo ler os dados. Da mesma forma, o vencedor do líder privado e da competição como um todo pode não ter produzido um modelo que possa manter seu desempenho em qualquer conjunto de dados além daquele em que foi avaliado.

Precisão não é igual a impacto comercial

Por muito tempo, aceitamos essa prática, que leva à adaptação lenta de modelos a conjuntos de dados de teste. Como resultado, o que parece ser o melhor modelo se revela mediano, no melhor dos casos:

• Medidas como precisão preditiva frequentemente não são iguais ao impacto comercial
• Uma melhoria de 1% na precisão não pode ser traduzida em 1% de melhor resultado comercial
• Há casos em que um modelo de baixo desempenho supera outros em termos de impacto comercial
• Outros fatores, como manutenção, velocidade de pontuação, ou robustez contra mudanças ao longo do tempo (chamado de “resiliência”), devem ser levados em conta também.

Esse último ponto é particularmente importante. Os melhores modelos não apenas vencerão competições ou parecerão bons no laboratório de ciência de dados, mas também se manterão em produção e se sairão bem em uma variedade de conjuntos de teste. Esses modelos são o que chamamos de modelos resilientes.

Deriva e a importância da resiliência

Todos os modelos se deterioram ao longo do tempo. A única pergunta é quanto rápido isso acontece e como bem o modelo ainda se sai sob as circunstâncias alteradas. A razão para essa deterioração é o fato de que o mundo não é estático. Portanto, os dados aos quais o modelo é aplicado também mudam ao longo do tempo. Se essas mudanças acontecem lentamente, chamamos isso de “deriva de conceito”. Se as mudanças acontecem abruptamente, chamamos isso de “mudança de conceito”. Por exemplo, os clientes podem mudar seu comportamento de consumo lentamente ao longo do tempo, influenciados por tendências e/ou marketing. Modelos de propensão podem não funcionar mais em um determinado ponto. Essas mudanças podem ser drasticamente aceleradas em certas situações. A COVID-19, por exemplo, impulsionou a venda de artigos como papel higiênico e desinfetantes – um aumento inesperado e acentuado em produtos específicos que pode jogar um modelo completamente fora do curso.

Um modelo resiliente pode não ser o melhor modelo com base em medidas como precisão ou precisão, mas se sairá bem em uma gama mais ampla de conjuntos de dados. Por essa razão, também se sairá melhor ao longo de um período mais longo de tempo e, portanto, será melhor capaz de entregar um impacto comercial sustentado.

Modelos lineares e outros tipos de modelos simples são frequentemente mais resilientes porque é mais difícil ajustá-los a um conjunto de teste específico ou a um momento no tempo. Modelos mais poderosos podem e devem ser usados como “desafiantes” para um modelo mais simples, permitindo que os cientistas de dados vejam se ele também pode se manter ao longo do tempo. Mas isso deve ser empregado no ponto final, não no início da jornada de modelagem.

Embora uma KPI formal para medir a resiliência ainda não tenha sido introduzida no campo da ciência de dados, existem várias maneiras pelas quais os cientistas de dados podem avaliar quão resilientes seus modelos são:

• Desvios padrão menores em uma execução de validação cruzada significam que o desempenho do modelo dependeu menos dos detalhes dos diferentes conjuntos de teste
• Even que os cientistas de dados não estejam realizando validações cruzadas completas, eles podem usar dois conjuntos de dados diferentes para testes e validação. Menos discrepância entre as taxas de erro para os conjuntos de dados de teste e validação indicam maior resiliência
• Se o modelo for monitorado adequadamente em produção, as taxas de erro podem ser vistas ao longo do tempo. A consistência das taxas de erro ao longo do tempo é um bom sinal de resiliência do modelo.
• Se a solução de monitoramento do modelo da escolha levar em conta a deriva, os cientistas de dados também devem prestar atenção a como bem o modelo é afetado por essa deriva de entrada.

Mudando a Cultura da Ciência de Dados

Depois que um modelo é implantado na etapa de operacionalização, ainda existem ameaças à precisão do modelo. Os dois últimos pontos acima sobre a resiliência do modelo já exigem um monitoramento adequado dos modelos em produção. Como ponto de partida para uma mudança de cultura na ciência de dados, as empresas são bem aconselhadas a investir em um monitoramento adequado de modelos e a começar a responsabilizar os cientistas de dados pela falta de desempenho após a implantação dos modelos. Isso mudará imediatamente a cultura de uma cultura de construção de modelos para uma cultura de criação e sustentação de valor para o campo da ciência de dados.

Como os eventos mundiais recentes nos mostraram, o mundo muda rapidamente. Agora, mais do que nunca, precisamos construir modelos resilientes – não apenas precisos – para capturar um impacto comercial significativo ao longo do tempo. O Kaggle, por exemplo, está hospedando um desafio para galvanizar os cientistas de dados em todo o mundo para ajudar a construir soluções de modelo para usar na luta global contra a COVID-19. Eu anticipo que os modelos mais bem-sucedidos produzidos como resultado desse desafio serão os mais resilientes, não os mais precisos, como vimos como os dados da COVID-19 podem mudar em um único dia.

A ciência de dados deve ser sobre encontrar a verdade, não produzir o “melhor” modelo. Ao nos mantermos em um padrão mais alto de resiliência em relação à precisão, os cientistas de dados serão capazes de entregar mais impacto comercial para nossas organizações e ajudar a moldar positivamente o futuro.