O que é Overfitting?

O que é Overfitting?

Quando você treina uma rede neural, você tem que evitar o overfitting. Overfitting é um problema dentro do aprendizado de máquina e estatística onde um modelo aprende os padrões de um conjunto de dados de treinamento muito bem, explicando perfeitamente o conjunto de dados de treinamento, mas falhando em generalizar seu poder de previsão para outros conjuntos de dados.

Para colocar de outra forma, no caso de um modelo de overfitting, ele frequentemente mostrará uma precisão extremamente alta no conjunto de dados de treinamento, mas baixa precisão nos dados coletados e executados no modelo no futuro. Essa é uma definição rápida de overfitting, mas vamos examinar o conceito de overfitting em mais detalhes. Vamos dar uma olhada em como o overfitting ocorre e como ele pode ser evitado.

Entendendo “Fit” e Underfitting

É útil dar uma olhada no conceito de underfitting e “fit” em geral quando discutimos overfitting. Quando treinamos um modelo, estamos tentando desenvolver um quadro que seja capaz de prever a natureza, ou classe, dos itens dentro de um conjunto de dados, com base nas características que descrevem esses itens. Um modelo deve ser capaz de explicar um padrão dentro de um conjunto de dados e prever as classes de futuros pontos de dados com base nesse padrão. Quanto melhor o modelo explica a relação entre as características do conjunto de treinamento, mais “fit” nosso modelo é.

A linha azul representa previsões de um modelo que está underfitting, enquanto a linha verde representa um modelo com um melhor fit. Foto: Pep Roca via Wikimedia Commons, CC BY SA 3.0, (https://commons.wikimedia.org/wiki/File:Reg_ls_curvil%C3%ADnia.svg)

Um modelo que explica mal a relação entre as características dos dados de treinamento e, portanto, falha em classificar corretamente futuros exemplos de dados é underfitting os dados de treinamento. Se você graficasse a relação prevista de um modelo underfitting contra a interseção real das características e rótulos, as previsões se desviariam do alvo. Se tivéssemos um gráfico com os valores reais de um conjunto de treinamento rotulados, um modelo severamente underfitting perderia drasticamente a maioria dos pontos de dados. Um modelo com um melhor fit poderia cortar um caminho através do centro dos pontos de dados, com pontos de dados individuais sendo apenas ligeiramente diferentes dos valores previstos.

O underfitting pode ocorrer frequentemente quando há dados insuficientes para criar um modelo preciso, ou quando se tenta projetar um modelo linear com dados não lineares. Mais dados de treinamento ou mais características geralmente ajudam a reduzir o underfitting.

Por que não criaríamos um modelo que explica todos os pontos no conjunto de dados de treinamento perfeitamente? Com certeza, precisão perfeita é desejável? Criar um modelo que aprendeu os padrões do conjunto de dados de treinamento muito bem é o que causa o overfitting. O conjunto de dados de treinamento e outros conjuntos de dados futuros que você executará no modelo não serão exatamente os mesmos. Eles provavelmente serão muito semelhantes em muitos aspectos, mas também diferirão de maneiras importantes. Portanto, projetar um modelo que explica o conjunto de dados de treinamento perfeitamente significa que você acaba com uma teoria sobre a relação entre características que não se generaliza bem para outros conjuntos de dados.

Entendendo Overfitting

O overfitting ocorre quando um modelo aprende os detalhes dentro do conjunto de dados de treinamento muito bem, causando que o modelo sofra quando previsões são feitas em dados externos. Isso pode ocorrer quando o modelo não apenas aprende as características do conjunto de dados, mas também aprende flutuações aleatórias ou ruído dentro do conjunto de dados, colocando importância nesses eventos aleatórios ou não importantes.

O overfitting é mais provável de ocorrer quando modelos não lineares são usados, pois eles são mais flexíveis ao aprender características de dados. Algoritmos de aprendizado de máquina não paramétricos frequentemente têm vários parâmetros e técnicas que podem ser aplicados para restringir a sensibilidade do modelo aos dados e, portanto, reduzir o overfitting. Como exemplo, modelos de árvore de decisão são altamente sensíveis ao overfitting, mas uma técnica chamada poda pode ser usada para remover aleatoriamente alguns dos detalhes que o modelo aprendeu.

Se você graficasse as previsões do modelo em eixos X e Y, você teria uma linha de previsão que zigzaga para trás e para frente, o que reflete o fato de que o modelo tentou muito hard para se ajustar a todos os pontos no conjunto de dados em sua explicação.

Controle de Overfitting

Quando treinamos um modelo, idealmente queremos que o modelo não cometa erros. Quando o desempenho do modelo converge para fazer previsões corretas em todos os pontos de dados no conjunto de treinamento, o fit está se tornando melhor. Um modelo com um bom fit é capaz de explicar quase todos os pontos no conjunto de dados de treinamento sem overfitting.

À medida que o modelo treina, seu desempenho melhora com o tempo. A taxa de erro do modelo diminuirá à medida que o tempo de treinamento passar, mas apenas até um certo ponto. O ponto em que o desempenho do modelo no conjunto de teste começa a subir novamente é normalmente o ponto em que o overfitting está ocorrendo. Para obter o melhor fit para um modelo, queremos parar de treinar o modelo no ponto de menor perda no conjunto de treinamento, antes que o erro comece a aumentar novamente. O ponto de parada ótimo pode ser determinado graficando o desempenho do modelo ao longo do tempo de treinamento e parando o treinamento quando a perda for mais baixa. No entanto, um risco com esse método de controle do overfitting é que especificar o endpoint do treinamento com base no desempenho do teste significa que os dados de teste se tornam um pouco incluídos no procedimento de treinamento e perdem seu status de dados “intocados”.

Há alguns métodos diferentes para combater o overfitting. Um método de reduzir o overfitting é usar uma tática de resampling, que opera estimando a precisão do modelo. Você também pode usar um conjunto de validação em adição ao conjunto de teste e plotar a precisão de treinamento contra o conjunto de validação em vez do conjunto de teste. Isso mantém seu conjunto de teste não visto. Um método de resampling popular é a validação cruzada K-folds. Essa técnica permite que você divida seus dados em subconjuntos que o modelo é treinado e, em seguida, o desempenho do modelo nos subconjuntos é analisado para estimar como o modelo se sairá em dados externos.

Usar a validação cruzada é uma das melhores maneiras de estimar a precisão de um modelo em dados não vistos, e quando combinada com um conjunto de validação, o overfitting pode ser mantido em um mínimo.