O que é aprendizagem em conjunto?

Uma das técnicas de aprendizado de máquina mais poderosas é o aprendizado em conjunto. Telefone Ensemble aprendizagem é o uso de vários modelos de aprendizado de máquina para melhorar a confiabilidade e a precisão das previsões. No entanto, como o uso de vários modelos de aprendizado de máquina leva a previsões mais precisas? Que tipo de técnicas são usadas para criar modelos de aprendizado conjunto? Exploraremos a resposta a essas perguntas, analisando a lógica por trás do uso de modelos de conjunto e as principais formas de criar modelos de conjunto.

O que é aprendizagem em conjunto?

Simplificando, o ensemble learning é o processo de treinar vários modelos de aprendizado de máquina e combinar suas saídas. Os diferentes modelos são usados ​​como base para criar um modelo preditivo ideal. A combinação de um conjunto diversificado de modelos individuais de aprendizado de máquina pode melhorar a estabilidade do modelo geral, levando a previsões mais precisas. Os modelos de aprendizado conjunto costumam ser mais confiáveis ​​do que os modelos individuais e, como resultado, costumam ficar em primeiro lugar em muitas competições de aprendizado de máquina.

Existem diferentes técnicas que um engenheiro pode usar para criar um modelo de aprendizado conjunto. Técnicas simples de aprendizado de conjunto incluem coisas como a média das saídas de diferentes modelos, embora também existam métodos e algoritmos mais complexos desenvolvidos especialmente para combinar as previsões de muitos modelos/aprendentes básicos.

Por que usar métodos de treinamento conjunto?

Os modelos de aprendizado de máquina podem ser diferentes uns dos outros por vários motivos. Diferentes modelos de aprendizado de máquina podem operar em diferentes amostras dos dados da população, diferentes técnicas de modelagem podem ser usadas e uma hipótese diferente pode ser usada.

Imagine que você está jogando um jogo de perguntas e respostas com um grande grupo de pessoas. Se você estiver em uma equipe sozinho, provavelmente haverá alguns tópicos sobre os quais você tem conhecimento e muitos tópicos dos quais não tem conhecimento. Agora suponha que você esteja jogando em um time com outras pessoas. Assim como você, eles terão algum conhecimento sobre suas próprias especialidades e nenhum conhecimento sobre outros tópicos. No entanto, quando seu conhecimento é combinado, você tem suposições mais precisas para mais campos, e o número de tópicos que sua equipe não conhece diminui. Este é o mesmo princípio que fundamenta o aprendizado conjunto, combinando as previsões de diferentes membros da equipe (modelos individuais) para melhorar a precisão e minimizar os erros.

Os estatísticos provaram que quando uma multidão de pessoas é solicitada a adivinhar a resposta certa para uma determinada pergunta com uma gama de respostas possíveis, todas as suas respostas formam uma distribuição de probabilidade. As pessoas que realmente souberem a resposta correta escolherão a resposta certa com confiança, enquanto as pessoas que escolherem as respostas erradas distribuirão seus palpites entre as possíveis respostas incorretas. Voltando ao exemplo de um jogo de perguntas e respostas, se você e seus dois amigos souberem que a resposta certa é A, todos os três votarão A, enquanto as outras três pessoas de sua equipe que não souberem a resposta provavelmente votarão incorretamente. adivinhe B, C, D ou E. O resultado é que A tem três votos e as outras respostas provavelmente terão apenas um ou dois votos no máximo.

Todos os modelos têm alguma quantidade de erro. Os erros de um modelo serão diferentes dos erros produzidos por outro modelo, pois os próprios modelos são diferentes pelas razões descritas acima. Quando todos os erros forem examinados, eles não serão agrupados em torno de uma resposta ou outra, mas sim espalhados. As suposições incorretas são essencialmente espalhadas por todas as possíveis respostas erradas, anulando-se mutuamente. Enquanto isso, as suposições corretas dos diferentes modelos serão agrupadas em torno da resposta verdadeira e correta. Quando métodos de treinamento conjunto são usados, a resposta correta pode ser encontrada com maior confiabilidade.

Métodos de treinamento de conjuntos simples

Métodos simples de treinamento de conjunto normalmente envolvem apenas a aplicação de técnica de resumo estatísticos, como determinar o modo, média ou média ponderada de um conjunto de previsões.

A moda refere-se ao elemento que ocorre com mais frequência dentro de um conjunto de números. Para obter a moda, os modelos de aprendizado individuais retornam suas previsões e essas previsões são consideradas votos para a previsão final. A determinação da média das previsões é feita simplesmente calculando a média aritmética das previsões, arredondada para o inteiro inteiro mais próximo. Por fim, uma média ponderada pode ser calculada atribuindo diferentes pesos aos modelos usados ​​para criar previsões, com os pesos representando a importância percebida desse modelo. A representação numérica da previsão de classe é multiplicada ao lado de um peso de 0 a 1.0, as previsões ponderadas individuais são então somadas e o resultado é arredondado para o número inteiro mais próximo.

Métodos avançados de treinamento de conjunto

Existem três técnicas primárias de treinamento de conjunto avançado, cada uma projetada para lidar com um tipo específico de problema de aprendizado de máquina. Técnicas de “bagging” são usados ​​para diminuir a variação das previsões de um modelo, com variação referindo-se a quanto o resultado das previsões difere quando baseado na mesma observação. Técnicas de “aumento” são usados ​​para combater o viés dos modelos. Finalmente, “empilhando” é usado para melhorar as previsões em geral.

Os próprios métodos de aprendizado de conjunto geralmente podem ser divididos em um dos dois grupos diferentes: métodos sequenciais e métodos de conjunto paralelos.

Os métodos de conjunto sequencial recebem o nome de “sequencial” porque os modelos/alunos básicos são gerados sequencialmente. No caso de métodos sequenciais, a ideia essencial é que a dependência entre os aprendizes-base seja explorada para obter previsões mais precisas. Exemplos com rótulos incorretos têm seus pesos ajustados, enquanto exemplos rotulados corretamente mantêm os mesmos pesos. Cada vez que um novo aluno é gerado, os pesos são alterados e a precisão (espero) melhora.

Em contraste com os modelos de ensemble sequencial, os métodos de ensemble paralelos geram os aprendizes básicos em paralelo. Ao realizar o aprendizado conjunto paralelo, a ideia é explorar o fato de que os aprendizes básicos têm independência, pois a taxa de erro geral pode ser reduzida calculando a média das previsões dos aprendizes individuais.

Os métodos de treinamento conjunto podem ser homogêneos ou heterogêneos por natureza. A maioria dos métodos de aprendizado conjunto são homogêneos, o que significa que eles usam um único tipo de modelo/algoritmo de aprendizado básico. Em contraste, ensembles heterogêneos fazem uso de diferentes algoritmos de aprendizado, diversificando e variando os aprendizes para garantir que a precisão seja a mais alta possível.

Exemplos de algoritmos de aprendizado conjunto

Visualização do aumento do conjunto. Foto: Sirakorn via Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Exemplos de métodos de conjunto sequencial incluem AdaBoostGenericName, XGBoostName e Aumento da árvore de gradiente. Estes são todos os modelos de reforço. Para esses modelos de reforço, o objetivo é converter os alunos fracos e de baixo desempenho em alunos mais poderosos. Modelos como AdaBoost e XGBoost começam com muitos alunos fracos que têm um desempenho um pouco melhor do que adivinhar aleatoriamente. À medida que o treinamento continua, os pesos são aplicados aos dados e ajustados. As instâncias que foram classificadas incorretamente pelos alunos em rodadas anteriores de treinamento recebem mais peso. Depois que esse processo é repetido para o número desejado de rodadas de treinamento, as previsões são reunidas por meio de uma soma ponderada (para tarefas de regressão) e um voto ponderado (para tarefas de classificação).

O processo de aprendizagem do ensacamento. Foto: SeattleDataGuy via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Um exemplo de um modelo de conjunto paralelo é um Floresta Aleatória classificador, e Random Forests também é um exemplo de técnica de ensacamento. O termo “bagging” vem de “agregação de bootstrap”. As amostras são retiradas do conjunto de dados total usando uma técnica de amostragem conhecida como “amostragem de bootstrap”, que é usada pelos alunos de base para fazer previsões. Para tarefas de classificação, as saídas dos modelos base são agregadas usando votação, enquanto a média é calculada em conjunto para tarefas de regressão. Random Forests usa árvores de decisão individuais como seus aprendizes básicos, e cada árvore no conjunto é construída usando uma amostra diferente do conjunto de dados. Um subconjunto aleatório de recursos também é usado para gerar a árvore. Levando a árvores de decisão individuais altamente aleatórias, que são todas combinadas para fornecer previsões confiáveis.

Visualização do empilhamento de conjuntos. Foto: Supun Setunga via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

Em termos de técnicas de stacking ensemble, modelos de regressão múltipla ou classificação são combinados por meio de um metamodelo de nível superior. Os modelos básicos de nível inferior são treinados sendo alimentados com todo o conjunto de dados. As saídas dos modelos base são então usadas como recursos para treinar o metamodelo. Modelos de conjuntos de empilhamento são frequentemente heterogêneos por natureza.