Pesquisadores Buscam Neurocientistas para Superar Viés em Conjuntos de Dados

Uma equipe de pesquisadores do MIT, Harvard University e Fujitsu, Ltd. procurou entender como um modelo de aprendizado de máquina pode superar o viés em conjuntos de dados. Eles confiaram em uma abordagem de neurociência para estudar como os dados de treinamento afetam a capacidade de uma rede neural artificial de aprender a reconhecer objetos que nunca viu.

A pesquisa foi publicada em Nature Machine Intelligence.

Diversidade nos Dados de Treinamento

Os resultados do estudo demonstraram que a diversidade nos dados de treinamento influencia a capacidade de uma rede neural de superar o viés. No entanto, a diversidade dos dados também pode ter um impacto negativo no desempenho da rede. Os pesquisadores também mostraram que a forma como uma rede neural é treinada também pode afetar sua capacidade de superar um conjunto de dados viados.

Xavier Boix é um cientista de pesquisa no Departamento de Cérebro e Ciências Cognitivas (BCS) e no Centro para Cérebros, Mentes e Máquinas (CBMM). Ele também é o autor sênior do artigo.

“Uma rede neural pode superar o viés dos dados, o que é encorajador. Mas a principal lição aqui é que precisamos levar em conta a diversidade dos dados. Precisamos parar de pensar que, se você apenas coletar uma grande quantidade de dados brutos, isso vai levá-lo a algum lugar. Precisamos ser muito cuidadosos sobre como projetamos os conjuntos de dados desde o início”, diz Boix.

A equipe adotou a mentalidade de um neurocientista para desenvolver a nova abordagem. De acordo com Boix, é comum usar conjuntos de dados controlados em experimentos, então a equipe construiu conjuntos de dados que continham imagens de diferentes objetos em várias poses. Em seguida, controlaram as combinações para que alguns conjuntos de dados fossem mais diversificados do que outros. Um conjunto de dados com mais imagens que mostram objetos de apenas uma perspectiva é menos diversificado, enquanto um com mais imagens que mostram objetos de múltiplas perspectivas é mais diversificado.

Os pesquisadores pegaram esses conjuntos de dados e usaram-nos para treinar uma rede neural para classificação de imagens. Em seguida, estudaram quão boa ela era em identificar objetos de perspectivas que a rede não viu durante o treinamento.

Eles descobriram que os conjuntos de dados mais diversificados permitem que a rede generalize melhor novas imagens ou perspectivas, e isso é crucial para superar o viés.

“Mas não é como se mais diversidade de dados sempre fosse melhor; há uma tensão aqui. Quando a rede neural se torna melhor em reconhecer coisas novas que não viu, então ela se tornará mais difícil de reconhecer coisas que já viu”, diz Boix.

Métodos para Treinar Redes Neurais

A equipe também descobriu que um modelo treinado separadamente para cada tarefa é melhor capaz de superar o viés em comparação com um modelo treinado para ambas as tarefas juntas.

“Os resultados foram realmente surpreendentes. Na verdade, a primeira vez que fizemos esse experimento, pensamos que era um bug. Levou várias semanas para perceber que era um resultado real porque era tão inesperado”, continua Boix.

Análise mais profunda revelou que a especialização de neurônios está envolvida nesse processo. Quando a rede neural é treinada para reconhecer objetos em imagens, dois tipos de neurônios surgem. Um neurônio se especializa em reconhecer a categoria do objeto, enquanto o outro se especializa em reconhecer a perspectiva.

Os neurônios especializados se tornam mais proeminentes quando a rede neural é treinada para realizar tarefas separadamente. No entanto, quando uma rede é treinada para realizar ambas as tarefas ao mesmo tempo, alguns neurônios se tornam diluídos. Isso significa que eles não se especializam em uma tarefa e estão mais propensos a se confundir.

“Mas a próxima pergunta agora é, como esses neurônios chegaram lá? Você treina a rede neural e eles surgem do processo de aprendizado. Ninguém disse à rede para incluir esses tipos de neurônios em sua arquitetura. Isso é o que é fascinante”, diz Boix.

Os pesquisadores buscarão explorar essa pergunta em seu trabalho futuro, bem como aplicar a nova abordagem a tarefas mais complexas.