Modelos de IA Treinados com Dados Sesgados por Gênero Têm Pior Desempenho no Diagnóstico de Doenças

Recentemente, um estudo publicado na revista PNAS e realizado por pesquisadores da Argentina, implicou que a presença de dados de treinamento sesgados por gênero leva a um pior desempenho do modelo no diagnóstico de doenças e outros problemas médicos. De acordo com o Statnews, a equipe de pesquisadores experimentou com modelos de treinamento onde os pacientes do sexo feminino estavam notavelmente sub-representados ou excluídos por completo, e descobriu que o algoritmo teve um desempenho substancialmente pior ao diagnosticar esses pacientes. O mesmo também se aplicou a incidentes em que os pacientes do sexo masculino estavam excluídos ou sub-representados.

Nos últimos cinco anos, à medida que os modelos de IA e o aprendizado de máquina se tornaram mais ubíquos, mais atenção foi dada aos problemas de conjuntos de dados sesgados e aos modelos de aprendizado de máquina sesgados que resultam deles. O viés de dados no aprendizado de máquina pode levar a aplicações de IA desajeitadas, socialmente danosas e exclusivas, mas quando se trata de aplicações médicas, vidas podem estar em jogo. No entanto, apesar do conhecimento do problema, poucos estudos tentaram quantificar o quão prejudicial os conjuntos de dados sesgados podem ser. O estudo realizado pela equipe de pesquisa descobriu que o viés de dados pode ter efeitos mais extremos do que muitos especialistas previram anteriormente.

Um dos usos mais populares para a IA nos últimos anos, em contextos médicos, tem sido o uso de modelos de IA para diagnosticar pacientes com base em imagens médicas. A equipe de pesquisa analisou modelos usados para detectar a presença de várias condições médicas, como pneumonia, cardiomegalia ou hérnias, em radiografias. A equipe de pesquisa estudou três arquiteturas de modelo de código aberto: Inception-v3, ResNet e DenseNet-121. Os modelos foram treinados em radiografias de tórax extraídas de dois conjuntos de dados de código aberto originários da Universidade de Stanford e dos Institutos Nacionais de Saúde. Embora os conjuntos de dados em si sejam razoavelmente balanceados em termos de representação de gênero, os pesquisadores artificialmente sesgaram os dados, dividindo-os em subconjuntos com desequilíbrio de gênero.

A equipe de pesquisa criou cinco conjuntos de dados de treinamento diferentes, cada um composto por diferentes proporções de exames de pacientes do sexo masculino e feminino. Os cinco conjuntos de treinamento foram divididos da seguinte forma:

• Todas as imagens eram de pacientes do sexo masculino
• Todas as imagens eram de pacientes do sexo feminino
• 25% de pacientes do sexo masculino e 75% de pacientes do sexo feminino
• 75% de pacientes do sexo feminino e 25% de pacientes do sexo masculino
• Metade de pacientes do sexo masculino e metade de pacientes do sexo feminino

Depois que o modelo foi treinado em um dos subconjuntos, foi testado em uma coleção de exames de pacientes do sexo masculino e feminino. Havia uma tendência notável presente em várias condições médicas, a precisão dos modelos era muito pior quando os dados de treinamento estavam significativamente sesgados por gênero. Uma coisa interessante a notar é que, se um gênero estava sobre-representado nos dados de treinamento, esse gênero não pareceu se beneficiar da sobre-representação. Independentemente de o modelo ter sido treinado em dados sesgados para um gênero ou outro, ele não teve um desempenho melhor nesse gênero em comparação com quando foi treinado em um conjunto de dados inclusivo.

O autor sênior do estudo, Enzo Ferrante, foi citado pelo Statnews como explicando que o estudo destaca a importância de os dados de treinamento serem diversificados e representativos para todas as populações que se pretende testar o modelo.

Não está completamente claro por que os modelos treinados em um gênero tendem a ter um desempenho pior quando implementados em outro gênero. Algumas das discrepâncias podem ser devidas a diferenças fisiológicas, mas vários fatores sociais e culturais também podem ser responsáveis por parte da diferença. Por exemplo, as mulheres podem receber radiografias em uma etapa diferente de progressão da doença em comparação com os homens. Se isso for verdade, pode afetar as características (e, portanto, os padrões aprendidos pelo modelo) encontradas nas imagens de treinamento. Se for esse o caso, torna-se muito mais difícil para os pesquisadores desviar os dados, pois o viés estaria incorporado ao conjunto de dados por meio dos mecanismos de coleta de dados.

Até mesmo os pesquisadores que prestam atenção à diversidade de dados às vezes não têm escolha a não ser trabalhar com dados que estão sesgados ou tendenciosos. Situações em que uma disparidade existe entre como as condições médicas são diagnosticadas frequentemente levam a dados desequilibrados. Por exemplo, os dados sobre pacientes com câncer de mama são quase inteiramente coletados de mulheres. Da mesma forma, o autismo se manifesta de forma diferente entre homens e mulheres, e, como resultado, a condição é diagnosticada em uma taxa muito mais alta em meninos do que em meninas.

No entanto, é extremamente importante que os pesquisadores controlem os dados sesgados e o viés de dados de qualquer forma que possam. Para isso, estudos futuros ajudarão os pesquisadores a quantificar o impacto dos dados tendenciosos.