Conjunto de Dados COVIDx Popular Criticado por Pesquisadores do Reino Unido

Um consórcio de pesquisa do Reino Unido criticou a extensão da confiança científica depositada em conjuntos de dados de código aberto usados para análise de radiografias de tórax de pacientes com COVID-19 baseada em visão computacional, centrando-se no popular conjunto de dados de código aberto COVIDx.

Os pesquisadores, que testaram o COVIDx em vários modelos de treinamento de IA, afirmam que ele não é “representativo do problema clínico real”, que os resultados obtidos com o uso dele são “inflados” e que os modelos “não se generalizam bem” para dados do mundo real.

Os autores também observam a inconsistência dos dados contribuídos que compõem o COVIDx, onde as imagens originais vêm em uma variedade de resoluções que são reformuladas automaticamente pelo fluxo de trabalho de aprendizado profundo em tamanhos consistentes necessários para o treinamento, e observam que esse processo pode introduzir artefatos enganosos relacionados ao algoritmo de redimensionamento de imagens, e não ao aspecto clínico dos dados.

O artigo é intitulado Os perigos de usar dados abertos para desenvolver soluções de aprendizado profundo para detecção de COVID-19 em radiografias de tórax, e é uma colaboração entre o Centro de Imagem e Simulação Computacional em Biomedicina (CISTIB) da Universidade de Leeds, juntamente com pesquisadores de outras cinco organizações na mesma cidade, incluindo o Leeds Teaching Hospitals NHS Trust.

A pesquisa detalha, entre outras práticas negativas, o “mau uso de rótulos” no conjunto de dados COVIDx, bem como um “alto risco de viés e confusão”. Os experimentos dos pesquisadores em submeter o conjunto de dados a três modelos de aprendizado profundo viáveis os levaram a concluir que ‘o desempenho excepcional relatado amplamente em todo o domínio do problema é inflado, que os resultados do desempenho do modelo são mal representados e que os modelos não se generalizam bem para dados clinicamente realistas.’

Cinco Conjuntos de Dados Diferentes em Um

O relatório* observa que a maioria das metodologias baseadas em IA atuais nesse campo depende de uma “heterogênea” coleção de dados de repositórios de código aberto diferentes, observando que cinco conjuntos de dados com características notadamente diferentes foram aglomerados no conjunto de dados COVIDx, apesar (na consideração dos pesquisadores) da inadequada paridade de qualidade e tipo de dados.

O conjunto de dados COVIDx foi lançado em maio de 2020 como um esforço de consórcio liderado pelo Departamento de Engenharia de Sistemas da Universidade de Waterloo, no Canadá, com os dados disponibilizados como parte da Iniciativa de Código Aberto COVID-Net.

Os cinco conjuntos que constituem o COVIDx são: a Coleção de Imagens de COVID-19 (um conjunto de código aberto de pesquisadores de Montreal); o Conjunto de Dados de Radiografia de Tórax de COVID-19 (iniciativa de código aberto); o Conjunto de Dados de Radiografia de Tórax de COVID-19 da Actualmed; o Banco de Dados de Radiografia de COVID-19; e o Conjunto de Dados do Desafio de Detecção de Pneumonia da RSNA, um dos muitos conjuntos de dados pré-COVID que foram utilizados na crise da pandemia.

(O RICORD – veja abaixo – foi adicionado posteriormente ao COVIDx, mas porque foi incluído após os modelos de interesse no estudo, foi excluído dos dados de teste, e, de qualquer forma, tendeu a variar ainda mais o COVIDx, que é a queixa central dos autores do estudo.)

Os pesquisadores afirmam que o COVIDx é o ‘maior e mais amplamente utilizado’ conjunto de dados de seu tipo dentro da comunidade científica relacionada à pesquisa de COVID, e que os dados importados para o COVIDx a partir dos conjuntos de dados externos não se conformam adequadamente ao esquema tripartite do conjunto de dados COVIDx (ou seja, ‘normal’, ‘pneumonia’ e ‘COVID-19’).

Próximo o Bastante..?

Ao examinar a proveniência e a adequação dos conjuntos de dados contribuintes para o COVIDx no momento do estudo, os pesquisadores encontraram ‘mau uso’ dos dados da RSNA, onde os dados de um tipo foram, segundo os pesquisadores, agrupados em uma categoria diferente:

‘O repositório da RSNA, que usa dados de radiografias de tórax públicos do NIH Chestx-ray8 [**], foi projetado para uma tarefa de segmentação e, como tal, contém três classes de imagens, ‘Opacidade Pulmonar’, ‘Sem Opacidade Pulmonar/Não Normal’ e ‘Normal’, com caixas delimitadoras disponíveis para casos de ‘Opacidade Pulmonar’.

‘Na compilação para o COVIDx, todas as radiografias de tórax da classe ‘Opacidade Pulmonar’ são incluídas na classe de pneumonia.’

Efetivamente, o artigo afirma que a metodologia do COVIDx expande a definição de ‘pneumonia’ para incluir ‘todas as opacidades pulmonares semelhantes à pneumonia’. Consequentemente, o valor de comparação de tipos de dados semelhantes é (presumivelmente) ameaçado. Os pesquisadores afirmam:

‘ […] a classe de pneumonia no conjunto de dados COVIDx contém radiografias de tórax com uma variedade de outras patologias, incluindo efusão pleural, infiltração, consolidação, enfisema e massas. A consolidação é uma característica radiológica de possível pneumonia, não um diagnóstico clínico. Usar a consolidação como substituto para pneumonia sem documentar isso é potencialmente enganoso.’

Patologias alternativas (além da COVID-19) associadas ao COVIDx. Fonte: https://arxiv.org/ftp/arxiv/papers/2109/2109.08020.pdf

O relatório descobre que apenas 6,13% dos 4.305 casos de pneumonia provenientes da RSNA foram rotulados com precisão, representando apenas 265 casos genuínos de pneumonia.

Além disso, muitos dos casos não pneumônicos incluídos no COVIDx representavam comorbidades – complicações de outras doenças ou questões médicas secundárias em condições que não estão necessariamente relacionadas à pneumonia.

Não ‘Normal’

O relatório sugere ainda que a influência do conjunto de dados do desafio da RSNA no COVIDx distorceu a estabilidade empírica dos dados. Os pesquisadores observam que o COVIDx prioriza a classe ‘normal’ dos dados da RSNA, efetivamente excluindo todas as classes ‘sem opacidade pulmonar/não normal’ no conjunto de dados mais amplo. O artigo afirma:

‘Embora isso esteja de acordo com o que é esperado dentro do rótulo ‘normal’, expandir a classe de pneumonia e usar apenas radiografias de tórax ‘normais’, em vez de casos negativos para pneumonia, simplifica grandemente a tarefa de classificação.

‘O resultado disso é um conjunto de dados que reflete uma tarefa que está afastada do problema clínico real.’

Viés Potencial de Padrões de Dados Incompatíveis

O artigo identifica vários outros tipos de viés no COVIDx, observando que alguns dos dados contribuintes misturam imagens de radiografias de tórax pediátricas com as de pacientes adultos, e observa ainda que esses dados são a única ‘fonte significativa’ de imagens pediátricas no COVIDx.

Além disso, as imagens do conjunto de dados da RSNA têm uma resolução de 1024×1024, enquanto outro conjunto de dados contribuinte fornece imagens apenas com resolução de 299×299. Como os modelos de aprendizado de máquina irão redimensionar as imagens para acomodar o espaço de treinamento disponível (espaço latente), isso significa que as imagens de 299×299 serão escaladas em um fluxo de trabalho de treinamento (potencialmente levando a artefatos relacionados a um algoritmo de escalonamento em vez de patologia), e as imagens maiores serão reduzidas. Mais uma vez, isso mitigaria contra os padrões de dados homogêneos necessários para a análise de visão computacional baseada em IA.

Além disso, os dados da ActMed incorporados ao COVIDx contêm ‘marcadores em forma de disco’ em radiografias de tórax de COVID-19, uma característica recorrente que é inconsistente com o conjunto de dados mais amplo e que precisaria ser tratada como um ‘valor atípico recorrente’.

Isso é o tipo de problema que normalmente é abordado limpando ou omitindo os dados, pois a recorrência dos marcadores é suficiente para registrar como uma ‘característica’ no treinamento, mas não é frequente o suficiente para generalizar utilmente no esquema mais amplo do conjunto de dados. Sem um mecanismo para descontar a influência dos marcadores artificiais, eles poderiam potencialmente ser considerados pela metodologia do sistema de aprendizado de máquina como fenômenos patológicos.

Treinamento e Teste

Os pesquisadores testaram o COVIDx contra dois conjuntos de dados comparativos em três modelos. Os dois conjuntos de dados adicionais foram o RICORD, que contém 1.096 radiografias de tórax de COVID-19 em 361 pacientes, provenientes de quatro países; e CheXpert, um conjunto de dados público

Os três modelos usados foram COVID-Net, CoroNet e DarkCovidNet. Todos os três modelos empregam Redes Neurais Convolucionais (CNNs), embora o CoroNet consista em um processo de classificação de imagens em duas etapas, com autoencoders passando saída para um classificador CNN.

Os testes mostraram uma ‘queda acentuada’ no desempenho de todos os modelos nos conjuntos de dados não COVIDx em comparação com a precisão de 86% resultante ao usar os dados do COVIDx. No entanto, se os dados estiverem mal rotulados ou mal agrupados, esses são efetivamente resultados falsos. Os pesquisadores observaram uma grande diminuição nos resultados de precisão nos conjuntos de dados externos comparáveis, que o artigo propõe como dados mais realistas e corretamente classificados.

Além disso, o artigo observa:

‘Uma revisão clínica de 500 mapas de saliência gerados por grad-CAM por previsão em dados de teste do COVIDx mostrou uma tendência de significância em características clinicamente irrelevantes. Isso incluiu frequentemente um foco em estruturas ósseas e tecidos moles em vez de opacidade bilateral difusa dos campos pulmonares que são típicos da infecção por COVID-19.’

Esta é uma radiografia de um caso confirmado de COVID-19, atribuída a uma probabilidade de previsão de apenas 0,938 pelo DarkCovidNet treinado no COVIDx.

Conclusões

Os pesquisadores criticam a falta de dados demográficos ou clínicos relacionados às imagens de radiografias no COVIDx, argumentando que, sem esses, é impossível levar em conta ‘fatores de confusão’ como a idade.

Eles também observam que os problemas encontrados no conjunto de dados COVIDx podem ser aplicáveis a outros conjuntos de dados que foram fontes de forma semelhante (ou seja, misturando bancos de dados radiológicos pré-COVID com dados recentes de radiografias de tórax de COVID sem arquitetura de dados adequada, compensação de variância e escopo claro das limitações dessa abordagem).

Em resumo das deficiências do COVIDx, os pesquisadores enfatizam a inclusão desequilibrada de ‘radiografias pediátricas claras’, bem como sua percepção do mau uso de rótulos e alto risco de viés e confusão no COVIDx, argumentando que ‘o desempenho excepcional [do COVIDx] relatado amplamente em todo o domínio do problema é inflado, que os resultados do desempenho do modelo são mal representados e que os modelos não se generalizam bem para dados clinicamente realistas.’

O relatório conclui:

‘A falta de dados hospitalares disponíveis combinada com a avaliação inadequada do modelo em todo o domínio do problema permitiu o uso de dados de código aberto para enganar a comunidade de pesquisa. A publicação contínua de métricas de desempenho de modelo infladas arrisca danificar a confiabilidade da pesquisa de IA em diagnósticos médicos, particularmente onde a doença é de grande interesse público. A qualidade da pesquisa nesse domínio deve melhorar para prevenir isso, e isso deve começar com os dados.’

*Embora os pesquisadores do estudo aleguem ter tornado os dados, arquivos e código do novo artigo disponíveis online, o acesso exige login, e, no momento da escrita, não há acesso público geral aos arquivos.
** ChestX-ray8: Banco de Dados de Radiografias de Tórax em Escala Hospitalar e Referências para Classificação e Localização Fraca de Doenças Torácicas Comuns – https://arxiv.org/pdf/1705.02315.pdf