Tacar Sonraí Coitianta COVIDx Cáineadh ag Taighdeoirí na RA

Tá cuibhreannas taighde ón RA tar éis cáineadh a dhéanamh ar mhéid na muiníne eolaíche atá dílsithe i dtacar sonraí foinse oscailte a úsáidtear le haghaidh anailíse fís-bhunaithe ar X-ghathanna cófra othair COVID-19, ag díriú ar an tacar sonraí foinse oscailte tóir COVIDx.

Maíonn na taighdeoirí, tar éis tástáil a dhéanamh ar COVIDx i múnlaí oiliúna AI éagsúla, nach bhfuil sé ionadaíoch ar an bhfíorfhadhb chliniciúil, go bhfuil na torthaí a fhaightear trína úsáid ‘teannta’, agus nach bhfuil na samhlacha ‘ginearálaithe go maith’ go fíor. sonraí an domhain.

Tugann na húdair faoi deara freisin neamhréireacht na sonraí rannchuidithe a chomhdhéanann COVIDx, áit a dtagann íomhánna bunaidh i raon réitigh a athfhormaítear go huathoibríoch ag an sreabhadh oibre domhainfhoghlama isteach sna méideanna comhsheasmhacha atá riachtanach don oiliúint, agus tugann siad faoi deara gur féidir leis an bpróiseas seo déantáin mheabhlacha a thabhairt isteach. a bhaineann leis an algartam athrú méide íomhá, seachas an ghné chliniciúil de na sonraí.

An páipéar ar a dtugtar Na contúirtí a bhaineann le sonraí oscailte a úsáid chun réitigh dhomhainfhoghlama a fhorbairt le haghaidh COVID-19 a bhrath in X-ghathanna cófra, agus is comhoibriú é idir an Lárionad um Íomháú Ríomhaireachtúil & Insamhladh sa Bhithmhíochaine (CISTIB) in Ollscoil Leeds, mar aon le taighdeoirí ó chúig eagraíocht eile sa chathair chéanna, lena n-áirítear Iontaobhas NHS Ospidéal Leeds Teaching.

Sonraíonn an taighde, i measc cleachtais dhiúltacha eile, ‘mí-úsáid lipéid’ sa tacar sonraí COVIDx, chomh maith le ‘ardriosca claonta agus inbhréagnaithe’. Spreag turgnaimh na dtaighdeoirí féin maidir leis an tacar sonraí a chur trína luasanna thar thrí mhúnla domhainfhoghlama inmharthana iad a thabhairt chun críche 'tá an fheidhmíocht eisceachtúil a thuairiscítear go forleathan ar fud réimse na bhfadhbanna méadaithe, go ndéantar mífhaisnéis ar thorthaí feidhmíochta na samhla, agus nach ginearálaíonn samhlacha go maith go sonraí atá réalaíoch go cliniciúil.'

Cúig Thacar Sonraí Codarsnachta i gceann amháin

Tugtar faoi deara sa tuarascáil* go bhfuil formhór na modheolaíochtaí reatha AI-bhunaithe sa réimse seo ag brath ar raon ‘ilchineálach’ sonraí ó stórtha foinse oscailte díchosúla, ag tabhairt faoi deara go ndearnadh cúig thacar sonraí a bhfuil tréithe an-difriúla acu a chomhdhlúthú isteach sa tacar sonraí COVIDx ainneoin (sa breithniú na dtaighdeoirí) paireacht neamhleor maidir le cáilíocht agus cineál na sonraí.

Bhí an tacar sonraí COVIDx scaoileadh i mBealtaine 2020 mar iarracht cuibhreannais faoi cheannas na Roinne Innealtóireachta Dearaidh Córas in Ollscoil Waterloo i gCeanada, leis na sonraí curtha ar fáil mar chuid den Tionscnamh Foinse Oscailte COVID-Net.

Is iad na cúig bhailiúchán atá comhdhéanta de COVIDx: an COVID-19 Bailiú Sonraí Íomhá (a foinsithe oscailte leagtha ó thaighdeoirí Montreal); Tacar Sonraí X-ghathaithe Cliabhraigh COVID-19 tionscnamh; an X-gha cliabh iarbhír COVID-19 tacar sonraí; an Radagrafaíocht COVID-19 Bunachar; agus Dúshlán Braite niúmóine an RSNA tacar sonraí, ceann den iliomad tacair réamh-COVID a cuireadh isteach i seirbhís le haghaidh na géarchéime paindéime.

(Tá RICORD - féach thíos - curtha le COVIDx ó shin, ach toisc gur áiríodh é tar éis na múnlaí spéise sa staidéar, fágadh as an áireamh é ó na sonraí tástála, agus ar aon chuma beidh sé de nós aige COVIDx a athrú níos faide, rud a an gearán lárnach atá ag údair an staidéir.)

Áitíonn na taighdeoirí gurb é COVIDx an 'is mó agus is forleithne a úsáidtear' tacar sonraí dá leithéid laistigh den phobal eolaíoch a bhaineann le taighde COVID, agus nach gcomhlíonann sonraí a allmhairítear isteach i COVIDx ó na tacair shonraí seachtracha comhpháirte go leormhaith le scéimre thrípháirteach thacar sonraí COVIDx (i.e., ‘gnáth’, ‘niúmóine’, agus ‘ COVID 19').

In aice le go leor..?

Agus bunáit agus oiriúnacht na dtacar sonraí a rannchuidíonn le haghaidh COVIDx á scrúdú ag am an staidéir, fuair na taighdeoirí ‘mí-úsáid’ sonraí RSNA, áit a bhfuil sonraí de chineál amháin, a mhaíonn na taighdeoirí, curtha i gcatagóir eile:

'Stór RSNA, a úsáideann sonraí X-gha cliabhraigh atá ar fáil go poiblí ó NIH Chestx-ray8 [**], a dearadh le haghaidh tasc deighilte agus mar sin tá trí aicme íomhánna, 'Teimhneacht na Scamhóg', 'Gan Teimhneacht Scamhóg/Ní Ghnáth', agus 'Gnáth', le boscaí teorann ar fáil do chásanna 'Teimhneacht Scamhóg'.

'Agus é á thiomsú i COVIDx cuimsítear gach X-ghathanna cliabhraigh ón rang 'Teimhneacht na Scamhóg' sa rang niúmóine.'

Go héifeachtach, maíonn an páipéar, leathnaíonn modheolaíocht COVIDx an sainmhíniú ar ‘niúmóine’ chun ‘gach teimhneacht scamhóg atá cosúil le niúmóine’ a áireamh. Dá bhrí sin, tá (is dócha) i mbaol luach comhchosúil na gcineálacha sonraí comparáideacha. Luann na taighdeoirí:

' […] tá X-ghathanna cliabhraigh san aicme niúmóine laistigh de thacar sonraí COVIDx mar aon le go leor paiteolaíochtaí eile, lena n-áirítear eisileadh pleural, insíothlú, comhdhlúthú, emphysema agus maiseanna. Is gné raideolaíoch é comhdhlúthú den niúmóine a d’fhéadfadh a bheith ann, ní diagnóis chliniciúil. D'fhéadfadh sé a bheith míthreorach comhdhlúthú a úsáid mar ionadach ar niúmóine gan é seo a dhoiciméadú.'

Fuarthas amach sa tuarascáil nach raibh ach 6.13% de na 4,305 cás niúmóine a fuarthas ón RSNA lipéadaithe go cruinn, rud a léiríonn 265 cás fíor niúmóine.

Ina theannta sin, b’ionann cuid mhór de na cásanna neamh-niúmóine a chuimsítear i COVIDx agus comh-ghalarachtaí – aimhréití galair eile, nó saincheisteanna tánaisteacha leighis i riochtaí nach gá a bhaineann le niúmóine.

Ní 'Gnáth'

Molann an tuarascáil freisin go bhfuil tionchar an tacar sonraí dúshláin RSNA i COVIDx tar éis cobhsaíocht eimpíreach na sonraí a scealú. Tugann na taighdeoirí faoi deara go dtugann COVIDx tús áite don rang ‘gnáth’ de shonraí RSNA, go héifeachtach gan gach rang ‘gan teimhneacht scamhóg/ní gnáth’ sa tacar sonraí níos leithne a áireamh. Deir an páipéar:

‘Cé go bhfuil sé seo ag teacht leis an méid a bhfuiltear ag súil leis laistigh den lipéad ‘gnáth’, déanann leathnú an aicme niúmóine agus úsáid a bhaint as X-ghathanna cófra ‘gnáth’ amháin, seachas cásanna niúmóine-diúltacha, an tasc aicmithe a shimpliú go mór.

'Is é an toradh deiridh atá air seo ná tacar sonraí a léiríonn tasc a bhaintear den fhíorfhadhb chliniciúil.'

Laofachtaí Féideartha ó Chaighdeáin Sonraí Neamh-chomhoiriúnacha

Aithníonn an páipéar roinnt cineálacha eile claonta i COVIDx, ag tabhairt faoi deara go meascann cuid de na sonraí rannchuidithe íomhánna X-ghathaithe cliabhraigh le X-ghathanna na n-othar fásta, agus tugann sé faoi deara freisin gurb iad na sonraí seo an t-aon fhoinse 'suntasach' de íomhánna péidiatraiceacha i COVIDx.

Chomh maith leis sin, tá taifeach 1024×1024 ag íomhánna ó thacar sonraí RSNA, agus ní sholáthraíonn tacar sonraí eile a chuireann íomhánna ach taifeach 299×299 ar fáil. Ós rud é go n-athróidh samhlacha meaisínfhoghlama íomhánna de ghnáth chun freastal ar an spás oiliúna atá ar fáil (spás folaigh), ciallaíonn sé seo go n-uasghrádófar na híomhánna 299 × 299 i sreabhadh oibre oiliúna (d'fhéadfadh go n-eascróidh déantáin a bhaineann le algartam scálaithe seachas paiteolaíocht), agus laghdaíodh na híomhánna níos mó. Arís, maolaíonn sé seo i gcoinne na gcaighdeán sonraí aonchineálach atá riachtanach le haghaidh anailíse fís ríomhaire-bhunaithe.

Ina theannta sin, tá ‘marcóirí cruth diosca’ sna sonraí ActMed a ionghabháil i COVIDx in X-ghathanna cófra COVID-19, gné athfhillteach atá ar neamhréir leis an tacar sonraí níos leithne, agus a chaithfí a láimhseáil mar ‘asluiteach athchleachtach’.

Is é seo an cineál saincheiste a dtugtar aghaidh uirthi de ghnáth trí na sonraí a ghlanadh nó a fhágáil ar lár, ós rud é gur leor na marcóirí a atarlú chun clárú mar 'ghné' san oiliúint, ach ní minic go leor chun ginearálú úsáideach a dhéanamh i scéim níos leithne an tacair sonraí. . Gan meicníocht chun tionchar na marcóirí saorga a lascainiú, d’fhéadfaí iad a mheas de réir mhodheolaíocht an chórais mheaisínfhoghlama mar fheiniméin phaiteolaíocha.

Oiliúint agus Tástáil

Thástáil na taighdeoirí COVIDx i gcoinne dhá thacar sonraí comparáideacha thar thrí mhúnla. Bhí an dá thacar sonraí breise RICORD, ina bhfuil 1096 X-ghathanna cliabhraigh COVID-19 thar 361 othar, a fuarthas ó cheithre thír; agus CheXpert, tacar sonraí poiblí

Ba iad na trí mhúnla a úsáideadh ná COVID-Net, CoroNet agus DarkCovidNet. Úsáideann na trí mhúnla go léir Líonraí Néaracha Comhdhlúite (CNNanna), cé go bhfuil CoroNet comhdhéanta de phróiseas aicmithe íomhá dhá chéim, agus cuireann uath-ionchódóirí aschur chuig aicmitheoir CNN.

Thaispeáin an tástáil ‘titim ghéar’ i bhfeidhmíocht na samhla ar thacair shonraí neamh-COVIDx i gcomparáid leis an gcruinneas 86% a eascraíonn as sonraí COVIDx a úsáid. Mar sin féin, má dhéantar lipéadú mícheart ar na sonraí nó má dhéantar míghrúpáil orthu, is torthaí bréagacha iad seo i ndáiríre. Thug na taighdeoirí faoi deara torthaí cruinneas laghdaithe go mór ar na tacair shonraí seachtracha inchomparáide, a mholann an páipéar mar shonraí níos réadúla agus atá rangaithe i gceart.

Ina theannta sin, tugann an páipéar le fios:

‘Léirigh athbhreithniú cliniciúil ar 500 mapa sábháltachta grád-CAM a ghintear trí thuar ar shonraí tástála COVIDx treocht shuntasach i ngnéithe nach mbaineann le hábhar go cliniciúil. Áiríodh leis seo go hiondúil fócas ar struchtúir cnámhacha agus fíocháin bhoga in ionad teimhneacht déthaobhach idirleata ar na réimsí scamhóg atá tipiciúil d’ionfhabhtú COVID-19.’

Conclúidí

Cáineann na taighdeoirí an easpa sonraí déimeagrafacha nó cliniciúla a bhaineann leis na híomhánna X-gha i COVIDx, ag áitiú go bhfuil sé dodhéanta cuntas a thabhairt ar 'fhachtóirí inbhréagnaithe' amhail aois dá n-uireasa seo.

Tugann siad faoi deara freisin go bhféadfadh na fadhbanna a aimsítear sa tacar sonraí COVIDx a bheith infheidhme maidir le tacair shonraí eile a fuarthas ar an gcuma chéanna (.i. trí bhunachair shonraí íomhánna raideolaíochta réamh-COVID a mheascadh le sonraí íomhá X-ghathaithe COVID le déanaí gan ailtireacht sonraí leordhóthanach, cúiteamh athraithis, agus raon feidhme soiléir. de theorainneacha an chur chuige seo).

Agus achoimre á dhéanamh acu ar na heasnaimh atá i COVIDx, leagann na taighdeoirí béim ar an gcuimsiú barrchosach de X-ghathanna péidiatraiceacha ‘soiléir’, chomh maith lena n-aireachtáil ar mhí-úsáid lipéad agus ardriosca claonta agus inbhréagnaithe i COVIDx, ag áitiú ‘an fheidhmíocht eisceachtúil [de COVIDx] a thuairiscítear go forleathan ar fud réimse na bhfadhbanna teannta, go ndéantar mífhaisnéis ar thorthaí feidhmíochta samhlacha, agus nach ginearálaíonn samhlacha go maith do shonraí cliniciúla réalaíocha.'

Críochnaíonn an tuarascáil:

'Ceadaíodh úsáid sonraí foinse oscailte chun an pobal taighde a chur amú mar gheall ar easpa sonraí ospidéil atá ar fáil mar aon le measúnú ar mhúnla neamhleor ar fud an réimse fhadhb. Tá baol ann go ndéanfaí dochar d’iontaofacht taighde AI i ndiagnóisic leighis má leanann foilsiú leanúnach ar mhéadracht feidhmíochta samhlaithe, go háirithe nuair is mór an leas poiblí é an galar. Ní mór feabhas a chur ar cháilíocht an taighde sa réimse seo le nach dtarlóidh sé seo, caithfidh sé seo tosú leis na sonraí.'

 

 

*Cé go maíonn taighdeoirí an staidéir go ndearna siad na sonraí, na comhaid agus an cód don pháipéar nua ar fáil ar líne, teastaíonn logáil isteach chun rochtain a fháil, agus, tráth scríofa na tuarascála seo, níl aon rochtain phoiblí ghinearálta ar na comhaid ar fáil.
** ChestX-ray8: Bunachar Sonraí X-gha cliabhraigh ar scála Ospidéil agus Tagarmharcanna ar Aicmiú agus Logánú Coiteann Tóraacs faoi Mhaoirseacht – https://arxiv.org/pdf/1705.02315.pdf