A’ lughdachadh ìomhaighean àrd-rèiteachaidh le ionnsachadh innealan

Tha rannsachadh ùr bhon RA air dòigh ionnsachaidh inneal leasaichte a mholadh gus ìomhaighean ath-mheudachadh, stèidhichte air luach a thathar a’ faicinn de na diofar phàirtean de shusbaint ìomhaigh, an àite a bhith a’ lughdachadh gu neo-chothromach an tomhas (agus mar sin càileachd agus feartan a ghabhas toirt a-mach) airson na piogsail gu lèir ann an an dealbh.

Mar phàirt de dh’ ùidh a tha a’ sìor fhàs ann an siostaman teannachaidh air a stiùireadh le AI, is e dòigh-obrach a th’ ann a dh’ fhaodadh fios a chuir gu codecs ùra airson teannachadh ìomhaighean coitcheann, ged a tha an obair air a bhrosnachadh le ìomhaighean slàinte, far am faodadh lughdachadh neo-riaghailteach ìomhaighean meidigeach àrd-rùn leantainn gu call. de fhiosrachadh a shàbhalas beatha.

Ailtireachd riochdachaidh an t-siostam ùr. Bidh am modal deformation interstitial a’ toirt a-mach mapa deformation a fhreagras air raointean anns a bheil ùidh san ìomhaigh. Tha dùmhlachd agus stiùireadh nan dotagan dearga a’ comharrachadh nan raointean sin. Tha am mapa air a chleachdadh chan ann a-mhàin airson samplachadh sìos, ach gus na prìomh raointean le ùidh ath-chruthachadh nuair a thèid susbaint na h-ìomhaigh ath-nuadhachadh gu neo-èideadh air taobh eile a’ phròiseas trèanaidh.  Stòr: https://arxiv.org/pdf/2109.11071.pdf

Tha an siostam a 'buntainn sgaradh semantach dha na h-ìomhaighean – blocaichean farsaing, air an riochdachadh mar bhlocaichean dath san ìomhaigh gu h-àrd, a tha a’ toirt a-steach nithean aithnichte taobh a-staigh an deilbh, leithid 'rathad', 'baidhsagal', 'lesion', et al. Bithear an uairsin a’ cleachdadh suidheachadh nam mapaichean semantach gus obrachadh a-mach dè na pàirtean den dealbh nach bu chòir a bhith ro ìosal.

Leis an ainm Ag ionnsachadh sampall sìos airson a bhith a’ sgaradh ìomhaighean fìor àrd, a ' pàipear ùr na cho-obrachadh eadar luchd-rannsachaidh bhon Ionad airson Coimpiutaireachd Ìomhaighean Meidigeach aig Colaiste Oilthigh Lunnainn agus luchd-rannsachaidh bhon roinn Fiosrachaidh Cùram Slàinte aig Microsoft Cambridge.

An Saoghal (gu ìre mhath) de thrèanadh lèirsinn coimpiutair

Tha trèanadh siostaman lèirsinn coimpiutair air a chuingealachadh gu mòr le comas GPUs. Faodaidh mìltean de dhealbhan a bhith ann an seataichean dàta às am feumar feartan a thoirt a-mach, ach tha eadhon GPUs le raon gnìomhachais buailteach a bhith aig àirde aig 24gb de VRAM, le gainnead leantainneach a’ toirt buaidh air ruigsinneachd agus cosgais.

Tha seo a’ ciallachadh gum feum dàta a bhith air a bhiathadh tro choraichean cuibhrichte Tensor an GPU ann an batches a ghabhas làimhseachadh, le ìomhaighean 8-16 a tha àbhaisteach ann am mòran de shruth-obrach trèanaidh lèirsinn coimpiutair.

Chan eil mòran fhuasglaidhean follaiseach ann: eadhon ged a bhiodh VRAM gun chrìoch agus gum faodadh ailtireachd CPU gabhail ris an t-seòrsa sin de thionndadh bhon GPU gun a bhith a’ cruthachadh cnap-starra ailtireil, bidh meudan baidse glè àrd buailteach feartan àrd-ìre fhaighinn aig cosgais nan cruth-atharrachaidhean nas mionaidiche. a dh’ fhaodadh a bhith deatamach a thaobh cho feumail sa tha an algairim dheireannach.

Le bhith ag àrdachadh rùn nan ìomhaighean cuir a-steach bidh agad ri meudan baidse nas lugha a chleachdadh gus dàta a chuir a-steach don ‘àite falaichte’ de thrèanadh GPU. Air an làimh eile, tha e coltach gun toir seo a-mach modail a tha ‘annasach’ agus air a chuir thairis.

Cha bhith cuir GPUs a bharrachd na chuideachadh, co-dhiù anns na h-ailtirean as cumanta: ged a dh’ fhaodas suidheachadh ioma-GPU amannan trèanaidh a luathachadh, faodaidh iad cuideachd ionracas toraidhean trèanaidh a chuir an cunnart, leithid dà fhactaraidh faisg air làimh ag obair air an aon toradh, le dìreach fòn. loidhne gus na h-oidhirpean aca a cho-òrdanachadh.

Ìomhaighean air an ath-mheudachadh gu tùrail

Is e na tha air fhàgail gum faodadh na h-earrannan as buntainniche de dh’ ìomhaigh àbhaisteach airson seata dàta lèirsinn coimpiutair, leis an dòigh ùr, a bhith air an gleidheadh ​​​​slàn anns an ath-mheudachadh fèin-ghluasadach a thachras nuair a dh’ fheumar ìomhaighean fìor àrd a lughdachadh gus freagairt air loidhne-phìoban ML.

Tha seo na dhùbhlan fa-leth don duilgheadas aig nithean caillte ann an stòran-dàta ionnsachadh innealan, far a bheil càileachd air a chall ann an ath-mheudachadh pìoban fèin-ghluasadach leis gu bheil an codec teannachaidh a’ tilgeil air falbh cus fiosrachaidh (mar as trice nach gabh fhaighinn air ais).

An àite sin, anns a’ chùis seo, chan urrainn eadhon a bhith a’ sàbhaladh gu cruth ìomhaigh gun chall (leithid PNG le teannachadh LZW) am fiosrachadh a thèid a thilgeil air falbh gu gnèitheach fhaighinn air ais nuair a dh’ ath-mheudaicheas tu (mar eisimpleir) sganadh Ìomhaigh Ath-shuidheachadh Magnetic (MRI) gu tric. tomhasan a tha a 'briseadh sìos gu rùn nas creidsinneach 256 × 256 no 512 × 512 piogsail.

Gus cùisean a dhèanamh nas miosa, a rèir riatanasan an fhrèama, bidh crìochan dubha gu tric air an cur ri ìomhaighean stòr ceart-cheàrnach mar obair giollachd dàta àbhaisteach, gus cruth cuir a-steach fìor cheàrnagach a thoirt gu buil airson giullachd lìonra neural, a’ lughdachadh tuilleadh àite a tha ri fhaighinn airson a dh’ fhaodadh a bhith ann. dàta deatamach.

An àite sin tha an luchd-rannsachaidh bho UCL agus Microsoft a’ moladh am pròiseas ath-mheudachadh a dhèanamh nas tuigseach, gu h-èifeachdach a’ cleachdadh na bha riamh na ìre coitcheann san loidhne-phìoban gus raointean inntinneach a shoilleireachadh, a’ luchdachadh cuid den eallach mìneachaidh bhon t-siostam ionnsachaidh inneal tro bheil an thèid dealbhan seachad mu dheireadh.

Tha an dòigh, a rèir an luchd-rannsachaidh, a’ leasachadh air tairgse 2019 (dealbh gu h-ìosal) a bha a’ sireadh buannachdan co-chosmhail le bhith a’ cuimseachadh aire càileachd air an crìochan de nithean.

Bho 'Segmentation Èifeachdach: Ag ionnsachadh Downsampling faisg air Crìochan Semantic', Marin et al., 2019. Stòr: https://arxiv.org/pdf/1907.07156.pdf

Mar a tha an obair ùr a’ toirt fa-near, tha an dòigh-obrach seo a’ gabhail ris gu bheil raointean inntinneach a’ cruinneachadh aig crìochan, ach tha eisimpleirean bho ìomhaighean meidigeach, leithid roinnean aillse le notaichean, an urra ri co-theacsa àrd-ìre, agus dh’ fhaodadh iad nochdadh mar mhion-fhiosrachadh a tha furasta a dhubhadh às taobh a-staigh raointean nas fharsainge ann an ìomhaigh. , seach aig oirean.

Downsampler ionnsachadh

Tha an rannsachadh ùr a' moladh a downsampler ionnsachadh ris an canar modal deformation, a tha air a cho-thrèanadh le modal sgaradh co-shìnte, agus mar sin faodar fios a thoirt dha mu raointean inntinneach a tha air an comharrachadh le sgaradh semantach, agus prìomhachas a thoirt dhaibh sin tron ​​​​phròiseas downsampling.

Rinn na h-ùghdaran deuchainn air an t-siostam air grunn stòran-dàta mòr-chòrdte, nam measg Dealbh-cathrach, DeepGlobe agus dàta ionadail Histology Cancer Prostate, 'PCa-Histo'.

Trì dòighean-obrach: air an taobh chlì, downsampling 'èideadh' gnàthaichte; sa mheadhan, an dòigh-obrach 'iomall as fheàrr' bho phàipear 2019; air an làimh dheis, an ailtireachd air cùl an t-siostam ùr, air a stiùireadh le aithneachadh eintiteas ann an sreath de sgaradh semantach.

Chaidh dòigh-obrach coltach ris a chleachdadh airson seòrsaiche air a mholadh ann an 2019, ach tha ùghdaran a' phàipeir làithreach a' cumail a-mach nach eil an dòigh seo a' riaghladh nan raointean cudthromach gu leòr, a dh'fhaodadh a bhith a' call raointean deatamach ann an co-theacsa ìomhaighean meidigeach.

toraidhean

Is e am modal deformation san t-siostam ùr Lìonra Neural Convolutional beag (CNN), fhad ‘s a tha an ìre sgaraidh na ailtireachd domhainn CNN a’ cleachdadh HRNetV2-W48. Lìonra parsaidh sealladh pioramaid (PSP-lìn) air a chleachdadh mar shreath sgrùdaidh slàintealachd airson deuchainnean CityScapes.

Chaidh na stòran-dàta a chaidh ainmeachadh roimhe a dhearbhadh leis an fhrèam ùr, a’ cleachdadh ath-shamhlachadh èideadh (an dòigh àbhaisteach), an dòigh iomall as fheàrr bho 2019, agus an dòigh-obrach ùr a’ faighinn buannachd bho sgaradh semantach.

Tha na h-ùghdaran ag aithris gu bheil an dòigh ùr a’ nochdadh 'buannachd shoilleir air a bhith ag aithneachadh agus a' comharrachadh nan clasaichean as cudromaiche gu clinigeach', le àrdachadh cruinneas de 15-20%. Tha iad cuideachd a’ faicinn gu bheil an astar eadar na clasaichean sin gu tric air a mhìneachadh mar ‘an stairsneach bho fhallain gu aillse’.

Mion-sgrùdadh air eadar-ghearradh clasa thar aonadh (IoU) thar nan trì dòighean: clì, ath-shamhlachadh àbhaisteach; meadhan, oir as fheàrr; agus ceart, chaidh an dòigh-obrach ùr.CityScapes sìos gu dìreach 64 x 128, le PCaHisto sìos gu 80 x 800, agus DeepGlobe sìos gu 300 piogsail ceàrnagach.

Tha an aithisg ag ràdh gu bheil an dòigh-obrach aca 'as urrainn dhaibh ro-innleachd downsampling ionnsachadh, fiosrachadh a ghleidheadh ​​​​nas fheàrr agus malairt nas fheàrr a chomasachadh.', a 'co-dhùnadh sin am frèam ùr 'ionnsaich gu h-èifeachdach càite an tèid "buidseat cuibhrichte piogsail a thasgadh" aig downsampling gus an toradh iomlan as àirde a choileanadh ann an cruinneas sgaradh'.

Chaidh a’ phrìomh ìomhaigh airson artaigil an fheart seo a lorg bho thispersondoesnotexist.com. Ùraichte 3:35f GMT+2 airson mearachd teacsa.