Oppretting av syntetiske sårdatasett med generative adversarial nettverk

For første gang blir et Generative Adversarial Network brukt til å opprette syntetiske datasett av sårbilder, for å rette opp en kritisk mangel på mangfoldige og tilgjengelige innhold av denne typen i helsemaskinlæringsapplikasjoner.

Systemet, kalt WG²AN, er et samarbeid mellom Batten College of Engineering & Technology og AI-helsefirmaet eKare, som spesialiserer seg på å bruke maskinlæringsmetodologier til å måle og identifisere sår.

GAN er trent på 100-4000 merkte stereoskopiske kroniske sårbilder levert av eKare, inkludert anonymiserte bilder av skadetyper fra årsaker som trykk, kirurgi, lymfovaskulære hendelser, diabetes og brannskader. Kildebildene varierte i størrelse mellom 1224×1224 til 2160×2160, alle tatt under tilgjengelig lys av leger.

For å tilpasse den tilgjengelige latente rommet i modelltreningen, ble bildene reskalert til 512×512 og trukket ut fra bakgrunnene. For å studere effekten av datasettstørrelse, ble testkjøringer implementert på batcher av 100, 250, 500, 1000, 2000 og 4000 bilder.

Kilde: https://ietresearch.onlinelibrary.wiley.com/doi/pdfdirect/10.1049/tje2.12033

Bildet over viser økende detalj og granularitet i henhold til størrelsen på treningssettet og antall epoker kjørt på hver passering.

Arkitekturen av WG2GAN. Kilde: https://ietresearch.onlinelibrary.wiley.com/doi/pdfdirect/10.1049/tje2.12033

WG²GAN kjører på PyTorch på en relativt lean forbrukerstyrt setup, med 8GB VRAM på en GTX 1080 GPU. Trening tok mellom 4-58 timer over datasettstørrelsene fra 100-4000 bilder, og over en rekke epoker, på en batch-størrelse på 64 som en avveining mellom nøyaktighet og ytelse. Adam-Optimiseren brukes for den første halvdelen av treningen med en læringsrate på 0,0002, og avsluttes med en lineært avtakende læringsrate til en tap på null er oppnådd.

Ovenfor til venstre, segmentering brukt på sårarea. Ovenfor midten, bilde av det faktiske såret; ovenfor til høyre, et syntetisk sår av en type som kan generaliseres i et datasett, basert på den opprinnelige kilde. Under, det opprinnelige såret, og, til høyre, en syntese av såret generert av WG2GAN.

I medisinske datasett, som i så mange andre sektorer av maskinlæring, er merking en uunngåelig flaskehals. I dette tilfelle brukte forskerne en semi-automatisk merkingssystem som utnytter tidligere forskning fra eKare, som brukte virkelige modeller av sår, laget i Play-Doh og farget for semantisk kontekst.

eKare sårmodeller

Forskerne noterte et problem som ofte oppstår i de innledende stadiene av trening, når et datasett er ganske variert og vekter er tilfeldige – modellen tar lang tid (75 epoker) å “rope seg ned”:

Hvor data er variert, sliter både GAN og encoder/decoder-modeller med å oppnå generalisering i de tidlige stadiene, som vi kan se dokumentert i grafen over treningen av WG²GAN, som sporer treningstidslinjen fra start til null tap.

Vær forsiktig med å sikre at treningsprosessen ikke fokuserer på egenskapene eller karakteristikkene til noen enkelt iterasjon eller epoke, men fortsatt generaliserer til en brukbar gjennomsnittlig tap uten å produsere resultater som for meget abstraherer kildekoden. I tilfelle WG²GAN, ville det risikere å skape ubundne, helt “fiksjonelle” sår, sammenføyet blant for mange ulike sårtyper, i stedet for å produsere en nøyaktig rekke variasjoner innen en bestemt sårtype.

Å kontrollere omfang i et maskinlæringsdatasett

Modeller med lettere treningssett generaliserer raskere, og artikkelforfatterne hevder at de mest realistiske bildene kunne oppnås med mindre enn maksinnstillinger: et datasett på 1000 bilder trent over 200 epoker.

Selv om mindre datasett kanskje kan oppnå svært realistiske bilder på kortere tid, vil rekken av bilder og typene sår som genereres nødvendigvis være mer begrenset. Det er en fin balanse i GAN og encoder/decoder-treningsregimer mellom volum og variasjon av inndata, troverdigheten av de produserte bildene og realisme av de produserte bildene — spørsmål om omfang og vekt som absolutt ikke er begrenset til medisinsk bilde-syntese.

Klassiske ubalanser i medisinske datasett

Generelt sett er helsemaskinlæring ikke bare plaget av en mangel på datasett, men også klasseubalanser, hvor essensiell data om en bestemt sykdom utgjør så liten en prosent av sin vertsdatabasen at den risikerer å bli forkastet som outlier-data eller å bli assimilert i prosessen med generalisering gjennom trening.

En rekke metoder er foreslått for å løse det siste problemet, som underprøving eller overprøving. Likevel blir problemet ofte side-stepped ved å utvikle sykdomsspesifikke datasett som er helt bundet til en enkelt medisinsk problem. Selv om denne tilnærmingen er effektiv på en per-sak-basis, bidrar den til kulturen av Balkanisering i sfæren av medisinsk maskinlæringsforskning, og kan hevdes å sakke ned den generelle fremgangen i sektoren.