Erstellung synthetischer Wunddatensätze mit Generativen Adversarial Networks

Erstmalig wird ein Generatives Adversarial Network verwendet, um synthetische Datensätze von Wundbildern zu erstellen, um einen kritischen Mangel an vielfältigen und zugänglichen Inhalten dieser Art in Healthcare-Machine-Learning-Anwendungen zu beheben.

Das System, genannt WG²AN, ist eine Zusammenarbeit zwischen der Batten College of Engineering & Technology und dem AI-Health-Unternehmen eKare, das sich auf die Anwendung von Machine-Learning-Methoden zur Messung und Identifizierung von Wunden spezialisiert hat.

Das GAN wird mit 100-4000 beschrifteten stereoskopischen chronischen Wundbildern trainiert, die von eKare bereitgestellt werden, einschließlich anonymisierter Bilder von Verletzungsarten durch Druck, Chirurgie, Lymphovaskuläre Ereignisse, Diabetes und Verbrennungen. Das Quellenmaterial variierte in der Größe zwischen 1224×1224 und 2160×2160, alle unter verfügbarer Beleuchtung von Ärzten aufgenommen.

Um den verfügbaren latenten Raum in der Modelltrainingsarchitektur zu berücksichtigen, wurden die Bilder auf 512×512 skaliert und aus ihren Hintergründen extrahiert. Um den Effekt der Datensatzgröße zu untersuchen, wurden Testläufe auf Batches von 100, 250, 500, 1000, 2000 und 4000 Bildern durchgeführt.

Quelle: https://ietresearch.onlinelibrary.wiley.com/doi/pdfdirect/10.1049/tje2.12033

Das oben gezeigte Bild zeigt eine zunehmende Detailgenauigkeit und Granularität in Abhängigkeit von der Größe des trainierten Datensatzes und der Anzahl der Epochen, die auf jedem Durchlauf durchlaufen werden.

Die Architektur von WG2GAN. Quelle: https://ietresearch.onlinelibrary.wiley.com/doi/pdfdirect/10.1049/tje2.12033

WG²GAN läuft auf PyTorch auf einer relativ schlanken Consumer-Setup mit 8 GB VRAM auf einer GTX 1080 GPU. Die Trainingszeit betrug zwischen 4-58 Stunden über die gesamte Datensatzgröße von 100-4000 Bildern und über eine Reihe von Epochen, mit einem Batch-Size von 64 als Kompromiss zwischen Genauigkeit und Leistung. Der Adam-Optimizer wird für die erste Hälfte des Trainings mit einem Lernalgorithmus von 0,0002 verwendet und endet mit einem linearen Lernalgorithmus, bis ein Verlust von Null erreicht ist.

Oben links, Segmentierung auf die Wundfläche angewendet. Oben mittig, Bild der tatsächlichen Wunde; oben rechts, eine synthetische Wunde eines Typs, der in einem Datensatz verallgemeinert werden kann, basierend auf der ursprünglichen Quelle. Unten, die ursprüngliche Wunde und rechts, eine Synthese der Wunde, die von WG2GAN generiert wurde.

In medizinischen Datensätzen, wie in so vielen anderen Bereichen des Machine Learning, ist die Beschriftung ein unvermeidliches Flaschenhals. In diesem Fall verwendeten die Forscher ein halbautomatisches Beschriftungssystem, das auf früheren Forschungen von eKare basiert, die realen Modelle von Wunden verwendeten, die in Play-Doh erstellt und grob für semantischen Kontext gefärbt wurden.

eKare Wundmodelle

Die Forscher stellten ein Problem fest, das häufig in den Anfangsstadien des Trainings auftritt, wenn ein Datensatz sehr vielfältig ist und die Gewichte zufällig sind – das Modell benötigt lange (75 Epochen), um sich zu “beruhigen”:

Wo die Daten variiert sind, haben sowohl GAN- als auch Encoder/Decoder-Modelle Schwierigkeiten, eine Verallgemeinerung in den frühen Stadien zu erzielen, wie wir es im obigen Graphen des Trainings von WG²GAN sehen können, der die Trainingszeit von der Initialisierung bis zum Nullverlust verfolgt.

Es muss darauf geachtet werden, dass der Trainingsprozess nicht auf die Merkmale oder Eigenschaften einer bestimmten Iteration oder Epoche fixiert wird, sondern weiterhin verallgemeinert, um einen verwendbaren mittleren Verlust ohne Ergebnisse zu produzieren, die die Quellenmaterialien übermäßig abstrahieren. Im Falle von WG²GAN würde dies das Risiko bergen, ungebundene, völlig “fiktive” Wunden zu erstellen, die unter zu vielen nicht verwandten Wundtypen verkettet werden, anstatt eine genaue Reihe von Variationen innerhalb eines bestimmten Wundtyps zu produzieren.

Steuerung des Umfangs in einem Machine-Learning-Datensatz

Modelle mit leichteren Trainingsdatensätzen verallgemeinern schneller, und die Forscher des Papiers sind der Meinung, dass die realistischsten Bilder bei weniger als den maximalen Einstellungen erhalten werden könnten: ein Datensatz von 1000 Bildern, der über 200 Epochen trainiert wird.

Obwohl kleinere Datensätze möglicherweise in weniger Zeit hochrealistische Bilder erzeugen können, wird die Reihe der Bilder und die Arten von Wunden, die generiert werden, notwendigerweise begrenzter sein. Es gibt ein empfindliches Gleichgewicht in GAN- und Encoder/Decoder-Trainingsregimen zwischen dem Volumen und der Vielfalt der Eingabedaten, der Treue der erzeugten Bilder und der Realistik der erzeugten Bilder – Fragen des Umfangs und der Gewichtung, die sich nicht auf die medizinische Bildsynthese beschränken.

Klassenungleichgewichte in medizinischen Datensätzen

Im Allgemeinen ist das Healthcare-Machine-Learning nicht nur von einem Mangel an Datensätzen betroffen, sondern auch von Klassenungleichgewichten, bei denen wesentliche Daten über eine bestimmte Krankheit nur einen kleinen Prozentsatz des Host-Datensatzes ausmachen, was das Risiko birgt, dass sie entweder als Ausreißerdaten abgelehnt oder während des Trainings assimiliert werden.

Es wurden mehrere Methoden vorgeschlagen, um das letztere Problem zu lösen, wie z.B. Untersampling oder Übersampling. Allerdings wird das Problem häufig dadurch umgangen, dass disease-spezifische Datensätze entwickelt werden, die ausschließlich an ein einzelnes medizinisches Problem gebunden sind. Obwohl dieser Ansatz in Einzelfällen effektiv ist, trägt er zur Kultur der Balkanisierung im Bereich der medizinischen Machine-Learning-Forschung bei und verlangsamt möglicherweise den allgemeinen Fortschritt in diesem Sektor.