Crowdsourced-KI-Herausforderung zur Verbesserung der Mammographie-Analyse endet

Mammographien sind wichtig für die Gesundheit von Frauen und um frühe Anzeichen von Brustkrebs zu erkennen. Allerdings benötigen Mammographien menschliche Spezialisten, um sie zu interpretieren, und sogar hoch ausgebildete Spezialisten machen Fehler. Es wird geschätzt, dass die Falsch-Positiv-Rate von Mammographien in den USA etwa 10% beträgt. Um Systeme zu entwickeln, die genauere Lesungen von Mammographien liefern, hat die Digital Mammography (DM) Dream Challenge kürzlich ein Crowdsourcing-Unternehmen ins Leben gerufen, um neue Mammographie-Lese-Algorithmen zu entwickeln

Wie PhysicsWorld berichtet, sind Computer-Vision-Techniken und Deep-Learning-Algorithmen in den letzten Jahren immer sophistizierter geworden, und Forscher und Ingenieure wenden sich nun der Verwendung von KI zur Interpretation von Mammographien zu, um die Genauigkeit zu erhöhen. Die Digital Mammography (DM) Dream Challenge hat einen Wettbewerb ins Leben gerufen, um die Verwendung von KI-Algorithmen zur Erkennung möglicher Anzeichen von Brustkrebs zu untersuchen.

Die DM-Dream-Herausforderung ist die größte Studie über Deep-Learning-Algorithmen in Bezug auf die Interpretation von Mammographien, die bisher durchgeführt wurde. Justin Guinney, der Präsident der DREAM-Herausforderungen, erklärte, dass der Grund für die Herausforderungen darin besteht, dass sie eine strukturierte Bewertung von Dutzenden von Deep-Learning-Modellen auf zwei verschiedenen Datenbanken ermöglicht. Die Teilnehmer an der Herausforderung mussten Algorithmen entwerfen, die auf Mammographie-Daten trainiert werden konnten und eine Wahrscheinlichkeitsbewertung ausgeben konnten, dass ein Patient innerhalb eines Jahres mit Brustkrebs diagnostiziert würde. Es gab auch eine sekundäre Herausforderungsbedingung. In der zweiten Aufgabe wurden die Algorithmen dazu berechtigt, auf zusätzliche Informationen wie demografische Risikodaten, klinische Daten und Bilder von vorherigen Screening-Untersuchungen trainiert zu werden.

Es wurden zwei Datensätze verwendet, um die Modelle zu trainieren. Der erste Datensatz war der Kaiser-Permanente-Washington-(KPW)-Datensatz, der von Forschern aus den USA zusammengestellt wurde. Ein zweiter Datensatz wurde von schwedischen Forschern am Karolinska-Institut (KI) zusammengestellt.

Über 1100 Teilnehmer nahmen an der Herausforderung teil, die in 126 verschiedene Teams aufgeteilt waren und aus Menschen aus der ganzen Welt bestanden. Während des ersten Teils der Herausforderung wurden die Modelle mit dem KPW-Datensatz trainiert, der Bilder von über 140.000 Screening-Untersuchungen enthielt. Im Vergleich mit den Ergebnissen der zweiten Herausforderung wurde festgestellt, dass der Zugang zu mehr Funktionen wie klinischen Daten die diskriminierende Kraft der Algorithmen nicht wesentlich verbesserte. Allerdings schlug das DM-Dream-Team vor, dass die zukünftige Entwicklung von Algorithmen die Analyse von Bildern von vorherigen Untersuchungen für Patienten beinhalten sollte, da die Teilnehmer möglicherweise die Daten nicht vollständig genutzt haben.

Laut Health IT Analytics möchte das DR-Dream-Team, dass die acht besten Teams zusammenarbeiten und ein Ensemble-Klassifikationsmodell entwerfen, um zu sehen, ob dieses Modell die individuellen Modelle übertreffen kann. Die Herausforderungs-Koordinatoren verwendeten dann eine gewichtete Aggregation der Vorhersagen der verschiedenen Algorithmen und erstellten das Challenge-Ensemble-Modell (CEM). Die probabilistischen Vorhersagen des CEM-Modells wurden mit den Interpretationen von Radiologen verglichen, die mit Hilfe von Spezifität bewertet wurden. Die Radiologen erreichten eine Spezifität von 90,5%, während das CEM-Modell nur eine Spezifität von 76,1% erreichte. Obwohl die Ergebnisse enttäuschend erscheinen, verbesserte sich die Spezifität auf 92%, als die Vorhersagen des CEM-Modells und der Interpretationen von Radiologen in ein weiteres Modell (CEM+R) aggregiert wurden.

Ähnliche Ergebnisse wurden auf dem KI-Test-Datensatz erzielt, der ausschließlich zur Validierung der Modelle verwendet wurde und Bilder von über 166.000 Untersuchungen enthielt. Das CEM-Modell war dabei slightly unterlegen gegenüber den Radiologen (92,5% Spezifität im Vergleich zu 96,7% Spezifität), aber CEM+R erzielte bessere Ergebnisse (98,5% Spezifität).

Obwohl keines der individuellen Modelle in der Lage war, menschliche Spezialisten zu übertreffen, sah das CEM+R-Modell einen leichten Vorteil im Vergleich zur Interpretation von Radiologen allein. Es könnte möglich sein, dass die Kombination von menschlicher Intuition mit einem KI-Assistenten die Genauigkeit verbessern könnte.