Hochauflösende Bilder mit Maschinellem Lernen verkleinern

Neue Forschung aus dem Vereinigten Königreich hat eine verbesserte maschinelle Lernmethode zur Bildverkleinerung vorgeschlagen, basierend auf dem wahrgenommenen Wert der verschiedenen Teile des Bildinhalts, anstelle einer willkürlichen Reduzierung der Dimension (und damit der Qualität und extrahierbaren Merkmale) für alle Pixel im Bild.

Im Rahmen eines wachsenden Interesses an AI-getriebenen Komprimierungssystemen ist dies ein Ansatz, der letztendlich neue Codecs für die allgemeine Bildkomprimierung informieren könnte, obwohl die Arbeit durch die medizinische Bildgebung motiviert ist, bei der willkürliche Downsampling von hochauflösenden medizinischen Bildern zum Verlust lebensrettender Informationen führen kann.

Repräsentative Architektur des neuen Systems. Das interstitielle Deformationsmodul erzeugt eine Deformationskarte, die den Bereichen von Interesse im Bild entspricht. Die Dichte und Richtung der roten Punkte zeigen diese Bereiche. Die Karte wird nicht nur zum Downsampling verwendet, sondern auch zur Rekonstruktion der primären Interessengebiete, wenn der Bildinhalt nicht einheitlich auf der anderen Seite des Trainingsprozesses skaliert wird. Quelle: https://arxiv.org/pdf/2109.11071.pdf

Das System wendet semantische Segmentierung auf die Bilder an – breite Blöcke, die als Farbblöcke im Bild oben dargestellt werden, die erkannte Entitäten innerhalb des Bildes umfassen, wie z.B. ‘Straße’, ‘Fahrrad’, ‘Läsion’ usw. Die Anordnung der semantischen Segmentierungskarten wird dann verwendet, um zu berechnen, welche Teile des Fotos nicht übermäßig heruntergesampelt werden sollten.

Unter dem Titel Learning to Downsample for Segmentation of Ultra-High Resolution Images ist die neue Veröffentlichung eine Zusammenarbeit zwischen Forschern des Centre for Medical Image Computing an der University College London und Forschern des Healthcare Intelligence-Departments bei Microsoft Cambridge.

Die (ziemlich) niedrige Auflösung in der Computer-Vision-Trainingswelt

Die Ausbildung von Computer-Vision-Systemen ist erheblich durch die Kapazität von GPUs eingeschränkt. Datensätze können viele Tausende von Bildern enthalten, aus denen Merkmale extrahiert werden müssen, aber selbst industrielle GPUs tendieren dazu, bei 24 GB VRAM zu Spitzenwerten zu kommen, mit anhaltenden Engpässen, die Verfügbarkeit und Kosten beeinflussen.

Dies bedeutet, dass Daten in handhabbaren Chargen durch die begrenzten Tensor-Kerne der GPU gefüttert werden müssen, wobei 8-16 Bilder typisch für viele Computer-Vision-Trainings-Workflows sind.

Es gibt nicht viele offensichtliche Lösungen: selbst wenn VRAM unbegrenzt wäre und CPU-Architekturen einen solchen Durchsatz von der GPU ohne die Bildung eines architektonischen Engpasses bewältigen könnten, würde eine sehr hohe Batch-Größe tendenziell hochrangige Merkmale auf Kosten der detaillierteren Transformationen erzeugen, die für die Nützlichkeit des finalen Algorithmus kritisch sein können.

Die Erhöhung der Auflösung der Eingabebilder würde bedeuten, dass Sie kleinere Batch-Größen verwenden müssen, um Daten im “latenten Raum” der GPU-Trainings zu speichern. Dies wiederum würde wahrscheinlich ein Modell erzeugen, das “exzentrisch” und überangepasst ist.

Es hilft auch nicht, wenn man zusätzliche GPUs hinzufügt, zumindest in den meisten Architekturen: während Mehrfach-GPU-Setups die Trainingszeit beschleunigen können, können sie auch die Integrität der Trainingsergebnisse beeinträchtigen, ähnlich wie zwei benachbarte Fabriken, die an demselben Produkt arbeiten, aber nur über eine Telefonleitung kommunizieren.

Intelligent verkleinerte Bilder

Was bleibt, ist, dass die relevantesten Abschnitte eines typischen Bildes für ein Computer-Vision-Datenset mit der neuen Methode erhalten bleiben können, wenn sehr hochauflösende Bilder heruntergeskaliert werden müssen, um in eine ML-Pipeline zu passen.

Dies ist eine separate Herausforderung im Vergleich zum Problem der verlustbehafteten Artefakte in maschinellen Lern-Datensätzen, bei denen die Qualität in automatisierten Skalierungs-Pipelines verloren geht, weil der Komprimierungs-Codec zu viel (in der Regel nicht wiederherstellbare) Information wegwirft.

Vielmehr kann in diesem Fall selbst das Speichern in einem verlustfreien Bildformat (wie PNG mit LZW-Komprimierung) die Informationen nicht wiederherstellen, die generisch weggeworfen werden, wenn ein Bild (z.B. eine Magnetresonanztomographie (MRT)) von oft rekordbrechenden Dimensionen auf eine typische Auflösung von 256×256 oder 512×512 Pixeln herunterskaliert wird.

Um die Dinge noch schlimmer zu machen, werden schwarze Ränder oft zu rechteckigen Quellbildern als Routine-Aufgabe hinzugefügt, um ein echtes quadratisches Eingabeformat für die neuronale Netzverarbeitung zu erzeugen, wodurch der verfügbare Speicherplatz für potenziell wichtige Daten weiter reduziert wird.

Die Forscher von UCL und Microsoft schlagen stattdessen vor, den Skalierungsprozess intelligenter zu machen, indem sie effektiv das, was immer eine generische Stufe in der Pipeline war, nutzen, um Bereiche von Interesse hervorzuheben und einen Teil der interpretativen Last von dem maschinellen Lern-System zu entlasten, durch das die Bilder letztendlich verarbeitet werden.

Die Methode, so behaupten die Forscher, verbessert sich gegenüber einer 2019 vorgestellten Methode (Bild unten), die ähnliche Gewinne durch die Konzentration der Qualität auf die Ränder von Objekten suchte.

Aus ‘Efficient Segmentation: Learning Downsampling Near Semantic Boundaries’, Marin et al., 2019. Quelle: https://arxiv.org/pdf/1907.07156.pdf

Wie die neue Arbeit feststellt, geht dieser Ansatz davon aus, dass Bereiche von Interesse an den Rändern von Objekten zusammenlaufen, während Beispiele aus der medizinischen Bildgebung, wie annotierte Krebsregionen, von höherem Kontext abhängen und leicht weggeworfene Details innerhalb breiterer Bereiche in einem Bild darstellen können, anstatt an den Rändern.

Learnable Downsampler

Die neue Forschung schlägt einen learnbaren Downsampler vor, der als Deformationsmodul bezeichnet wird, das gemeinsam mit einem parallelen Segmentierungsmodul trainiert wird und daher über die durch die semantische Segmentierung identifizierten Bereiche von Interesse informiert werden kann und diese während des Downsampling-Prozesses priorisieren kann.

Die Autoren testeten das System auf mehreren populären Datensätzen, einschließlich Cityscapes, DeepGlobe und einem lokalen Prostatakrebs-Histologie-Datensatz, ‘PCa-Histo’.

Drei Ansätze: links, bestehendes ‘uniformes’ Downsampling; in der Mitte, der ‘optimale Rand’-Ansatz aus dem 2019-Papier; rechts, die Architektur hinter dem neuen System, informiert durch Entitäts-Erkennung in einer semantischen Segmentierungsebene.

Ein ähnlicher Ansatz wurde für einen Klassifizierer vorgeschlagen, der 2019 vorgestellt wurde, aber die Autoren des aktuellen Papiers behaupten, dass diese Methode die Bereiche von Betonung nicht ausreichend regularisiert, potenziell wichtige Bereiche in einem medizinischen Bildgebungskontext verpasst.

Ergebnisse

Das Deformationsmodul im neuen System ist ein kleines Convolutional Neural Network (CNN), während die Segmentierungsebene eine tiefe CNN-Architektur mit HRNetV2-W48 verwendet. Pyramid Scene Parsing Network (PSP-net) wurde als Sollbruchstelle-Schicht für die CityScapes-Tests verwendet.

Die oben genannten Datensätze wurden mit dem neuen Framework getestet, unter Verwendung von uniformem Resampling (der üblichen Methode), der optimalen Randmethode von 2019 und dem neuen Ansatz, der die semantische Segmentierung nutzt.

Die Autoren berichten, dass die neue Methode ‘einen klaren Vorteil bei der Identifizierung und Unterscheidung der klinisch wichtigsten Klassen’ zeigt, mit einer Genauigkeitssteigerung von 15-20%. Sie stellen weiter fest, dass der Abstand zwischen diesen Klassen oft als ‘die Schwelle von gesund zu krank’ definiert wird.

Klassenweises Intersection-over-Union-(IoU)-Analyse über die drei Methoden: links, Standard-Resampling; Mitte, optimale Kante; und rechts, der neue Ansatz. CityScapes wurde auf 64 x 128 herunterskaliert, mit PCaHisto auf 80 x 800 und DeepGlobe auf 300 Pixel im Quadrat.

Der Bericht besagt, dass ihre Methode ‘eine Downsampling-Strategie lernen kann, Informationen besser bewahren und einen besseren Kompromiss ermöglichen.’, und schlussfolgert, dass das neue Framework ‘effizient lernen kann, wo es die begrenzte Anzahl von Pixeln bei der Downsampling investieren kann, um den höchsten Gesamtertrag bei der Segmentierungs-Genauigkeit zu erzielen’.

Das Hauptbild für diesen Artikel wurde von thispersondoesnotexist.com bezogen. Aktualisiert um 15:35 Uhr GMT+2 wegen eines Textfehlers.