Python-Bibliotheken
Die 10 besten Bildverarbeitungsbibliotheken für Python
Wichtige PunkteOpenCV lädt Farbbilder in BGR-Reihenfolge, daher verhindern explizite Konvertierungen…
Mehr anzeigen
- OpenCV lädt Farbbilder in BGR-Reihenfolge, daher verhindern explizite Konvertierungen überzeugende, aber falsche Ergebnisse.
- Die Intensitätsbereich-Konventionen von scikit-image können numerische Fehler verbergen, die Schwellenwerte und nachgelagerte Messungen verändern.
- AlbumentationsX wird jetzt unter AGPL-3.0-only oder kommerziellen Bedingungen statt unter der bisherigen MIT-Lizenz vertrieben.
Die Bildverarbeitung mit Python reicht von alltäglicher Bildbearbeitung über wissenschaftliche Messungen und Videoanalyse bis hin zu Datenerweiterung beim Modelltraining und Pipelines für große Bilder. Diese Anwendungsfälle erfordern unterschiedliche Werkzeuge. Eine Bibliothek, die sich hervorragend für Vorschaubilder eignet, bewahrt möglicherweise nicht die räumlichen Informationen, die für ein wissenschaftliches Volumen benötigt werden. Eine GPU-Bibliothek für Bildtransformationen wiederum kann für einen kleinen Webdienst unnötige Komplexität mit sich bringen.
Wir haben diese 10 Bibliotheken in einer unabhängigen Bewertung hinsichtlich ihrer Funktionen, Datenkonventionen, Integrationsanforderungen und praktischen Einschränkungen bewertet und dafür die aktuellen offiziellen Dokumentationen geprüft. OpenCV ist führend bei umfassender Computer Vision, Pillow bei der alltäglichen Rasterbildbearbeitung und scikit-image bei der wissenschaftlichen Analyse. Die Rangfolge beruht auf redaktionellem Ermessen im Hinblick auf diese Anwendungsfälle und nicht auf einem neuen praktischen Geschwindigkeitstest.
Mehrere Einträge entfalten ihre Stärken im Zusammenspiel: ImageIO verarbeitet Ressourcen, SciPy stellt numerische Funktionen bereit und eine Bibliothek auf höherer Abstraktionsebene übernimmt die Analyse. Wählen Sie eine kleine Kombination, die die Bedeutung Ihrer Bilder von der Eingabe bis zur Ausgabe bewahrt.
Die besten Bildverarbeitungsbibliotheken für Python im Vergleich
| KI-Tool | Am besten für | Funktionen |
|---|---|---|
| OpenCV | Allgemeine Computer Vision und Video-Pipelines | Filterung; Geometrie; Merkmale; Kalibrierung; Videoanalyse |
| Pillow | Alltägliche Bildbearbeitung und Dateiverwaltung | Zuschneiden; Größe ändern; Bildkomposition; Zeichnen; Modi; Formatunterstützung |
| scikit-image | Wissenschaftliche Bildanalyse und Messungen | Segmentierung; Morphologie; Wiederherstellung; Merkmale; Bereichsmessungen |
| torchvision | Bildvorverarbeitung in PyTorch-Pipelines | Transformationen v2; Bilder; Masken; Begrenzungsrahmen; Videos; Schlüsselpunkte |
| Kornia | Differenzierbare Bildverarbeitung und Verarbeitung von Tensor-Batches | PyTorch-Operatoren; Geometrie; Filter; Farben; Datenerweiterung |
| AlbumentationsX | Umfangreiche Datenerweiterung mit synchronisierten Trainingszielen | Kombinierbare Transformationen; Bilder; Masken; Begrenzungsrahmen; Schlüsselpunkte; Volumen |
| SciPy ndimage | Mehrdimensionale Filterung und Operationen auf Array-Ebene | Filter; Morphologie; Interpolation; Beschriftung; Messungen |
| ImageIO | Bildressourcen als Arrays lesen und schreiben | API v3; Plugins; Sequenzen; Metadaten; Ressourcenprüfung |
| SimpleITK | Räumlich verortete Volumen und Registrierungsabläufe | Bildgeometrie; Abstände; Ursprung; Richtung; räumliche Transformationen |
| pyvips | Pipelines für große Bilder mit kontrolliertem Speicherverbrauch | Anbindung an libvips; verzögerte Pipelines; sequenzieller Zugriff; Bildoperationen |
1. OpenCV
OpenCV ist unsere erste Empfehlung, wenn die Bildverarbeitung Teil einer umfassenderen Computer-Vision-Anwendung ist. Die Python-Schnittstelle umfasst Filterung, geometrische Transformationen, Merkmalserkennung, Kamerakalibrierung und Videoanalyse. Dank dieser Funktionsbreite eignet sich OpenCV für Projekte, in denen ein Bild bereinigt, Strukturen erkannt und ein Bilddatenstrom verarbeitet werden muss, statt lediglich eine einzelne Datei zu konvertieren.
Bei der Integration kommt es vor allem auf die Bilddarstellung an. Gängige OpenCV-Verfahren zum Laden von Farbbildern verwenden die Reihenfolge BGR, während viele angrenzende Werkzeuge RGB erwarten. Explizite Konvertierungen an den Übergängen zwischen Bibliotheken verhindern Ergebnisse, die zwar überzeugend aussehen, aber falsch sind. Achten Sie außerdem darauf, ob Werte als Ganz- oder Gleitkommazahlen vorliegen und ob eine Funktion Graustufen oder mehrere Kanäle erwartet. Ein Array mit den richtigen Abmessungen ist nicht zwangsläufig auch semantisch korrekt.
Für Kameraworkflows und allgemeine Entwicklungsaufgaben im Bereich Computer Vision empfehlen wir OpenCV; für die einfache Bildbearbeitung ist Pillow meist unkomplizierter. Prüfen Sie vor der Bereitstellung, ob der installierte Build mit den benötigten Videoquellen, Codecs und optionalen Funktionen kompatibel ist. Dass ein Vorgang mit einer lokalen JPEG-Datei erfolgreich ist, sagt nicht aus, ob sich eine Produktivkamera oder ein codierter Datenstrom genauso verhält. Bewerten Sie die Echtzeitleistung, indem Sie Dekodierung, Verarbeitung und Ausgabe gemeinsam messen.
Vor- und Nachteile
- Umfangreiches Toolkit für klassische Computer Vision
- Bild- und Videoverarbeitung in einem Ökosystem
- Zugriff über Python auf native Implementierungen
- Konventionen für Farben und Datentypen erfordern besondere Aufmerksamkeit
- Die Verfügbarkeit von Codecs und optionalen Funktionen hängt vom Build ab
2. Pillow
Pillow ist ein praktischer Einstieg für gängige Aufgaben mit Rasterbildern wie das Erstellen von Miniaturansichten und Zuschnitten, die Formatkonvertierung, das Zusammenfügen von Bildern und das Hinzufügen von Text. Die unkomplizierte Schnittstelle für Bildobjekte ist in vielen Skripten und Webdiensten leichter zu handhaben als eine umfassende Computer-Vision-Umgebung. Wenn es darum geht, ein Bild vorzubereiten oder bereitzustellen, ist die Einfachheit von Pillow oft der größte Vorteil.
Bildmodi und Metadaten verdienen ebenso viel Aufmerksamkeit wie die Größenänderung selbst. RGB-, Graustufen- und Palettenbilder sowie Bilder mit Alphakanal müssen gegebenenfalls unterschiedlich behandelt werden. Außerdem können Orientierungsmetadaten beeinflussen, wie ein Foto angezeigt werden sollte. Legen Sie fest, wie die Verarbeitungskette mit Transparenz, Farbprofilen und Ausgabequalität umgeht. Eine Datei kann sich problemlos öffnen lassen und nach einer unvollständigen Konvertierung trotzdem falsch aussehen.
Für gewöhnliche Bearbeitungsabläufe mit überschaubaren Bildgrößen empfehlen wir Pillow. Prüfen Sie die Ausgabe anhand repräsentativer Eingabedateien, darunter transparente Grafiken und Fotos mit Orientierungsmetadaten. Berücksichtigen Sie bei Uploads durch Nutzer die Dekomprimierungsgrenzen und unterstützten Codecs. Gehen Sie außerdem nicht davon aus, dass jedes Format sämtliche Metadaten beibehält. Für umfangreiche wissenschaftliche Messungen, Echtzeit-Tracking oder die Verarbeitung sehr großer Bilder bei strengen Speicherbeschränkungen ist möglicherweise eine andere der nachfolgend vorgestellten Bibliotheken besser als zentrale Komponente geeignet.
Vor- und Nachteile
- Leicht zugängliche Schnittstelle zur Bildbearbeitung
- Nützliche Werkzeuge für Formate, Zeichnen und Bildkomposition
- Gut geeignet für Skripte und Webgrafiken
- Kein vollständiges System zur Bildanalyse
- Bildmodi, Metadaten und große Eingabedateien erfordern eine gezielte Verarbeitung
3. scikit-image
scikit-image ist für uns der bevorzugte allgemeine Einstieg in die wissenschaftliche Bildanalyse im NumPy-Ökosystem. Die Bibliothek bietet Algorithmen für Segmentierung, Morphologie, Bildrestaurierung, Merkmalsextraktion und Messungen. Besonders überzeugend ist der übersichtliche Analyseablauf, bei dem sich Zwischenarrays untersuchen lassen. Dadurch eignet sich die Bibliothek für Mikroskopie, experimentelle Bildgebung und Projekte, bei denen das Verständnis eines Ergebnisses ebenso wichtig ist wie dessen Erzeugung.
Die Konventionen für Datentypen sind entscheidend für die korrekte Verwendung. Ein ganzzahliges Bild in Gleitkommazahlen umzuwandeln ist nicht immer gleichbedeutend damit, seine Intensitätswerte auf den von einem Algorithmus erwarteten Bereich zu skalieren. Prüfen Sie die dokumentierten Voraussetzungen jeder Funktion und verwenden Sie geeignete Konvertierungswerkzeuge. Eine visuell plausible Ausgabe kann einen numerischen Fehler verbergen, der Schwellenwerte, Abstände oder nachgelagerte Messungen verändert.
Wählen Sie scikit-image, wenn Sie eine Analysepipeline aus bewährten Verfahren aufbauen und erläutern möchten. Überprüfen Sie Segmentierungen und Messungen anhand repräsentativer Beispiele, statt nur eine ansprechend aufbereitete Visualisierung zu beurteilen. Die Bibliothek ist weder ein System zur Kameraaufnahme noch ein Ersatz für ein spezialisiertes Bildmodell mit physikalischen Koordinaten. Bestimmen Sie bei Volumendaten zunächst, welche Achsen räumliche Dimensionen darstellen und welche Kanäle oder Zeit abbilden, bevor Sie eine Operation auf das Array anwenden.
Vor- und Nachteile
- Übersichtliche wissenschaftliche Analyseabläufe
- Umfangreiche Funktionen für Segmentierung und Messungen
- Nahtlose Integration mit NumPy-Arrays
- Konventionen für Intensitätsbereiche können zu subtilen Fehlern führen
- Für Kameraaufnahmen und physikalische Metadaten sind andere Werkzeuge erforderlich
4. torchvision
torchvision ist die naheliegende erste Wahl, wenn die Bildverarbeitung der Vorbereitung eines PyTorch-Bildverarbeitungsmodells dient. Mit den Transformationen lassen sich Bilder und zugehörige Annotationen innerhalb derselben Trainingspipeline vorbereiten, sodass weniger separater Vorverarbeitungscode benötigt wird. Die umfassendere Bibliothek stellt außerdem Datensätze und Bildverarbeitungsmodelle bereit. Am relevantesten ist hier jedoch die Transformationsebene für die Modelleingaben.
Die aktuelle Dokumentation empfiehlt torchvision.transforms.v2. Diese Transformationen verarbeiten sowohl Bilder als auch Zielobjekte wie Begrenzungsrahmen, Masken, Videos und Keypoints. Das ist wichtig, wenn ein Zuschnitt oder eine Spiegelung sowohl die Pixel als auch die Labels betreffen muss. Verwenden Sie die passenden Eingabetypen und prüfen Sie die transformierten Annotationen visuell. Werden auf ein Bild und seine Maske unabhängig voneinander zufällig ausgewählte Transformationen angewendet, beeinträchtigt das die Trainingsdaten.
Wir empfehlen torchvision, wenn die unterstützten Transformationen für die Aufgabe ausreichen und das Projekt bereits PyTorch verwendet. Prüfen Sie Tensorform, Datentyp, Wertebereich und die vom gewählten Modellgewichtssatz erwartete Vorverarbeitung. Lassen Sie Transformationen für die Validierung deterministisch, sofern die Auswertung nicht ausdrücklich eine andere Vorgehensweise erfordert. Die Einstufung beruht auf der einfachen Integration und nicht auf einem allgemeinen Geschwindigkeitsvorteil. Die Leistung hängt von Bildgröße, Speicherlayout, Datenladen und dem Ausführungsort der Transformationen ab.
Vor- und Nachteile
- Fügt sich nahtlos in PyTorch-Projekte ein
- Die empfohlene v2-API unterstützt verschiedene Zieltypen
- Kann räumliche Transformationen mit Annotationen in Einklang halten
- Erfordert eine sorgfältige Behandlung von Zielobjekten und Tensor-Konventionen
- Die Leistung hängt vom gesamten Datenladeprozess ab
5. Kornia
Kornia ist besonders wertvoll, wenn Bildverarbeitungsschritte in eine PyTorch-Berechnung eingebunden werden müssen, statt als separates Vorverarbeitungsskript zu laufen. Es bietet tensorbasierte Bildverarbeitungsfunktionen aus den Bereichen Geometrie, Filterung, Farbe, Merkmalsabgleich und Augmentierung. Viele Operationen unterstützen automatische Differenzierung. Dadurch kann eine Optimierungszielfunktion von transformierten Bildern abhängen, statt die Vorverarbeitung als festen externen Schritt zu behandeln.
Das Modell der Stapelverarbeitung kann ebenfalls nützlich sein, wenn sich die Daten bereits auf einem Beschleuniger befinden. Eine Operation auf eine GPU zu verlagern, ist jedoch nicht automatisch vorteilhaft: Übertragungen, Stapelgröße, Speicherzuweisung und die umgebenden Verarbeitungsschritte beeinflussen alle die Gesamtlaufzeit. Vergleichen Sie eine vollständige Pipeline anhand einer realistischen Arbeitslast. Prüfen Sie das Differenzierungsverhalten der konkreten Operationen und Parameter, die Ihre Optimierung tatsächlich benötigt.
Wir empfehlen Kornia für differenzierbare Geometrie, Lernsysteme und tensorbasierte Bildverarbeitungsabläufe. Für ein Skript, das lediglich einige Vorschaubilder erstellt, ist der zusätzliche Aufwand in der Regel unnötig. Achten Sie beim Verbinden mit einer anderen Bibliothek auf die Tensoranordnung, Intensitätsbereiche und Koordinatenkonventionen. Selbst wenn Gradienten verfügbar sind, kann eine Optimierung scheitern, weil die Zielfunktion oder die Initialisierung ungeeignet ist. Differenzierbarkeit ist eine nützliche Funktion, aber keine Garantie für eine korrekte Registrierung oder gelernte Transformation.
Vorteile und Nachteile
- Bildverarbeitungsoperationen können in die automatische Differenzierung einbezogen werden
- Abläufe mit Stapelverarbeitung, Tensoren und Beschleunigern
- Nützliche Geometrie- und Augmentierungskomponenten
- Setzt PyTorch und dessen Tensor-Konventionen voraus
- Leistungszuwächse durch GPUs und Differenzierungsverhalten hängen von der jeweiligen Operation ab
6. AlbumentationsX
AlbumentationsX ist eine hervorragende Speziallösung, um vielfältige Augmentierungsrichtlinien für Trainingsdaten aus der Computer Vision zu erstellen. Mit seinen kombinierbaren Transformationen lassen sich räumliche Veränderungen einheitlich auf Bilder und die zugehörigen Zielangaben anwenden, darunter Masken, Begrenzungsrahmen und Schlüsselpunkte. Diese Abstimmung ist wichtiger als eine bloße Fülle visueller Effekte: Trainingsbeispiele müssen auch nach dem Zuschneiden, Drehen oder anderen geometrischen Veränderungen korrekt beschriftet bleiben.
Beginnen Sie mit Augmentierungen, die realistischen Variationen in der vorgesehenen Einsatzumgebung entsprechen. Prüfen Sie transformierte Beispiele und kontrollieren Sie, wie mit zugeschnittenen Objekten, leeren Masken und teilweise sichtbaren Annotationen umgegangen wird. Stärkere Augmentierung ist nicht immer besser: Eine Operation kann das Signal auslöschen, die Bedeutung der Beschriftung verändern oder Beispiele erzeugen, denen das Modell in der Praxis nie begegnen wird. Messen Sie die Auswirkungen der Augmentierungsrichtlinie anhand eines unabhängigen Validierungssatzes.
Für das gepflegte Paket gilt ein anderer Lizenzkontext als für die ältere Version von Albumentations. Die aktuelle offizielle Dokumentation bietet AlbumentationsX unter AGPL-3.0-only oder zu gesonderten kommerziellen Bedingungen an. Gehen Sie nicht davon aus, dass eine ältere Beschreibung der MIT-Lizenz auch für eine neue Installation gilt. Prüfen Sie vor der Einführung das genaue Paket und seine Version. Wir empfehlen es aufgrund seines technischen Nutzens, raten jedoch zu torchvision oder einer anderen geeigneten Alternative, wenn deren Funktionen oder Lizenzbedingungen besser zum Projekt passen.
Vorteile und Nachteile
- Umfangreiche, kombinierbare Augmentierungsabläufe
- Stimmt Bilder und zugehörige Zielangaben aufeinander ab
- Nützlich für verschiedene Aufgaben im Bildverarbeitungstraining
- Die aktuelle Lizenzierung unterscheidet sich von älteren Beschreibungen
- Ungeeignete Richtlinien können Trainingsbeispiele verfälschen
7. SciPy ndimage
Das Modul ndimage von SciPy gehört in ein allgemeines Bildverarbeitungs-Toolkit, da viele Aufgaben mit Operationen auf mehrdimensionalen Arrays beginnen. Es bietet Filterung, mathematische Morphologie, Interpolation, Beschriftung und Messungen, ohne ein Framework für das Modelltraining vorauszusetzen. Besonders nützlich ist es, wenn Bilder Teil einer umfassenderen wissenschaftlichen Berechnung sind, die bereits NumPy und SciPy verwendet.
Der niedrigere Abstraktionsgrad gibt Entwicklern Kontrolle über numerische Details, die bei höher angesiedelten Schnittstellen möglicherweise verborgen bleiben. Der Umgang mit Randbereichen, die Interpolationsordnung, der Ausgabedatentyp und die verarbeiteten Achsen können die Bedeutung eines Ergebnisses verändern. Legen Sie diese Einstellungen für wichtige Arbeitsabläufe ausdrücklich fest. Ein Farbkanal oder eine Zeitachse sollte nicht versehentlich wie eine weitere räumliche Dimension geglättet werden.
Für wiederverwendbare numerische Grundbausteine, auch zur Verarbeitung von Volumendaten, empfehlen wir ndimage; für viele höher angesiedelte Analyseabläufe eignet sich scikit-image. Die beiden Bibliotheken können einander ergänzen, statt ausschließlich miteinander zu konkurrieren. Dieses Modul bietet kein vollständiges System für Bilddateien oder räumliche Metadaten. Berücksichtigen Sie diese Anforderungen daher an anderer Stelle in der Anwendung. Testen Sie kleine Arrays mit bekannten Sollwerten, bevor Sie eine Operation auf einen großen Datensatz anwenden – insbesondere dann, wenn das Verhalten an den Randbereichen oder die Zusammenhangsdefinition von Beschriftungen die Messung beeinflusst.
Vorteile und Nachteile
- Umfangreiche Grundfunktionen zur Verarbeitung mehrdimensionaler Daten
- Fügt sich in bestehende NumPy- und SciPy-Arbeitsabläufe ein
- Explizite numerische Steuerungsmöglichkeiten
- Bei APIs auf niedrigerer Ebene müssen Parameter sorgfältig gewählt werden
- Datei-Ein- und -Ausgabe sowie physische Metadaten müssen getrennt behandelt werden
8. ImageIO
ImageIO erfüllt eine wichtige unterstützende Funktion: Es liest Bilddaten in arraybasierte Arbeitsabläufe ein und gibt sie wieder aus. Die v3-Schnittstelle bietet Funktionen zum Lesen, Schreiben, Durchlaufen und Untersuchen von Daten; Plugins kümmern sich um die zugrunde liegenden Ressourcen und Formate. So lassen sich dateibasierte Eingaben mit Analysen in NumPy oder scikit-image verbinden, ohne dass der Analysecode jedes Detail der Decoder selbst behandeln muss.
Eine einheitliche Schnittstelle bedeutet nicht, dass sich alle Plugins gleich verhalten. Die Unterstützung von Formaten, Metadaten, die Auswahl von Einzelbildern und optionale Abhängigkeiten können variieren. Wenn Reproduzierbarkeit wichtig ist, sollte das Plugin ausdrücklich angegeben und getestet werden. Außerdem muss zwischen einem einzelnen Bild und einer Sequenz oder einem Volumen unterschieden werden. Je nach Format und nachfolgender Verarbeitung kann es sinnvoller sein, die Einzelbilder nacheinander zu durchlaufen, statt die gesamte Ressource in den Arbeitsspeicher zu laden.
Wir empfehlen ImageIO als Ergänzung für die Ein- und Ausgabe, nicht als Ersatz für Bibliotheken zur Segmentierung, Filterung oder Geometrieverarbeitung. Überprüfen Sie repräsentative Dateien – auch solche mit ungewöhnlicher Bittiefe oder mehreren Seiten – in der tatsächlichen Bereitstellungsumgebung. Stellen Sie sicher, dass beim Schreiben und erneuten Öffnen einer Ausgabedatei die von der Anwendung benötigten Werte und Metadaten erhalten bleiben. Eine erfolgreiche Dekodierung allein belegt nicht, dass der übrige Ablauf einer wissenschaftlichen oder maschinellen Lernpipeline die beabsichtigte Darstellung erhalten hat.
Vor- und Nachteile
- Praktische, arrayorientierte Ein- und Ausgabeschnittstelle
- Pluginbasierte Unterstützung von Ressourcen
- Nützliche Funktionen zum Durchlaufen und Prüfen von Metadaten
- Funktionen variieren je nach Plugin und installierten Abhängigkeiten
- Bietet Ein- und Ausgabe statt eines vollständigen Analyse-Toolkits
9. SimpleITK
SimpleITK ist die Empfehlung für Spezialanwendungen, wenn ein Bild einen physischen Bereich und nicht nur ein Raster aus Anzeigepixeln darstellt. Sein Bildmodell umfasst neben Größe und Pixelwerten auch Ursprung, Abstände und Ausrichtung. Das ist besonders bei medizinischen und wissenschaftlichen Volumendaten wichtig, denn Abstände und Ausrichtung beeinflussen, wie Bilder einander zugeordnet, neu abgetastet und vermessen werden sollten.
Zwei Arrays mit derselben Form können unterschiedliche physische Positionen beschreiben. Deshalb ist es bei der Verarbeitung ebenso wichtig, die Geometrie wie die Werte selbst zu erhalten. Beim Wechsel zwischen SimpleITK-Bildern und NumPy-Arrays ist auf Achsenkonventionen und Metadaten zu achten. Ein Vorgang kann in einer Schichtansicht korrekt aussehen und dennoch ein falsch positioniertes oder skaliertes Volumen erzeugen, wenn die räumlichen Informationen verloren gehen.
Wir empfehlen SimpleITK für Registrierungs- und räumliche Analyseabläufe, die von diesem expliziten Bildmodell profitieren. Für alltägliche Webbilder ist es stärker spezialisiert als nötig. Legen Sie einheitliche Maßeinheiten fest, prüfen Sie die transformierte Geometrie und testen Sie das Resampling anhand bekannter Orientierungspunkte oder anderer geeigneter Referenzen. Die Bibliothek stellt Werkzeuge für die Bildverarbeitung bereit; sie belegt weder die Gültigkeit einer wissenschaftlichen Schlussfolgerung noch macht sie eine Verarbeitungspipeline ohne eigene fachspezifische Validierung klinisch geeignet.
Vor- und Nachteile
- Explizite Darstellung von Bildern im physikalischen Raum
- Nützliche Grundlage für Registrierung und Resampling
- Für wissenschaftliche Arbeitsabläufe mit Volumendaten geeignet
- Geometrie und Array-Konvertierungen erfordern Sorgfalt
- Stärker spezialisiert als die gewöhnliche Rasterbildbearbeitung
10. pyvips
pyvips ist einen näheren Blick wert, wenn Bildgröße oder Verarbeitungsvolumen einen einfachen Ablauf aus Laden, Bearbeiten und Speichern zu aufwendig machen. Es bindet libvips in Python ein und erstellt Pipelines, die Pixel erst dann verarbeiten, wenn eine Ausgabe angefordert wird. Dadurch müssen weniger Zwischenbilder vollständig im Speicher abgelegt werden – ein Vorteil bei umfangreicher Bildbereitstellung oder Stapelverarbeitung.
Die Zugriffsmuster sind für das Verhalten entscheidend. Die Dokumentation unterscheidet zwischen sequenziellem und wahlfreiem Zugriff und erläutert, dass beim anfänglichen Laden einer Datei zunächst deren Header und nicht sofort jedes Pixel dekodiert wird. Wählen Sie einen Zugriffsmodus, der zu den nachfolgenden Vorgängen passt. Wird ein großes Bild in ein vollständiges NumPy-Array umgewandelt, kann dies den Speichervorteil zunichtemachen, der ursprünglich für eine verzögert ausgeführte Pipeline sprach.
Wir empfehlen pyvips, wenn Messungen zeigen, dass Dekodierung, Speicherauslastung oder wiederholte Bildverarbeitung einen Engpass darstellen. Prüfen Sie auf dem Produktionsrechner, welche Funktionen von libvips installiert sind und ob die benötigten Formate unterstützt werden. Messen Sie anschließend den Spitzenwert des Speicherverbrauchs und die Gesamtverarbeitungszeit. pyvips ist nicht automatisch für jeden Algorithmus die beste Wahl, insbesondere nicht für solche, die uneingeschränkten Array-Zugriff erfordern. Damit erweitert sich die Auswahl über Modelltraining und kleine Bilder hinaus um die praktischen Kosten des Betriebs von Bildverarbeitungspipelines in großem Maßstab.
Vor- und Nachteile
- Verzögerte Verarbeitung kann den Speicherbedarf für Zwischenergebnisse senken
- Workflows mit sequenziellem Zugriff eignen sich für große Bilder
- Python-Zugriff auf libvips-Operationen
- Die Vorteile hängen von den Zugriffsmustern und Operationen ab
- Native Bibliothek und Formatunterstützung müssen bei der Bereitstellung geprüft werden
Bildkonventionen, die eine Pipeline zum Scheitern bringen können
- Farbe und Kanäle: Dokumentieren Sie RGB oder BGR, Graustufen oder Farbe und die Darstellung des Alphakanals. Nehmen Sie Konvertierungen an den Grenzen zwischen Bibliotheken gezielt vor.
- Datentypen und Wertebereiche: Die Umwandlung eines Arrays in einen Fließkommadatentyp normalisiert es nicht zwangsläufig. Bewahren Sie aussagekräftige wissenschaftliche Werte und richten Sie sich nach den Erwartungen der empfangenden Funktion.
- Achsen und Geometrie: Unterscheiden Sie zwischen Höhe, Breite, Kanälen, Zeit und Tiefe. Bewahren Sie bei räumlichen Bildern den Abstand, den Ursprung, die Ausrichtung und einheitliche Maßeinheiten.
- Interpolation: Behandeln Sie kategoriale Masken anders als kontinuierliche Intensitätsbilder. Ein für ein Foto geeignetes Interpolationsverfahren kann ungültige Labelwerte in eine Segmentierungsmaske einführen.
- Metadaten und Ausrichtung: Prüfen Sie Farbprofile, Ausrichtungs-Tags und Transparenz in einem vollständigen Lese-, Verarbeitungs- und Schreibzyklus. Legen Sie fest, welche Metadaten die Ausgabe bewahren muss.
- Trainingsziele: Visualisieren Sie Boxen, Masken und Keypoints nach der Augmentierung. Räumlich konsistente Transformationen können dennoch ungeeignete Beispiele erzeugen, wenn die Richtlinie die Bedeutung der Labels verändert.
Leistung und Wartungsaufwand vergleichen
Führen Sie Leistungstests mit vollständigen Workflows und repräsentativen Bildgrößen und -formaten durch. Berücksichtigen Sie Dekodierung, Kopieren, Geräteübertragungen, Verarbeitung und Kodierung; erfassen Sie neben der Laufzeit auch den Spitzenwert des Speicherverbrauchs. Ein schneller Filter kann wenig bewirken, wenn die Dateidekodierung den größten Teil der Zeit beansprucht. Wird ein verzögert geladenes Bild in ein vollständiges Array umgewandelt, kann sich der Speicherbedarf erheblich verändern.
Fixieren Sie kompatible Versionen und überprüfen Sie optionale Codecs oder Plugins auf dem Bereitstellungsrechner. Für die Augmentierung ist der offizielle Lizenzleitfaden für AlbumentationsX der maßgebliche Ausgangspunkt, um sich über die aktuellen Paketbedingungen zu informieren. Verlassen Sie sich nicht auf eine Lizenzangabe, die aus einem älteren Paket oder Tutorial übernommen wurde.
Wenn die Bildverarbeitung einem Modell vorgelagert ist, hilft Ihnen unser Leitfaden zu Python-Bibliotheken für maschinelles Lernen bei der Wahl der Modellierungsschicht. Für neuronale Workflows können Sie außerdem unseren Vergleich von Deep-Learning-Bibliotheken heranziehen. Sorgen Sie dafür, dass die Bildvorverarbeitung beim Training und bei der Inferenz konsistent ist.
Welche Bildverarbeitungsbibliothek sollten Sie wählen?
Beginnen Sie mit OpenCV für allgemeine Bildverarbeitung und Video, mit Pillow für die alltägliche Bildbearbeitung oder mit scikit-image für wissenschaftliche Analysen. Ergänzen Sie SciPy ndimage, wenn Sie explizite mehrdimensionale numerische Operationen benötigen, und ImageIO, wenn Ihnen Funktionen zum Laden und Schreiben von Ressourcen fehlen.
Probieren Sie für PyTorch-Projekte torchvision für die standardmäßige Vorverarbeitung und synchronisierte Zielwerte aus. Wenn es auf differenzierbare oder stapelweise ausgeführte Tensoroperationen ankommt, eignet sich Kornia. Ziehen Sie AlbumentationsX für vielseitigere Augmentierungsrichtlinien in Betracht, nachdem Sie die Paketbedingungen geprüft und die daraus entstehenden Beispiele validiert haben.
Verwenden Sie SimpleITK, wenn die physikalische Geometrie für das Bild entscheidend ist, und pyvips, wenn die Verarbeitung großer Bilder eine andere Speicherstrategie erfordert. Die beste Wahl bewahrt die Daten, die Ihre Anwendung benötigt, und macht zugleich die Kosten für Verarbeitung und Bereitstellung überschaubar.












