Python 库
Python 中 10 个最佳图像处理库
要点OpenCV 以 BGR 顺序加载彩色图像,因此显式转换可以防止出现看似可信但实际错误的结果。
查看更多
- OpenCV 以 BGR 顺序加载彩色图像,因此显式转换可以防止出现看似可信但实际错误的结果。
- scikit-image 的强度范围约定可能会掩盖数值错误,而这些错误会改变阈值和下游测量结果。
- AlbumentationsX 现在以 AGPL-3.0-only 或商业条款发布,而不再采用原有的 MIT 许可证。
Python 图像处理涵盖日常编辑、科学测量、视频分析、模型训练数据增强以及大图像处理流水线。这些工作负载需要不同的工具。擅长生成缩略图的库,可能无法保留研究体数据所需的空间信息;而 GPU 变换库则可能给小型 Web 服务带来不必要的复杂性。
我们独立评估了这 10 个库的功能、数据约定、集成要求和实际局限,并查阅了最新的官方文档。综合计算机视觉领域首推 OpenCV,日常栅格图像编辑首推 Pillow,科学分析则首推 scikit-image。此排名是针对这些使用场景作出的编辑判断,并非新的实测速度基准。
有些库搭配使用效果最佳:ImageIO 负责处理资源,SciPy 提供数值运算,高层级库则负责分析。请选择一套精简的组合,确保图像从输入到输出的含义得到保留。
Python 图像处理最佳库对比
| AI 工具 | 最适合 | 功能 |
|---|---|---|
| OpenCV | 通用计算机视觉与视频处理流水线 | 滤波;几何变换;特征检测;标定;视频分析 |
| Pillow | 日常图像编辑与文件处理 | 裁剪;调整大小;合成;绘图;图像模式;格式支持 |
| scikit-image | 科学图像分析与测量 | 分割;形态学处理;复原;特征;区域测量 |
| torchvision | PyTorch 流水线中的图像预处理 | Transforms v2;图像;掩码;边界框;视频;关键点 |
| Kornia | 可微分视觉与批量张量处理 | PyTorch 运算符;几何变换;滤波器;色彩;数据增强 |
| AlbumentationsX | 丰富的数据增强功能,并与训练目标同步 | 可组合变换;图像;掩码;边界框;关键点;体数据 |
| SciPy ndimage | 多维滤波与数组级运算 | 滤波器;形态学处理;插值;标记;测量 |
| ImageIO | 将图像资源读写为数组 | v3 API;插件;序列;元数据;资源检查 |
| SimpleITK | 具备空间信息的体数据与配准工作流 | 图像几何信息;间距;原点;方向;空间变换 |
| pyvips | 内存用量可控的大图像处理流水线 | libvips 绑定;惰性流水线;顺序访问;图像运算 |
1. OpenCV
当图像处理属于更广泛的计算机视觉应用的一部分时,我们首先推荐 OpenCV。它的 Python 接口涵盖滤波、几何变换、特征检测、相机标定和视频分析。功能全面意味着,如果同一个项目需要清理图像、定位结构并处理连续帧,而不是只进行单一的文件格式转换,OpenCV 就会很有用。
集成时需要重点留意图像的表示方式。OpenCV 常见的彩色图像读取路径采用 BGR 顺序,而许多外围工具则要求使用 RGB。明确地在库的接口边界处进行转换,可以避免出现看似合理、实际却不正确的结果。此外,还要留意整数值与浮点值之间的区别,以及函数需要的是灰度图还是多通道图;数组维度正确,并不代表其语义也正确。
对于相机工作流和通用视觉工程,我们推荐使用 OpenCV;若只是进行基本的图像编辑,Pillow 通常更简单。部署前,请针对所需的视频源、编解码器和可选功能测试已安装的构建版本。在本地 JPEG 文件上成功执行操作,并不能说明生产环境中的相机或编码视频流也会有相同表现。评估实时性能时,应一并测量解码、处理和输出环节。
优点与缺点
- 涵盖广泛的经典计算机视觉工具
- 在同一生态系统中处理图像和视频
- 可通过 Python 使用原生实现
- 需要留意色彩与数据类型约定
- 编解码器和可选功能是否可用,取决于构建版本
2. Pillow
对于缩略图制作、裁剪、格式转换、图像合成和添加文字等常见栅格图像处理任务,Pillow 是一个实用的入门选择。它提供了直观的图像对象接口,对于许多脚本和 Web 服务来说,比完整的计算机视觉技术栈更容易上手。如果需求是准备或交付图像,它的简洁性往往是主要优势。
图像模式和元数据与调整尺寸操作本身同样值得重视。RGB、灰度、调色板图像和带 alpha 通道的图像可能需要不同的处理方式,而方向元数据会影响照片的显示效果。应确定处理流程将如何处理透明度、色彩配置文件和输出质量。文件即使能够成功打开,转换不完整时仍可能显示异常。
对于图像尺寸适中的常规编辑工作流,我们推荐 Pillow。检查输出时,应使用有代表性的输入,包括透明素材和带有方向元数据的照片。处理用户上传的文件时,要留意解压缩限制和支持的编解码器,并且不要假定每种格式都会保留所有元数据。对于复杂的科学测量、实时跟踪,或在内存限制严格的情况下处理超大图像,下面介绍的其他库可能更适合作为核心组件。
优点和缺点
- 易于上手的图像编辑接口
- 实用的格式处理、绘图和图像合成工具
- 适用于脚本和 Web 素材
- 并非完整的视觉分析系统
- 图像模式、元数据和大尺寸输入需要谨慎处理
3. scikit-image
在 NumPy 生态系统中,scikit-image 是我们首选的科学图像分析通用入门库。它提供用于分割、形态学处理、复原、特征提取和测量的算法。它的优势在于分析工作流清晰易读,可以检查中间数组,因此适用于显微成像、实验图像,以及重视理解结果、不仅仅是生成结果的项目。
正确使用该库,离不开对其数据类型约定的理解。将整数图像转换为浮点数,并不总是等同于将其强度值重新缩放到算法预期的范围内。请检查每个函数文档中列出的假设,并使用恰当的转换工具。看似合理的输出可能掩盖数值错误,而这些错误会改变阈值、距离或后续测量结果。
如果你希望使用成熟的操作构建并说明分析流程,可以选择 scikit-image。应使用有代表性的示例验证分割和测量结果,而不要只根据经过美化的可视化效果作出判断。它不是相机采集系统,也不能替代专门处理物理坐标的图像模型。对于体积数据,在对数组进行操作之前,应先确定哪些轴表示空间维度,哪些轴表示通道或时间。
优点和缺点
- 科学分析工作流清晰易读
- 涵盖丰富的分割和测量功能
- 可自然地与 NumPy 数组集成
- 强度范围约定可能导致不易察觉的错误
- 相机采集和物理元数据需要借助其他工具
4. torchvision
如果图像处理是 PyTorch 视觉模型工作流的一环,torchvision 自然是首选。它的变换功能可以在同一个训练流程中处理图像及其相关标注,从而减少单独编写预处理代码的需要。这个库还提供数据集和视觉模型,但这里最相关的是围绕模型输入的变换层。
当前文档推荐使用 torchvision.transforms.v2。这些变换不仅能处理图像,也能处理边界框、掩码、视频和关键点等目标;当裁剪或翻转必须同时作用于像素和标签时,这一点尤为重要。请使用合适的输入类型,并通过可视化检查变换后的标注。如果对图像和掩码分别独立随机采样变换,就会破坏训练数据。
如果 torchvision 支持的变换能够满足任务需求,且项目已经依赖 PyTorch,我们便推荐使用它。请检查张量形状、数据类型、取值范围,以及所选模型权重要求的预处理方式。除非评估明确要求采用其他策略,否则验证变换应保持确定性。我们将它列在此处,依据的是集成便利性,而非认为它在任何情况下都更快;性能取决于图像尺寸、内存布局、数据加载方式以及变换的执行位置。
优点和缺点
- 可自然融入 PyTorch 项目
- 推荐使用的 v2 API 支持多种目标类型
- 可确保空间变换与标注保持同步
- 需要谨慎处理目标和张量约定
- 性能取决于完整的数据加载流程
5. Kornia
当图像处理操作需要嵌入 PyTorch 计算流程,而不是作为独立的预处理脚本运行时,Kornia 尤其有用。它提供基于张量的视觉操作,涵盖几何变换、滤波、颜色处理、特征匹配和数据增强。许多操作支持求导,因此优化目标可以依赖变换后的图像,而不必将预处理视为固定的外部步骤。
如果数据已经位于加速器上,它的批量执行模式也会很有用。不过,将某项操作移至 GPU 并不一定能带来收益:数据传输、批量大小、内存分配以及周边处理都会影响总运行时间。请使用贴近实际的工作负载比较完整处理流程,并检查优化实际需要的特定操作和参数的求导行为。
对于可微分几何、学习系统和原生基于张量的视觉工作流,我们推荐使用 Kornia。若脚本只生成几张缩略图,使用它通常会带来不必要的开销。将它与其他库连接时,请确认张量布局、强度范围和坐标约定。即使可以计算梯度,若目标函数或初始化设置不佳,优化仍可能失败;可微分性是一项实用能力,但不能保证配准结果或学习到的变换正确。
优点和缺点
- 视觉操作可以参与自动微分
- 支持批量张量处理和加速器工作流
- 提供实用的几何变换和数据增强组件
- 需要使用 PyTorch 及其张量约定
- GPU 性能提升和梯度行为取决于具体操作
6. AlbumentationsX
对于围绕计算机视觉训练数据构建多样化的数据增强策略,AlbumentationsX 是一款出色的专业工具。它的可组合变换可以对图像及其关联目标(包括掩码、边界框和关键点)进行一致的空间变换。与其拥有大量视觉效果相比,这种协调能力更为重要:经过裁剪、旋转或其他几何变换后,训练样本仍必须保持正确标注。
首先选择符合预期应用环境中合理变化的数据增强方式。检查变换后的样本,并确认如何处理被裁剪的对象、空掩码和部分可见的标注。增强力度并非越强越好;某项操作可能会抹去信号、改变标签的含义,或生成模型实际应用时不会遇到的样本。请在独立验证集上衡量该策略的效果。
当前维护的版本与旧版 Albumentations 的许可情况不同。当前官方文档说明,AlbumentationsX 采用 AGPL-3.0-only 许可,也可选择单独的商业条款。不要想当然地认为旧有的 MIT 许可说明同样适用于新安装的版本。采用前请核实具体的软件包及版本。我们因其技术实用性而保留推荐;如果其他工具的功能或许可更适合项目需求,我们则建议使用 torchvision 或其他合适的替代方案。
优点和缺点
- 支持丰富且可组合的数据增强工作流
- 能够协调处理图像及相关目标
- 适用于多种视觉训练任务
- 当前许可与旧版说明有所不同
- 策略选择不当可能破坏训练样本
7. SciPy ndimage
SciPy 的 ndimage 模块值得纳入通用图像处理工具包,因为许多任务都始于对多维数组的操作。它提供滤波、数学形态学、插值、标记和测量功能,无需依赖模型训练框架。当图像处理是更大型科学计算的一部分,且该计算已使用 NumPy 和 SciPy 时,这个模块尤其有用。
它采用较底层的方式,让开发者能够控制高级接口可能隐藏的数值细节。边界处理、插值阶数、输出数据类型以及处理的轴,都可能改变结果的含义。对于重要工作流,请明确设置这些参数。不要让颜色通道或时间轴意外地像另一个空间维度那样被平滑处理。
对于可复用的数值处理基础组件(包括体数据处理),我们推荐使用 ndimage;对于许多更高级的分析工作流,则推荐 scikit-image。这两个工具可以互为补充,而不必非此即彼。该模块不提供完整的图像文件或空间元数据管理系统,因此应在应用程序的其他部分保留这些功能。将某项操作扩展到大型数据集之前,请先用预期结果已知的小型数组进行测试,尤其是在边界行为或标签连通性会影响测量结果时。
优点和缺点
- 提供丰富的多维处理基础操作
- 适配现有的 NumPy 和 SciPy 工作流
- 明确的数值控制
- 底层 API 需要谨慎选择参数
- 文件读写和物理元数据需要分别处理
8. ImageIO
ImageIO 承担着重要的辅助角色:在基于数组的工作流中读入和写出图像数据。其 v3 接口提供读取、写入、迭代和检查操作,由插件处理底层资源和格式。它可以将基于文件的输入接入 NumPy 或 scikit-image 中的分析流程,而无需让分析代码负责处理每一种解码器的细节。
统一的接口并不意味着所有插件的行为都完全相同。格式支持、元数据、帧选择和可选依赖项都可能有所不同。需要保证结果可复现时,应指定插件并进行测试;同时要区分单幅图像与图像序列或体数据。根据文件格式和后续操作,逐帧迭代可能比将整个资源载入内存更合适。
我们建议将 ImageIO 用作图像分割、滤波或几何处理库的 I/O 配套工具,而非其替代品。应在实际部署环境中验证具有代表性的文件,包括位深不常见的文件和多页输入。还要检查写入并重新打开输出文件后,应用所需的数值和元数据是否得以保留。成功解码本身并不足以证明科学或机器学习流水线的其余部分获得了预期的数据表示。
优缺点
- 便捷的面向数组的 I/O 接口
- 基于插件的资源支持
- 便于迭代和检查元数据
- 功能因插件和已安装的依赖项而异
- 提供 I/O 功能,而非完整的分析工具包
9. SimpleITK
当图像表示的是一个物理区域,而不仅仅是显示像素构成的网格时,我们会优先推荐专用工具 SimpleITK。它的图像模型除了包含尺寸和像素值,还包含原点、间距和方向。这对于医学和科学体数据尤为重要,因为距离和方向会影响图像的配准、重采样和测量方式。
形状相同的两个数组可能描述不同的物理位置。因此,在处理过程中保留几何信息,与保留数值本身同样重要。在 SimpleITK 图像和 NumPy 数组之间转换时,必须谨慎处理轴的约定和元数据。如果空间信息丢失,即使切片查看器中的结果看起来正确,体数据的位置或比例仍可能有误。
对于能够从这种显式图像模型中受益的配准和空间分析工作流,我们建议使用 SimpleITK。对于日常网页图像处理而言,它的专业性可能超出所需。应统一单位、检查变换后的几何信息,并使用已知标志点或其他适当的参照进行重采样测试。该库提供图像计算工具,但不会验证科学结论是否有效;如果没有针对具体领域进行验证,也不能据此认定处理流水线适用于临床。
优缺点
- 以显式方式表示物理空间中的图像
- 为配准和重采样提供实用基础
- 适用于体数据科学工作流
- 几何信息和数组之间的转换需要谨慎处理
- 比常规栅格图像编辑更专业
10. pyvips
当图像尺寸或处理量使简单的“加载—编辑—保存”工作流成本过高时,值得评估 pyvips。它通过 Python 调用 libvips,并构建仅在请求输出时才处理像素的流水线。这种方式可以减少将所有中间图像载入内存的需求,因此适用于大规模图像服务或批处理工作负载。
访问模式是其行为的关键。文档区分了顺序访问和随机访问,并说明加载文件时最初读取的是文件头,而不是立即解码所有像素。应根据后续操作选择合适的访问模式。将大型图像转换为完整的 NumPy 数组,可能会抵消使用惰性流水线原本希望获得的内存优势。
如果测量结果表明解码、内存压力或重复图像操作构成瓶颈,我们建议使用 pyvips。应在生产机器上确认已安装的 libvips 所具备的功能和所需格式支持,然后测量峰值内存用量和完整处理时间。对于需要不受限制地访问数组的算法等情形,它并非自动就是最佳选择。将它列入此处的候选名单,可以把关注范围从模型训练和小型图像拓展到大规模运行图像流水线时面临的实际成本。
优缺点
- 惰性处理有助于减少中间结果占用的内存
- 适用于大型图像的顺序访问工作流
- 通过 Python 调用 libvips 操作
- 效果取决于访问模式和所执行的操作
- 部署前需检查原生库和格式支持情况
可能导致处理管线故障的图像约定
- 颜色与通道:记录使用的是 RGB 还是 BGR、灰度还是彩色,以及 Alpha 通道的表示方式。在不同库之间传递数据时,应有意进行转换。
- 数据类型与取值范围:将数组转换为浮点类型,并不一定意味着对其进行了归一化。应保留有意义的科学数据值,并遵循接收函数的预期要求。
- 轴与几何信息:区分高度、宽度、通道、时间和深度。对于空间图像,应保留间距、原点、方向信息,并确保单位一致。
- 插值:对类别掩码和连续强度图像应采用不同处理方式。适用于照片的插值方法,可能会在分割掩码中产生无效的标签值。
- 元数据与方向:通过完整的读取、处理和写入流程,测试色彩配置文件、方向标签和透明度。明确输出必须保留哪些元数据。
- 训练目标:在数据增强后,将边界框、掩码和关键点可视化。即使变换在空间上保持一致,如果策略改变了标签含义,也可能生成不合适的样本。
如何比较性能与维护成本
使用具有代表性的图像尺寸和格式,对完整工作流进行基准测试。测试内容应包括解码、复制、设备间传输、处理和编码;除耗时外,还要记录峰值内存占用。如果文件解码耗时占主导,即使滤镜速度很快,整体影响也可能微乎其微;而将延迟加载的图像转换为完整数组,则可能显著改变内存占用情况。
固定兼容的版本,并在部署机器上验证可选编解码器或插件。对于数据增强,AlbumentationsX 官方许可指南是了解当前软件包许可条款的合适起点。不要依赖从旧版软件包或教程中复制来的许可声明。
如果处理后的数据要输入模型,请参阅我们的Python 机器学习库指南,以选择建模层;对于神经网络工作流,则可查看我们的深度学习库对比。确保训练和推理阶段的图像预处理保持一致。
应该选择哪种图像处理库?
通用计算机视觉和视频处理可从 OpenCV 入手;日常图像编辑可选择 Pillow;科学分析则可使用 scikit-image。如果需要明确执行多维数值运算,可添加 SciPy ndimage;如果缺少资源加载和写入功能,则可使用 ImageIO。
对于 PyTorch 项目,标准预处理和目标同步可尝试 torchvision;如果可微分或批量张量运算很重要,则可选择 Kornia。如需更丰富的数据增强策略,可考虑 AlbumentationsX,但应先检查软件包条款并验证生成的样本。
如果图像的物理几何信息至关重要,请使用 SimpleITK;如果处理大型图像需要采用不同的内存策略,则可选择 pyvips。最佳选择既能保留应用所需的数据,又能让处理和部署成本清晰可控。












