Albumentations là gì? Tăng cường ảnh cho Thị giác máy tính

Albumentations là một thư viện Python mã nguồn mở dành cho việc tăng cường ảnh. Nó áp dụng các biến đổi hình học và quang học ngẫu nhiên đồng thời giữ cho các mục tiêu liên quan—như mặt nạ phân đoạn, hộp giới hạn và các điểm then chốt—căn chỉnh với ảnh.

Tăng cường là một giả định về tính bất biến: nó cho mô hình biết rằng những thay đổi được chọn không nên làm thay đổi nhãn của nhiệm vụ. Một thư viện nhanh giúp các thí nghiệm dễ dàng hơn, nhưng chỉ có kiến thức chuyên ngành và việc kiểm chứng mới có thể xác định một biến đổi có hợp lệ hay không.

Những điểm chính

• Kết hợp các biến đổi có xác suất thành một quy trình huấn luyện có thể tái tạo.
• Biến đổi ảnh và các mục tiêu không gian đồng thời; xác thực các quy ước về hộp và điểm then chốt một cách rõ ràng.
• Áp dụng tăng cường ngẫu nhiên cho dữ liệu huấn luyện, không áp dụng cho tập kiểm chứng hoặc kiểm tra chưa được thay đổi.
• Đo lường ảnh hưởng theo từng lớp và nhóm phụ vì tăng cường mạnh hơn có thể giúp một trường hợp nhưng gây hại cho trường hợp khác.

Cách hoạt động của quy trình Albumentations

Một quy trình nhận một ảnh và các mục tiêu được đặt tên, lấy mẫu các biến đổi theo xác suất của chúng, và trả về một từ điển các đầu ra đã được cập nhật. Các biến đổi hình học có thể cắt, quay, lật hoặc biến dạng; các biến đổi quang học có thể thay đổi màu sắc, độ tương phản, làm mờ hoặc nhiễu.

Thư viện tích hợp với các ngăn xếp huấn luyện trong khi vẫn tập trung vào tăng cường. Đối với thị giác máy tính, sự tách biệt này cho phép đánh giá các chính sách dữ liệu một cách độc lập so với khung mô hình.

Giữ nhãn đúng về mặt hình học

Một phép cắt làm thay đổi ảnh cũng phải cắt mặt nạ tương ứng và cập nhật hoặc loại bỏ các hộp và điểm then chốt bị ảnh hưởng. Cấu hình định dạng tọa độ, các trường nhãn, mức hiển thị tối thiểu, cắt và quy tắc lọc, sau đó trực quan hoá các batch trước khi huấn luyện.

Phép nội suy khác nhau tùy mục tiêu: một ảnh có thể sử dụng nội suy song tuyến, trong khi mặt nạ lớp thường cần nội suy lân cận nhất để tránh tạo ra các giá trị danh mục không tồn tại. Xử lý mục tiêu không đúng có thể làm hỏng bộ dữ liệu một cách âm thầm.

Chọn các biến đổi phù hợp với môi trường triển khai

Việc lật ngang có thể hợp lệ cho ảnh động vật hoang dã nhưng không phù hợp với văn bản, biển báo đường, tính đối xứng y tế, hoặc thiết bị không đối xứng. Thay đổi màu sắc có thể cải thiện khả năng chịu ánh sáng nhưng lại xóa bỏ một đặc điểm chẩn đoán khi màu sắc mang ý nghĩa.

Bắt đầu với những biến đổi gây phiền nhiễu hợp lý, thêm một nhóm biến đổi mỗi lần, và kiểm tra các ví dụ khó. Liên kết các lựa chọn với giả thuyết overfitting thay vì cho rằng đa dạng tổng hợp luôn tốt hơn.

Tái tạo và đánh giá

Ghi lại phiên bản thư viện, cấu hình quy trình, xác suất, chiến lược hạt giống ngẫu nhiên, thứ tự tiền xử lý và chuẩn hoá. Tính ngẫu nhiên nên làm thay đổi các mẫu huấn luyện trong khi các thí nghiệm vẫn có thể tái tạo ở mức chạy.

Giữ các ảnh kiểm chứng và kiểm tra đại diện và không được tăng cường, ngoại trừ tiền xử lý quyết định. So sánh độ chính xác, hiệu chuẩn, lỗi theo lớp và độ bền vững. Ma trận nhầm lẫn có thể cho thấy khi một biến đổi tăng cường làm dịch chuyển lỗi thay vì giảm nó.

Kết hợp, xác suất và mục tiêu

Compose áp dụng một chuỗi các biến đổi, mỗi biến đổi có một xác suất. OneOf hoặc SomeOf tạo mẫu từ các lựa chọn thay thế, và các xác suất lồng nhau quyết định phân phối thực tế. Chính sách tăng cường hiệu quả do đó là một chương trình ngẫu nhiên; ghi lại và kiểm tra tần suất mẫu thay vì đọc từng xác suất một cách riêng lẻ.

Các mục tiêu bổ sung cho phép một vài ảnh hoặc mặt nạ chia sẻ hình học, hữu ích cho các cặp ảnh lập thể, ảnh trước‑sau, hoặc nhiều chú thích. Hỗ trợ hộp giới hạn yêu cầu một định dạng đã khai báo như Pascal VOC, COCO, YOLO, hoặc tọa độ Albumentations. Định dạng điểm then chốt có thể bao gồm góc hoặc tỉ lệ, và các biến đổi phải bảo toàn các ngữ nghĩa đó.

Việc cắt có thể loại bỏ mọi mục tiêu. Quyết định có nên lấy mẫu lại, giữ một ví dụ nền, hoặc lọc nó, vì mỗi lựa chọn sẽ thay đổi phân phối lớp. Các quy trình phát hiện và phân đoạn nên ghi lại các hộp bị loại bỏ, tỉ lệ hiển thị và các mẫu trống để phát hiện hư hỏng nhãn tiềm ẩn.

Thiết kế chính sách theo nhiệm vụ

Phân loại thường chấp nhận cắt, thay đổi màu sắc, làm mờ và che khuất khi lớp vẫn hiển thị. Phát hiện cần các đối tượng và hộp được biến đổi đồng thời. Phân đoạn yêu cầu hình học mặt nạ chính xác. Đánh giá tư thế phải bảo toàn các điểm then chốt và có thể cần hoán đổi nhãn trái‑phải sau khi lật.

Hình ảnh y tế có thể cấm lật, thay đổi màu sắc mạnh, hoặc nội suy làm thay đổi cường độ định lượng. Viễn thám phải cân nhắc hướng, mùa, dải cảm biến và quy mô địa lý. Phân tích tài liệu phải giữ được tính dễ đọc và bố cục. Miền ứng dụng định nghĩa tính bất biến; thư viện chỉ thực hiện chúng.

Kết hợp các phương pháp như MixUp, CutMix, Mosaic, hoặc sao chép‑dán tạo nhãn tổng hợp và có thể xảy ra trong bộ tải dữ liệu hoặc khung thay vì Albumentations. Sự tương tác của chúng với các biến đổi cơ bản, chuẩn hoá và tạo batch cần được kiểm tra. Các chính sách mạnh có thể làm chậm quá trình hội tụ hoặc thay đổi hiệu chuẩn ngay cả khi độ chính xác cuối cùng được cải thiện.

Hiệu suất, gỡ lỗi và thiết kế thí nghiệm

Tăng cường chạy trên CPU trừ khi có đường dẫn khác được sử dụng. Đo lưu lượng tải dữ liệu, số lượng worker, chi phí giải mã, sao chép bộ nhớ và thời gian GPU nhàn rỗi. Các biến đổi nhanh hơn chỉ có giá trị nếu chúng không làm thay đổi ngữ nghĩa. Lưu vào bộ nhớ đệm các giai đoạn giải mã hoặc tiền xử lý không thay đổi khi lưu trữ và khả năng tái tạo cho phép.

Trực quan hoá lưới các mẫu gốc và đã biến đổi với lớp phủ mọi mục tiêu. Thêm các kiểm thử tự động cho vòng quay tọa độ, giá trị mặt nạ, hình dạng, dtype và phát lại quyết định. Đặt hạt giống ở phạm vi đúng; việc tăng cường giống hệt trên tất cả các worker có thể vô tình giảm đa dạng.

Thực hiện các thí nghiệm ablation so với một chuẩn cố định: không tăng cường, các biến đổi cơ bản hợp lý, sau đó là các chính sách mạnh hơn. Lặp lại hạt giống và báo cáo phương sai. Đánh giá dữ liệu sạch, các nhiễu liên quan và các nhóm phụ riêng biệt. Giữ một chính sách chỉ khi lợi ích của nó tồn tại qua kiểm tra dữ liệu giữ lại và các ảnh đã biến đổi vẫn đáng tin cậy đối với các chuyên gia miền.

Thiết kế và xác thực quy trình Albumentations

Bắt đầu từ các biến thể dự kiến sau khi triển khai: góc máy ảnh, cắt, tỉ lệ, chiếu sáng, nén, làm mờ, thời tiết, che khuất và nhiễu cảm biến. Chọn các biến đổi bảo toàn nhãn và phù hợp với các cơ chế đó. Việc lật ngang có thể hợp lệ cho động vật nhưng không hợp cho văn bản, hướng giao thông, hoặc giải phẫu không đối xứng. Thay đổi màu mạnh có thể phá hủy thông tin chẩn đoán quan trọng ngay cả khi ảnh vẫn trông hợp lý.

Albumentations kết hợp các biến đổi và áp dụng các thay đổi không gian một cách nhất quán cho ảnh, mặt nạ, hộp giới hạn và các điểm then chốt khi được cấu hình đúng. Khai báo rõ ràng định dạng tọa độ, mức hiển thị tối thiểu, nội suy và cách xử lý mặt nạ. Trực quan hoá hàng trăm mẫu tăng cường với chú thích chồng lên, kiểm tra các trường hợp trống và biên, và lưu các tham số ngẫu nhiên để gỡ lỗi. Phân tách dữ liệu theo chủ thể hoặc cảnh trước khi tăng cường để các ảnh liên quan không rò rỉ qua tập huấn luyện và kiểm tra.

So sánh không tăng cường, tăng cường đơn giản và chính sách đề xuất trên một tập kiểm tra chưa được thay đổi và các tập áp lực thực tế. Theo dõi độ chính xác theo lớp, định vị, hiệu chuẩn và các ví dụ thất bại, không chỉ mất mát huấn luyện. Tăng cường quá mức có thể làm mô hình không khớp với phân phối thực, trong khi tăng cường yếu có thể khuyến khích học shortcut. Đánh phiên bản quy trình cùng với mô hình, chạy đánh giá với hạt giống, và tránh áp dụng các biến đổi ngẫu nhiên trong quá trình xác thực hoặc suy luận trừ khi tăng cường thời gian kiểm tra được đánh giá một cách có chủ đích.

Đối với phát hiện và phân đoạn, xác minh việc cắt tọa độ, diện tích hộp tối thiểu, khả năng hiển thị điểm then chốt và phương pháp nội suy được dùng cho mặt nạ phân loại. Nội suy lân cận nhất thường cần cho các ID lớp, trong khi nội suy song tuyến có thể tạo ra nhãn không hợp lệ. Đánh giá bộ tải dữ liệu cũng: các biến đổi mạnh có thể làm tăng cường CPU trở thành nút thắt trong quá trình huấn luyện. Chỉ lưu vào bộ nhớ đệm các biến đổi quyết định và bảo toàn tính ngẫu nhiên dự định qua các epoch và worker.

Danh sách kiểm tra triển khai thực tiễn

Biến ý tưởng thành một quy trình làm việc có giới hạn, có thể kiểm thử: tải mẫu → chọn → biến đổi → căn chỉnh mục tiêu → huấn luyện → xác thực. Đặt tên cho người chịu trách nhiệm, ghi chép dữ liệu và các phụ thuộc, thiết lập một chuẩn đơn giản, xác định tiêu chí chấp nhận và dừng, kiểm thử các lỗi đại diện, và định nghĩa giám sát, khôi phục và đánh giá trước khi mở rộng phạm vi. Ghi lại các phiên bản và giả định để đội khác có thể tái tạo kết quả và hiểu những gì đã thay đổi.

Trước khi ra mắt, thực hiện một cuộc đánh giá sẵn sàng có tài liệu với những người xây dựng, vận hành, bảo mật và chịu ảnh hưởng của hệ thống. Kiểm thử các trường hợp bình thường, điều kiện biên, lỗi phụ thuộc và việc lạm dụng; bảo quản bằng chứng và các rủi ro chưa giải quyết. Xác định ai có thể phê duyệt phát hành, thay đổi ngưỡng, ghi đè đầu ra hoặc dừng hoạt động. Xem lại quyết định sau khi dữ liệu thực tế đến, vì một dự án thí điểm thành công về mặt kỹ thuật không đảm bảo hiệu suất đáng tin cậy ở quy mô lớn hơn.

• HÌNH ẢNH: hình học, màu sắc, làm mờ và nhiễu.
• MỤC TIÊU: mặt nạ, hộp, điểm then chốt và nhãn.
• BẰNG CHỨNG: kiểm tra chất lượng trực quan và đánh giá dữ liệu giữ lại.

Câu hỏi thường gặp

Việc tăng cường ảnh có tạo ra nhãn thực tế mới không?

Không. Nó tạo ra các ví dụ huấn luyện đã được biến đổi dựa trên giả định rằng nhãn vẫn còn hợp lệ. Một biến đổi không thực tế hoặc gán nhãn sai sẽ gây ra nhiễu.

Có nên tăng cường ảnh kiểm chứng không?

Sử dụng việc thay đổi kích thước và chuẩn hoá quyết định mà mô hình yêu cầu, nhưng giữ phân phối đánh giá cố định. Tăng cường thời gian kiểm tra là một phương pháp suy luận riêng biệt và nên được báo cáo một cách rõ ràng.

Tài liệu tham khảo chính

• Albumentations: Bắt đầu
• Buslaev et al.: Albumentations
• Kho lưu trữ Albumentations trên GitHub