Giải quyết vấn đề JPEG Artifact trong tập dữ liệu tầm nhìn máy tính

Một nghiên cứu mới từ Đại học Maryland và Facebook AI đã phát hiện ra ‘một hình phạt hiệu suất đáng kể’ đối với các hệ thống học sâu sử dụng hình ảnh JPEG bị nén cao trong tập dữ liệu của chúng, và đưa ra một số phương pháp mới để giảm thiểu tác động của điều này.

Báo cáo, có tiêu đề Phân tích và giảm thiểu khiếm khuyết nén JPEG trong học sâu, tuyên bố là ‘toàn diện hơn nhiều’ so với các nghiên cứu trước đây về tác động của các hiện tượng nén trong tập dữ liệu tầm nhìn máy tính. Bài báo cho thấy rằng ‘[nén] nặng đến vừa phải của JPEG gây ra một hình phạt hiệu suất đáng kể trên các chỉ số tiêu chuẩn’, và rằng các mạng nơ-ron có thể không đủ mạnh để chống lại các tác động như vậy như các nghiên cứu trước đây đề xuất.

Một bức ảnh của một con chó từ tập dữ liệu MobileNetV2 năm 2018. Tại chất lượng 10 (trái), một hệ thống phân loại không thể xác định giống chó chính xác ‘Pembroke Welsh Corgi’, thay vào đó đoán ‘Norwich terrier’ (hệ thống đã biết đây là một bức ảnh của một con chó, nhưng không phải là giống); thứ hai từ trái, một phiên bản đã được chỉnh sửa của hình ảnh lại không thể xác định giống chó chính xác; thứ hai từ phải, sự sửa chữa hiện tượng mục tiêu khôi phục phân loại chính xác; và phải, bức ảnh gốc, được phân loại chính xác. Nguồn: https://arxiv.org/pdf/2011.08932.pdf

Hiện tượng nén JPEG như ‘Dữ liệu’

Nén JPEG cực đoan có thể tạo ra các biên giới nhìn thấy hoặc bán nhìn thấy xung quanh các khối 8×8 mà từ đó một JPEG được lắp ráp thành một lưới điểm ảnh. Khi các hiện tượng nén hoặc ‘vành’ này xuất hiện, chúng có thể bị hiểu lầm bởi các hệ thống học máy như các yếu tố thực tế của đối tượng trong hình ảnh, trừ khi có một số biện pháp bù đắp cho điều này.

Trên, một hệ thống học máy tầm nhìn máy tính sẽ trích xuất một hình ảnh ‘sạch’ từ một bức ảnh chất lượng tốt. Dưới, các hiện tượng nén ‘khối’ trong một hình ảnh chất lượng thấp hơn che khuất các tính năng của đối tượng, và có thể ‘nhiễm’ các tính năng được trích xuất từ một tập hợp hình ảnh, đặc biệt là trong các trường hợp mà hình ảnh chất lượng cao và thấp xuất hiện trong tập dữ liệu, chẳng hạn như trong các bộ sưu tập được thu thập từ web mà chỉ áp dụng các kỹ thuật làm sạch dữ liệu chung. Nguồn: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

Như đã thấy trong hình ảnh đầu tiên trên, các hiện tượng nén như vậy có thể ảnh hưởng đến các nhiệm vụ phân loại hình ảnh, với các ý nghĩa cũng cho các thuật toán nhận dạng văn bản, có thể không thể xác định chính xác các ký tự bị ảnh hưởng bởi hiện tượng nén.

Trong trường hợp của các hệ thống đào tạo tổng hợp hình ảnh (chẳng hạn như phần mềm tạo ảnh giả hoặc hệ thống tạo ảnh dựa trên GAN), một ‘khối’ hình ảnh chất lượng thấp, bị nén cao trong tập dữ liệu có thể либо kéo chất lượng trung bình của tái tạo xuống, hoặc bị nuốt chửng và thay thế bởi một số lượng lớn hơn các tính năng chất lượng cao được trích xuất từ các hình ảnh tốt hơn trong tập hợp. Trong cả hai trường hợp, dữ liệu tốt hơn là mong muốn – hoặc, ít nhất, dữ liệu nhất quán.

JPEG – Thông thường ‘Đủ tốt’

Nén JPEG là một codec mất mát không thể đảo ngược có thể được áp dụng cho các định dạng hình ảnh khác nhau, mặc dù nó chủ yếu được áp dụng cho định dạng tệp hình ảnh JFIF wrapper. Mặc dù vậy, định dạng JPEG (.jpg) được đặt tên theo phương pháp nén của nó, chứ không phải là wrapper JFIF cho dữ liệu hình ảnh.

Các kiến trúc học máy hoàn chỉnh đã xuất hiện trong những năm gần đây, bao gồm cả việc giảm thiểu hiện象 nén JPEG như một phần của các quy trình nâng cao và phục hồi dựa trên AI, và việc loại bỏ hiện象 nén dựa trên AI hiện đã được tích hợp vào một số sản phẩm thương mại, chẳng hạn như bộ hình ảnh/đồ họa của Topaz, và các tính năng thần kinh của các phiên bản gần đây của Adobe Photoshop.

Kể từ khi 1986 JPEG schema hiện đang được sử dụng rộng rãi đã được khóa lại vào đầu những năm 1990, không thể thêm siêu dữ liệu vào một hình ảnh để chỉ ra mức chất lượng (1-100) mà hình ảnh JPEG được lưu tại – ít nhất, không có việc sửa đổi hơn ba mươi năm các hệ thống phần mềm tiêu dùng, chuyên nghiệp và học thuật không mong đợi siêu dữ liệu như vậy có sẵn.

Do đó, không phổ biến khi điều chỉnh các quy trình đào tạo học máy để phù hợp với chất lượng được đánh giá hoặc biết của dữ liệu hình ảnh JPEG, như các nhà nghiên cứu đã làm cho bài báo mới (xem dưới đây). Trong trường hợp không có mục nhập siêu dữ liệu ‘chất lượng’, hiện tại cần phải biết chi tiết về cách hình ảnh được nén (tức là nén từ một nguồn mất mát), hoặc ước tính chất lượng thông qua các thuật toán nhận thức hoặc phân loại thủ công.

Một sự thỏa hiệp kinh tế

JPEG không phải là phương pháp nén mất mát duy nhất có thể ảnh hưởng đến chất lượng của các tập dữ liệu học máy; các cài đặt nén trong tệp PDF cũng có thể loại bỏ thông tin theo cách này, và có thể được đặt ở mức chất lượng rất thấp để tiết kiệm không gian đĩa cho mục đích lưu trữ cục bộ hoặc mạng.

Điều này có thể được chứng kiến bằng cách lấy mẫu các tệp PDF trên archive.org, một số trong đó đã được nén đến mức trở thành một thách thức đáng kể cho các hệ thống nhận dạng hình ảnh hoặc văn bản. Trong nhiều trường hợp, chẳng hạn như sách được bản quyền, sự nén mạnh như vậy dường như đã được áp dụng như một hình thức DRM rẻ tiền, tương tự như cách các chủ sở hữu bản quyền có thể chọn giảm độ phân giải của các video được người dùng tải lên YouTube mà họ nắm giữ IP, để lại các video ‘blocky’ như các token quảng cáo để khuyến khích mua ‘đầy đủ phân giải’, thay vì xóa chúng.

Trong nhiều trường hợp khác, độ phân giải hoặc chất lượng hình ảnh thấp chỉ vì dữ liệu rất cũ, và đến từ một thời đại khi lưu trữ cục bộ và mạng tốn kém hơn, và khi tốc độ mạng hạn chế ủng hộ hình ảnh được tối ưu hóa và di động hơn là tái tạo chất lượng cao.

Đã có lập luận rằng JPEG, mặc dù không phải là giải pháp tốt nhất bây giờ, đã được ‘thiết lập’ như một cơ sở hạ tầng di sản không thể loại bỏ, mà cơ bản là gắn liền với nền tảng của internet.

Gánh nặng Di sản

Mặc dù các đổi mới sau này như JPEG 2000, PNG và (gần đây nhất) định dạng.webp cung cấp chất lượng vượt trội, việc lấy mẫu lại các tập dữ liệu học máy cũ, phổ biến với chất lượng cao hơn sẽ có thể ‘đặt lại’ tính liên tục và lịch sử của các thách thức tầm nhìn máy tính hàng năm trong cộng đồng học thuật – một trở ngại sẽ áp dụng trong trường hợp lưu lại hình ảnh tập dữ liệu PNG ở cài đặt chất lượng cao hơn. Điều này có thể được coi là một loại nợ kỹ thuật.

Mặc dù các thư viện xử lý hình ảnh trên máy chủ lâu đời như ImageMagick hỗ trợ các định dạng tốt hơn, bao gồm.webp, các yêu cầu biến đổi hình ảnh thường xảy ra trong các hệ thống di sản không được thiết lập cho bất cứ thứ gì ngoài JPG hoặc PNG (định dạng cung cấp nén không mất mát, nhưng với độ trễ và không gian đĩa). Thậm chí WordPress, CMS cung cấp năng lượng cho gần 40% tất cả các trang web, chỉ thêm hỗ trợ.webp ba tháng trước.

PNG là một sự tham gia muộn (có thể quá muộn) vào lĩnh vực định dạng hình ảnh, xuất hiện như một giải pháp nguồn mở vào cuối những năm 1990 để đáp lại tuyên bố năm 1995 của Unisys và CompuServe rằng tiền bản quyền sẽ phải trả cho định dạng nén LZW được sử dụng trong các tệp GIF, thường được sử dụng vào thời điểm đó cho các biểu tượng và yếu tố màu phẳng, ngay cả khi sự tái sinh của GIF vào đầu những năm 2010 tập trung vào khả năng cung cấp nội dung hoạt hình băng thông thấp, nhanh chóng (một cách iron, các hình ảnh PNG hoạt hình không bao giờ đạt được sự phổ biến hoặc hỗ trợ rộng rãi và thậm chí bị cấm trên Twitter vào năm 2019).

Mặc dù có những điểm yếu, nén JPEG nhanh, tiết kiệm không gian và sâu sắc gắn liền với các hệ thống của mọi loại – và do đó không có khả năng biến mất hoàn toàn khỏi cảnh học máy trong tương lai gần.

Làm cho tốt nhất trong sự hòa giải AI/JPEG

Đến một mức độ nhất định, cộng đồng học máy đã thích nghi với những điểm yếu của nén JPEG: vào năm 2011, Hội Radiology châu Âu (ESR) đã xuất bản một nghiên cứu về ‘Sự sử dụng của nén hình ảnh không thể đảo ngược trong hình ảnh y học’, cung cấp hướng dẫn cho ‘mất mát có thể chấp nhận được’; khi tập dữ liệu nhận dạng văn bản MNIST (các dữ liệu hình ảnh ban đầu được cung cấp trong một định dạng nhị phân mới) được chuyển sang một ‘định dạng hình ảnh thường’, JPEG, không phải PNG, đã được chọn; và một sự hợp tác trước đó (2020) từ các tác giả của bài báo mới đã cung cấp ‘một kiến trúc mới’ để hiệu chỉnh các hệ thống học máy với những điểm yếu của chất lượng hình ảnh JPEG thay đổi, mà không cần các mô hình phải được đào tạo tại mỗi cài đặt chất lượng JPEG – một tính năng được sử dụng trong công việc mới.

Thực sự, nghiên cứu về tính hữu ích của dữ liệu JPEG có chất lượng thay đổi là một lĩnh vực tương đối phát triển trong học máy. Một (không liên quan) dự án năm 2016 từ Trung tâm Nghiên cứu Tự động hóa tại Đại học Maryland, thực sự tập trung vào miền DCT (nơi các hiện tượng nén JPEG xảy ra ở cài đặt chất lượng thấp) như một con đường để trích xuất tính năng sâu; một dự án khác từ năm 2019 tập trung vào đọc byte cấp của dữ liệu JPEG mà không cần thiết phải giải nén các hình ảnh (tức là mở chúng tại một số điểm trong một quy trình tự động); và một nghiên cứu từ Pháp vào năm 2019 tích cực tận dụng nén JPEG trong dịch vụ của các quy trình nhận dạng đối tượng.

Thử nghiệm và Kết luận

Để trở lại nghiên cứu mới nhất từ UoM và Facebook, các nhà nghiên cứu đã cố gắng kiểm tra khả năng hiểu và hữu ích của JPEG trên hình ảnh được nén giữa 10-90 (dưới mức đó, hình ảnh bị xáo trộn không thể và trên mức đó, nó bằng với nén không mất mát). Các hình ảnh được sử dụng trong các thử nghiệm đã được nén trước tại mỗi giá trị trong phạm vi chất lượng mục tiêu, bao gồm ít nhất tám phiên đào tạo.

Các mô hình được đào tạo trên sự giảm gradient ngẫu nhiên trên bốn phương pháp: Baseline, nơi không có biện pháp giảm thiểu bổ sung nào được thêm; fine-tuning có giám sát, nơi tập dữ liệu đào tạo có lợi thế của các trọng số được đào tạo trước và dữ liệu được gắn nhãn (mặc dù các nhà nghiên cứu thừa nhận rằng điều này khó được nhân rộng trong các ứng dụng cấp tiêu dùng); sửa chữa hiện象, nơi việc tăng cường/amelioration được thực hiện trên các hình ảnh nén trước khi đào tạo; và sửa chữa hiện tượng mục tiêu, nơi mạng sửa chữa hiện tượng được tinh chỉnh trên các lỗi trả về.

Đào tạo diễn ra trên một loạt các tập dữ liệu phù hợp, bao gồm nhiều biến thể của ResNet, FastRCNN, MobileNetV2, MaskRCNN và Keras’ InceptionV3.

Kết quả mất mẫu sau khi sửa chữa hiện tượng mục tiêu được trực quan hóa dưới đây (thấp hơn = tốt hơn).

Nó không thể sâu vào chi tiết của kết quả thu được trong nghiên cứu, vì các phát hiện của các nhà nghiên cứu được chia sẻ giữa mục tiêu đánh giá hiện tượng nén JPEG và các phương pháp mới để giảm thiểu điều này; đào tạo được lặp lại theo chất lượng trên nhiều tập dữ liệu; và các nhiệm vụ bao gồm nhiều mục tiêu như phát hiện đối tượng, phân đoạn và phân loại. Về cơ bản, báo cáo mới tự định vị mình như một công trình tham khảo toàn diện giải quyết nhiều vấn đề.

Dù sao, bài báo cũng kết luận rộng rãi rằng ‘nén JPEG có một hình phạt dốc trên toàn bảng cho các cài đặt nén nặng đến vừa phải’. Nó cũng khẳng định rằng các chiến lược giảm thiểu không có nhãn mới của họ đạt được kết quả vượt trội so với các phương pháp tương tự; rằng, đối với các nhiệm vụ phức tạp, phương pháp giám sát của các nhà nghiên cứu cũng vượt trội so với các đồng nghiệp của nó, mặc dù không có quyền truy cập vào các nhãn thực; và rằng những phương pháp mới này cho phép tái sử dụng mô hình, vì các trọng số thu được có thể chuyển đổi giữa các nhiệm vụ.

Về các nhiệm vụ phân loại, bài báo tuyên bố rõ ràng rằng ‘JPEG làm giảm chất lượng gradient cũng như gây ra lỗi định vị’.

Các tác giả hy vọng sẽ mở rộng các nghiên cứu trong tương lai để bao gồm các phương pháp nén khác như JPEG 2000, cũng như WebP, HEIF và BPG. Họ cũng đề xuất rằng phương pháp của họ có thể được áp dụng cho các nghiên cứu tương tự về các thuật toán nén video.

Because the task-targeted artifact correction method has proved so successful in the study, the authors also signal their intent to release the weights trained during the project, anticipating that ‘[many] applications will benefit from using our TTAC weights with no modification.’ n.b. Source image for the article comes from thispersondoesnotexist.com