Giảm kích thước hình ảnh độ phân giải cao với Học máy

Nghiên cứu mới từ Vương quốc Anh đã đề xuất một phương pháp học máy cải tiến để thay đổi kích thước hình ảnh, dựa trên giá trị nhận thức của các phần khác nhau của nội dung hình ảnh, thay vì giảm kích thước (và do đó chất lượng và tính năng có thể trích xuất) cho tất cả các pixel trong hình ảnh.

Trong khuôn khổ của sự quan tâm ngày càng tăng đối với các hệ thống nén AI, đây là một phương pháp có thể cuối cùng thông báo các codec mới cho nén hình ảnh chung, mặc dù công việc này được thúc đẩy bởi hình ảnh y tế, nơi việc giảm kích thước tùy ý của hình ảnh y tế độ phân giải cao có thể dẫn đến mất thông tin cứu sống.

Kiến trúc đại diện của hệ thống mới. Mô-đun biến dạng khe hở tạo ra một bản đồ biến dạng tương ứng với các khu vực quan tâm trong hình ảnh. Mật độ và hướng của các chấm đỏ chỉ ra các khu vực này. Bản đồ được sử dụng không chỉ để giảm kích thước, mà còn để tái tạo các khu vực quan tâm chính khi nội dung hình ảnh được tăng kích thước không đồng đều ở phía bên kia của quá trình đào tạo. Nguồn: https://arxiv.org/pdf/2109.11071.pdf

Hệ thống áp dụng phân khúc ngữ nghĩa cho hình ảnh – các khối rộng, được biểu diễn dưới dạng khối màu trong hình ảnh trên, bao gồm các thực thể được công nhận trong hình ảnh, chẳng hạn như ‘đường’, ‘xe đạp’, ‘u nang’, v.v. Sự sắp xếp của các bản đồ phân khúc ngữ nghĩa sau đó được sử dụng để tính toán các phần của ảnh không nên giảm kích thước quá mức.

Được gọi là Learning to Downsample for Segmentation of Ultra-High Resolution Images, bài báo mới là một sự hợp tác giữa các nhà nghiên cứu từ Trung tâm Máy tính Hình ảnh Y tế tại Đại học London và các nhà nghiên cứu từ Bộ phận Trí tuệ Sức khỏe tại Microsoft Cambridge.

Thế giới (Độ phân giải tương đối thấp) của Đào tạo Thị giác Máy tính

Đào tạo các hệ thống thị giác máy tính bị hạn chế đáng kể bởi khả năng của GPU. Các tập dữ liệu có thể chứa hàng nghìn hình ảnh từ đó cần phải trích xuất tính năng, nhưng thậm chí các GPU có phạm vi công nghiệp cũng thường đạt đến 24gb VRAM, với sự thiếu hụt đang diễn ra ảnh hưởng đến tính khả dụng và chi phí.

Điều này có nghĩa là dữ liệu phải được cung cấp qua các lõi Tensor bị giới hạn của GPU trong các lô có thể quản lý, với 8-16 hình ảnh điển hình của nhiều quy trình đào tạo thị giác máy tính.

Không có nhiều giải pháp rõ ràng: ngay cả khi VRAM không giới hạn và kiến trúc CPU có thể hỗ trợ loại thông lượng đó từ GPU mà không tạo thành một nút thắt kiến trúc, các lô có kích thước rất lớn sẽ có xu hướng dẫn đến các tính năng cấp cao tại chi phí của các biến đổi chi tiết hơn có thể là quan trọng đối với tính hữu ích của thuật toán cuối cùng.

Tăng độ phân giải của hình ảnh đầu vào sẽ có nghĩa là bạn phải sử dụng các lô có kích thước nhỏ hơn để phù hợp với dữ liệu trong ‘không gian tiềm ẩn’ của GPU đào tạo. Điều này, ngược lại, có khả năng tạo ra một mô hình ‘lệch’ và quá phù hợp.

Không thêm GPU giúp, ít nhất là trong các kiến trúc phổ biến nhất: trong khi các thiết lập nhiều GPU có thể tăng tốc thời gian đào tạo, chúng cũng có thể thỏa hiệp tính toàn vẹn của kết quả đào tạo, giống như hai nhà máy liền kề làm việc trên cùng một sản phẩm, với chỉ một đường dây điện thoại để phối hợp nỗ lực của họ.

Hình ảnh được thay đổi kích thước thông minh

Còn lại là các phần quan trọng nhất của một hình ảnh điển hình cho một tập dữ liệu thị giác máy tính có thể, với phương pháp mới, được bảo tồn nguyên vẹn trong việc thay đổi kích thước tự động xảy ra khi hình ảnh độ phân giải rất cao phải được giảm kích thước để phù hợp với đường ống ML.

Đây là một thách thức riêng biệt so với vấn đề tác phẩm mất mát trong các tập dữ liệu thị giác máy tính, nơi chất lượng bị mất trong các đường ống thay đổi kích thước tự động vì codec nén loại bỏ quá nhiều thông tin (thường không thể phục hồi).

Thay vào đó, trong trường hợp này, ngay cả việc lưu vào định dạng hình ảnh không mất dữ liệu (chẳng hạn như PNG với nén LZW) cũng không thể phục hồi thông tin bị loại bỏ khi thay đổi kích thước (ví dụ) một quét MRI xuống từ thường kích thước kỷ lục đến độ phân giải 256×256 hoặc 512×512 pixel hợp lý hơn.

Để làm cho mọi thứ tồi tệ hơn, tùy thuộc vào yêu cầu của khuôn khổ, các biên giới đen thường được thêm vào hình ảnh nguồn hình chữ nhật như một nhiệm vụ xử lý dữ liệu thường xuyên, để tạo ra một định dạng đầu vào hình vuông thực sự cho xử lý mạng nơ-ron, giảm thêm không gian có sẵn cho dữ liệu quan trọng.

Các nhà nghiên cứu từ UCL và Microsoft đề xuất thay đổi quá trình thay đổi kích thước để thông minh hơn, hiệu quả sử dụng những gì đã luôn là một giai đoạn chung trong đường ống để nhấn mạnh các khu vực quan tâm, off-loading một số gánh nặng giải thích từ hệ thống học máy mà qua đó hình ảnh cuối cùng sẽ đi qua.

Phương pháp, các nhà nghiên cứu cho biết, cải thiện trên một đề xuất năm 2019 (hình ảnh dưới) đã tìm kiếm các lợi ích tương tự bằng cách tập trung sự chú ý chất lượng vào ranh giới của các đối tượng.

Từ ‘Efficient Segmentation: Learning Downsampling Near Semantic Boundaries’, Marin et al., 2019. Nguồn: https://arxiv.org/pdf/1907.07156.pdf

Khi công việc mới lưu ý, cách tiếp cận này giả định rằng các khu vực quan tâm tập trung ở ranh giới, trong khi các ví dụ từ hình ảnh y tế, chẳng hạn như các khu vực ung thư được chú thích, phụ thuộc vào ngữ cảnh cấp cao hơn và có thể xuất hiện như các chi tiết dễ bị loại bỏ trong các khu vực rộng lớn hơn trong hình ảnh, chứ không phải ở các cạnh.

Giảm kích thước có thể học được

Nghiên cứu mới đề xuất một giảm kích thước có thể học được được gọi là mô-đun biến dạng, được đào tạo chung với một mô-đun phân khúc song song, và do đó có thể được thông báo về các khu vực quan tâm được xác định bởi phân khúc ngữ nghĩa và ưu tiên chúng trong quá trình giảm kích thước.

Các tác giả đã thử nghiệm hệ thống trên một số tập dữ liệu phổ biến, bao gồm Cityscapes, DeepGlobe và một tập dữ liệu ung thư tuyến tiền liệt địa phương, ‘PCa-Histo’.

Ba cách tiếp cận: bên trái, giảm kích thước ‘đồng đều’ hiện có; ở giữa, cách tiếp cận ‘cạnh tối ưu’ từ bài báo năm 2019; bên phải, kiến trúc đằng sau hệ thống mới, được thông tin bởi nhận dạng thực thể trong một lớp phân khúc ngữ nghĩa.

Một cách tiếp cận tương tự đã được thử nghiệm cho một phân loại được đề xuất vào năm 2019, nhưng các tác giả của bài báo hiện tại cho rằng phương pháp này không đủ để điều chỉnh các khu vực tập trung, có khả năng bỏ lỡ các khu vực quan trọng trong một ngữ cảnh hình ảnh y tế.

Kết quả

Mô-đun biến dạng trong hệ thống mới là một mạng nơ-ron nhỏ CNN, trong khi lớp phân khúc là một kiến trúc CNN sâu sử dụng HRNetV2-W48. Mạng nơ-ron phân tích cảnh Pyramid (PSP-net) đã được sử dụng như một lớp kiểm tra hợp lý cho các thử nghiệm CityScapes.

Các tập dữ liệu đã được thử nghiệm với khuôn khổ mới, sử dụng việc lấy mẫu đồng đều (phương pháp thông thường), phương pháp cạnh tối ưu từ năm 2019 và cách tiếp cận mới của việc sử dụng phân khúc ngữ nghĩa.

Các tác giả báo cáo rằng phương pháp mới cho thấy ‘lợi thế rõ ràng trong việc xác định và phân biệt các lớp lâm sàng quan trọng nhất’, với mức tăng độ chính xác 15-20%. Họ quan sát thêm rằng khoảng cách giữa các lớp này thường được định nghĩa là ‘ngưỡng từ khỏe mạnh đến ung thư’.

Phân tích IoU theo từng lớp trên ba phương pháp: bên trái, lấy mẫu tiêu chuẩn; giữa, cạnh tối ưu; và bên phải, cách tiếp cận mới. CityScapes đã được giảm kích thước xuống 64 x 128, với PCaHisto giảm xuống 80 x 800 và DeepGlobe giảm xuống 300 pixel vuông.

Báo cáo cho biết phương pháp của họ ‘có thể học được một chiến lược giảm kích thước, bảo tồn thông tin tốt hơn và cho phép một sự đánh đổi tốt hơn.’, kết luận rằng khung khổ mới ‘có thể học được một cách hiệu quả nơi để “đầu tư” ngân sách pixel bị giới hạn khi giảm kích thước để đạt được lợi nhuận tổng thể cao nhất trong độ chính xác phân khúc’.

Hình ảnh chính cho bài viết này được lấy từ thispersondoesnotexist.com. Cập nhật 3:35pm GMT+2 để sửa lỗi văn bản.