Sự diễn giải quá mức có thể là một mối đe dọa lớn hơn và khó giải quyết hơn so với việc quá拟 hợp

Nếu người bạn tốt của bạn, Alice, thích mặc áo choàng màu vàng, bạn sẽ thấy nhiều áo choàng màu vàng hơn so với người bình thường. Sau một thời gian, có thể khi bạn thấy một người phụ nữ khác mặc áo choàng màu vàng, khái niệm cốt lõi Alice sẽ xuất hiện trong tâm trí bạn.

Nếu bạn thấy một người phụ nữ mặc áo choàng màu vàng trông giống Alice một chút, bạn thậm chí có thể nhầm lẫn cô ấy với bạn của mình trong một thời gian.

Tuy nhiên, đó không phải là Alice. Cuối cùng, bạn sẽ nhận ra rằng áo choàng màu vàng không phải là một khóa học hữu ích để xác định Alice, vì cô ấy không bao giờ mặc chúng vào mùa hè và không luôn luôn mặc chúng vào mùa đông. Một cách nào đó, bạn sẽ bắt đầu hạ cấp áo choàng màu vàng như một trình xác định Alice có thể, vì kinh nghiệm của bạn về nó đã không được hài lòng, và năng lượng nhận thức được sử dụng để duy trì phím tắt này không thường xuyên được thưởng.

Nếu bạn là một hệ thống nhận dạng dựa trên tầm nhìn máy tính, tuy nhiên, có thể bạn sẽ thấy Alice mọi nơi bạn thấy một chiếc áo choàng màu vàng.

Điều đó không phải là lỗi của bạn; bạn đã được giao nhiệm vụ xác định Alice với mọi giá, từ thông tin tối thiểu có sẵn, và không có sự thiếu hụt về nguồn lực nhận thức để duy trì Alice này.

Sự phân biệt kỳ lạ

Theo một bài báo gần đây từ Phòng thí nghiệm Khoa học Máy tính và Trí tuệ Nhân tạo MIT (CSAIL) và Amazon Web Services, hội chứng này, được gọi là diễn giải quá mức, rất phổ biến trong lĩnh vực nghiên cứu tầm nhìn máy tính (CV); không thể được giảm thiểu bằng cách giải quyết vấn đề quá拟 hợp (vì nó không phải là một phần trực tiếp của quá拟 hợp); thường được thể hiện trong nghiên cứu sử dụng hai tập dữ liệu ảnh hưởng nhất trong nhận dạng và biến đổi hình ảnh, CIFAR-10 và ImageNet; và không có giải pháp dễ dàng – chắc chắn không có giải pháp rẻ.

Các nhà nghiên cứu đã phát hiện ra rằng khi giảm ảnh đào tạo đầu vào xuống chỉ 5% nội dung hợp lý của chúng, một loạt các khung phổ biến tiếp tục phân loại chính xác các ảnh, xuất hiện, trong hầu hết các trường hợp, như ‘nonsense’ hình ảnh đối với bất kỳ người quan sát nào:

Ảnh đào tạo gốc từ CIFAR-10, giảm xuống chỉ 5% nội dung pixel gốc, nhưng vẫn được phân loại chính xác bởi một loạt các khung tầm nhìn máy tính phổ biến với độ chính xác từ 90-99%. Source: https://arxiv.org/pdf/2003.08907.pdf

Trong một số trường hợp, các khung phân loại thực sự tìm thấy những ảnh này dễ dàng hơn để phân loại chính xác so với các khung đầy đủ trong dữ liệu đào tạo ban đầu, với các tác giả quan sát ‘[CNNs] tự tin hơn trên các tập hợp pixel này so với trên các ảnh đầy đủ’.

Điều này cho thấy một loại ‘gian lận’ có thể xảy ra khi các hệ thống tầm nhìn máy tính sử dụng các tập dữ liệu chuẩn như CIFAR-10 và ImageNet, và các khung chuẩn như VGG16, ResNet20, và ResNet18.

Diễn giải quá mức có những hệ quả đáng kể đối với các hệ thống xe tự hành dựa trên tầm nhìn máy tính, đã được tập trung gần đây với quyết định của Tesla để ưu tiên giải thích hình ảnh hơn LiDAR và các hệ thống cảm biến khác cho các thuật toán tự hành.

Mặc dù ‘học tắt’ là một thử thách được biết đến, và là một lĩnh vực nghiên cứu tích cực trong tầm nhìn máy tính, các tác giả của bài báo nhận xét rằng nghiên cứu của Đức/Canada đã đặt ra vấn đề này vào năm 2019 không nhận ra rằng các ‘tập hợp pixel giả’ đặc trưng của diễn giải quá mức là ‘dữ liệu hợp lệ’, có thể cần được giải quyết về mặt kiến trúc và cách tiếp cận cấp cao hơn, chứ không phải chỉ là curation dữ liệu cẩn thận hơn.

Bài báo có tiêu đề Diễn giải quá mức tiết lộ bệnh lý của mô hình phân loại hình ảnh, và đến từ Brandon Carter, Siddhartha Jain, và David Gifford tại CSAIL, trong sự hợp tác với Jonas Mueller từ Amazon Web Services. Mã nguồn cho bài báo có sẵn tại https://github.com/gifford-lab/overinterpretation.

Giảm thiểu dữ liệu

Các ảnh đã được giảm thiểu mà các nhà nghiên cứu đã sử dụng được gọi là Tập hợp đầu vào đủ (SIS) – về cơ bản, một ảnh SIS chứa ‘vỏ ngoài’ tối thiểu có thể xác định một hình ảnh đủ tốt để cho phép một hệ thống tầm nhìn máy tính xác định chủ đề gốc của hình ảnh (tức là chó, tàu, v.v.).

Trong hàng trên cùng, chúng ta thấy các ảnh xác thực đầy đủ của ImageNet; dưới đây, các tập hợp SIS, được phân loại chính xác bởi mô hình Inception V3 với độ tin cậy 90%, dựa trên tất cả những gì còn lại của hình ảnh – bối cảnh. Tự nhiên, cột cuối cùng có những hệ quả đáng kể đối với việc nhận dạng biển hiệu trong các thuật toán xe tự hành.

Nhận xét về kết quả thu được trong ảnh trên, các nhà nghiên cứu quan sát:

‘Chúng tôi tìm thấy các pixel SIS tập trung ngoài đối tượng thực sự xác định nhãn lớp. Ví dụ, trong ảnh “pizza”, SIS tập trung vào hình dạng của đĩa và bàn背景, chứ không phải bản thân pizza, gợi ý rằng mô hình có thể khái quát hóa kém trên các ảnh chứa các vật thể tròn khác trên bàn. Trong ảnh “gấu trúc khổng lồ”, SIS chứa tre, có thể xuất hiện trong bộ sưu tập ảnh ImageNet cho lớp này. ‘

‘Trong ảnh “đèn giao thông” và “biển hiệu đường”, SIS bao gồm các pixel trong bầu trời, gợi ý rằng các hệ thống xe tự hành dựa trên các mô hình này nên được đánh giá cẩn thận về các bệnh lý diễn giải quá mức.’

Các ảnh SIS không được cắt giảm một cách ngẫu nhiên, mà được tạo ra cho dự án bằng quy trình Batched Gradient Backselect, trên Inception V3 và ResNet50 qua PyTorch. Các ảnh được dẫn xuất bằng một quy trình loại bỏ mà tính đến mối quan hệ giữa khả năng của mô hình để phân loại chính xác một ảnh và các khu vực mà dữ liệu gốc được loại bỏ lặp lại.

Để xác nhận tính hợp lệ của SIS, các tác giả đã thử một quy trình loại bỏ pixel ngẫu nhiên, và tìm thấy kết quả ‘ít thông tin’ hơn trong các thử nghiệm, cho thấy rằng các ảnh SIS thực sự đại diện cho dữ liệu tối thiểu mà các mô hình và tập dữ liệu phổ biến cần để đưa ra dự đoán chấp nhận được.

Một cái nhìn thoáng qua bất kỳ ảnh giảm thiểu nào cho thấy rằng các mô hình này nên thất bại theo mức độ phân biệt thị giác của con người, điều này sẽ dẫn đến độ chính xác trung bình dưới 20%.

Với các ảnh SIS giảm xuống chỉ 5% pixel gốc, con người hầu như không đạt được tỷ lệ phân loại thành công cao hơn ngẫu nhiên, so với tỷ lệ thành công 90-99% của các tập dữ liệu và khung phổ biến được nghiên cứu trong bài báo.

Beyond The Overfit

Quá拟 hợp xảy ra khi một mô hình học máy được đào tạo quá nhiều trên một tập dữ liệu đến mức nó trở nên giỏi trong việc đưa ra dự đoán cho dữ liệu cụ thể đó, nhưng ít hiệu quả hơn (hoặc thậm chí hoàn toàn không hiệu quả) trên dữ liệu mới được giới thiệu sau khi đào tạo (dữ liệu ngoài phân phối).

Các nhà nghiên cứu lưu ý rằng sự quan tâm hiện tại của học thuật và công nghiệp trong việc chống lại quá拟 hợp không phải là sẽ giải quyết đồng thời diễn giải quá mức, vì các tập hợp pixel giảm thiểu đại diện cho các hình ảnh có thể xác định được cho máy tính và ‘nonsense’ cho con người thực sự là dữ liệu hợp lệ, chứ không phải là ‘nghiện’ tập trung vào dữ liệu curation kém hoặc thiếu:

‘Diễn giải quá mức liên quan đến quá拟 hợp, nhưng quá拟 hợp có thể được chẩn đoán thông qua độ chính xác của thử nghiệm giảm. Diễn giải quá mức có thể bắt nguồn từ các tín hiệu thống kê thực sự trong phân phối dữ liệu cơ bản mà xảy ra từ các thuộc tính cụ thể của nguồn dữ liệu (ví dụ, các quy tắc của các bác sĩ da liễu). ‘

‘Do đó, diễn giải quá mức có thể khó chẩn đoán hơn vì nó cho phép đưa ra quyết định được thực hiện bởi các tiêu chí thống kê hợp lệ, và các mô hình sử dụng các tiêu chí như vậy có thể xuất sắc trong các thử nghiệm chuẩn.’

Giải pháp có thể

Các tác giả đề xuất rằng tập hợp mô hình, nơi nhiều kiến trúc góp phần vào quá trình đánh giá và đào tạo, có thể giúp giảm thiểu diễn giải quá mức. Họ cũng tìm thấy rằng áp dụng loại bỏ đầu vào, ban đầu được thiết kế để cản trở quá拟 hợp, dẫn đến ‘sự giảm nhỏ’ trong độ chính xác của thử nghiệm CIFAR-10 (điều này có thể là mong muốn), nhưng một ‘tăng đáng kể’ (∼ 6%) trong độ chính xác của mô hình trên dữ liệu không nhìn thấy. Tuy nhiên, các con số thấp cho thấy rằng bất kỳ phương pháp chữa trị nào cho quá拟 hợp sau này có thể không giải quyết hoàn toàn diễn giải quá mức.

Các tác giả thừa nhận khả năng sử dụng bản đồ nổi bật để chỉ ra các khu vực của một ảnh nào là quan trọng cho việc trích xuất tính năng, nhưng lưu ý rằng điều này sẽ làm thất bại mục tiêu của việc phân tích ảnh tự động, và yêu cầu chú thích của con người là không khả thi với quy mô lớn. Họ cũng quan sát rằng các bản đồ nổi bật đã được tìm thấy là chỉ là ước tính thô về mặt hiểu biết vào hoạt động của mô hình.

Bài báo kết luận:

‘Với sự tồn tại của các tập hợp pixel không nổi bật mà alone đủ để phân loại chính xác, một mô hình có thể chỉ dựa vào các mẫu này. Trong trường hợp này, một phương pháp giải thích mà mô tả trung thực mô hình nên đưa ra những lý do không hợp lý này, trong khi các phương pháp giải thích thiên vị các lý do theo các giả định của con người có thể đưa ra kết quả mà lừa dối người dùng nghĩ rằng mô hình của họ hoạt động như dự định.’

Được xuất bản lần đầu tiên vào ngày 13 tháng 1 năm 2022.