Đào tạo Mô hình Nhận dạng Hình ảnh trên Nhiễu Ngẫu nhiên Thay vì Hình ảnh Thực

Những nhà nghiên cứu từ Phòng thí nghiệm Khoa học Máy tính và Trí tuệ Nhân tạo MIT (CSAIL) đã thực hiện một thí nghiệm sử dụng hình ảnh nhiễu ngẫu nhiên trong tập dữ liệu nhận dạng hình ảnh để đào tạo mô hình nhận dạng hình ảnh, và họ đã phát hiện ra rằng thay vì tạo ra những thứ vô ích, phương pháp này lại hiệu quả một cách bất ngờ:

Mô hình tạo ra từ thí nghiệm, sắp xếp theo hiệu suất. Nguồn: https://openreview.net/pdf?id=RQUl8gZnN7O

Cho ‘rác thải’ hình ảnh vào kiến trúc nhận dạng hình ảnh phổ biến không nên dẫn đến hiệu suất như vậy. Ở phía bên phải của hình ảnh trên, các cột đen đại diện cho điểm số chính xác (trên Imagenet-100) cho bốn tập dữ liệu ‘thực’. Mặc dù các tập dữ liệu ‘nhiễu ngẫu nhiên’ trước đó (hình ảnh màu, xem chỉ mục phía trên bên trái) không thể đạt được điều đó, nhưng chúng gần như tất cả nằm trong giới hạn trên và dưới (đường đứt đỏ) cho độ chính xác.

Trong ý nghĩa này, ‘độ chính xác’ không có nghĩa là một kết quả nhất định phải trông giống như một khuôn mặt, một nhà thờ, một bánh pizza, hoặc bất kỳ lĩnh vực cụ thể nào mà bạn quan tâm đến việc tạo ra một hệ thống tổng hợp hình ảnh, chẳng hạn như Mạng Đối nghịch Generative hoặc khuôn khổ mã hóa/giải mã.

Thay vào đó, nó có nghĩa là các mô hình CSAIL đã suy ra những ‘sự thật’ trung tâm có thể áp dụng rộng rãi từ dữ liệu hình ảnh dường như không có cấu trúc đến mức không thể cung cấp nó.

Đa dạng so với Tự nhiên

Những kết quả này cũng không thể được quy cho quá trình phù hợp: một cuộc thảo luận sôi nổi giữa các tác giả và người đánh giá tại Open Review cho thấy rằng việc kết hợp nội dung khác nhau từ các tập dữ liệu trực quan đa dạng (chẳng hạn như ‘lá cây chết’, ‘tạo fractal’ và ‘nhiễu thủ tục’ – xem hình ảnh dưới đây) vào một tập dữ liệu đào tạo thực sự cải thiện độ chính xác trong các thí nghiệm này.

Điều này gợi ý (và đó là một ý tưởng cách mạng) một loại ‘sự thiếu phù hợp’ mới, nơi ‘đa dạng’ vượt qua ‘tự nhiên’.

Trang dự án của sáng kiến cho phép bạn xem tương tác các loại tập dữ liệu hình ảnh ngẫu nhiên được sử dụng trong thí nghiệm. Nguồn: https://mbaradad.github.io/learning_with_noise/

Kết quả thu được bởi các nhà nghiên cứu đặt câu hỏi về mối quan hệ cơ bản giữa mạng nơ-ron dựa trên hình ảnh và ‘thế giới thực’ hình ảnh được ném vào chúng với số lượng ngày càng tăng mỗi năm, và ngụ ý rằng nhu cầu thu được, thu thập và xử lý các tập dữ liệu hình ảnh siêu lớn có thể cuối cùng trở nên không cần thiết. Các tác giả tuyên bố:

‘Các hệ thống tầm nhìn hiện tại được đào tạo trên các tập dữ liệu lớn, và những tập dữ liệu này đi kèm với chi phí: thu thập dữ liệu tốn kém, chúng kế thừa các thiên vị của con người, và có những lo ngại về quyền riêng tư và sử dụng.

‘Trong bài viết này, chúng tôi đi một bước进一步 và hỏi liệu chúng tôi có thể loại bỏ hoàn toàn các tập dữ liệu hình ảnh thực bằng cách học từ các quá trình nhiễu thủ tục.’

Các nhà nghiên cứu đề xuất rằng kiến trúc học máy hiện tại có thể suy ra điều gì đó cơ bản hơn (hoặc ít nhất là không ngờ) từ hình ảnh hơn những gì được nghĩ trước đây, và rằng ‘hình ảnh vô nghĩa’ có thể cung cấp một lượng lớn kiến thức này với chi phí thấp hơn, thậm chí có thể sử dụng dữ liệu tổng hợp ad hoc, thông qua kiến trúc tạo dữ liệu tạo ra hình ảnh ngẫu nhiên tại thời điểm đào tạo:

‘Chúng tôi xác định hai thuộc tính chính làm cho dữ liệu tổng hợp tốt cho đào tạo hệ thống tầm nhìn: 1) tự nhiên, 2) đa dạng. Thú vị, dữ liệu tự nhiên nhất không phải lúc nào cũng là tốt nhất, vì tự nhiên có thể đi kèm với chi phí của sự đa dạng.

‘Việc dữ liệu tự nhiên giúp đỡ có thể không gây ngạc nhiên, và nó gợi ý rằng thực sự, dữ liệu thực lớn có giá trị. Tuy nhiên, chúng tôi phát hiện ra rằng điều quan trọng không phải là dữ liệu phải thực mà phải là tự nhiên, tức là nó phải bắt được một số thuộc tính cấu trúc của dữ liệu thực.

‘Nhiều thuộc tính này có thể được bắt trong các mô hình nhiễu đơn giản.’

Tổng hợp hình ảnh từ một mã hóa AlexNet trên một số tập dữ liệu ‘hình ảnh ngẫu nhiên’ được sử dụng bởi các tác giả, bao gồm lớp convolution thứ 3 và thứ 5 (cuối cùng). Phương pháp được sử dụng ở đây tuân theo phương pháp được đặt ra trong nghiên cứu của Google AI từ năm 2017.

Bài viết, được trình bày tại Hội nghị lần thứ 35 về Xử lý Thông tin Neural (NeurIPS 2021) tại Sydney, có tiêu đề Learning to See by Looking at Noise, và đến từ sáu nhà nghiên cứu tại CSAIL, với sự đóng góp như nhau.

Công việc này được khuyến nghị bởi sự đồng thuận cho một lựa chọn nổi bật tại NeurIPS 2021, với những người bình luận ngang hàng mô tả bài viết là ‘một đột phá khoa học’ mở ra một ‘lĩnh vực nghiên cứu tuyệt vời’, ngay cả khi nó đặt ra nhiều câu hỏi như nó trả lời.

Trong bài viết, các tác giả kết luận:

‘Chúng tôi đã chỉ ra rằng, khi được thiết kế sử dụng kết quả từ nghiên cứu trước về thống kê hình ảnh tự nhiên, những tập dữ liệu này có thể đào tạo thành công các biểu diễn trực quan. Chúng tôi hy vọng rằng bài viết này sẽ khuyến khích nghiên cứu về các mô hình tạo ra mới có khả năng tạo ra nhiễu có cấu trúc đạt được hiệu suất cao hơn khi được sử dụng trong một tập hợp đa dạng các nhiệm vụ trực quan.

‘Liệu có thể đạt được hiệu suất thu được với việc tiền đào tạo ImageNet? Có thể trong sự vắng mặt của một tập dữ liệu đào tạo lớn cụ thể cho một nhiệm vụ cụ thể, việc tiền đào tạo tốt nhất có thể không phải là sử dụng một tập dữ liệu thực tiêu chuẩn như ImageNet.’