Các Mô Hình Học Sâu Có Thể Đánh Bại Khi Nhận Biết Hình Ảnh Tạo Bởi Trí Tuệ Nhân Tạo

Phát hiện từ một bài báo mới cho thấy rằng trí tuệ nhân tạo tiên tiến nhất hiện nay có khả năng nhận biết và giải thích hình ảnh tổng hợp bởi trí tuệ nhân tạo thấp hơn đáng kể so với con người, điều này có thể gây lo ngại trong một môi trường mà các mô hình học máy đang ngày càng được đào tạo trên dữ liệu tổng hợp, và nơi mà không chắc chắn liệu dữ liệu có phải là “thực” hay không.

Ở đây chúng ta thấy mô hình dự đoán resnext101_32x8d_wsl gặp khó khăn trong thể loại ‘bánh mì’. Trong các thử nghiệm, một sự thất bại trong việc nhận biết được coi là đã xảy ra nếu từ khóa mục tiêu chính (trong trường hợp này là ‘bánh mì’) không được đề cập trong năm kết quả dự đoán hàng đầu. Nguồn: https://arxiv.org/pdf/2208.10760.pdf

Nghiên cứu mới này đã kiểm tra hai loại khuôn khổ nhận biết dựa trên thị giác máy tính: nhận biết đối tượng và trả lời câu hỏi thị giác (VQA).

[caption id="attachment_183624" align="alignnone" width="1200"] Bên trái, thành công và thất bại của hệ thống nhận biết đối tượng; bên phải, nhiệm vụ VQA được thiết kế để kiểm tra sự hiểu biết của trí tuệ nhân tạo về cảnh và hình ảnh một cách sâu sắc hơn. Nguồn: https://arxiv.org/pdf/2105.05312.pdf và https://arxiv.org/pdf/1505.00468.pdf

Trong số mười mô hình tiên tiến nhất được kiểm tra trên các tập dữ liệu được tạo bởi các khuôn khổ tổng hợp hình ảnh DALL-E 2 và Midjourney, mô hình hoạt động tốt nhất chỉ có thể đạt được độ chính xác hàng đầu 60% và 80% trong hai loại thử nghiệm, trong khi ImageNet, được đào tạo trên dữ liệu thực không tổng hợp, có thể đạt được 91% và 99% trong cùng các thể loại, trong khi hiệu suất của con người thường cao hơn đáng kể.

Khi giải quyết các vấn đề liên quan đến sự thay đổi phân phối (còn gọi là ‘Model Drift’, nơi các mô hình dự đoán gặp phải khả năng dự đoán giảm khi di chuyển từ dữ liệu đào tạo sang ‘dữ liệu thực’), bài báo cho biết:

‘Con người có thể nhận biết hình ảnh tổng hợp và trả lời câu hỏi về chúng dễ dàng. Chúng tôi kết luận rằng a) các mô hình sâu gặp khó khăn trong việc hiểu nội dung tổng hợp, và có thể hoạt động tốt hơn sau khi tinh chỉnh, và b) có một sự thay đổi phân phối lớn giữa hình ảnh tổng hợp và hình ảnh thực.’

Với số lượng lớn hình ảnh tổng hợp đang tràn ngập internet sau khi mở mã nguồn mô hình tổng hợp khuếch tán Stable Diffusion, khả năng xảy ra là khi ‘hình ảnh giả’ tràn vào các tập dữ liệu tiêu chuẩn của ngành như Common Crawl, sự khác biệt về độ chính xác qua các năm có thể bị ảnh hưởng đáng kể bởi ‘hình ảnh không thực’.

Mặc dù dữ liệu tổng hợp đã được ca ngợi là cứu cánh tiềm năng cho lĩnh vực nghiên cứu thị giác máy tính thiếu dữ liệu, thường thiếu nguồn lực và ngân sách cho việc thu thập dữ liệu quy mô lớn, luồng dữ liệu tổng hợp mới (cùng với sự gia tăng tổng thể của hình ảnh tổng hợp kể từ khi sự kiện và thương mại hóa DALL-E 2) không có khả năng đi kèm với nhãn, chú thích và thẻ phân loại giúp phân biệt chúng là ‘giả’ tại thời điểm mà các hệ thống thị giác máy tính thu thập chúng từ internet.

Tốc độ phát triển của các khuôn khổ tổng hợp hình ảnh mã nguồn mở đã vượt quá khả năng của chúng ta trong việc phân loại hình ảnh từ các hệ thống này, dẫn đến sự quan tâm ngày càng tăng đến các hệ thống phát hiện ‘hình ảnh giả’, tương tự như hệ thống phát hiện deepfake, nhưng được giao nhiệm vụ đánh giá toàn bộ hình ảnh thay vì phần của khuôn mặt.

Bài báo mới có tiêu đề How good are deep models in understanding the generated images?, và đến từ Ali Borji của công ty khởi nghiệp trí tuệ nhân tạo Quintic AI ở San Francisco.

Dữ Liệu

Nghiên cứu này được thực hiện trước khi phát hành Stable Diffusion, và các thí nghiệm sử dụng dữ liệu được tạo bởi DALL-E 2 và Midjourney trên 17 thể loại, bao gồm voi, nấm, bánh pizza, bánh pretzel, xe tractor và thỏ.

[caption id="attachment_183625" align="alignnone" width="655"] Ví dụ về hình ảnh mà từ đó các hệ thống nhận biết và VQA được thử thách để xác định khái niệm chính quan trọng nhất.

Hình ảnh được thu thập thông qua tìm kiếm web và Twitter, và theo chính sách của DALL-E 2 (ít nhất vào thời điểm đó), không bao gồm bất kỳ hình ảnh nào có khuôn mặt người. Chỉ những hình ảnh chất lượng tốt, có thể nhận biết được bởi con người, mới được chọn.

Hai tập hợp hình ảnh được tạo, một cho nhiệm vụ nhận biết đối tượng và một cho nhiệm vụ VQA.

Số lượng hình ảnh trong mỗi thể loại được thử nghiệm cho nhận biết đối tượng.

Thử Nghiệm Nhận Biết Đối Tượng

Đối với các thử nghiệm nhận biết đối tượng, mười mô hình, tất cả được đào tạo trên ImageNet, đã được thử nghiệm: AlexNet, ResNet152, MobileNetV2, DenseNet, ResNext, GoogleNet, ResNet101, Inception_V3, Deit, và ResNext_WSL.

Một số lớp trong các hệ thống được thử nghiệm có mức độ chi tiết khác nhau, đòi hỏi phải áp dụng các phương pháp trung bình. Ví dụ, ImageNet chứa ba lớp liên quan đến ‘đồng hồ’, và cần phải xác định một số loại thước đo tùy ý, nơi việc bao gồm bất kỳ ‘đồng hồ’ nào trong số năm nhãn được dự đoán hàng đầu cho bất kỳ hình ảnh nào được coi là một thành công trong trường hợp đó.

Hiệu suất của từng mô hình trên 17 thể loại.

Mô hình hoạt động tốt nhất trong vòng này là resnext101_32x8d_ws, đạt gần 60% cho top-1 (tức là những lần dự đoán đầu tiên trong năm lần đoán là chính xác) và 80% cho top-five (tức là khái niệm mong muốn được liệt kê ít nhất một lần trong năm lần đoán của mô hình).

Tác giả cho rằng hiệu suất tốt của mô hình này là do nó được đào tạo để dự đoán hashtag yếu trên các nền tảng truyền thông xã hội. Tuy nhiên, những kết quả dẫn đầu này, tác giả lưu ý, đáng chú ý là thấp hơn nhiều so với những gì ImageNet có thể đạt được trên dữ liệu thực, tức là 91% và 99%. Ông đề xuất rằng điều này là do sự chênh lệch lớn giữa phân phối hình ảnh của ImageNet (cũng được thu thập từ web) và hình ảnh tổng hợp.

Năm thể loại khó nhất cho hệ thống, theo thứ tự khó khăn, là đường bay, rùa, sóc, kính râm và mũ bảo hiểm. Bài báo lưu ý rằng lớp đường bay thường bị nhầm lẫn với bóng bay, đệm hơi và ô, mặc dù những sự khác biệt này rất dễ dàng cho người quan sát phân biệt.

Certain thể loại, bao gồm đường bay và rùa, gây ra thất bại chung trên tất cả các mô hình, trong khi những thể loại khác (đáng chú ý là bánh pretzel và xe tractor) dẫn đến thành công gần như chung trên tất cả các mô hình được thử nghiệm.

Thể loại phân cực: một số thể loại mục tiêu được chọn hoặc gây khó khăn cho tất cả các mô hình hoặc khá dễ dàng cho tất cả các mô hình để xác định.

Các tác giả cho rằng những phát hiện này cho thấy rằng tất cả các mô hình nhận biết đối tượng có thể chia sẻ điểm mạnh và điểm yếu tương tự.

Thử Nghiệm Trả Lời Câu Hỏi Thị Giác

Tiếp theo, tác giả đã thử nghiệm các mô hình VQA trên câu hỏi mở và tự do VQA, với câu hỏi nhị phân (tức là câu hỏi có thể trả lời ‘có’ hoặc ‘không’). Bài báo lưu ý rằng các mô hình VQA hiện đại gần đây có thể đạt được độ chính xác 95% trên tập dữ liệu VQA-v2.

Đối với giai đoạn thử nghiệm này, tác giả đã tạo 50 hình ảnh và xây dựng 241 câu hỏi xung quanh chúng, trong đó 132 câu có câu trả lời tích cực và 109 câu có câu trả lời tiêu cực. Độ dài câu hỏi trung bình là 5,12 từ.

Vòng này sử dụng mô hình OFA, một khuôn khổ nhiệm vụ tổng quát và mô thức tổng quát để kiểm tra tính toàn diện của nhiệm vụ, và gần đây là người dẫn đầu trong tập thử nghiệm VQA-v2.  OFA đạt được độ chính xác 77,27% trên hình ảnh tổng hợp, so với 94,7% trong tập thử nghiệm VQA-v2.

Ví dụ về câu hỏi và kết quả từ phần VQA của thử nghiệm. ‘GT” là ‘Đường dẫn thực’, tức là câu trả lời chính xác.

Tác giả của bài báo đề xuất rằng một phần lý do có thể là do hình ảnh tổng hợp chứa các khái niệm ngữ nghĩa không có trong tập dữ liệu VQA-v2, và rằng các câu hỏi được viết cho thử nghiệm VQA có thể khó hơn so với tiêu chuẩn chung của các câu hỏi VQA-v2, mặc dù ông tin rằng lý do đầu tiên có khả năng xảy ra hơn.

LSD Trong Dòng Dữ Liệu?

Ý Kiến

Sự phổ biến mới của hình ảnh tổng hợp bởi trí tuệ nhân tạo, có thể trình bày các sự kết hợp và trừu tượng của các khái niệm cốt lõi không tồn tại trong tự nhiên, và sẽ tốn rất nhiều thời gian để sản xuất thông qua các phương pháp thông thường, có thể gây ra một vấn đề cụ thể cho các hệ thống thu thập dữ liệu yếu, có thể không thể thất bại một cách thanh lịch – chủ yếu vì chúng không được thiết kế để xử lý lượng lớn dữ liệu tổng hợp không được dán nhãn.

Trong những trường hợp như vậy, có thể có rủi ro rằng những hệ thống này sẽ đưa một tỷ lệ ‘kỳ lạ’ hình ảnh tổng hợp vào các lớp không chính xác chỉ vì hình ảnh có các đối tượng riêng biệt không thực sự thuộc cùng nhau.

‘Tài tử vũ trụ cưỡi ngựa’ có lẽ đã trở thành hình ảnh biểu tượng nhất cho thế hệ mới của các hệ thống tổng hợp hình ảnh – nhưng những ‘mối quan hệ không thực’ này có thể đi vào các hệ thống phát hiện thực tế trừ khi chúng ta cẩn thận. Nguồn: https://twitter.com/openai/status/1511714545529614338?lang=en

Trừ khi điều này có thể được ngăn chặn tại giai đoạn tiền xử lý trước khi đào tạo, những đường ống tự động hóa này có thể dẫn đến các mối quan hệ không thể xảy ra hoặc thậm chí là ghê tởm được đào tạo vào các hệ thống học máy, làm giảm hiệu quả của chúng và rủi ro truyền các mối quan hệ cấp cao vào các hệ thống và phân loại con xuống dòng.

Ngược lại, hình ảnh tổng hợp rời rạc có thể có ‘hiệu ứng làm mát’ đối với độ chính xác của các hệ thống sau này, trong trường hợp các kiến trúc hoặc sửa đổi mới xuất hiện nhằm giải quyết hình ảnh tổng hợp một cách tùy ý, và quét quá rộng.

Trong cả hai trường hợp, hình ảnh tổng hợp trong kỷ nguyên Stable Diffusion có thể chứng minh là một cơn đau đầu cho lĩnh vực nghiên cứu thị giác máy tính, những nỗ lực của nó đã làm cho những sáng tạo và khả năng kỳ lạ này trở nên có thể – không kém phần vì nó đe dọa đến hy vọng của lĩnh vực rằng việc thu thập và phân loại dữ liệu cuối cùng có thể được tự động hóa nhiều hơn so với hiện tại, và ít tốn kém và mất thời gian hơn.

Được xuất bản lần đầu vào ngày 1 tháng 9 năm 2022.