DALL-E 2 Chỉ Là ‘Dán Các Vật Cùng Nhau’ Mà Không Hiểu Quan Hệ Giữa Chúng?

Một bài nghiên cứu mới từ Đại học Harvard cho thấy rằng khuôn khổ tạo ảnh từ văn bản DALL-E 2 của OpenAI có khó khăn đáng kể trong việc tái tạo thậm chí các quan hệ cơ bản giữa các yếu tố mà nó tổng hợp thành ảnh được tổng hợp, mặc dù sự tinh vi đáng kinh ngạc của nhiều phần của đầu ra.

Các nhà nghiên cứu đã thực hiện một nghiên cứu người dùng liên quan đến 169 người tham gia được tuyển dụng từ đám đông, những người được trình bày các hình ảnh DALL-E 2 dựa trên các nguyên tắc cơ bản của con người về ngữ nghĩa quan hệ, cùng với các lời nhắc văn bản đã tạo ra chúng. Khi được hỏi liệu các lời nhắc và hình ảnh có liên quan hay không, ít hơn 22% hình ảnh được coi là liên quan đến lời nhắc liên quan, về mặt các quan hệ rất đơn giản mà DALL-E 2 được yêu cầu hình dung.

Một ảnh chụp màn hình từ các thử nghiệm được thực hiện cho bài báo mới. Người tham gia được yêu cầu chọn tất cả các hình ảnh phù hợp với lời nhắc. Source: https://arxiv.org/pdf/2208.00005.pdf

Kết quả cũng cho thấy khả năng kết hợp các yếu tố khác nhau của DALL-E có thể giảm khi các yếu tố đó trở nên ít có khả năng xảy ra trong dữ liệu đào tạo thực tế mà hệ thống dựa vào.

Ví dụ, hình ảnh cho lời nhắc ‘trẻ em chạm vào một bát’ đạt được tỷ lệ đồng ý 87% (tức là người tham gia đã nhấp vào hầu hết các hình ảnh liên quan đến lời nhắc), trong khi các bản kết xuất photorealistic tương tự của ‘khỉ chạm vào một loài thằn lằn’ chỉ đạt được 11% đồng ý:

DALL-E gặp khó khăn trong việc mô tả sự kiện không thể xảy ra của một ‘khỉ chạm vào một loài thằn lằn’.

Trong ví dụ thứ hai, DALL-E 2 thường xuyên sai về quy mô và thậm chí là loài, có thể là do sự thiếu sót của hình ảnh thực tế mô tả sự kiện này. Ngược lại, nó hợp lý khi mong đợi một số lượng lớn hình ảnh đào tạo liên quan đến trẻ em và thực phẩm, và rằng miền con / lớp này được phát triển tốt.

Khó khăn của DALL-E trong việc kết hợp các yếu tố hình ảnh tương phản mạnh mẽ cho thấy rằng công chúng hiện đang bị choáng ngợp bởi khả năng tạo ảnh photorealistic và diễn giải rộng rãi của hệ thống, đến mức họ chưa phát triển được mắt phê phán cho các trường hợp hệ thống đã hiệu quả ‘dán’ một yếu tố lên một yếu tố khác, như trong các ví dụ này từ trang web chính thức của DALL-E 2:

Tổng hợp cắt và dán, từ các ví dụ chính thức cho DALL-E 2. Source: https://openai.com/dall-e-2/

The new paper states*:

‘Sự hiểu biết quan hệ là một thành phần cơ bản của trí thông minh con người, được thể hiện sớm trong sự phát triển, và được tính toán nhanh chóng và tự động trong nhận thức.

‘Khó khăn của DALL-E 2 với các quan hệ không gian cơ bản (như trong, trên, dưới) cho thấy rằng bất cứ điều gì nó đã học, nó đã không học được các loại biểu diễn cho phép con người cấu trúc thế giới một cách linh hoạt và mạnh mẽ.

‘Một cách giải thích trực tiếp về khó khăn này là các hệ thống như DALL-E 2 không có thành phần quan hệ.’

Các tác giả đề xuất rằng các hệ thống tạo ảnh hướng dẫn bằng văn bản như DALL-E có thể được hưởng lợi từ việc tận dụng các thuật toán phổ biến trong lĩnh vực robot, mô hình hóa đồng thời danh tính và quan hệ, do nhu cầu của tác nhân phải tương tác với môi trường thay vì chỉ tạo ra một sự kết hợp của các yếu tố đa dạng.

Một cách tiếp cận như vậy, có tên là CLIPort, sử dụng cùng một cơ chế CLIP phục vụ như một yếu tố đánh giá chất lượng trong DALL-E 2:

CLIPort, một sự hợp tác năm 2021 giữa Đại học Washington và NVIDIA, sử dụng CLIP trong một ngữ cảnh thực tế đến mức các hệ thống được đào tạo trên nó phải phát triển sự hiểu biết về quan hệ vật lý. Source: https://arxiv.org/pdf/2109.12098.pdf

Các tác giả đề xuất thêm rằng một bản nâng cấp khác có thể là việc kết hợp các hiệu ứng nhân trong một lớp tính toán duy nhất, cho phép tính toán quan hệ theo cách được truyền cảm hứng từ khả năng xử lý thông tin của hệ thống sinh học sinh học.

Bài báo mới có tiêu đề Testing Relational Understanding in Text-Guided Image Generation, và đến từ Colin Conwell và Tomer D. Ullman tại Bộ phận Tâm lý học của Harvard.

Beyond Early Criticism

Nhận xét về ‘mánh lới’ đằng sau tính hiện thực và tính toàn vẹn của đầu ra DALL-E 2, các tác giả lưu ý đến các công việc trước đó đã tìm thấy những điểm yếu trong các hệ thống tạo ảnh sinh DALL-E.

Vào tháng 6 này, UoC Berkeley lưu ý khó khăn của DALL-E trong việc xử lý phản xạ và bóng; cùng tháng, một nghiên cứu từ Hàn Quốc đã điều tra ‘sự độc đáo’ và tính nguyên bản của đầu ra DALL-E 2 với một cái nhìn phê phán; một phân tích sơ bộ của hình ảnh DALL-E 2, ngay sau khi ra mắt, từ NYU và Đại học Texas, đã tìm thấy các vấn đề với tính thành phần và các yếu tố quan trọng khác trong hình ảnh DALL-E 2; và tháng trước, một công việc chung giữa Đại học Illinois và MIT đã đề xuất các cải tiến kiến trúc cho các hệ thống như vậy về mặt tính thành phần.

Các nhà nghiên cứu lưu ý thêm rằng các chuyên gia DALL-E như Aditya Ramesh đã thừa nhận các vấn đề của khuôn khổ với việc gắn kết, kích thước tương đối, văn bản và các thách thức khác.

Các nhà phát triển đằng sau hệ thống tổng hợp hình ảnh Imagen của Google cũng đã đề xuất DrawBench, một hệ thống so sánh mới để đo lường độ chính xác của hình ảnh trên các khuôn khổ khác nhau với các chỉ số đa dạng.

Thay vào đó, các tác giả của bài báo mới đề xuất rằng một kết quả tốt hơn có thể được đạt được bằng cách sử dụng ước tính của con người – chứ không phải các chỉ số thuật toán – để xác định điểm yếu và những gì có thể được thực hiện để giảm thiểu chúng.

The Study

Để đạt được điều này, dự án mới dựa trên các nguyên tắc tâm lý và tìm cách rút lui khỏi sự quan tâm hiện tại sự quan tâm đến kỹ thuật lời nhắc (điều này, về bản chất, là một sự nhượng bộ cho các điểm yếu của DALL-E 2, hoặc bất kỳ hệ thống nào tương đương), để điều tra và có thể giải quyết các hạn chế khiến cho các ‘giải pháp’ như vậy trở nên cần thiết.

Bài báo cho biết:

‘Công việc hiện tại tập trung vào một tập hợp 15 quan hệ cơ bản trước đó đã được mô tả, kiểm tra hoặc đề xuất trong văn học nhận thức, phát triển hoặc ngôn ngữ. Tập hợp này chứa cả quan hệ không gian có căn cứ (ví dụ ’X trên Y’) và quan hệ đại lý trừu tượng hơn (ví dụ ’X giúp Y’).

‘Các lời nhắc là có chủ ý đơn giản, không có sự phức tạp của thuộc tính hoặc trình bày. Đó là, thay vì một lời nhắc như ‘một con lừa và một con bạch tuộc đang chơi một trò chơi. Con lừa đang cầm một sợi dây ở một đầu, con bạch tuộc đang cầm vào đầu kia. Con lừa cầm dây trong miệng. Một con mèo đang nhảy qua dây’, chúng tôi sử dụng ‘một hộp trên một con dao’.

‘Đơn giản vẫn nắm bắt được một loạt các quan hệ từ nhiều lĩnh vực con của tâm lý học con người, và làm cho các thất bại của mô hình trở nên rõ ràng và cụ thể hơn.’

Đối với nghiên cứu của họ, các tác giả đã tuyển dụng 169 người tham gia từ Prolific, tất cả đều nằm ở Hoa Kỳ, với độ tuổi trung bình là 33 và 59% nữ.

Người tham gia được trình bày 18 hình ảnh được tổ chức thành một lưới 3×6 với lời nhắc ở trên và một thông báo ở cuối cho biết rằng tất cả, một số hoặc không có hình ảnh có thể được tạo từ lời nhắc được hiển thị, và sau đó được yêu cầu chọn hình ảnh mà họ nghĩ là liên quan theo cách này.

Hình ảnh được trình bày cho các cá nhân dựa trên văn học ngôn ngữ, phát triển và nhận thức, bao gồm một tập hợp tám quan hệ vật lý và bảy quan hệ ‘đại lý’ (điều này sẽ trở nên rõ ràng trong một lúc).

Quan hệ vật lý
trong, trên, dưới, che phủ, gần, bị che khuất bởi, treo trên, và được gắn vào.

Quan hệ đại lý
đẩy, kéo, chạm, đánh, đá, giúp đỡ, vàcản trở.

Tất cả các quan hệ này được rút ra từ các lĩnh vực nghiên cứu trước đó không phải là CS.

Mười hai thực thể đã được suy ra để sử dụng trong các lời nhắc, với sáu đối tượng và sáu đại lý:

Đối tượng
hộp, xy lanh, chăn, bát, tách, vàdao.

Đại lý
người đàn ông, người phụ nữ, trẻ em, robot, khỉ, vàthằn lằn.

(Các nhà nghiên cứu thừa nhận rằng việc bao gồm thằn lằn, không phải là một phần chính của nghiên cứu xã hội học hoặc tâm lý học khô khan, là ‘một điều trị’)

Đối với mỗi quan hệ, năm lời nhắc khác nhau được tạo bằng cách lấy mẫu ngẫu nhiên hai thực thể năm lần, kết quả là 75 lời nhắc tổng thể, mỗi lời nhắc được gửi đến DALL-E 2, và cho mỗi lời nhắc, 18 hình ảnh ban đầu được sử dụng, không có sự thay đổi hoặc cơ hội thứ hai được phép.

Results

Bài báo cho biết*:

‘Người tham gia trung bình báo cáo một lượng đồng ý thấp giữa hình ảnh DALL-E 2 và các lời nhắc được sử dụng để tạo ra chúng, với trung bình 22,2% [18,3, 26,6] trên 75 lời nhắc riêng biệt.

‘Các lời nhắc đại lý, với trung bình 28,4% [22,8, 34,2] trên 35 lời nhắc, tạo ra sự đồng ý cao hơn so với các lời nhắc vật lý, với trung bình 16,9% [11,9, 23,0] trên 40 lời nhắc.’

Kết quả từ nghiên cứu. Các điểm màu đen biểu thị tất cả các lời nhắc, với mỗi điểm là một lời nhắc riêng.

Để so sánh sự khác biệt giữa nhận thức của con người và thuật toán về hình ảnh, các nhà nghiên cứu đã chạy các bản kết xuất của họ thông qua khuôn khổ CLIP dựa trên ViT-L/14 mã nguồn mở của OpenAI. Trung bình các điểm số, họ tìm thấy một mối quan hệ vừa phải giữa hai tập kết quả, điều này có thể gây ngạc nhiên, xem xét mức độ mà CLIP giúp tạo ra hình ảnh.

Kết quả của so sánh CLIP (ViT-L/14) với phản hồi của con người.

Các nhà nghiên cứu đề xuất rằng các cơ chế khác trong kiến trúc, có thể kết hợp với sự phong phú hoặc thiếu sót của dữ liệu trong tập đào tạo, có thể giải thích cách CLIP có thể nhận ra các hạn chế của DALL-E mà không thể làm gì nhiều về vấn đề.

Các tác giả kết luận rằng DALL-E 2 chỉ có một khả năng danh nghĩa, nếu có, để tái tạo hình ảnh bao gồm sự hiểu biết quan hệ, một khía cạnh cơ bản của trí thông minh con người phát triển rất sớm.

‘Sự kiện rằng các hệ thống như DALL-E 2 không có thành phần có thể đến như một sự ngạc nhiên cho bất kỳ ai đã thấy các phản hồi hợp lý của DALL-E 2 với các lời nhắc như ‘một bản vẽ hoạt hình của một củ cải đường daikon trong một váy ballet đang đi dạo một con chó poodle’. Các lời nhắc như vậy thường tạo ra một sự gần似 hợp lý của một khái niệm thành phần, với tất cả các phần của lời nhắc hiện diện, và hiện diện ở đúng nơi.

‘Tính thành phần, tuy nhiên, không chỉ là khả năng dán các thứ lại với nhau – ngay cả những thứ bạn có thể chưa bao giờ quan sát trước đây. Tính thành phần đòi hỏi sự hiểu biết về quy tắc ràng buộc các thứ lại với nhau. Quan hệ là những quy tắc như vậy.’

Man Bites T-Rex

Ý kiến Khi OpenAI mở rộng quyền truy cập vào DALL-E 2 cho số lượng người dùng lớn hơn sau khi tiền hóa beta gần đây của DALL-E 2, và vì bây giờ bạn phải trả tiền cho hầu hết các lần tạo, các hạn chế về hiểu biết quan hệ của DALL-E 2 có thể trở nên rõ ràng hơn khi mỗi ‘thử nghiệm không thành công’ có trọng lượng tài chính và không có khoản hoàn trả nào có sẵn.

Những người chúng tôi đã nhận được lời mời một chút sớm hơn đã có thời gian (và, cho đến gần đây, nhiều thời gian hơn để chơi với hệ thống) để quan sát một số ‘lỗi quan hệ’ mà DALL-E 2 có thể phát ra.

Ví dụ, đối với một người hâm mộ Jurassic Park, rất khó để có được một con khủng long đuổi theo một người trong DALL-E 2, ngay cả khi khái niệm ‘đuổi’ không có vẻ như nằm trong hệ thống kiểm duyệt của DALL-E 2, và ngay cả khi lịch sử lâu dài của các bộ phim về khủng long nên cung cấp nhiều ví dụ đào tạo (ít nhất là dưới dạng trailer và ảnh quảng cáo) cho cuộc gặp gỡ không thể xảy ra này giữa các loài.

Một phản hồi điển hình của DALL-E 2 cho lời nhắc ‘Một ảnh màu của một con T-Rex đuổi một người xuống đường’. Source: DALL-E 2

Tôi đã tìm thấy rằng các hình ảnh trên là điển hình cho các biến thể của thiết kế lời nhắc ‘[khủng long] đuổi [một người]’, và rằng không có sự tinh chỉnh nào trong lời nhắc có thể khiến con T-Rex thực sự tuân thủ. Trong ảnh đầu tiên và thứ hai, người đàn ông đang (hơn hoặc kém) đuổi con T-Rex; trong ảnh thứ ba, anh ta đang tiếp cận nó với sự bất cẩn về an toàn; và trong ảnh cuối cùng, dường như anh ta đang chạy song song với con thú khổng lồ. Trong khoảng 10-15 lần thử nghiệm với chủ đề này, tôi đã tìm thấy rằng con khủng long bị ‘làm phân tâm’.

Có thể là dữ liệu đào tạo duy nhất mà DALL-E 2 có thể truy cập là theo đường lối của ‘người đàn ông chiến đấu với khủng long‘, từ các ảnh quảng cáo cho các bộ phim cũ như One Million Years B.C. (1966), và rằng sự sự trốn chạy nổi tiếng của Jeff Goldblum khỏi vua của các loài săn mồi chỉ là một ngoại lệ trong tập dữ liệu nhỏ đó.

* Tôi đã chuyển đổi các trích dẫn nội tuyến của tác giả thành liên kết.

Được xuất bản lần đầu vào ngày 4 tháng 8 năm 2022.