Nhìn gần hơn vào DALL-E 3 của OpenAI

Sự trỗi dậy của các mô hình khuếch tán

Trong 3 năm qua, trí tuệ nhân tạo thị giác đã chứng kiến sự trỗi dậy của các mô hình khuếch tán, đạt được một bước tiến đáng kể, đặc biệt là trong việc tạo ra hình ảnh. Trước các mô hình khuếch tán, Mạng nơ-ron đối kháng tạo sinh (GANs) là công nghệ được sử dụng để tạo ra hình ảnh thực tế.

GANs

Tuy nhiên, chúng có những thách thức của riêng mình, bao gồm nhu cầu về lượng dữ liệu và sức mạnh tính toán lớn, điều này thường khiến chúng khó xử lý.

Đó là khi các mô hình khuếch tán xuất hiện. Chúng nổi lên như một giải pháp thay thế ổn định và hiệu quả hơn cho GANs. Không giống như GANs, các mô hình khuếch tán hoạt động bằng cách thêm nhiễu vào dữ liệu, che giấu nó cho đến khi chỉ còn lại sự ngẫu nhiên. Sau đó, chúng làm việc ngược lại để đảo ngược quá trình này, tái tạo dữ liệu có ý nghĩa từ nhiễu. Quá trình này đã chứng minh là hiệu quả và ít tốn tài nguyên hơn, khiến các mô hình khuếch tán trở thành chủ đề nóng trong cộng đồng trí tuệ nhân tạo.

Điểm chuyển biến thực sự xảy ra vào khoảng năm 2020, với một loạt các bài báo đổi mới và sự ra đời của công nghệ CLIP của OpenAI, đã thúc đẩy đáng kể khả năng của các mô hình khuếch tán. Điều này đã khiến các mô hình khuếch tán trở nên đặc biệt tốt trong việc tổng hợp hình ảnh từ văn bản, cho phép chúng tạo ra hình ảnh thực tế từ mô tả văn bản. Những đột phá này không chỉ trong việc tạo ra hình ảnh, mà còn trong các lĩnh vực như sáng tác nhạc và nghiên cứu sinh học y học.

Ngày nay, các mô hình khuếch tán không chỉ là chủ đề của sự quan tâm học thuật mà còn được sử dụng trong các kịch bản thực tế, thế giới thực.

Mô hình hóa tạo sinh và lớp tự chú ý: DALL-E 3

Nguồn

Một trong những tiến bộ quan trọng trong lĩnh vực này là sự tiến hóa của mô hình hóa tạo sinh, với các phương pháp lấy mẫu như mô hình hóa tạo sinh tự hồi quy và các quá trình khuếch tán dẫn đầu, đã dẫn đến sự cải thiện đáng kể về hiệu suất. Bằng cách chia nhỏ việc tạo ra hình ảnh thành các bước rời rạc, những mô hình này đã trở nên dễ dàng hơn cho mạng nơ-ron để học.

Song song, việc sử dụng các lớp tự chú ý đã đóng vai trò quan trọng. Những lớp này, khi được xếp chồng lên nhau, đã giúp tạo ra hình ảnh mà không cần có sự thiên vị không gian ngầm, một vấn đề phổ biến với các convolution. Sự thay đổi này đã cho phép các mô hình văn bản-sang-hình ảnh có thể mở rộng và cải thiện một cách đáng tin cậy, nhờ vào các tính chất mở rộng đã được hiểu rõ của các transformer.

Thách thức và giải pháp trong tạo ra hình ảnh

Mặc dù có những tiến bộ, việc kiểm soát trong tạo ra hình ảnh vẫn còn là một thách thức. Các vấn đề như việc tuân theo lời nhắc, nơi mô hình có thể không tuân theo sát văn bản đầu vào, đã phổ biến. Để giải quyết vấn đề này, các phương pháp mới như cải thiện chú thích đã được đề xuất, nhằm mục đích nâng cao chất lượng của các cặp văn bản và hình ảnh trong tập dữ liệu đào tạo.

Cải thiện chú thích: Một phương pháp mới

Cải thiện chú thích liên quan đến việc tạo ra các chú thích chất lượng cao hơn cho hình ảnh, điều này sau đó giúp đào tạo các mô hình văn bản-sang-hình ảnh chính xác hơn. Điều này được thực hiện thông qua một hệ thống chú thích hình ảnh mạnh mẽ tạo ra các mô tả chi tiết và chính xác của hình ảnh. Bằng cách đào tạo trên những chú thích cải thiện này, DALL-E 3 đã đạt được kết quả đáng chú ý, gần giống với các bức tranh và tác phẩm nghệ thuật do con người tạo ra.

Đào tạo trên dữ liệu tổng hợp

Khái niệm đào tạo trên dữ liệu tổng hợp không mới. Tuy nhiên, đóng góp độc đáo ở đây là việc tạo ra một hệ thống chú thích hình ảnh mới, mô tả. Tác động của việc sử dụng các chú thích tổng hợp để đào tạo các mô hình tạo sinh đã đáng kể, dẫn đến sự cải thiện trong khả năng của mô hình trong việc tuân theo lời nhắc một cách chính xác.

Đánh giá DALL-E 3

Thông qua nhiều đánh giá và so sánh với các mô hình trước đó như DALL-E 2 và Stable Diffusion XL, DALL-E 3 đã thể hiện hiệu suất vượt trội, đặc biệt là trong các nhiệm vụ liên quan đến việc tuân theo lời nhắc.

So sánh các mô hình văn bản-sang-hình ảnh trên các đánh giá khác nhau

Sử dụng các đánh giá tự động và các điểm chuẩn đã cung cấp bằng chứng rõ ràng về khả năng của nó, củng cố vị trí của nó như một mô hình văn bản-sang-hình ảnh hàng đầu.