Tương lai của Tạo hình ảnh tăng cường RAG

Các mô hình khuếch tán tạo sinh như Stable Diffusion, Flux và các mô hình video như Hunyuan phụ thuộc vào kiến thức thu được trong một phiên đào tạo duy nhất, sử dụng một tập dữ liệu cố định. Bất kỳ khái niệm nào được giới thiệu sau phiên đào tạo này – được gọi là điểm cắt kiến thức – sẽ không có trong mô hình trừ khi được bổ sung thông qua đào tạo tinh chỉnh hoặc các kỹ thuật thích nghi bên ngoài như Thích nghi cấp thấp (LoRA).

Do đó, sẽ lý tưởng nếu một hệ thống tạo sinh có thể truy cập các nguồn trực tuyến và đưa chúng vào quá trình tạo sinh khi cần. Ví dụ, một mô hình khuếch tán không biết gì về sản phẩm mới nhất của Apple hoặc Tesla vẫn có thể tạo ra hình ảnh chứa các sản phẩm này.

Về các mô hình ngôn ngữ, hầu hết chúng ta đều quen thuộc với các hệ thống như Perplexity, Notebook LM và ChatGPT-4o, có thể kết hợp thông tin bên ngoài mới vào một mô hình Tạo sinh tăng cường RAG.

Quá trình RAG giúp phản hồi của ChatGPT 4o trở nên liên quan hơn. Nguồn: https://chatgpt.com/

Tuy nhiên, đây là một tính năng không phổ biến khi tạo hình ảnh, và ChatGPT sẽ thừa nhận những hạn chế của nó trong khía cạnh này:

ChatGPT 4o đã đưa ra một dự đoán tốt về hình ảnh của một chiếc đồng hồ mới dựa trên thiết kế chung và mô tả mà nó đã giải thích; nhưng nó không thể ‘hấp thụ’ và tích hợp hình ảnh mới vào quá trình tạo sinh DALL-E.

Việc kết hợp dữ liệu được truy xuất từ bên ngoài vào một hình ảnh được tạo ra là một thách thức vì hình ảnh đến phải được chia nhỏ thành các mã và bản nhúng, sau đó được ánh xạ đến kiến thức về miền đã được đào tạo của mô hình.

Mặc dù quá trình này hoạt động hiệu quả cho các công cụ hậu đào tạo như ControlNet, nhưng những thao tác này vẫn còn bề mặt, về cơ bản là đưa hình ảnh được truy xuất qua một đường ống kết xuất, nhưng không tích hợp sâu nó vào biểu diễn nội bộ của mô hình.

Do đó, mô hình thiếu khả năng tạo ra những quan điểm mới theo cách mà các hệ thống kết xuất thần kinh như NeRF có thể, những hệ thống này xây dựng các cảnh với sự hiểu biết không gian và cấu trúc thực sự.

Logic trưởng thành

Một hạn chế tương tự áp dụng cho các truy vấn dựa trên RAG trong các Mô hình Ngôn ngữ Lớn (LLM), chẳng hạn như Perplexity. Khi một mô hình như vậy xử lý dữ liệu được truy xuất từ bên ngoài, nó hoạt động nhiều như một người trưởng thành dựa vào kiến thức suốt đời để suy luận về một chủ đề.

Tuy nhiên, giống như một người không thể tích hợp thông tin mới vào khuôn khổ nhận thức đã định hình nên quan điểm cơ bản của họ – khi những thành kiến và quan niệm của họ vẫn đang được hình thành – một LLM không thể hòa hợp kiến thức mới vào cấu trúc đã được đào tạo của nó.

Thay vào đó, nó chỉ có thể ‘tác động’ hoặc đặt dữ liệu mới lên kiến thức nội bộ đã được nội hóa của nó, sử dụng các nguyên tắc đã học để phân tích và suy đoán chứ không phải tổng hợp ở cấp độ cơ bản.

Sự thiếu tương đương giữa đặt cạnh nhau và nội hóa trong tạo sinh này có thể sẽ rõ ràng hơn trong một hình ảnh được tạo ra so với tạo sinh dựa trên ngôn ngữ:

Rủi ro ẩn của Tạo hình ảnh tăng cường RAG

Ngay cả khi việc tích hợp hình ảnh được truy xuất từ internet vào hình ảnh được tạo ra một cách mượt mà theo phong cách RAG là khả thi về mặt kỹ thuật, thì các hạn chế liên quan đến an toàn sẽ đưa ra một thách thức bổ sung.

Nhiều tập dữ liệu được sử dụng để đào tạo các mô hình tạo sinh đã được thu thập để giảm thiểu sự hiện diện của nội dung rõ ràng, phân biệt chủng tộc hoặc bạo lực, trong số các loại nội dung nhạy cảm khác. Tuy nhiên, quá trình này không hoàn hảo và các mối quan hệ dư thừa có thể vẫn tồn tại. Để giảm thiểu điều này, các hệ thống như DALL·E và Adobe Firefly dựa vào các cơ chế lọc thứ cấp để kiểm tra cả lời nhắc nhập và hình ảnh được tạo ra để tìm nội dung bị cấm.

Do đó, một bộ lọc NSFW đơn giản – chủ yếu chặn nội dung rõ ràng – sẽ không đủ để đánh giá tính chấp nhận của dữ liệu RAG dựa trên truy xuất. Dữ liệu như vậy vẫn có thể gây khó chịu hoặc gây hại theo những cách nằm ngoài các tham số điều tiết được định nghĩa trước của mô hình, có khả năng giới thiệu vật liệu mà AI không có sự nhận thức về ngữ cảnh để đánh giá đúng.

Khám phá một lỗ hổng mới đây trong DeepSeek do CCP sản xuất, được thiết kế để подав thảo luận về nội dung chính trị bị cấm, đã làm nổi bật cách các đường dẫn đầu vào thay thế có thể bị khai thác để vượt qua các biện pháp bảo vệ đạo đức của mô hình; có thể lập luận rằng điều này cũng áp dụng cho dữ liệu mới tùy ý được truy xuất từ internet khi nó được định hướng để được tích hợp vào tạo hình ảnh mới.

RAG cho Tạo hình ảnh

Mặc dù những thách thức và khía cạnh chính trị phức tạp này, một số dự án đã xuất hiện nhằm sử dụng các phương pháp dựa trên RAG để kết hợp dữ liệu mới vào tạo hình ảnh.

ReDi

Dự án Retrieval-based Diffusion (ReDi) năm 2023 là một khuôn khổ không cần đào tạo giúp tăng tốc độ suy luận của mô hình khuếch tán bằng cách truy xuất đường đi tương tự từ một cơ sở dữ liệu kiến thức đã được tính toán trước.

Các giá trị từ một tập dữ liệu có thể được ‘mượn’ cho một tạo sinh mới trong ReDi. Nguồn: https://arxiv.org/pdf/2302.02285

Trong bối cảnh của các mô hình khuếch tán, một đường đi là con đường từng bước mà mô hình thực hiện để tạo ra một hình ảnh từ tiếng ồn thuần túy. Thông thường, quá trình này diễn ra逐渐 qua nhiều bước, với mỗi bước tinh chỉnh hình ảnh một chút.

ReDi tăng tốc quá trình này bằng cách bỏ qua một số bước đó. Thay vì tính toán mọi bước, nó truy xuất một đường đi tương tự trong quá khứ từ cơ sở dữ liệu và nhảy đến một điểm sau trong quá trình. Điều này giảm số lượng tính toán cần thiết, làm cho tạo hình ảnh dựa trên khuếch tán nhanh hơn nhiều, đồng thời vẫn giữ chất lượng cao.

ReDi không sửa đổi trọng số của mô hình khuếch tán, nhưng thay vào đó sử dụng cơ sở dữ liệu kiến thức để bỏ qua các bước trung gian, do đó giảm số lượng ước tính hàm cần thiết cho quá trình lấy mẫu.

Tất nhiên, điều này không giống như việc kết hợp các hình ảnh cụ thể vào một yêu cầu tạo sinh; nhưng nó liên quan đến các loại tạo sinh tương tự.

Phát hành vào năm 2022, năm mà các mô hình khuếch tán tiềm ẩn chụp được trí tưởng tượng của công chúng, ReDi dường như là một trong những cách tiếp cận khuếch tán đầu tiên dựa trên RAG.

Mặc dù nó nên được đề cập rằng vào năm 2021, Facebook Research đã phát hành Instance-Conditioned GAN, nhằm điều kiện hình ảnh GAN trên các đầu vào hình ảnh mới; loại đường chiếu này vào không gian tiềm ẩn cực kỳ phổ biến trong tài liệu, cả cho GAN và mô hình khuếch tán; thách thức là làm cho quá trình này không cần đào tạo và chức năng trong thời gian thực, như các phương pháp RAG tập trung vào LLM.

RDM

Một nỗ lực đầu tiên khác để tăng cường tạo hình ảnh bằng RAG là Retrieval-Augmented Diffusion Models (RDM), giới thiệu một cách tiếp cận bán tham số cho tổng hợp hình ảnh.

Các hàng xóm gần nhất được truy xuất trong một truy vấn giả trong RDM*.

Trong quá trình đào tạo, mô hình truy xuất hàng xóm gần nhất (hình ảnh tương tự về mặt trực quan hoặc ngữ nghĩa) từ cơ sở dữ liệu bên ngoài, để hướng dẫn quá trình tạo sinh.

Quá trình truy xuất được cung cấp bởi CLIP bản nhúng, được thiết kế để buộc các hình ảnh được truy xuất phải chia sẻ sự tương đồng có ý nghĩa với truy vấn, và cũng cung cấp thông tin mới để cải thiện tạo sinh.

Điều này giảm sự phụ thuộc vào tham số, tạo điều kiện cho các mô hình nhỏ hơn đạt được kết quả cạnh tranh mà không cần tập dữ liệu đào tạo rộng lớn.

Cách tiếp cận RDM hỗ trợ sửa đổi sau: các nhà nghiên cứu có thể thay thế cơ sở dữ liệu tại thời điểm suy luận, cho phép thích nghi không cần đào tạo với các phong cách, miền hoặc thậm chí các nhiệm vụ hoàn toàn khác như tạo kiểu hoặc tổng hợp có điều kiện theo lớp.

Ở các hàng dưới cùng, chúng ta thấy các hàng xóm gần nhất được vẽ vào quá trình khuếch tán trong RDM*.

Một lợi thế chính của RDM là khả năng cải thiện tạo hình ảnh mà không cần đào tạo lại mô hình. Bằng cách thay đổi cơ sở dữ liệu truy xuất, mô hình có thể tổng quát hóa các khái niệm mới mà nó không được đào tạo rõ ràng. Điều này đặc biệt hữu ích cho các ứng dụng mà chuyển đổi miền xảy ra, chẳng hạn như tạo ra hình ảnh y tế dựa trên các tập dữ liệu đang phát triển, hoặc thích nghi các mô hình văn bản-sang-hình ảnh cho các ứng dụng sáng tạo.

Tuy nhiên, các phương pháp dựa trên truy xuất như vậy phụ thuộc vào chất lượng và phạm vi của cơ sở dữ liệu bên ngoài, điều này làm cho việc thu thập dữ liệu trở thành một yếu tố quan trọng trong việc đạt được các tạo sinh chất lượng cao; và cách tiếp cận này vẫn còn xa so với một tương đương tạo hình ảnh của các tương tác RAG mà các LLM thương mại thường có.

ReMoDiffuse

ReMoDiffuse là một mô hình khuếch tán chuyển động tăng cường RAG được thiết kế cho tạo sinh chuyển động 3D của con người. Không giống như các mô hình tạo sinh chuyển động truyền thống chỉ dựa vào các biểu diễn đã học, ReMoDiffuse truy xuất các mẫu chuyển động từ một tập dữ liệu chuyển động lớn và tích hợp chúng vào quá trình làm mờ, theo một lược đồ tương tự như RDM (xem trên).

So sánh RAG tăng cường ReMoDiffuse (phải nhất) với các phương pháp trước đó. Nguồn: https://arxiv.org/pdf/2304.01116

Điều này cho phép mô hình tạo ra các chuỗi chuyển động được thiết kế để trở nên tự nhiên và đa dạng hơn, cũng như trung thành về mặt ngữ nghĩa với các lời nhắc văn bản của người dùng.

ReMoDiffuse sử dụng một cơ chế truy xuất kết hợp sáng tạo, chọn các chuỗi chuyển động dựa trên cả sự tương đồng ngữ nghĩa và động học, nhằm đảm bảo rằng các chuyển động được truy xuất không chỉ có liên quan về chủ đề mà còn có thể tích hợp vật lý khi đưa vào tạo sinh mới.

Mô hình sau đó tinh chỉnh các mẫu chuyển động được truy xuất này bằng cách sử dụng Transformer điều tiết bởi Ngữ nghĩa, có chọn lọc tích hợp kiến thức từ các chuyển động được truy xuất trong khi vẫn duy trì các đặc điểm đặc trưng của chuỗi tạo sinh:

Sơ đồ cho đường ống ReMoDiffuse.

Kỹ thuật Hỗn hợp Điều kiện của dự án cải thiện khả năng tổng quát hóa của mô hình trên các lời nhắc và điều kiện truy xuất khác nhau, cân bằng các mẫu chuyển động được truy xuất với các lời nhắc văn bản trong quá trình tạo sinh và điều chỉnh mức độ ảnh hưởng của từng nguồn tại mỗi bước.

Điều này giúp ngăn chặn các đầu ra không thực tế hoặc lặp lại, ngay cả đối với các lời nhắc hiếm gặp. Nó cũng giải quyết vấn đề nhạy cảm với quy mô thường gặp trong các kỹ thuật hướng dẫn phân loại miễn phí thường được sử dụng trong các mô hình khuếch tán.

RA-CM3

Bài báo năm 2023 của Stanford Retrieval-Augmented Multimodal Language Modeling (RA-CM3) cho phép hệ thống truy cập thông tin thế giới thực tại thời điểm suy luận:

Mô hình Mô hình hóa Ngôn ngữ Đa phương tiện tăng cường RAG (RA-CM3) của Stanford sử dụng hình ảnh được truy xuất từ internet để tăng cường quá trình tạo sinh, nhưng vẫn là một nguyên mẫu không có quyền truy cập công khai. Nguồn: https://cs.stanford.edu/~myasu/files/RACM3_slides.pdf

RA-CM3 tích hợp văn bản và hình ảnh được truy xuất vào đường ống tạo sinh, tăng cường cả tổng hợp văn bản-sang-hình ảnh và hình ảnh-sang-văn bản. Sử dụng CLIP để truy xuất và một Transformer làm trình tạo, mô hình tham khảo các tài liệu đa phương tiện liên quan trước khi tạo ra đầu ra.

Các điểm chuẩn trên MS-COCO cho thấy sự cải thiện đáng kể so với DALL-E và các hệ thống tương tự, đạt được giảm 12 điểm Fréchet Inception Distance (FID), với chi phí tính toán thấp hơn nhiều.

Tuy nhiên, giống như các phương pháp tăng cường RAG khác, RA-CM3 không internalize triệt để kiến thức được truy xuất. Thay vào đó, nó đặt dữ liệu mới lên mạng đã được đào tạo trước của nó, tương tự như một LLM tăng cường phản hồi với kết quả tìm kiếm. Mặc dù phương pháp này có thể cải thiện độ chính xác事 thực, nhưng nó không thay thế nhu cầu cập nhật đào tạo trong các lĩnh vực yêu cầu tổng hợp sâu.

Hơn nữa, một triển khai thực tế của hệ thống này dường như không được phát hành, ngay cả trên một nền tảng dựa trên API.

RealRAG

Một phát hành mới từ Trung Quốc, và cũng là lý do chúng ta xem xét các hệ thống tạo hình ảnh tăng cường RAG, được gọi là Tạo hình ảnh Thực tế tăng cường RAG (RealRAG).

Hình ảnh bên ngoài được vẽ vào RealRAG (giữa dưới).

RealRAG truy xuất hình ảnh thực của các đối tượng liên quan từ một cơ sở dữ liệu được lập từ các tập dữ liệu công khai như ImageNet, Stanford Cars, Stanford Dogs và Oxford Flowers. Sau đó, nó tích hợp các hình ảnh được truy xuất vào quá trình tạo sinh, giải quyết các khoảng trống kiến thức trong mô hình.

Một thành phần chính của RealRAG là học tương phản tự phản chiếu, đào tạo một mô hình truy xuất để tìm kiếm hình ảnh tham chiếu thông tin, thay vì chỉ chọn hình ảnh tương tự về mặt trực quan.

Các tác giả tuyên bố:

‘Điểm then chốt của chúng tôi là đào tạo một mô hình truy xuất mà truy xuất hình ảnh nằm ngoài không gian tạo sinh của trình tạo, nhưng lại gần với biểu diễn của lời nhắc văn bản.

‘Để làm điều này, chúng tôi đầu tiên tạo ra hình ảnh từ các lời nhắc văn bản đã cho và sau đó sử dụng các hình ảnh được tạo ra làm truy vấn để truy xuất các hình ảnh liên quan nhất trong cơ sở dữ liệu dựa trên đối tượng thực. Các hình ảnh liên quan nhất này được sử dụng làm phản xạ tiêu cực.’

Cách tiếp cận này đảm bảo rằng các hình ảnh được truy xuất đóng góp kiến thức bị thiếu vào quá trình tạo sinh, thay vì củng cố các thành kiến hiện có trong mô hình.

Trái nhất, hình ảnh tham chiếu được truy xuất; trung tâm, không có RAG; phải nhất, với việc sử dụng hình ảnh được truy xuất.

Tuy nhiên, sự phụ thuộc vào chất lượng và phạm vi của cơ sở dữ liệu có nghĩa là hiệu quả của nó có thể thay đổi tùy thuộc vào sự sẵn có của các hình ảnh tham chiếu chất lượng cao. Nếu một hình ảnh liên quan không tồn tại trong tập dữ liệu, mô hình vẫn có thể gặp khó khăn với các khái niệm không quen thuộc.

RealRAG là một kiến trúc rất mô-đun, cung cấp khả năng tương thích với nhiều kiến trúc tạo sinh khác, bao gồm các mô hình dựa trên U-Net, DiT và tự hồi quy.

Nói chung, việc truy xuất và xử lý hình ảnh bên ngoài thêm gánh nặng tính toán, và hiệu suất của hệ thống phụ thuộc vào mức độ tổng quát hóa của cơ chế truy xuất trên các nhiệm vụ và tập dữ liệu khác nhau.

Kết luận

Đây là một cái nhìn tổng quan hơn là một cái nhìn tổng thể về các hệ thống tạo hình ảnh đa phương tiện tăng cường RAG. Một số hệ thống thuộc loại này sử dụng truy xuất chỉ để cải thiện hiểu biết về thị giác hoặc lập curate dữ liệu, trong số các động cơ khác, thay vì tìm cách tạo ra hình ảnh. Một ví dụ là Trình duyệt Internet.

Nhiều dự án RAG tích hợp khác trong tài liệu vẫn chưa được phát hành. Các nguyên mẫu, với chỉ nghiên cứu được công bố, bao gồm Re-Imagen, có thể chỉ truy cập hình ảnh từ một cơ sở dữ liệu tùy chỉnh cục bộ.

Ngoài ra, vào tháng 11 năm 2024, Baidu đã công bố Tạo hình ảnh tăng cường RAG dựa trên hình ảnh (iRAG), một nền tảng mới sử dụng hình ảnh được truy xuất ‘từ một cơ sở dữ liệu’. Mặc dù iRAG được cho là có sẵn trên nền tảng Ernie, nhưng dường như không có thêm chi tiết về quá trình truy xuất này, dường như dựa trên một cơ sở dữ liệu loại (tức là cục bộ đối với dịch vụ và không trực tiếp khả dụng cho người dùng).

Hơn nữa, bài báo năm 2024 Tổng hợp và Truy xuất hình ảnh Văn bản thống nhất cung cấp một phương pháp RAG khác để sử dụng hình ảnh bên ngoài để tăng cường kết quả tại thời điểm tạo sinh – một lần nữa, từ một cơ sở dữ liệu cục bộ chứ không phải từ nguồn internet tùy ý.

Sự phấn khích xung quanh việc tăng cường RAG trong tạo hình ảnh có khả năng tập trung vào các hệ thống có thể kết hợp hình ảnh từ internet hoặc tải lên bởi người dùng trực tiếp vào quá trình tạo sinh và cho phép người dùng tham gia vào việc lựa chọn hoặc nguồn của hình ảnh.

Tuy nhiên, đây là một thách thức đáng kể vì ít nhất hai lý do; trước hết, vì hiệu quả của các hệ thống như vậy thường phụ thuộc vào các mối quan hệ tích hợp sâu được hình thành trong quá trình đào tạo đòi hỏi nhiều tài nguyên; và thứ hai, vì lo ngại về an toàn, pháp lý và giới hạn bản quyền, như đã đề cập trước đó, khiến tính năng này trở nên không thể xảy ra đối với một dịch vụ web dựa trên API và triển khai thương mại nói chung.

* Nguồn: https://proceedings.neurips.cc/paper_files/paper/2022/file/62868cc2fc1eb5cdf321d05b4b88510c-Paper-Conference.pdf

Được xuất bản lần đầu vào thứ Ba, ngày 4 tháng 2 năm 2025