Công cụ thiết kế trực quan và mô hình ngôn ngữ tầm nhìn có ứng dụng rộng rãi trong ngành công nghiệp đa phương tiện. Mặc dù đã có những tiến bộ đáng kể trong những năm gần đây, việc hiểu rõ về các công cụ này vẫn cần thiết cho hoạt động của chúng. Để tăng cường khả năng tiếp cận và kiểm soát, ngành công nghiệp đa phương tiện đang ngày càng áp dụng các kỹ thuật chỉnh sửa ảnh dựa trên hướng dẫn hoặc văn bản. Các kỹ thuật này sử dụng lệnh ngôn ngữ tự nhiên thay vì mặt nạ khu vực truyền thống hoặc mô tả chi tiết, cho phép chỉnh sửa ảnh linh hoạt và có kiểm soát hơn. Tuy nhiên, các phương pháp dựa trên hướng dẫn thường cung cấp hướng dẫn ngắn gọn có thể khó khăn cho các mô hình hiện có để nắm bắt và thực hiện đầy đủ. Ngoài ra, các mô hình khuếch tán, nổi tiếng với khả năng tạo ra hình ảnh thực tế, đang được ứng dụng rộng rãi trong lĩnh vực chỉnh sửa ảnh.

Hơn nữa, Mô Hình Ngôn Ngữ Lớn Đa Phương Thức (MLLMs) đã thể hiện hiệu suất ấn tượng trong các nhiệm vụ liên quan đến việc tạo ra phản hồi trực quan và hiểu biết跨 mô thức. Chỉnh Sửa Ảnh Hướng Dẫn MLLM (MGIE) là một nghiên cứu lấy cảm hứng từ MLLM, đánh giá khả năng của chúng và phân tích cách chúng hỗ trợ chỉnh sửa thông qua văn bản hoặc hướng dẫn. Phương pháp này liên quan đến việc học cách cung cấp hướng dẫn cụ thể và dẫn xuất hướng dẫn biểu cảm. Mô hình chỉnh sửa MGIE hiểu thông tin trực quan và thực hiện chỉnh sửa thông qua quá trình đào tạo từ đầu đến cuối. Trong bài viết này, chúng ta sẽ đi sâu vào MGIE, đánh giá tác động của nó đối với tối ưu hóa hình ảnh toàn cầu, chỉnh sửa theo phong cách Photoshop và chỉnh sửa cục bộ. Chúng ta cũng sẽ thảo luận về tầm quan trọng của MGIE trong các nhiệm vụ chỉnh sửa ảnh dựa trên hướng dẫn, những nhiệm vụ này phụ thuộc vào hướng dẫn biểu cảm. Hãy bắt đầu khám phá.

Chỉnh Sửa Ảnh Hướng Dẫn MLLM hoặc MGIE: Giới Thiệu

Mô Hình Ngôn Ngữ Lớn Đa Phương Thức và Mô Hình Khuếch Tán là hai khuôn khổ AI và ML được sử dụng rộng rãi hiện nay nhờ khả năng tạo ra nội dung ấn tượng. Một mặt, bạn có Mô Hình Khuếch Tán, nổi tiếng với khả năng tạo ra hình ảnh thực tế và trực quan, trong khi mặt khác, bạn có Mô Hình Ngôn Ngữ Lớn Đa Phương Thức, được biết đến với khả năng tạo ra nhiều loại nội dung, bao gồm văn bản, ngôn ngữ, giọng nói và hình ảnh/视频.

Mô Hình Khuếch Tán trao đổi các bản đồ mô thức chéo để thực hiện thao tác trực quan phản ánh sự thay đổi của chú thích mục tiêu đầu vào, và chúng cũng có thể sử dụng mặt nạ hướng dẫn để chỉnh sửa một khu vực cụ thể của hình ảnh. Nhưng lý do chính tại sao Mô Hình Khuếch Tán được sử dụng rộng rãi cho các ứng dụng đa phương tiện là vì chúng sử dụng các phương pháp chỉnh sửa dựa trên hướng dẫn, cho phép người dùng thể hiện cách chỉnh sửa hình ảnh trực tiếp bằng cách sử dụng lệnh văn bản hoặc hướng dẫn. Tiếp theo, Mô Hình Ngôn Ngữ Lớn cần không cần giới thiệu vì chúng đã chứng minh sự tiến bộ đáng kể trong nhiều nhiệm vụ ngôn ngữ đa dạng, bao gồm tóm tắt văn bản, dịch máy, tạo văn bản và trả lời câu hỏi. Mô Hình Ngôn Ngữ Lớn thường được đào tạo trên một lượng lớn dữ liệu đào tạo đa dạng, trang bị cho chúng sự sáng tạo trực quan và kiến thức, cho phép chúng thực hiện nhiều nhiệm vụ ngôn ngữ tầm nhìn. Xây dựng trên Mô Hình Ngôn Ngữ Lớn, Mô Hình Ngôn Ngữ Lớn Đa Phương Thức có thể sử dụng hình ảnh làm đầu vào tự nhiên và cung cấp phản hồi trực quan phù hợp.

Với điều đó được nói, mặc dù Mô Hình Khuếch Tán và khuôn khổ MLLM được sử dụng rộng rãi cho các nhiệm vụ chỉnh sửa ảnh, vẫn tồn tại một số vấn đề hướng dẫn với hướng dẫn dựa trên văn bản, cản trở hiệu suất tổng thể, dẫn đến sự phát triển của MGIE hoặc Chỉnh Sửa Ảnh Hướng Dẫn MLLM, một khuôn khổ AI bao gồm một mô hình khuếch tán và một mô hình MLLM như được minh họa trong hình ảnh sau.

Trong kiến trúc MGIE, mô hình khuếch tán được đào tạo từ đầu đến cuối để thực hiện chỉnh sửa ảnh với tưởng tượng tiềm ẩn của mục tiêu dự kiến, trong khi khuôn khổ MLLM học cách dự đoán hướng dẫn biểu cảm chính xác. Cùng nhau, mô hình khuếch tán và khuôn khổ MLLM tận dụng sự suy dẫn trực quan vốn có, cho phép nó giải quyết các lệnh con người mơ hồ, dẫn đến chỉnh sửa hình ảnh thực tế, như được minh họa trong hình ảnh sau.

Khuôn khổ MGIE lấy cảm hứng từ hai phương pháp hiện có: Chỉnh Sửa Ảnh Dựa trên Hướng Dẫn và Mô Hình Ngôn Ngữ Lớn Tầm Nhìn.

Chỉnh sửa ảnh dựa trên hướng dẫn có thể cải thiện đáng kể khả năng tiếp cận và kiểm soát của thao tác trực quan bằng cách tuân theo lệnh con người. Có hai khuôn khổ chính được sử dụng cho chỉnh sửa ảnh dựa trên hướng dẫn: khuôn khổ GAN và Mô Hình Khuếch Tán. GAN hoặc Mạng Đối Nghịch Sinh có khả năng thay đổi hình ảnh nhưng bị giới hạn ở các lĩnh vực cụ thể hoặc tạo ra kết quả không thực tế. Mặt khác, mô hình khuếch tán với đào tạo quy mô lớn có thể kiểm soát các bản đồ chú ý mô thức chéo để đạt được chỉnh sửa ảnh và biến đổi. Chỉnh sửa dựa trên hướng dẫn hoạt động bằng cách nhận lệnh trực tiếp làm đầu vào, thường không giới hạn ở mặt nạ khu vực và mô tả chi tiết. Tuy nhiên, có khả năng hướng dẫn được cung cấp là mơ hồ hoặc không đủ chính xác để thực hiện hướng dẫn cho các nhiệm vụ chỉnh sửa.

Mô Hình Ngôn Ngữ Lớn Tầm Nhìn được biết đến với khả năng tạo văn bản và khái quát hóa trên nhiều nhiệm vụ, và chúng thường có hiểu biết văn bản mạnh mẽ, và chúng có thể tạo ra chương trình hoặc mã giả thực thi được. Khả năng này của mô hình ngôn ngữ lớn cho phép MLLM nhận thức hình ảnh và cung cấp phản hồi phù hợp bằng cách sử dụng sự căn chỉnh tính năng trực quan với điều chỉnh hướng dẫn, với các mô hình gần đây áp dụng MLLM để tạo hình ảnh liên quan đến cuộc trò chuyện hoặc văn bản đầu vào. Tuy nhiên, điều gì phân biệt MGIE với MLLM hoặc VLLM là thực tế rằng trong khi những mô hình sau có thể tạo ra hình ảnh khác biệt từ đầu vào từ đầu, MGIE tận dụng khả năng của MLLM để tăng cường khả năng chỉnh sửa ảnh với hướng dẫn được dẫn xuất.

MGIE: Kiến Trúc và Phương Pháp

Truyền thống, mô hình ngôn ngữ lớn đã được sử dụng cho các nhiệm vụ tạo sinh xử lý ngôn ngữ tự nhiên. Nhưng kể từ khi MLLM trở nên phổ biến, LLM đã được trao quyền cung cấp phản hồi hợp lý bằng cách nhận thức hình ảnh đầu vào. Theo quy ước, một Mô Hình Ngôn Ngữ Lớn Đa Phương Thức được khởi tạo từ một LLM đã được đào tạo trước, và nó chứa một bộ mã hóa trực quan và một bộ điều chỉnh để trích xuất các tính năng trực quan và ánh xạ các tính năng trực quan vào modality ngôn ngữ tương ứng. Do đó, khuôn khổ MLLM có khả năng nhận thức đầu vào trực quan mặc dù đầu ra vẫn bị giới hạn ở văn bản.

Khuôn khổ MGIE đề xuất nhằm giải quyết vấn đề này và tạo điều kiện cho MLLM chỉnh sửa hình ảnh đầu vào thành hình ảnh đầu ra dựa trên hướng dẫn văn bản cho trước. Để đạt được điều này, khuôn khổ MGIE bao gồm một MLLM và được đào tạo để dẫn xuất hướng dẫn văn bản biểu cảm cụ thể và rõ ràng. Hơn nữa, khuôn khổ MGIE thêm các thẻ hình ảnh đặc biệt vào kiến trúc của nó để bắc cầu giữa tầm nhìn và modality ngôn ngữ, và áp dụng đầu chỉnh sửa cho việc chuyển đổi modality. Những modality này phục vụ như tưởng tượng trực quan tiềm ẩn từ Mô Hình Ngôn Ngữ Lớn Đa Phương Thức, và hướng dẫn mô hình khuếch tán để đạt được các nhiệm vụ chỉnh sửa. Khuôn khổ MGIE sau đó có khả năng thực hiện các nhiệm vụ nhận thức trực quan cho chỉnh sửa ảnh hợp lý.

Hướng Dẫn Biểu Cảm Cụ Thể

Truyền thống, Mô Hình Ngôn Ngữ Lớn Đa Phương Thức có thể cung cấp phản hồi liên quan đến trực quan với nhận thức mô thức chéo của nó nhờ điều chỉnh hướng dẫn và sự căn chỉnh tính năng. Để chỉnh sửa hình ảnh, khuôn khổ MGIE sử dụng một lời nhắc văn bản làm đầu vào ngôn ngữ chính với hình ảnh, và dẫn xuất một giải thích chi tiết cho lệnh chỉnh sửa. Tuy nhiên, những giải thích này có thể thường quá dài hoặc liên quan đến mô tả lặp lại, dẫn đến ý định bị hiểu lầm, buộc MGIE phải áp dụng một công cụ tóm tắt đã được đào tạo trước để có được các câu chuyện ngắn gọn, cho phép MLLM tạo ra đầu ra tóm tắt. Khuôn khổ coi hướng dẫn cụ thể nhưng rõ ràng này là hướng dẫn biểu cảm, và áp dụng sự mất mát entropy chéo để đào tạo Mô Hình Ngôn Ngữ Lớn Đa Phương Thức bằng cách thực thi giáo viên.

Sử dụng hướng dẫn biểu cảm cung cấp một ý tưởng cụ thể hơn so với lệnh văn bản vì nó bắc cầu khoảng cách cho chỉnh sửa ảnh hợp lý, tăng cường hiệu quả của khuôn khổ hơn nữa. Hơn nữa, khuôn khổ MGIE trong giai đoạn suy luận dẫn xuất hướng dẫn biểu cảm cụ thể thay vì tạo ra các câu chuyện dài và dựa vào tóm tắt bên ngoài. Do đó, khuôn khổ MGIE có thể nắm bắt tưởng tượng trực quan của ý định chỉnh sửa, nhưng vẫn bị giới hạn ở modality ngôn ngữ. Để vượt qua rào cản này, mô hình MGIE thêm một số thẻ hình ảnh nhất định sau hướng dẫn biểu cảm với các bản nhúng từ có thể đào tạo được, cho phép MLLM tạo ra chúng bằng cách sử dụng đầu LM hoặc Đầu Mô Hình Ngôn Ngữ của nó.

Chỉnh Sửa Ảnh Với Tưởng Tượng Tiềm Ẩn

Trong bước tiếp theo, khuôn khổ MGIE áp dụng đầu chỉnh sửa để chuyển đổi lệnh chỉnh sửa thành hướng dẫn trực quan thực sự. Đầu chỉnh sửa là một mô hình trình tự đến trình tự giúp ánh xạ các thẻ hình ảnh trình tự từ MLLM đến các hướng dẫn chỉnh sửa có ý nghĩa về mặt ngữ nghĩa. Để cụ thể hơn, việc chuyển đổi trên các bản nhúng từ có thể được giải thích như một đại diện chung trong modality trực quan, và sử dụng một thành phần tưởng tượng trực quan nhận thức về thể hiện cho ý định chỉnh sửa. Hơn nữa, để hướng dẫn chỉnh sửa ảnh với tưởng tượng trực quan, khuôn khổ MGIE nhúng một mô hình khuếch tán tiềm ẩn trong kiến trúc của nó, bao gồm một bộ mã hóa tự động và giải quyết sự khuếch tán nhiễu trong không gian tiềm ẩn. Mục tiêu chính của mô hình khuếch tán tiềm ẩn là tạo ra mục tiêu tiềm ẩn từ việc bảo tồn đầu vào tiềm ẩn và theo hướng dẫn chỉnh sửa. Quá trình khuếch tán thêm nhiễu vào mục tiêu tiềm ẩn trong khoảng thời gian đều đặn và mức độ nhiễu tăng lên với mỗi bước thời gian.

Học Tập Của MGIE

Hình sau tóm tắt thuật toán của quá trình học tập của khuôn khổ MGIE đề xuất.

Như có thể quan sát được, MLLM học cách dẫn xuất hướng dẫn biểu cảm cụ thể bằng cách sử dụng sự mất mát hướng dẫn. Sử dụng tưởng tượng trực quan tiềm ẩn từ lệnh hình ảnh đầu vào, khuôn khổ chuyển đổi modality của đầu chỉnh sửa, và hướng dẫn mô hình khuếch tán tiềm ẩn để tổng hợp hình ảnh kết quả, và áp dụng sự mất mát chỉnh sửa cho đào tạo khuếch tán. Cuối cùng, khuôn khổ đông lạnh đa số trọng số, dẫn đến đào tạo từ đầu đến cuối hiệu quả về tham số.

MGIE: Kết Quả và Đánh Giá

Khuôn khổ MGIE sử dụng tập dữ liệu IPr2Pr làm dữ liệu đào tạo chính, và nó chứa hơn 1 triệu dữ liệu đã được lọc bởi CLIP với hướng dẫn được trích xuất từ mô hình GPT-3, và một mô hình Prompt-to-Prompt để tổng hợp hình ảnh. Hơn nữa, khuôn khổ MGIE coi khuôn khổ InsPix2Pix được xây dựng trên bộ mã hóa văn bản CLIP với một mô hình khuếch tán làm baseline cho các nhiệm vụ chỉnh sửa ảnh dựa trên hướng dẫn. Hơn nữa, mô hình MGIE cũng tính đến một mô hình chỉnh sửa ảnh hướng dẫn bởi LLM được áp dụng cho hướng dẫn biểu cảm từ đầu vào chỉ hướng dẫn nhưng không có nhận thức trực quan.

Phân Tích Định Lượng

Hình sau tóm tắt kết quả chỉnh sửa trong một thiết lập không chụp với các mô hình được đào tạo chỉ trên tập dữ liệu IPr2Pr. Đối với dữ liệu GIER và EVR liên quan đến chỉnh sửa theo phong cách Photoshop, hướng dẫn biểu cảm có thể tiết lộ mục tiêu cụ thể thay vì lệnh mơ hồ, cho phép kết quả chỉnh sửa giống với ý định chỉnh sửa hơn.

Mặc dù cả LGIE và MGIE đều được đào tạo trên cùng dữ liệu với mô hình InsPix2Pix, chúng có thể cung cấp giải thích chi tiết thông qua việc học tập với mô hình ngôn ngữ lớn, nhưng LGIE vẫn bị giới hạn ở một modality duy nhất. Hơn nữa, khuôn khổ MGIE có thể cung cấp một sự tăng cường hiệu suất đáng kể vì nó có quyền truy cập vào hình ảnh và có thể sử dụng chúng để dẫn xuất hướng dẫn cụ thể.

Để đánh giá hiệu suất trên các nhiệm vụ chỉnh sửa ảnh dựa trên hướng dẫn cho mục đích cụ thể, các nhà phát triển tinh chỉnh một số mô hình trên mỗi tập dữ liệu như được tóm tắt trong bảng sau.

Như có thể quan sát được, sau khi điều chỉnh các nhiệm vụ chỉnh sửa theo phong cách Photoshop cho EVR và GIER, các mô hình chứng minh sự tăng cường hiệu suất. Tuy nhiên, đáng chú ý là vì việc tinh chỉnh làm cho hướng dẫn biểu cảm trở nên cụ thể về lĩnh vực hơn, khuôn khổ MGIE chứng kiến sự tăng cường hiệu suất lớn vì nó cũng học được hướng dẫn liên quan đến lĩnh vực, cho phép mô hình khuếch tán thể hiện các cảnh chỉnh sửa cụ thể từ mô hình ngôn ngữ lớn được tinh chỉnh, mang lại lợi ích cho cả chỉnh sửa cục bộ và tối ưu hóa cục bộ. Hơn nữa, vì hướng dẫn trực quan nhận thức được nhiều hơn phù hợp với mục tiêu chỉnh sửa dự kiến, khuôn khổ MGIE cung cấp kết quả vượt trội một cách nhất quán so với LGIE.

Hình sau minh họa điểm số CLIP-S trên hình ảnh đầu vào hoặc hình ảnh mục tiêu và hướng dẫn biểu cảm. Điểm số CLIP cao hơn cho thấy sự liên quan của hướng dẫn với nguồn chỉnh sửa, và như có thể quan sát được, MGIE có điểm số CLIP cao hơn so với mô hình LGIE trên cả hình ảnh đầu vào và đầu ra.

Kết Quả Chất Lượng

Hình sau tóm tắt phân tích chất lượng của khuôn khổ MGIE.

Như chúng ta biết, khuôn khổ LGIE bị giới hạn ở một modality duy nhất vì nó chỉ có một cái nhìn dựa trên ngôn ngữ, và dễ dẫn đến việc dẫn xuất giải thích sai hoặc không liên quan cho việc chỉnh sửa hình ảnh. Tuy nhiên, khuôn khổ MGIE là đa phương thức, và với quyền truy cập vào hình ảnh, nó hoàn thành các nhiệm vụ chỉnh sửa, và cung cấp tưởng tượng trực quan cụ thể phù hợp với mục tiêu rất tốt.

Suy Nghĩ Cuối Cùng

Trong bài viết này, chúng ta đã thảo luận về MGIE hoặc Chỉnh Sửa Ảnh Hướng Dẫn MLLM, một nghiên cứu lấy cảm hứng từ MLLM, nhằm đánh giá khả năng của MLLM và phân tích cách chúng hỗ trợ chỉnh sửa bằng cách sử dụng văn bản hoặc hướng dẫn, đồng thời học cách cung cấp hướng dẫn cụ thể và dẫn xuất hướng dẫn biểu cảm đồng thời. Mô hình chỉnh sửa MGIE nắm bắt thông tin trực quan và thực hiện chỉnh sửa bằng cách đào tạo từ đầu đến cuối. Thay vì hướng dẫn mơ hồ và ngắn gọn, khuôn khổ MGIE tạo ra hướng dẫn trực quan nhận thức cụ thể, dẫn đến chỉnh sửa ảnh hợp lý.