Mô hình và nền tảng AI

MiniGPT-5: Sinh văn bản và hình ảnh xen kẽ bằng voken sinh

Kunal Kejriwal
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Điểm chínhMiniGPT-5 giới thiệu các 'voken' sinh (generative vokens) để kết nối việc tạo văn bản…
Xem thêm
  • MiniGPT-5 giới thiệu các 'voken' sinh (generative vokens) để kết nối việc tạo văn bản và hình ảnh trong một mô hình duy nhất.
  • Chiến lược huấn luyện hai giai đoạn của nó đầu tiên căn chỉnh các đặc trưng mà không có mô tả, sau đó tinh chỉnh trên dữ liệu xen kẽ.
  • Khung mô hình này vượt trội so với các mô hình cơ sở trong đánh giá của con người về tính mạch lạc đa phương thức và chất lượng hình ảnh.

Trong những năm gần đây, các mô hình ngôn ngữ lớn (LLM) đã thu hút sự chú ý của các nhà phát triển AI trên toàn thế giới nhờ những đột phá trong xử lý ngôn ngữ tự nhiên (NLP). Những mô hình này đã thiết lập các tiêu chuẩn mới trong việc tạo văn bản và hiểu biết. Tuy nhiên, mặc dù đã có tiến bộ trong việc tạo văn bản, việc tạo ra hình ảnh phù hợp với các câu chuyện văn bản vẫn còn là một thách thức. Để giải quyết vấn đề này, các nhà phát triển đã giới thiệu một phương pháp mới để tạo nội dung đa phương thức bằng cách sử dụng “các voken sinh” để kết nối giữa văn bản và hình ảnh.

Nền tảng của MiniGPT-5 là một chiến lược đào tạo hai giai đoạn tập trung vào việc tạo ra dữ liệu đa phương thức không cần mô tả. Hơn nữa, để tăng cường tính toàn vẹn của mô hình, mô hình này kết hợp một hệ thống hướng dẫn không cần bộ phân loại (classifier-free guidance, CFG) để tăng cường hiệu quả của các voken sinh trong việc tạo hình ảnh. Trong giai đoạn đầu, khuôn khổ MiniGPT-5 đã thể hiện hiệu suất mạnh mẽ và cải thiện đáng kể so với mô hình baseline Divter được đào tạo trên tập dữ liệu MMDialog và đã liên tục thể hiện khả năng tạo ra các đầu ra đa phương thức tương đương và thậm chí vượt trội trong các đánh giá của con người trên tập dữ liệu VIST.

MiniGPT5: Giới thiệu

Với những tiến bộ gần đây của các khuôn khổ LLM và các ứng dụng dựa trên các khuôn khổ này, việc tích hợp tính năng đa phương thức đã trở thành một lĩnh vực phổ biến và quan trọng, cung cấp nhiều ứng dụng từ công cụ tạo nội dung tiên tiến đến các tác nhân đối thoại đa phương thức. Với sự nghiên cứu và phát triển liên tục, các mô hình ngôn ngữ và tầm nhìn đang ở giai đoạn có thể tạo ra cả văn bản và dữ liệu hình ảnh một cách mượt mà. Khả năng của LLM trong việc tạo ra dữ liệu đa phương thức sẽ giúp tăng cường tương tác trong các lĩnh vực khác nhau, bao gồm thương mại điện tử, truyền thông và thực tế ảo.

Cuối cùng, mục tiêu là cho phép các mô hình tổng hợp, nhận biết và phản hồi một cách nhất quán và logic bằng cách sử dụng cả văn bản và hình ảnh, đóng vai trò quan trọng trong việc hài hòa luồng thông tin và tạo ra các câu chuyện logic và nhất quán. Việc đạt được sự kết hợp giữa văn bản và hình ảnh là điều cần thiết để có các tương tác đa phương thức mượt mà và tương tác trong LLM, và cuối cùng là đạt được việc tạo nội dung đa phương thức.

  1. Mặc dù các LLM hiện tại rất hiệu quả và mạnh mẽ trong việc tạo văn bản và xử lý cặp hình ảnh-văn bản, chúng không tạo ra hình ảnh một cách thỏa mãn.
  2. Việc phát triển các mô hình tầm nhìn và ngôn ngữ phụ thuộc nhiều vào dữ liệu tập trung vào chủ đề, khiến cho việc tạo ra hình ảnh phù hợp với văn bản trở nên khó khăn.
  3. Cuối cùng, cần phải tìm ra các chiến lược hiệu quả hơn khi tăng cường khả năng của LLM, vì yêu cầu bộ nhớ cũng tăng theo, đặc biệt khi thực hiện các tác vụ ứng dụng tiếp theo (downstream tasks).

Khuôn khổ MiniGPT-5, một kỹ thuật tạo nội dung đa phương thức xen kẽ, giới thiệu khái niệm về “các voken sinh” để giải quyết các thách thức trên. Khuôn khổ này đề xuất một phương pháp mới để tạo ra dữ liệu đa phương thức bằng cách kết hợp các mô hình ngôn ngữ lớn với các kỹ thuật của Stable Diffusion bằng cách sử dụng các token thị giác đặc biệt. Chiến lược đào tạo hai giai đoạn nhấn mạnh giai đoạn nền tảng không cần mô tả chi tiết và chuẩn bị cho mô hình hoạt động hiệu quả ngay cả khi dữ liệu hạn chế.

Tuy nhiên, điều phân biệt mô hình MiniGPT-5 với các khuôn khổ hiện có là các giai đoạn chung của khuôn khổ này không bao gồm các chú thích cụ thể cho từng lĩnh vực. Hơn nữa, để đảm bảo rằng văn bản và hình ảnh tạo ra phù hợp với nhau, khuôn khổ MiniGPT-5 triển khai chiến lược gồm hai hàm mất mát để hỗ trợ hướng dẫn không cần bộ phân loại và các voken sinh. Cách tinh chỉnh tiết kiệm tham số giúp tăng hiệu quả đào tạo và giải quyết giới hạn bộ nhớ.

Để cung cấp cho bạn một bản tóm tắt nhanh, khuôn khổ MiniGPT-5

  1. Đề xuất phương pháp sử dụng các bộ mã hóa đa phương thức, kết hợp token sinh với Stable Diffusion để tạo văn bản và hình ảnh xen kẽ; bài gốc mô tả đây là cách tiếp cận tổng quát hiệu quả hơn các LLM truyền thống.
  2. Đề xuất một chiến lược đào tạo hai giai đoạn để tạo ra các đầu ra đa phương thức không cần mô tả và bao gồm hướng dẫn không cần bộ phân loại (classifier-free guidance, CFG) trong quá trình đào tạo.

Mô hình MiniGPT-5 được lấy cảm hứng từ các nghiên cứu và công việc trước đây trong các lĩnh vực

  • Tạo hình ảnh từ văn bản: Để chuyển đổi các mô tả văn bản thành hình ảnh tương ứng.
  • Mô hình ngôn ngữ lớn đa phương thức: Sử dụng các mô hình ngôn ngữ lớn được đào tạo trước để khám phá các ứng dụng và hiệu quả của chúng trong việc tạo dữ liệu đa phương thức.
  • Tạo nội dung đa phương thức với mô hình ngôn ngữ lớn: Để tăng cường khả năng của mô hình ngôn ngữ lớn trong việc tạo ra dữ liệu ngôn ngữ và hình ảnh.

MiniGPT-5: Phương pháp, Kiến trúc và Khuôn khổ

Để tích hợp các mô hình ngôn ngữ lớn với khả năng tạo nội dung đa phương thức, mô hình MiniGPT-5 giới thiệu một khuôn khổ nhằm kết hợp các mô hình tạo hình ảnh từ văn bản và các mô hình ngôn ngữ lớn đa phương thức. Khuôn khổ MiniGPT-5 cũng giới thiệu các voken sinh, tức các token thị giác đặc biệt cho phép huấn luyện trực tiếp trên hình ảnh thô để xử lý khác biệt giữa các miền. Hướng dẫn không cần bộ phân loại và phương pháp đào tạo hai giai đoạn giúp cải thiện chất lượng đầu ra.

Giai đoạn Đầu vào Đa phương thức

Các phát triển gần đây của các mô hình ngôn ngữ lớn đã mang lại khả năng hiểu biết đa phương thức cho các mô hình này, cho phép xử lý hình ảnh như một đầu vào tuần tự. Khuôn khổ MiniGPT-5 sử dụng các voken sinh đặc biệt để tạo ra các đặc trưng thị giác, mở rộng khả năng hiểu đa phương thức thành khả năng sinh dữ liệu đa phương thức. Khuôn khổ sử dụng kỹ thuật tinh chỉnh tiên tiến, tiết kiệm tham số để học cách tạo đầu ra với LLM.

Mã hóa Đa phương thức

Mô hình mã hóa hình ảnh được đào tạo trước trong khuôn khổ MiniGPT-5 chuyển đổi mỗi hình ảnh đầu vào thành biểu diễn đặc trưng, và mỗi mã thông báo văn bản được nhúng như một vector. Các đặc trưng của lời nhắc đầu vào được tạo bằng cách nối các biểu diễn nhúng này.

Thêm Voken Sinh vào Mô hình Ngôn ngữ Lớn

Truyền thống, từ vựng của mô hình ngôn ngữ lớn chỉ bao gồm các mã thông báo văn bản. Vì vậy, các nhà phát triển khuôn khổ MiniGPT-5 đã phải bắc cầu giữa các mô hình tạo và truyền thống. Khuôn khổ này giới thiệu một tập hợp các mã thông báo đặc biệt vào từ vựng của mô hình ngôn ngữ lớn. Trạng thái đầu ra ẩn của LLM tại các voken đặc biệt được dùng để tạo hình ảnh; vị trí của voken chỉ ra nơi hình ảnh được chèn xen kẽ vào văn bản.

PEFT hoặc Tinh chỉnh Hiệu quả Tham số

PEFT hoặc Tinh chỉnh Hiệu quả Tham số là một khái niệm quan trọng được sử dụng để đào tạo các mô hình ngôn ngữ lớn. Tuy nhiên, ứng dụng của PEFT trong các môi trường đa phương thức vẫn còn hạn chế. Khuôn khổ MiniGPT-5 sử dụng Tinh chỉnh Hiệu quả Tham số trên mã hóa của khuôn khổ MiniGPT-4 để mô hình hiểu lời nhắc hoặc chỉ dẫn tốt hơn và cải thiện hiệu suất trong chế độ zero-shot, tức không có ví dụ của tác vụ, hoặc trong môi trường mới.

Tạo Đầu ra Đa phương thức

Để căn chỉnh mô hình tạo với các voken sinh chính xác, khuôn khổ MiniGPT-5 tạo ra một mô-đun ánh xạ compact để khớp các chiều và kết hợp các các hàm mất mát cho học có giám sát, bao gồm tổn thất khuếch tán tiềm ẩn và tổn thất không gian văn bản. Tổn thất khuếch tán tiềm ẩn căn chỉnh các tính năng hình ảnh phù hợp với các mã thông báo trực tiếp, trong khi tổn thất không gian văn bản giúp mô hình học các vị trí chính xác của các token. Vì voken sinh được hướng dẫn trực tiếp bằng hình ảnh nên không cần mô tả hình ảnh đầy đủ, tạo điều kiện học không cần mô tả chi tiết.

Tạo Không gian Văn bản

Khuôn khổ MiniGPT-5 sử dụng phương pháp mô hình hóa ngôn ngữ nhân quả để tạo ra cả mã thông báo và văn bản trong không gian văn bản cùng nhau. Trong quá trình đào tạo, các nhà phát triển thêm mã thông báo vào vị trí của hình ảnh thực tế và đào tạo mô hình để dự đoán mã thông báo trong quá trình tạo văn bản.

Ánh xạ Tính năng Mã thông báo cho Tạo Hình ảnh

Sau khi tạo không gian văn bản, khuôn khổ căn chỉnh trạng thái đầu ra ẩn với không gian tính năng có điều kiện của mô hình tạo hình ảnh từ văn bản. Khuôn khổ cũng hỗ trợ một mô-đun ánh xạ tính năng bao gồm một mô hình MLP hai lớp, một chuỗi đặc trưng giải mã có thể học được và một mô hình Transformer mã hóa–giải mã bốn lớp.

Tạo Hình ảnh với LDM hoặc Mô hình Khuếch tán Tiềm ẩn

Để tạo ra hình ảnh cần thiết trong quá trình khử nhiễu, khuôn khổ sử dụng các tính năng ánh xạ như đầu vào có điều kiện. Khuôn khổ cũng sử dụng Mô hình Khuếch tán Tiềm ẩn để hướng dẫn, và trong quá trình đào tạo, hình ảnh thực tế đầu tiên được chuyển đổi thành biểu diễn đặc trưng tiềm ẩn bằng mô hình VAE được đào tạo trước, sau đó thêm nhiễu để thu được biểu diễn đặc trưng tiềm ẩn có nhiễu.

Phương pháp toàn diện được triển khai bởi khuôn khổ MiniGPT-5 cho phép các nhà phát triển có hiểu biết sâu sắc về việc tạo ra cả nội dung văn bản và hình ảnh, sử dụng các mã thông báo đặc biệt, tận dụng khả năng của các mô hình được đào tạo trước và sử dụng các kỹ thuật đào tạo sáng tạo.

MiniGPT-5: Đào tạo và Kết quả

Khi làm việc trên khuôn khổ MiniGPT-5, các nhà phát triển đã quan sát thấy rằng việc đào tạo trên một tập dữ liệu văn bản và hình ảnh xen kẽ hạn chế có thể dẫn đến hình ảnh có chất lượng thấp và không khớp với văn bản, do dịch chuyển miền đáng kể giữa hình ảnh và văn bản. Để giải quyết vấn đề này, các nhà phát triển đã áp dụng hai chiến lược đào tạo khác nhau.

  1. Bao gồm việc kết hợp các kỹ thuật hướng dẫn không cần bộ phân loại (classifier-free guidance, CFG) để tăng cường hiệu quả của các voken sinh trong quá trình khuếch tán.
  2. Chiến lược thứ hai được chia thành hai giai đoạn
    1. Giai đoạn đào tạo trước ban đầu tập trung vào việc căn chỉnh các tính năng thô.
    2. Giai đoạn tinh chỉnh giúp việc học tính năng.

Hướng dẫn Không cần Bộ phân loại (CFG)

Ý tưởng đầu tiên tận dụng hướng dẫn không cần bộ phân loại (classifier-free guidance, CFG) cho việc tạo nội dung đa phương thức xuất phát từ việc tăng cường sự nhất quán và logic giữa hình ảnh và văn bản tạo ra. Phương pháp này quan sát thấy rằng bằng cách đào tạo trên cả việc tạo không điều kiện và có điều kiện với việc bỏ qua điều kiện, mô hình tạo có thể đạt được kết quả có điều kiện tốt hơn.

Chiến lược Đào tạo Hai Giai đoạn

Do sự thay đổi đáng kể giữa việc tạo hình ảnh và văn bản, khuôn khổ MiniGPT-5 sử dụng một chiến lược đào tạo hai giai đoạn.

  1. Giai đoạn căn chỉnh đơn phương thức (UAS).
  2. Giai đoạn học đa phương thức.

Ban đầu, khuôn khổ căn chỉnh các tính năng tạo hình ảnh với tính năng mã thông báo trong các tập dữ liệu hình ảnh và văn bản đơn. Trong giai đoạn này, khuôn khổ cho phép mô hình ngôn ngữ lớn tạo ra mã thông báo bằng cách sử dụng các chú thích như đầu vào.

Khi giai đoạn căn chỉnh đơn phương thức được thực hiện thành công, mô hình có thể tạo ra hình ảnh cho các mô tả văn bản đơn, nhưng gặp khó khăn trong việc tạo nội dung đa phương thức xen kẽ, bao gồm cả văn bản và hình ảnh. Để giải quyết vấn đề này, các nhà phát triển đã tinh chỉnh khuôn khổ MiniGPT-5 bằng cách sử dụng các tham số PEFT bằng cách sử dụng các tập dữ liệu đa phương thức xen kẽ như VIST.

  1. Chỉ sinh văn bản: tạo văn bản liên quan khi được cung cấp hình ảnh tiếp theo.
  2. Chỉ sinh hình ảnh: tạo hình ảnh liên quan khi được cung cấp văn bản tiếp theo.
  3. Sinh đa phương thức: tạo cặp văn bản–hình ảnh từ ngữ cảnh được cung cấp.

MiniGPT-5: Benchmark và Kết quả

Để đánh giá hiệu suất của khuôn khổ trong việc tạo nội dung đa phương thức một cách toàn diện, đội phát triển MiniGPT-5 đã so sánh hiệu suất của nó với các mô hình baseline khác, bao gồm Divter, GILL và mô hình sinh đơn phương thức được tinh chỉnh.

Khuôn khổ MiniGPT-5 nhận ra rằng đầu ra đa phương thức có thể có ý nghĩa theo ngữ cảnh, nhưng có thể khác với thực tế. Vì vậy, khuôn khổ này cũng kết hợp đầu vào của con người để đánh giá hiệu suất của mô hình. Tổng thể, hiệu quả của khuôn khổ MiniGPT-5 trong các nhiệm vụ đa phương thức được đo lường từ ba góc độ.

  1. Tính nhất quán của Ngôn ngữ: Đánh giá xem nội dung tạo ra có phù hợp với ngữ cảnh một cách mượt mà.
  2. Chất lượng Hình ảnh: Đánh giá hoặc đánh giá sự liên quan và rõ ràng của hình ảnh tạo ra.
  3. Tính nhất quán Đa phương thức: Xác định xem đầu ra kết hợp giữa văn bản và hình ảnh có phù hợp với ngữ cảnh ban đầu.

Đánh giá Bước Cuối VIST

Trong giai đoạn đầu của các thí nghiệm, khuôn khổ MiniGPT-5 nhằm tạo ra hình ảnh tương ứng và bảng dưới đây tóm tắt kết quả thu được từ cài đặt này.

Như có thể thấy, khuôn khổ MiniGPT-5 trong cả ba cài đặt có thể vượt trội so với khuôn khổ SD2 được tinh chỉnh, nhấn mạnh hiệu quả của đường ống MiniGPT-5.

Hình ảnh trên so sánh hiệu suất của khuôn khổ MiniGPT-5 với khuôn khổ MiniGPT-4 được tinh chỉnh (lưu ý về liên kết: bản tiếng Anh trỏ đến bài về GPT-4 và AGI, không phải tài liệu MiniGPT-4) trên các chỉ số hiệu suất S-BERT, Rouge-L và Meteor. Kết quả chỉ ra rằng việc sử dụng các voken sinh không ảnh hưởng tiêu cực đến hiệu suất của khuôn khổ khi thực hiện các nhiệm vụ hiểu biết đa phương thức. Kết quả cũng chứng minh rằng khuôn khổ MiniGPT-5 có khả năng sử dụng các đầu vào đa phương thức dài để tạo ra hình ảnh chất lượng cao và nhất quán mà không ảnh hưởng đến khả năng hiểu biết đa phương thức của mô hình ban đầu.

Bảng trên so sánh hiệu suất của ba khuôn khổ trên 5.000 mẫu cho việc tạo nội dung đa phương thức từ các góc độ Tính nhất quán Đa phương thức, Chất lượng Hình ảnh và Tính nhất quán Ngôn ngữ. Như có thể thấy, khuôn khổ MiniGPT-5 vượt trội so với hai mô hình baseline khác trong hơn 70% trường hợp. Mặt khác, bảng dưới đây chứng minh hiệu suất của khuôn khổ MiniGPT-5 trên tập dữ liệu xác thực CC3M cho việc tạo ra hình ảnh đơn. Nhờ vào hạn chế dữ liệu, các nhà phát triển đã tìm thấy một khoảng cách cho việc căn chỉnh mã thông báo khi sử dụng với Stable Diffusion. Mặc dù hạn chế này, khuôn khổ MiniGPT-5 vẫn vượt trội so với khuôn khổ baseline hiện tại GILL trên tất cả các chỉ số.

Kết luận

Trong bài viết này, chúng ta đã thảo luận về MiniGPT-5, một kỹ thuật tạo nội dung đa phương thức xen kẽ bằng cách sử dụng “các voken sinh” để tận dụng khả năng của các mô hình ngôn ngữ lớn trong việc tạo ra dữ liệu đa phương thức. Chúng ta đã thảo luận về các thành phần và kiến trúc chính của khuôn khổ MiniGPT-5 cùng với các kết quả cho thấy sự cải thiện đáng kể về hiệu suất và hiệu quả so với các mô hình baseline và mô hình hiện tại. MiniGPT-5 nhằm mục đích thiết lập một tiêu chuẩn mới trong lĩnh vực tạo nội dung đa phương thức và giải quyết các thách thức mà các mô hình trước đây gặp phải khi cố gắng giải quyết cùng một vấn đề.

Kunal Kejriwal là một kỹ sư backend chuyên về Python, PostgreSQL, Redis và hạ tầng đám mây trên GCP và AWS. Với ba năm kinh nghiệm trong việc xây dựng và mở rộng các hệ thống đang vận hành thực tế, anh viết về cơ sở hạ tầng AI, các hệ thống phân tán và kiến trúc triển khai các khối lượng công việc học máy.