Với sự cải tiến gần đây của các phương pháp điều chỉnh hướng dẫn trực quan, các Mô hình Ngôn ngữ Lớn Đa phương tiện (MLLMs) đã thể hiện khả năng tầm nhìn-ngôn ngữ tổng quát đáng chú ý. Những khả năng này làm cho chúng trở thành các khối xây dựng chính cho các trợ lý trực quan tổng quát hiện đại. Các mô hình gần đây, bao gồm MiniGPT-4, LLaVA, InstructBLIP và các mô hình khác, thể hiện khả năng suy luận trực quan và tuân theo hướng dẫn ấn tượng. Mặc dù hầu hết chúng dựa trên các cặp hình ảnh-văn bản để căn chỉnh tầm nhìn-ngôn ngữ ở cấp độ hình ảnh, nhưng chúng hoạt động tốt trong lĩnh vực này. Tuy nhiên, sự phụ thuộc của chúng vào hiểu biết cấp độ hộp và cấp độ hình ảnh là lý do chính khiến MLLMs không thể lặp lại hiệu suất của chúng trong các nhiệm vụ căn chỉnh tầm nhìn-ngôn ngữ mịn ở cấp độ pixel. Ngoài ra, sự hạn chế về sẵn có của dữ liệu hướng dẫn dựa trên mặt nạ để đào tạo đặt ra thách thức trong việc nâng cao thêm MLLMs.

Osprey là một phương pháp đào tạo hướng dẫn mặt nạ-văn bản với mục tiêu chính là mở rộng khả năng của MLLMs. Nó kết hợp các vùng mặt nạ mịn vào hướng dẫn ngôn ngữ để đạt được hiểu biết tầm nhìn-ngôn ngữ ở cấp độ pixel. Để thực hiện điều này, khuôn khổ Osprey tạo ra một tập dữ liệu vùng-mặt nạ-văn bản với hơn 700 nghìn mẫu. Nó tiêm đại diện cấp độ pixel vào Mô hình Ngôn ngữ Lớn (LLM) để thiết kế một mô hình tầm nhìn-ngôn ngữ. Đặc biệt, khuôn khổ Osprey áp dụng một mô hình CLIP dựa trên mạng nơ-ron tích hợp (CNN) làm bộ mã hóa tầm nhìn và tích hợp một bộ trích xuất trực quan nhận thức mặt nạ vào kiến trúc của nó. Điều này cho phép thực hiện việc trích xuất chính xác các tính năng trực quan của mặt nạ từ đầu vào có độ phân giải cao.

Trong bài viết này, chúng tôi sẽ thảo luận về khuôn khổ Osprey và đi sâu vào kiến trúc của nó. Chúng tôi cũng sẽ khám phá tập dữ liệu vùng-mặt nạ-văn bản được tạo ra với hơn 700 nghìn mẫu và so sánh hiệu suất của nó trong các nhiệm vụ hiểu vùng khác nhau. Vậy hãy bắt đầu.

Osprey: Hiểu biết Pixel với Hướng dẫn trực quan

Các Mô hình Ngôn ngữ Lớn Đa phương tiện như MiniGPT-4, Otter, Qwen-LV, InstructBLIP và các mô hình khác là những người dẫn đầu trong việc phát triển các trợ lý trực quan tổng quát, và chúng được biết đến với khả năng đa phương tiện và tạo ra tầm nhìn vượt trội. Tuy nhiên, các Mô hình Ngôn ngữ Lớn Đa phương tiện gặp phải một thách thức lớn vì chúng cung cấp kết quả không hài lòng trong các nhiệm vụ hiểu hình ảnh mịn như chú thích, phân loại vùng và suy luận. Một lý do chính cho hiệu suất dưới mức mong đợi trong các nhiệm vụ hiểu hình ảnh mịn là sự thiếu căn chỉnh ở cấp độ vùng. Các MLLMs gần đây như GPT4RoI, Shikra và các mô hình khác nhằm mục đích kích hoạt hiểu biết cấp độ vùng trong các mô hình tầm nhìn-ngôn ngữ bằng cách xử lý các vùng được chỉ định bởi hộp giới hạn và tận dụng điều chỉnh hướng dẫn trực quan với các tính năng không gian ở cấp độ đối tượng.

Mặc dù cách tiếp cận để kích hoạt hiểu biết cấp độ vùng có thể cải thiện hiệu suất, việc sử dụng các hộp giới hạn thưa thớt làm đầu vào vùng tham chiếu trực tiếp có thể giới thiệu các tính năng nền không liên quan, dẫn đến sự căn chỉnh không chính xác của cặp vùng-văn bản cho điều chỉnh hướng dẫn trực quan trên các mô hình ngôn ngữ lớn. Trong quá trình suy luận, đầu vào vùng tham chiếu cấp độ hộp có thể không thể phát hiện và đại diện cho đối tượng một cách chính xác, điều này có thể dẫn đến sự sai lệch ngữ nghĩa như được minh họa trong hình ảnh sau.

Ngược lại, sử dụng các mặt nạ mịn thay vì các hộp giới hạn thô có thể đại diện cho các đối tượng với độ chính xác cao hơn. Mô hình Segment Anything (SAM) mới được phát triển đào tạo trên hàng tỷ mặt nạ chất lượng cao, thể hiện chất lượng phân đoạn đáng chú ý trên các đối tượng zero-shot và hỗ trợ việc sử dụng điểm hoặc hộp giới hạn đơn giản làm lời nhắc. Tuy nhiên, khuôn khổ SAM không thể tạo ra các nhãn ngữ nghĩa chính, cũng không thể cung cấp các chú thích và thuộc tính ngữ nghĩa chi tiết. Do đó, các mô hình hiện có thiếu thông tin đa phương tiện mịn, và có hiểu biết hạn chế về các cảnh trong thế giới thực.

Để giải quyết các thách thức mà các MLLMs hiện có đang gặp phải, Osprey, một phương pháp đào tạo hướng dẫn mặt nạ-văn bản mới, nhằm mục đích mở rộng khả năng của các mô hình ngôn ngữ lớn đa phương tiện cho hiểu biết mịn ở cấp độ pixel. Khuôn khổ Osprey giới thiệu một bộ trích xuất trực quan nhận thức mặt nạ, có khả năng bắt các tính năng trực quan của mặt nạ với độ mịn khác nhau. Sau đó, khuôn khổ này xen kẽ các tính năng trực quan với hướng dẫn ngôn ngữ để tạo ra chuỗi đầu vào cho mô hình ngôn ngữ lớn và tận dụng kiến trúc CLIP dựa trên CNN để tạo điều kiện cho việc sử dụng đầu vào có độ phân giải cao. Nhờ thiết kế và kiến trúc của nó, khuôn khổ Osprey có khả năng đạt được hiểu biết ngữ nghĩa mịn cho các vùng ở cấp độ đối tượng và cấp độ bộ phận, và cung cấp các thuộc tính đối tượng chi tiết cùng với danh mục đối tượng chính và mô tả các cảnh phức tạp được cải thiện.

Bằng cách tận dụng khả năng của điều chỉnh hướng dẫn trực quan, khuôn khổ Osprey kích hoạt các khả năng mới vượt ra ngoài hiểu biết cấp độ hình ảnh và cấp độ hộp của các cảnh, vì khuôn khổ Osprey có thể tạo ra các ngữ nghĩa mịn bằng cách sử dụng các mặt nạ không phân loại từ các SAM ngoài hộp. Ngoài ra, Osprey cũng thể hiện khả năng đáng chú ý trên các nhiệm vụ phân loại đối tượng tham chiếu, nhận dạng từ vựng mở, chú thích cấp độ vùng và mô tả vùng chi tiết.

Osprey: Phương pháp và Kiến trúc

Hình sau minh họa tổng quan kiến trúc của khuôn khổ Osprey, bao gồm mô hình ngôn ngữ lớn, bộ trích xuất trực quan nhận thức mặt nạ và bộ mã hóa tầm nhìn cấp độ hình ảnh.

Đối với một hình ảnh nhất định, khuôn khổ thực hiện việc chuyển đổi và tạo mã hóa để tạo ra các bản nhúng trước khi gửi các chuỗi bản nhúng ngôn ngữ và các tính năng mặt nạ xen kẽ đến mô hình ngôn ngữ lớn để thu được hiểu biết ngữ nghĩa mịn.

Bộ mã hóa tầm nhìn CLIP dựa trên CNN

Bộ mã hóa tầm nhìn được triển khai trong đa số các mô hình ngôn ngữ lớn đa phương tiện được minh họa bằng mô hình CLIP dựa trên ViT. Do đó, khuôn khổ áp dụng độ phân giải hình ảnh là 224×224 pixel hoặc 336 x 336 pixel. Tuy nhiên, việc sử dụng mô hình CLIP dựa trên ViT làm cho mô hình khó đạt được hiểu biết hình ảnh mịn ở cấp độ pixel, một vấn đề được khuếch đại thêm trong các vùng nhỏ. Hơn nữa, gánh nặng tính toán liên quan đến kiến trúc ViT cản trở khả năng tăng độ phân giải hình ảnh đầu vào.

Để giải quyết thách thức này, khuôn khổ Osprey triển khai một bộ mã hóa tầm nhìn CLIP dựa trên CNN trong kiến trúc của nó. Thông thường, các mô hình CLIP dựa trên CNN đã thể hiện khả năng tổng quát hóa đáng chú ý trên các độ phân giải đầu vào khác nhau so với các mô hình CLIP dựa trên kiến trúc transformer. Việc triển khai mô hình CLIP dựa trên CNN tạo điều kiện cho việc suy luận nhanh và đào tạo hiệu quả mà không ảnh hưởng đến hiệu suất của mô hình. Hơn nữa, mô hình CLIP dựa trên CNN có khả năng tạo ra các bản đồ tính năng đa quy mô mà khuôn khổ sau đó sử dụng trực tiếp để trích xuất tính năng trong mỗi vùng đối tượng tiếp theo.

Bộ trích xuất trực quan nhận thức mặt nạ

Ngược lại với các mô hình dựa trên vùng hiện có sử dụng các hộp giới hạn thưa thớt làm đầu vào tham chiếu, khuôn khổ Osprey sử dụng các vùng mặt nạ chi tiết để thực hiện các biểu diễn dựa trên đối tượng. Mô hình Osprey sử dụng một thành phần bộ trích xuất trực quan nhận thức mặt nạ để bắt các tính năng pixel trong mỗi vùng đối tượng. Thành phần bộ trích xuất trực quan nhận thức mặt nạ này mã hóa các tính năng trực quan cấp độ mặt nạ và thu thập thông tin vị trí không gian của mỗi vùng.

Để thực hiện điều này, Osprey đầu tiên sử dụng các tính năng hình ảnh đa cấp được tạo ra bởi bộ mã hóa tầm nhìn để áp dụng hoạt động thu gom mặt nạ, và đối với mỗi tính năng cấp độ đơn, khuôn khổ thu gom tất cả các tính năng nằm trong vùng mặt nạ. Mô hình sau đó mã hóa các tính năng trên các lớp khác nhau bằng cách truyền mỗi tính năng qua một lớp dự án tuyến tính tạo ra các bản nhúng cấp độ vùng, và hợp nhất các tính năng đa cấp bằng cách thực hiện tổng hợp. Mô hình sau đó sử dụng một lớp MLP để tạo ra token mặt nạ trực quan. Hơn nữa, Osprey bảo tồn hình học không gian của vùng đối tượng bằng cách mã hóa mối quan hệ vị trí cấp độ pixel bằng cách triển khai một mặt nạ nhị phân cho mỗi vùng đối tượng. Cuối cùng, Osprey bao gồm token mặt nạ trực quan và các token không gian tương ứng cho mỗi bản nhúng vùng mặt nạ.

Tạo mã hóa LLM

Như đã đề cập trước đó, mô hình trích xuất các bản nhúng cấp độ hình ảnh của một hình ảnh bằng cách cho nó vào một bộ mã hóa tầm nhìn được đào tạo trước. Đối với thông tin văn bản, mô hình đầu tiên sử dụng các bộ mã hóa token LLM được đào tạo trước để mã hóa các chuỗi văn bản, và sau đó dự án các chuỗi token văn bản này vào các bản nhúng văn bản. Đối với các vùng mặt nạ, mô hình định nghĩa một token đặc biệt làm một dấu giữ chỗ, và sau đó thay thế nó bằng một token không gian cùng với một token mặt nạ. Khi mô hình tham chiếu đến một vùng đối tượng trong đầu vào văn bản, nó thêm dấu giữ chỗ sau tên vùng đó, cho phép các vùng mặt nạ trộn với văn bản một cách trơn tru, dẫn đến các câu hoàn chỉnh mà không có khoảng cách mã hóa. Hơn nữa, ngoài các hướng dẫn của người dùng, mô hình cũng bao gồm một lời nhắc tiền tố, một token đặc biệt phục vụ như một dấu giữ chỗ, sau đó được thay thế bằng các bản nhúng cấp độ hình ảnh của bộ mã hóa tầm nhìn. Cuối cùng, khuôn khổ xen kẽ các token trực quan cấp độ vùng và cấp độ hình ảnh cùng với các token văn bản, và cho chúng vào mô hình ngôn ngữ lớn để hiểu hướng dẫn của người dùng và hình ảnh với các vùng khác nhau trong đối tượng.

Osprey: Quá trình đào tạo ba giai đoạn

Khuôn khổ Osprey triển khai một quá trình đào tạo ba giai đoạn, trong đó mỗi giai đoạn đào tạo được giám sát bằng cách giảm thiểu sự mất mát dự đoán token tiếp theo.

Giai đoạn 1: Đào tạo căn chỉnh hình ảnh-văn bản

Trong giai đoạn đầu tiên, khuôn khổ Osprey triển khai bộ mã hóa tầm nhìn CLIP dựa trên CNN để đào tạo các tính năng cấp độ hình ảnh và bộ kết nối ngôn ngữ để đào tạo mô hình cho căn chỉnh tính năng hình ảnh-văn bản. Trong giai đoạn đầu tiên, khuôn khổ sử dụng ba thành phần: một mô hình ngôn ngữ lớn được đào tạo trước, một bộ mã hóa tầm nhìn được đào tạo trước, và một bộ dự án cấp độ hình ảnh. Khuôn khổ cũng áp dụng một lớp MLP để phục vụ như một bộ kết nối tầm nhìn-ngôn ngữ giúp tăng cường khả năng tạo ra đa phương tiện của Osprey.

Giai đoạn 2: Đào tạo căn chỉnh mặt nạ-văn bản trước

Trong giai đoạn thứ hai, Osprey tải trọng được đào tạo trong giai đoạn đầu tiên và sử dụng thành phần bộ trích xuất trực quan nhận thức mặt nạ của nó để bắt các tính năng vùng pixel. Trong giai đoạn thứ hai, khuôn khổ chỉ đào tạo bộ trích xuất trực quan nhận thức mặt nạ để căn chỉnh các bản nhúng ngôn ngữ với các tính năng vùng dựa trên mặt nạ. Hơn nữa, mô hình thu thập các cặp mặt nạ pixel và văn bản ngắn từ các tập dữ liệu cấp độ bộ phận và cấp độ đối tượng công khai, và chuyển đổi chúng thành dữ liệu theo hướng dẫn để đào tạo mô hình thêm.

Giai đoạn 3: Điều chỉnh cuối cùng

Trong giai đoạn thứ ba và cuối cùng, mô hình cố định trọng số của bộ mã hóa tầm nhìn và điều chỉnh mô hình ngôn ngữ lớn, bộ trích xuất tính năng vùng dựa trên mặt nạ và các thành phần bộ dự án cấp độ hình ảnh trong kiến trúc của nó. Mục tiêu chính của đào tạo trong giai đoạn thứ ba là mở rộng khả năng của mô hình để tuân theo hướng dẫn của người dùng một cách chính xác và thực hiện các nhiệm vụ hiểu vùng pixel một cách hiệu quả.

Sau khi triển khai các giai đoạn đào tạo ba giai đoạn, khuôn khổ Osprey có khả năng hiểu các kịch bản phức tạp được định nghĩa bởi hướng dẫn của người dùng và dựa trên các vùng mặt nạ cấp độ pixel.

Osprey: Kết quả thực nghiệm

Để đánh giá hiệu suất của nó, các nhà phát triển Osprey tiến hành một loạt các thí nghiệm để chứng minh khả năng của mô hình trong phân loại, nhận dạng vùng pixel và mô tả phức tạp.

Phân đoạn từ vựng mở

Mục tiêu chính của phân đoạn từ vựng mở là tạo ra nhận dạng vùng mặt nạ và danh mục của nó một cách rõ ràng. Để đạt được phân đoạn từ vựng mở, Osprey đầu tiên sử dụng một lời nhắc văn bản đầu vào, sau đó mô hình áp dụng các vùng mặt nạ thực tế cho sự can thiệp của mô hình để đánh giá hiệu suất của mô hình trong các nhiệm vụ nhận dạng từ vựng mở. Dựa trên phản hồi câu được tạo ra bởi mô hình ngôn ngữ lớn đa phương tiện, Osprey tính toán sự tương đồng ngữ nghĩa giữa danh sách từ vựng và đầu ra của mỗi tập dữ liệu. Hình ảnh sau so sánh Osprey với các mô hình ngôn ngữ lớn đa phương tiện hiện có.

Như có thể quan sát được, khuôn khổ Osprey vượt trội so với các phương pháp hiện có với một khoảng cách đáng kể trên cả tập dữ liệu Cityscapes và ADE20K-150. Kết quả chỉ ra khả năng của Osprey trong việc vượt trội so với các phương pháp hiện có và đạt được hiểu biết mạnh mẽ về các vùng đối tượng mịn.

Phân loại đối tượng tham chiếu

Trong nhiệm vụ phân loại đối tượng tham chiếu, mô hình được yêu cầu phân loại đối tượng trong một vùng cụ thể của hình ảnh. Để đánh giá khả năng phân loại của nó, khuôn khổ Osprey sử dụng hai thước đo liên quan ngữ nghĩa, bao gồm IoU ngữ nghĩa (S-IoU) và Tương đồng ngữ nghĩa (SS). IoU ngữ nghĩa đại diện cho sự chồng lấp của các từ giữa các nhãn thực tế và dự đoán, trong khi Tương đồng ngữ nghĩa đo lường sự tương đồng giữa các nhãn dự đoán và thực tế trong không gian ngữ nghĩa. Hình ảnh sau minh họa hiệu suất của Osprey trong nhiệm vụ phân loại đối tượng tham chiếu khi so sánh với các mô hình sử dụng các phương pháp cấp độ hộp và cấp độ hình ảnh.

Mô tả vùng chi tiết

Trong nhiệm vụ mô tả vùng chi tiết, mô hình đánh giá hiệu suất của nó trong khả năng mô tả chi tiết theo hướng dẫn cùng với các phương pháp cấp độ vùng khác. Mô hình chọn một lời nhắc suy luận đầu vào ngẫu nhiên từ một danh sách các lời nhắc được định nghĩa trước, và tận dụng khuôn khổ LLM GPT-4 để đo lường chất lượng của phản hồi được tạo ra bởi mô hình so với các vùng tham chiếu đầu vào một cách toàn diện. Sử dụng đường ống tạo hướng dẫn, mô hình tạo ra các câu hỏi và tìm kiếm câu trả lời từ GPT-4, sau đó LLM đánh giá tính chính xác của ngữ nghĩa và độ chính xác của hiểu biết tham chiếu. Hình ảnh sau minh họa hiệu suất của Osprey so với các mô hình hiện có trên các nhiệm vụ mô tả vùng chi tiết.

Chú thích cấp độ vùng

Khuôn khổ Osprey cũng vượt trội so với các phương pháp hiện tại trên các nhiệm vụ chú thích cấp độ vùng, với kết quả được chứa trong hình ảnh sau.

Suy nghĩ cuối cùng

Trong bài viết này, chúng tôi đã thảo luận về Osprey, một phương pháp đào tạo hướng dẫn mặt nạ-văn bản với mục tiêu chính là mở rộng khả năng của các mô hình ngôn ngữ lớn đa phương tiện bằng cách kết hợp các vùng mặt nạ mịn vào hướng dẫn ngôn ngữ để đạt được hiểu biết tầm nhìn-ngôn ngữ ở cấp độ pixel. Để đạt được mục tiêu của nó, khuôn khổ Osprey tạo ra một tập dữ liệu vùng-mặt nạ-văn bản với hơn 700 nghìn mẫu và tiêm đại diện cấp độ pixel vào LLM để thiết kế một mô hình tầm nhìn-ngôn ngữ. Khuôn khổ Osprey nhằm mục đích nâng cao khả năng của các mô hình ngôn ngữ lớn đa phương tiện cho hiểu biết trực quan mịn đáng kể, và bằng cách triển khai một mô hình CLIP dựa trên CNN và một bộ trích xuất trực quan nhận thức mặt nạ, Osprey đạt được khả năng hiểu hình ảnh ở cả cấp độ bộ phận và cấp độ đối tượng.