Khả năng hiểu biết không gian trong các mô hình học ngôn ngữ và hình ảnh vẫn còn là một thách thức nghiên cứu cốt lõi. Sự hiểu biết này là nền tảng cho hai khả năng quan trọng: tham chiếu và nền tảng. Tham chiếu cho phép mô hình giải thích chính xác ngữ nghĩa của các vùng cụ thể, trong khi nền tảng liên quan đến việc sử dụng mô tả ngữ nghĩa để xác định vị trí của các vùng này.

Các nhà phát triển đã giới thiệu Ferret, một Mô hình Ngôn ngữ Lớn Đa phương tiện (MLLM), có khả năng hiểu biết không gian tham chiếu trên mọi độ phân giải hoặc hình dạng trong hình ảnh và chính xác nền tảng cho các mô tả từ vựng mở. Ferret sử dụng một biểu diễn vùng kết hợp mới, kết hợp các tính năng trực quan liên tục với tọa độ rời rạc để biểu diễn các vùng hình ảnh. Bộ lấy mẫu trực quan thông minh về không gian của nó xử lý sự thay đổi độ phân giải trong các hình dạng, cho phép nó xử lý các đầu vào vùng đa dạng như hình dạng tự do, hộp giới hạn và điểm.

Ferret’s phương pháp cho phép nó vượt trội trong các nhiệm vụ nền tảng và tham chiếu cổ điển và vượt qua các MLLM khác trong các nhiệm vụ giao tiếp đa phương tiện đòi hỏi vị trí và dựa trên vùng. Bài viết này đi sâu vào kiến trúc và phương pháp của Ferret, nhấn mạnh hiệu suất ấn tượng của nó trong các nhiệm vụ ngôn ngữ đa phương tiện khác nhau. Hãy cùng khám phá thêm.

Ferret : Hiệu suất vượt trội trong các nhiệm vụ tham chiếu và nền tảng

Tham chiếu trong một mô hình là khả năng cho phép mô hình hiểu chính xác ngữ nghĩa của các vùng cụ thể, trong khi nền tảng làm cho nó thiết yếu cho mô hình sử dụng mô tả ngữ nghĩa để xác định vị trí của các vùng. Mặc dù chúng có thể khác nhau trong các nhiệm vụ của mình, nhưng cả tham chiếu và nền tảng đều có cùng một khái niệm cơ bản: sự sắp xếp của ngữ nghĩa không gian và thông tin. Tuy nhiên, mặc dù chia sẻ cùng một khái niệm, các mô hình hiện có học nền tảng và tham chiếu riêng biệt. Mặc dù phương pháp này hoạt động, nhưng nó tạo ra một rào cản trong việc đạt được khả năng giống con người, vì con người có thể học từ một nhiệm vụ và áp dụng kiến thức đó một cách mượt mà vào các nhiệm vụ khác, và có thể tích hợp dễ dàng khả năng nền tảng/tham chiếu với lý luận và đối thoại hàng ngày. Khung Ferret lấy cảm hứng từ khoảng trống này trong các khung MLLM hiện có và nghiên cứu ba câu hỏi chính:

1. Làm thế nào để thống nhất khả năng nền tảng và tham chiếu trong khung, và làm thế nào sự thống nhất này sẽ mang lại lợi ích cho nhau?
2. Con người sử dụng các loại vùng khác nhau như hộp, điểm, nét, hình dạng tự do để tham chiếu? Làm thế nào để biểu diễn các vùng đa dạng này?
3. Làm thế nào để làm cho nền tảng và tham chiếu theo hướng dẫn, mạnh mẽ và mở từ vựng, những điều quan trọng cho các ứng dụng thực tế và thời gian thực của chúng?

Khung Ferret là một mô hình ngôn ngữ đa phương tiện mới tham chiếu và nền tảng, nhằm mục đích giải quyết các câu hỏi này. Khung Ferret chọn một Mô hình Ngôn ngữ Lớn Đa phương tiện làm nền tảng của nó, nhờ vào khả năng hiểu biết toàn cầu và ngôn ngữ đáng kinh ngạc của chúng. Hơn nữa, để thống nhất khả năng nền tảng và tham chiếu, khung Ferret biểu diễn tọa độ của các vùng trong dạng số tự nhiên. Tuy nhiên, trong thực tế, việc sử dụng tọa độ để biểu diễn hình dạng tự do là không hiệu quả và không rõ ràng. Để giải quyết vấn đề này, khung Ferret sử dụng một bộ lấy mẫu trực quan thông minh về không gian, có thể thu được các vùng trực quan cho các vùng bất kể hình dạng, từ đó đàm phán với sự thay đổi độ phân giải trong các hình dạng này. Khung sau đó kết hợp các tính năng trực quan liên tục với tọa độ rời rạc để biểu diễn các vùng trực quan trong đầu vào, dẫn đến việc tạo ra một biểu diễn vùng kết hợp trong Ferret.

Khung Ferret triển khai các phương pháp trên để giải quyết đầu vào kết hợp văn bản tự do với các vùng được tham chiếu, và có thể tạo ra tọa độ cho mỗi đối tượng có thể nền tảng với việc tạo văn bản để nền tảng các đối tượng được đề cập trong đầu ra. Bằng cách làm như vậy, Ferret là khung đầu tiên xử lý đầu vào vùng tự do trong các Mô hình Ngôn ngữ Lớn Đa phương tiện. Hơn nữa, khung Ferret hấp thụ khả năng mở từ vựng đáng kinh ngạc của định vị không gian và hiểu biết, cho phép khung đạt được hiệu suất vượt trội khi được đánh giá trên các nhiệm vụ nền tảng và tham chiếu cổ điển.

Tiếp theo, khung Ferret tìm kiếm cảm hứng từ ba khung AI hiện có, bao gồm Mô hình Ngôn ngữ Lớn Đa phương tiện, MLLM cho Tham chiếu và Nền tảng, và Thống nhất Nền tảng và Hiểu biết Ngôn ngữ Hình ảnh.

Sự giới thiệu của các Mô hình Ngôn ngữ Lớn, bao gồm GPT, DALL-E, PaLM, LLaMA và BLOOM, đã thay đổi cảnh quan nghiên cứu NLP, dẫn đến những tiến bộ đáng kể trong các mô hình ngôn ngữ đa phương tiện. Các mô hình ngôn ngữ đa phương tiện trước đây tập trung chủ yếu vào việc tạo ra hình ảnh và văn bản trên quy mô lớn, với một số ví dụ đáng chú ý như PaLI, SimVLM, GIT, BLIP-2, FLAMINGO, CM3 và PaLI-X. Tuy nhiên, kể từ khi khung Flamingo đạt được tích hợp hiệu quả của LLM với mã hóa hình ảnh CLIP pre-trained thông qua các khối chú ý chéo, dẫn đến khả năng học đa phương tiện vài lần đáng kinh ngạc. Nghiên cứu hiện tại đang tìm cách tận dụng các mô hình ngôn ngữ lớn pre-trained để điều chỉnh hướng dẫn trực quan, với một số ví dụ đáng chú ý như MiniGPT-4, Otter, InstructBLIP và nhiều hơn nữa. Điều gì còn hơn nữa là các mô hình gần đây như Emu và GILL đã chứng minh thành công đáng kể trong việc sử dụng MLLM cho tạo hình ảnh và tìm kiếm hình ảnh. Khung Ferret cũng tham khảo nghiên cứu trước đây tập trung vào việc thống nhất đầu ra văn bản và hộp giới hạn cho Mô hình Ngôn ngữ Hình ảnh.

Ferret : Phương pháp và Kiến trúc

Biểu diễn Vùng Kết hợp

Điểm, hộp và hình dạng tự do là ba định dạng thống trị mà một mô hình ngôn ngữ sử dụng khi tham chiếu đến các vùng cụ thể. Một mặt, điểm và hộp có thể được biểu diễn chính xác bằng tọa độ, nhưng việc ánh xạ hình dạng tự do là một chút thách thức vì hình dạng tự do rất đa dạng. Hình dạng tự do có thể bao gồm một loạt các vùng, bao gồm mặt nạ, đa giác và nét. Sử dụng tọa độ để mô tả hình dạng tự do là một nhiệm vụ phức tạp và tốn kém về mặt tính toán.

Để giải quyết vấn đề này và để tổng quát hóa trên tất cả các định dạng, khung Ferret đề xuất một biểu diễn vùng kết hợp, kết hợp các tính năng trực quan liên tục với tọa độ rời rạc để tham chiếu đến một vùng cụ thể.

Đối với các tính năng trực quan liên tục, đối với một vùng nhất định, khung Ferret đầu tiên xây dựng một mặt nạ nhị phân 2D có cùng kích thước với hình ảnh và đánh dấu giá trị 1 trong vùng được nhắm mục tiêu trong khi gán giá trị 0 ngoài vùng. Mô hình sau đó trích xuất mặt nạ nhị phân cùng với bản đồ tính năng hình ảnh được trích xuất và sau đó gửi nó đến bộ lấy mẫu trực quan thông minh về không gian.

Kiến trúc

Kiến trúc của mô hình Ferret bao gồm三个 thành phần chính

1. Một mã hóa hình ảnh để trích xuất các bản nhúng hình ảnh.
2. Một Bộ lấy mẫu trực quan thông minh về không gian để trích xuất các tính năng vùng liên tục.
3. Một Mô hình Ngôn ngữ Lớn để mô hình hóa văn bản, hình ảnh và tính năng vùng chung.

Hình ảnh đầu tiên được cho vào mã hóa hình ảnh pre-trained để trích xuất các bản nhúng hình ảnh. Đối với đầu vào văn bản, khung sử dụng mã hóa văn bản pre-trained để mã hóa hóa chuỗi văn bản và sau đó chiếu các token này lên bản nhúng văn bản. Đối với các vùng được tham chiếu, Ferret thêm một token đặc biệt và tọa độ như một giữ chỗ cho các tính năng liên tục sau tên vùng. Nếu tên vùng không xác định hoặc phức tạp để mô tả do bao gồm nhiều đối tượng, khung chỉ sử dụng khu vực hoặc tên vùng.

Một trong những thách thức chính khi đối mặt với các vùng được tham chiếu là hình dạng của chúng có thể rất khác nhau, có nghĩa là chúng có thể có nhiều hình dạng khác nhau và không chỉ giới hạn ở hộp hoặc điểm. Các vùng được tham chiếu có hình dạng không đều không thể được xử lý bằng các phương pháp truyền thống như xử lý dựa trên lưới, bao gồm chú ý dựa trên bản vá hoặc kỹ thuật convolution. Để giải quyết vấn đề này, khung Ferret đề xuất một Bộ lấy mẫu trực quan thông minh về không gian. Đối với một bản đồ tính năng được trích xuất nhất định với mặt nạ vùng nhị phân, mô hình Ferret đầu tiên lấy mẫu ngẫu nhiên N số điểm trong mặt nạ vùng nhị phân.

Đối với mỗi điểm riêng lẻ, mô hình thu được tính năng của nó bằng cách thực hiện nội suy tuyến tính. N điểm sau đó được đưa vào một chuỗi các khối, với mỗi khối đi qua ba giai đoạn khác nhau: lấy mẫu, thu thập và nhóm. Trong giai đoạn lấy mẫu, một số điểm cố định được lấy mẫu từ N điểm có sẵn sử dụng thuật toán lấy mẫu điểm xa nhất hoặc thuật toán lấy mẫu điểm gần nhất, đảm bảo phạm vi bao phủ đầy đủ. Trong bước thứ hai, đối với mỗi điểm mẫu, khung tìm kiếm k điểm gần nhất của nó từ nhóm điểm có sẵn. Đối với mỗi nhóm, mô hình sau đó kết hợp các tính năng của điểm mẫu với các điểm lân cận của nó. Trong bước cuối cùng, khung Ferret thực hiện nhóm tối đa để kết hợp k tính năng lân cận vào một tính năng duy nhất để đại diện cho điểm mẫu. Bằng cách thực hiện các bước này, khung Ferret được остав với ít điểm hơn nhưng không gian tính năng có mật độ cao hơn vì nó không chỉ kết hợp các tính năng của các điểm lân cận cục bộ mà còn vị trí tương đối của chúng.

Tạo Dữ liệu Trực quan được hỗ trợ bởi GPT

Dữ liệu huấn luyện hướng dẫn đối thoại là rất quan trọng đối với các Mô hình Ngôn ngữ Lớn Đa phương tiện, vì chúng không chỉ giúp chuyển đổi các tập dữ liệu hiện có bằng mẫu, mà còn giúp mô hình hiểu ý định của con người và tạo ra phản hồi phù hợp. Hầu hết các MLLM sử dụng phương pháp nhắc vài lần để thu được dữ liệu điều chỉnh hướng dẫn trực quan, nơi mô hình cung cấp mô tả văn bản của các cảnh trong hình ảnh cùng với các cuộc đối thoại được chú thích bởi con người như các ví dụ nhắc vài lần. Tuy nhiên, các phương pháp điều chỉnh hướng dẫn hiện có tập trung chủ yếu vào việc mô tả toàn bộ hình ảnh mà không chỉ định thông tin liên quan đến không gian một cách rõ ràng. Khung Ferret nhấn mạnh vào kiến thức dựa trên vùng để thu thập dữ liệu điều chỉnh hướng dẫn tham chiếu và nền tảng trong ba bước.

1. Ngoài việc sử dụng chú thích toàn cầu và đối tượng, khung cung cấp mô tả cảnh tượng biểu tượng mô tả mối quan hệ vật lý giữa các chú thích vùng và đối tượng, cũng như cung cấp tọa độ của chúng.
2. Đối với các cuộc đối thoại được chú thích bởi con người, khung thêm tọa độ sau các đối tượng hoặc vùng có thể nền tảng trong đầu vào hoặc đầu ra, hoặc cả hai, với các cuộc đối thoại tập trung chủ yếu vào các vùng cụ thể, giúp kích thích mô hình ngôn ngữ một cách ngầm định để theo dõi các mẫu tương tự cho việc tạo ra cuộc đối thoại mới.
3. Có thể cuộc đối thoại được tạo ra bởi khung có thể không tuân theo các quy tắc và mẫu như được chỉ dẫn bởi các ví dụ nhắc vài lần và các lời nhắc của hệ thống. Để giải quyết vấn đề này, khung lại sử dụng một mô hình ngôn ngữ để tinh chỉnh các cuộc đối thoại được tạo ra bởi mô hình ban đầu.

Khai thác Tiêu cực Không gian

Nghiên cứu trước đây đã chứng minh rằng các mô hình ngôn ngữ đa phương tiện lớn có khả năng cao trong việc ảo giác khi trả lời các câu hỏi có hoặc không. Để đảm bảo mô hình Ferret không ảo giác trong các điều kiện tương tự, khung sử dụng phương pháp khai thác tiêu cực không gian với Định vị Loại hình ảnh có điều kiện và Định vị Loại ngữ nghĩa có điều kiện. Cả hai phương pháp này yêu cầu mô hình định vị các loại đối tượng cụ thể, cho phép mô hình nhận ra sự vắng mặt của một số đối tượng trong hình ảnh.

Ferret : Kết quả và Thử nghiệm

Để phân tích hiệu suất của nó, khung Ferret được đánh giá trên các chuẩn mực nền tảng và tham chiếu cổ điển sau đó khung được đánh giá trong một nhiệm vụ trò chuyện đa phương tiện phức tạp hơn và kiểm tra khả năng tham chiếu và nền tảng của nó.

Khả năng hiểu biết tham chiếu của mô hình được đánh giá bởi mức độ chính xác mà mô hình có thể hiểu ngữ nghĩa của vùng được tham chiếu cho trước trong hình ảnh hoặc câu hỏi. Để đo lường độ chính xác của mô hình, các đối tượng, ngữ nghĩa cơ bản nhất, được xem xét trước tiên vì chúng không chỉ là cơ bản mà còn dễ định nghĩa. Để bắt chước sự đa dạng của con người, khung thay thế vị trí của đối tượng trong hình ảnh bằng một hình dạng tự do, một hộp và một điểm. Đối với hình dạng tự do, mô hình tạo ra các nét ngẫu nhiên trong đối tượng Thực tế để mô phỏng. Đối với hộp, khung Ferret sử dụng hộp giới hạn thực tế được cung cấp bởi thành phần LVIS. Cuối cùng, đối với điểm, mô hình lấy mẫu ngẫu nhiên một điểm trong đối tượng thực tế gần ranh giới của đối tượng thực tế. Kết quả trên ba loại tham chiếu được trình bày trong hình ảnh sau.

Khung Ferret chứng minh hiệu suất đáng chú ý trong các nhiệm vụ đối thoại tham chiếu, tạo điều kiện cho việc tích hợp với các nhiệm vụ học trực quan khác, đặc biệt là những nhiệm vụ có đầu ra nền tảng. Để đánh giá khả năng nền tảng của nó, khung Ferret đầu tiên thực hiện các nhiệm vụ nền tảng trực quan với một khuôn khổ tạo. Sau đó, khung đánh giá khả năng của nó trong các nhiệm vụ chú thích nền tảng để đo lường sự sắp xếp giữa các vùng và từ.

Trong các nhiệm vụ nền tảng trực quan, khung nhằm mục đích nền tảng các truy vấn ngôn ngữ vào các vùng được sắp xếp trong hình ảnh, và như có thể thấy trong hình ảnh sau, khung Ferret chứng minh hiệu suất đáng chú ý trên tất cả các chuẩn mực, và hiệu suất này tương đương với hiệu suất đạt được bởi các phương pháp tinh chỉnh chuyên dụng.

Đối với các nhiệm vụ chú thích nền tảng, mô hình cần tạo ra một chú thích và sau đó nền tảng các cụm danh từ được tạo ra vào các vùng hình ảnh. Dự đoán cuối cùng được thực hiện bởi mô hình bao gồm ba thành phần: vùng trực quan dưới dạng hộp, chú thích văn bản và sự sắp xếp nền tảng giữa hộp và từ. Kết quả được trình bày trong hình ảnh sau, và như có thể quan sát, khung cung cấp hiệu suất tương đương với các phương pháp hiện đại.

Cuối cùng, trò chuyện đa phương tiện là một trong những khả năng mong muốn nhất trong một MLLM, và các MLLM hiện có chủ yếu đánh giá mô tả chi tiết, cuộc trò chuyện và lý luận phức tạp với mô hình ngôn ngữ như một thẩm phán. Tuy nhiên, vì không có tập dữ liệu nào đánh giá trò chuyện đa phương tiện với các hành động tham chiếu hoặc nền tảng bắt buộc, điều này tạo ra một khoảng trống. Để lấp đầy khoảng trống này, khung Ferret bao gồm ba câu hỏi dựa trên vùng để đánh giá khả năng tham chiếu và nền tảng của nó trong các nhiệm vụ trò chuyện đa phương tiện.

Cuối cùng, khung Ferret được so sánh trực tiếp với khung GPT hiện đại, và kết quả được trình bày dưới đây.

Lời kết

Trong bài viết này, chúng ta đã thảo luận về Ferret, một mô hình ngôn ngữ đa phương tiện lớn chứng minh khả năng nền tảng và tham chiếu đáng chú ý. Khung Ferret có thể tham chiếu đến các vùng hình ảnh bất kể hình dạng của chúng, và có thể thiết lập nền tảng cho văn bản được dự đoán bởi mô hình tự động. Ferret sử dụng một bộ lấy mẫu trực quan thông minh về không gian có khả năng xử lý sự thay đổi độ phân giải được hiển thị bởi các hình dạng khác nhau để trích xuất các tính năng liên tục của các vùng đa dạng. Kết quả là, khung Ferret có thể nhập các đầu vào vùng đa dạng, bao gồm hình dạng tự do, hộp giới hạn và điểm.