Niedawne postępy i rozwój dużych modeli językowych przyniosły znaczny wzrost zdolności rozumnienia, zrozumienia i interakcji z językiem wizualnym. Współczesne ramy osiągają to, wprowadzając sygnały wizualne do dużych modeli językowych, aby umożliwić im percepcję świata wizualnego, różnorodny zakres scenariuszy, które opierają się na strategiach kodowania wizualnego. Różnica w scenariuszu odzwierciedla wąskie pokrycie dużych modeli językowych w różnych dziedzinach i zadaniach, podczas gdy różnica w rozdzielczości i stosunku boków ujawnia dużą zmienność wewnątrzklasową w rzeczywistych obrazach, które są trudne do obsłużenia. W przeciwieństwie do małej skali, która obniża zmienność, modele po BERT radzą sobie ze znaczeniem (np. dla LLaVA-UHD jest to 224×224) niskiej rozdzielczości obrazów o stałym stosunku boków, 1:1, aby dać rzeczywistym obrazom. Chociaż ten kompromis jest przydatny do zapewnienia ogólnej zastosowalności dużych modeli językowych w rzeczywistych aplikacjach, często prowadzi to do bardzo rozmytych obrazów, a także powoduje ciężką deformację kształtu. To znacznie wpływa na zdolności dużych modeli wielomodalnych lub LMM (np. zadania drobnoziarniste), takie jak rozpoznawanie optyczne znaków i zrozumienie małych obiektów. Ponieważ rozdzielczość i stosunek boków są predefiniowane, modele mogą tylko zgadywać rozmyte obrazy, co prowadzi do halucynacji modelu, sytuacji, w której model wytwarza odpowiedzi tekstowe, które nie są uzasadnione faktami w obrazach. Dlaczego więc nie benchmarkują modele LMM, które postrzegają obrazy w wysokiej rozdzielczości i zmiennym stosunku boków?

Istnieją dwie główne przyczyny, dla których benchmarkowe modele LMM nie są w stanie postrzegać obrazów o wysokiej rozdzielczości i zmiennym stosunku boków. Po pierwsze, ponieważ kodery wizualne są przeszkolone w stałych rozdzielczościach, utrudnia to modelowi i koderowi radzenie sobie z obrazami o zmiennych stosunkach boków i rozdzielczościach, co znacznie wpływa na adaptacyjność modelu. Po drugie, kodowanie obrazów o wysokiej rozdzielczości bezpośrednio przy użyciu transformatorów wizualnych wiąże się z znacznymi kosztami obliczeniowymi w odniesieniu do rozmiaru obrazu. Ponadto koszty obliczeniowe mogą być znacznie wyższe dla dużego modelu językowego do przetwarzania dużej liczby tokenów wizualnych dla obrazów o wysokiej rozdzielczości, co znacznie wpływa na ogólną wydajność modelu. Aby przeciwdziałać tym wyzwaniom, LLaVA-UHD, duży model wielomodalny, który postrzega obrazy o wysokiej rozdzielczości i dowolnym stosunku boków, bierze ramy LLaVA-1.5 i GPT-4V jako przykłady reprezentatywne i próbuje ujawnić systematyczne błędy zakorzenione w ich strategii kodowania wizualnego.

LLaVA-UHD: Wydajne postrzeganie obrazów w dowolnym stosunku boków i wysokiej rozdzielczości

Rozumienie języka wizualnego, zrozumienie i interakcja poczyniły znaczne postępy, głównie dzięki niedawnemu pchaniu dużych modeli językowych. W współczesnych ramach osiąga się to, wprowadzając sygnały wizualne do dużych modeli językowych, aby umożliwić im interpretację świata wizualnego, różnorodny zakres scenariuszy, które opierają się na strategiach kodowania wizualnego. Różnica w scenariuszu odzwierciedla wąskie pokrycie dużych modeli językowych w różnych dziedzinach i zadaniach, podczas gdy różnica w rozdzielczości i stosunku boków ujawnia dużą zmienność wewnątrzklasową w rzeczywistych obrazach, które są trudne do obsłużenia. W przeciwieństwie do małej skali, która obniża zmienność, modele po BERT radzą sobie ze znaczeniem (np. dla LLaVA-UHD jest to 224×224) niskiej rozdzielczości obrazów o stałym stosunku boków, 1:1, aby dać rzeczywistym obrazom. Chociaż ten kompromis jest przydatny do zapewnienia ogólnej zastosowalności dużych modeli językowych w rzeczywistych aplikacjach, często prowadzi to do bardzo rozmytych obrazów, a także powoduje ciężką deformację kształtu. To znacznie wpływa na zdolności dużych modeli wielomodalnych lub LMM (np. zadania drobnoziarniste), takie jak rozpoznawanie optyczne znaków i zrozumienie małych obiektów. Ponieważ rozdzielczość i stosunek boków są predefiniowane, modele mogą tylko zgadywać rozmyte obrazy, co prowadzi do halucynacji modelu, sytuacji, w której model wytwarza odpowiedzi tekstowe, które nie są uzasadnione faktami w obrazach. Dlaczego więc nie benchmarkują modele LMM, które postrzegają obrazy w wysokiej rozdzielczości i zmiennym stosunku boków?

Istnieją dwie główne przyczyny, dla których benchmarkowe modele LMM nie są w stanie postrzegać obrazów o wysokiej rozdzielczości i zmiennym stosunku boków. Po pierwsze, ponieważ kodery wizualne są przeszkolone w stałych rozdzielczościach, utrudnia to modelowi i koderowi radzenie sobie z obrazami o zmiennych stosunkach boków i rozdzielczościach, co znacznie wpływa na adaptacyjność modelu. Po drugie, kodowanie obrazów o wysokiej rozdzielczości bezpośrednio przy użyciu transformatorów wizualnych wiąże się z znacznymi kosztami obliczeniowymi w odniesieniu do rozmiaru obrazu. Ponadto koszty obliczeniowe mogą być znacznie wyższe dla dużego modelu językowego do przetwarzania dużej liczby tokenów wizualnych dla obrazów o wysokiej rozdzielczości, co znacznie wpływa na ogólną wydajność modelu. Aby przeciwdziałać tym wyzwaniom, LLaVA-UHD, duży model wielomodalny, który postrzega obrazy o wysokiej rozdzielczości i dowolnym stosunku boków, bierze ramy LLaVA-1.5 i GPT-4V jako przykłady reprezentatywne i próbuje ujawnić systematyczne błędy zakorzenione w ich strategii kodowania wizualnego.

Modularyzacja kodowania wizualnego

Powszechnym podejściem do radzenia sobie z obrazami o wysokiej rozdzielczości i zmiennym stosunku boków jest interpolacja osadzeń pozycyjnych transformatora wizualnego lub ViT do docelowego kształtu do bezpośredniego kodowania jako całości. Jednakże wdrożenie tego podejścia jest często伴owane z wysokimi kosztami obliczeniowymi, a problemy poza dystrybucją prowadzą do dalszego pogorszenia wyników. Aby rozwiązać to wyzwanie, LLaVA-UHD prezentuje strategię modularyzacji kodowania wizualnego, która polega na podzieleniu obrazów o rozdzielczości rodzimej na mniejsze, zmiennie rozmiarowe plasterki, których kształt jest bardzo zbliżony do standardowego ustawienia przeszkolenia transformatora wizualnego. Dzięki zastosowaniu plasterków o zmiennym rozmiarze, LLaVA-UHD jest w stanie osiągnąć pełną adaptacyjność do obrazów o rozdzielczości rodzimej bez wprowadzania deformacji kształtu, przeskalowania lub wypełniania. Ponadto głównym celem strategii plasterkowania jest określenie podziału obrazów o wysokiej rozdzielczości z minimalnymi zmianami w rozdzielczości każdego plasterka. Dla danego obrazu o określonej rozdzielczości (w, h) i transformatorze wizualnym przeszkolonym w innej rozdzielczości, LLaVA-UHD najpierw określa idealną liczbę plasterków wymaganą do przetworzenia obrazu. Następnie dzieli liczbę plasterków na m kolumn i n wierszy. Następnie definiuje funkcję punktacji, aby zmierzyć odchylenie od standardowego ustawienia przeszkolenia transformatora wizualnego. Teoretycznie, LLaVA-UHD jest w stanie udowodnić, że strategia podziału wdrożona w jego architekturze gwarantuje niewielkie zmiany oczekiwane i umiarkowane zmiany najgorszego przypadku w odniesieniu do standardowej rozdzielczości przeszkolenia dla każdego plasterka.

Ponadto większość istniejących modeli LMM wdraża statyczną rozdzielczość dla kodowania plasterków obrazu, podejście, które uniemożliwia pełną adaptacyjność modelu do rozdzielczości rodzimej, ponieważ mają one dostęp tylko do kilku predefiniowanych, stałych kształtów plasterków. Dodatkowo, statyczna rozdzielczość plasterka szkodzi wydajności, efektywności i poprawności modelu, ponieważ powoduje nieuniknioną deformację kształtu, przeskalowanie lub wypełnianie. Aby rozwiązać ten problem, LLaVA-UHD proponuje zakodowanie plasterków obrazu w stosunku boków zdefiniowanym przez strategię podziału. Aby być bardziej konkretnym, LLaVA-UHD najpierw przeskalowuje oryginalny obraz proporcjonalnie zgodnie ze stosunkiem boków, tak aby liczba łat fit w ramach budżetu przeszkolenia, tj. liczby sekwencji osadzeń pozycyjnych w transformatorze wizualnym, maksymalnie. Następnie LLaVA-UHD przekształca sekwencję osadzeń pozycyjnych przeszkolonych w transformatorze wizualnym w format 2D zgodnie z jego ustawieniami przeszkolenia.

Warstwa kompresji

Powszechnym problemem, z którym borykają się modele LMM przy przetwarzaniu obrazów o wysokiej rozdzielczości, jest to, że liczba tokenów wizualnych, które muszą być przetworzone, jest znacznie wyższa (dla odniesienia, ramy LLaVA-1.5 wytwarzają około 3500 tokenów wizualnych przy przetwarzaniu jednego obrazu o rozdzielczości 672×1008), co stanowi znaczną część zasobów obliczeniowych i kosztów. Aby uwzględnić to wyzwanie, LLaVA-UHD wdraża wspólną warstwę próbkowania perceivera, aby skompresować tokeny wizualne każdego plasterka obrazu. Następnie LLaVA-UHD wdraża zestaw wektorów zapytań za pomocą uwagi wzajemnej, aby ponownie próbkować wyjście tokenów obrazu przez kodery wizualne do niższej liczby. W porównaniu z powszechnymi strategiami projekcji wizualnej opartymi na wielowarstwowym perceptronie, podejście próbkowania perceivera wdrożone przez LLaVA-UHD jest w stanie utrzymać rozsądną, ale stałą liczbę tokenów wizualnych, niezależnie od rozdzielczości obrazu, co czyni LLaVA-UHD bardziej kompatybilnym z zadaniami przetwarzania i zrozumienia obrazów o wysokiej rozdzielczości. Aby to zobrazować, LLaVA-UHD wytwarza tyle samo tokenów podczas kodowania obrazu o rozdzielczości 672×1008, co ramy LLaVA-1.5 wytwarzają podczas kodowania obrazu o rozdzielczości 336×336, co jest prawie 6 razy bardziej efektywne niż jego konkurent.

Schemat przestrzenny dla plasterków obrazu

Jest to konieczna praktyka, aby poinformować duży model językowy o organizacji przestrzennej plasterków obrazu, ponieważ podział obrazów jest dynamiczny w różnych obrazach. LLaVA-UHD projektuje i wdraża schemat przestrzenny, który używa dwóch specjalnych tokenów, aby poinformować LMM o względnej pozycji plasterków obrazu. W ramach tego schematu przestrzennego, LLaVA-UHD używa „,” do oddzielenia reprezentacji plasterków w wierszu, a różne wiersze są oddzielone za pomocą „n”.

LLaVA-UDH: Eksperymenty i wyniki

Ramy LLaVA-UHD są oceniane w porównaniu z 9 popularnymi benchmarkami, w tym ogólnymi benchmarkami pytań wizualnych, benchmarkami pytań wizualnych opartymi na znakach optycznych, benchmarkami halucynacji i kompleksowymi benchmarkami. Ponadto ramy LLaVA-UHD są porównywane z silnymi benchmarkami, w tym LLaVA-1.5, MiniGPT-v2, InstructBLIP, BLIP-2 i więcej.

Wyniki ram LLaVA-UHD na 9 popularnych benchmarkach są podsumowane i porównywane z popularnymi benchmarkami w poniższej tabeli.

Na podstawie powyższych wyników można stwierdzić, że ramy LLaVA-UHD są w stanie przewyższyć silne modele bazowe na popularnych benchmarkach, w tym silne modele bazowe przeszkolone na znacznie większej ilości danych, a także przewyższyć modele LMM, które wymagają znacznie więcej obliczeń, takie jak Fuyu-8B, Monkey i więcej. Po drugie, wyniki wskazują również, że ramy LLaVA-UHD osiągają znacznie lepsze wyniki niż architektura LLaVA-1.5, a z drugiej strony, gdzie LLaVA-1.5 obsługuje stałą rozdzielczość 336×336, ramy LLaVA-UHD obsługują obrazy o rozdzielczości 672×1088 z dowolnym stosunku boków i tą samą liczbą tokenów wizualnych.

Podsumowanie

W tym artykule omówiliśmy LLaVA-UHD, nowatorskie podejście, które bierze ramy LLaVA-1.5 i GPT-4V jako przykłady reprezentatywne i próbuje ujawnić systematyczne błędy zakorzenione w ich strategii kodowania wizualnego. Ramy LLaVA-UHD, model wielomodalny, są próbą rozwiązania tych wyzwań. Ramy LLaVA-UHD mogą postrzegać obrazy o wysokiej rozdzielczości i dowolnym stosunku boków. Ramy LLaVA-UHD są zbudowane wokół trzech kluczowych składników. Po pierwsze, strategia modularyzacji obrazu, która dzieli obrazy o rozdzielczości rodzimej na mniejsze, zmiennie rozmiarowe plasterki, aby zwiększyć wydajność i rozszerzyć kodowanie. Następnie, moduł kompresji, który kondensuje tokeny obrazu wytwarzane przez kodery wizualne. Wreszcie, schemat przestrzenny, który organizuje tokeny plasterków dla dużych modeli językowych. Kompleksowe eksperymenty wskazują, że ramy LLaVA-UHD są w stanie przewyższyć najlepsze modele językowe na 9 benchmarkach. Ponadto, używając tylko 94% obliczeń inferencyjnych, ramy LLaVA-UHD są w stanie obsługiwać obrazy o 6 razy większej rozdzielczości, tj. 672×1088.