Modele i platformy AI

MiniGPT-5: Interleaved Vision-And-Language Generation via Generative Vokens

Kunal Kejriwal
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyMiniGPT-5 wprowadza generatywne 'vokeny', aby połączyć generowanie tekstu i obrazu w…
Zobacz więcej
  • MiniGPT-5 wprowadza generatywne 'vokeny', aby połączyć generowanie tekstu i obrazu w ramach jednego modelu.
  • Jego dwuetapowa strategia szkolenia najpierw dostosowuje cechy bez opisów, a następnie dopracowuje model na przeplatających się danych.
  • Framework przewyższa modele bazowe w ludzkich ocenach spójności multimodalnej i jakości obrazu.

W ostatnich latach duże modele językowe (LLM) przyciągnęły uwagę twórców sztucznej inteligencji na całym świecie dzięki przełomom w przetwarzaniu języka naturalnego (NLP). Wyznaczyły nowe standardy generowania i rozumienia tekstu. Wciąż trudno jednak tworzyć obrazy spójne z narracją tekstową. Aby rozwiązać ten problem, badacze opracowali metodę generowania obrazu i języka opartą na „generatywnych vokenach”, która łączy oba rodzaje wyników.

Podstawą MiniGPT-5 jest dwuetapowa strategia uczenia, kładąca nacisk na generowanie danych multimodalnych bez konieczności dostarczania szczegółowych opisów obrazów. Model wykorzystuje też sterowanie bez klasyfikatora, które zwiększa skuteczność vokenów w generowaniu obrazów. We wstępnych badaniach MiniGPT-5 znacznie przewyższył model bazowy Divter trenowany na zbiorze MMDialog. Oceny ludzi na zbiorze VIST wskazywały ponadto, że jego wyniki multimodalne są porównywalne z wynikami modeli odniesienia lub od nich lepsze.

MiniGPT-5: wprowadzenie

Wraz z najnowszym rozwojem modeli LLM i opartych na nich aplikacji rośnie znaczenie integracji funkcji multimedialnych. Umożliwia ona powstawanie zaawansowanych narzędzi do tworzenia treści i multimodalnych agentów dialogowych. Badania nad modelami językowymi i wizyjnymi zmierzają do płynnego generowania zarówno tekstu, jak i danych wizualnych. Zdolność LLM do generowania danych multimodalnych może usprawnić interakcje w handlu elektronicznym, mediach i rzeczywistości wirtualnej.

Celem jest umożliwienie modelom spójnego i logicznego tworzenia, rozpoznawania oraz udzielania odpowiedzi z wykorzystaniem tekstu i obrazu. Pozwala to harmonizować przepływ informacji i budować konsekwentną narrację. Łączenie obu modalności wynika z potrzeby bardziej płynnych, zintegrowanych i interaktywnych interakcji, a ostatecznie naprzemiennego generowania języka i obrazu. Osiągnięcie tego celu wiąże się jednak z kilkoma trudnościami:

  1. Obecne LLM bardzo dobrze generują tekst i przetwarzają pary tekst–obraz, lecz nie zapewniają równie zadowalającego generowania obrazów.
  2. Rozwój modeli wizyjno-językowych silnie zależy od danych skupionych na określonych tematach, co utrudnia dopasowanie wygenerowanego tekstu do odpowiadających mu obrazów.
  3. Potrzebne są skuteczniejsze strategie, ponieważ wraz ze wzrostem możliwości LLM rosną wymagania pamięciowe, zwłaszcza podczas wykonywania zadań docelowych.

MiniGPT-5 jest metodą naprzemiennego generowania języka i obrazu, która wprowadza „generatywne vokeny”, aby rozwiązać te problemy. Łączy duże modele językowe z technikami Stable Diffusion za pomocą specjalnych tokenów wizualnych. Proponowane dwuetapowe uczenie podkreśla znaczenie etapu podstawowego niewymagającego opisów i przygotowuje model do skutecznego działania także przy ograniczonej ilości danych.

MiniGPT-5 wyróżnia się tym, że jego ogólne etapy uczenia nie wymagają adnotacji właściwych dla określonej dziedziny. Aby zachować zgodność tekstu i obrazów, stosuje strategię dwóch funkcji straty, uzupełniającą generatywne vokeny i sterowanie bez klasyfikatora. Dostrajanie efektywne pod względem liczby parametrów poprawia wydajność uczenia i ogranicza zapotrzebowanie na pamięć.

Podsumowując, MiniGPT-5:

  1. Proponuje ogólną metodę wykorzystującą kodery multimodalne oraz generatywne tokeny połączone ze Stable Diffusion do naprzemiennego tworzenia tekstu i obrazu, rozszerzając możliwości tradycyjnych LLM.
  2. Wprowadza dwuetapową strategię generowania wyników multimodalnych bez szczegółowych opisów obrazów, ze sterowaniem bez klasyfikatora poprawiającym jakość danych.

Model czerpie z wcześniejszych badań nad:

  • Generowaniem obrazów z tekstu: przekształcaniem opisów tekstowych w odpowiadające im reprezentacje wizualne.
  • Multimodalnymi dużymi modelami językowymi (MLLM): wykorzystaniem wcześniej wytrenowanych LLM do badania ich skuteczności w generowaniu danych multimodalnych.
  • Generowaniem multimodalnym z użyciem LLM: poszerzaniem zdolności modeli do płynnego łączenia generowania języka i danych wizualnych.

MiniGPT-5: metoda, architektura i struktura

Aby wyposażyć LLM w możliwość generowania danych multimodalnych, MiniGPT-5 integruje modele generujące obrazy z tekstu z wcześniej wytrenowanymi multimodalnymi modelami językowymi. Specjalne tokeny wizualne, czyli „generatywne vokeny”, pozwalają ograniczać różnice między dziedzinami poprzez uczenie bezpośrednio na obrazach. Jakość wyników poprawiają sterowanie bez klasyfikatora i zaawansowane uczenie dwuetapowe.

Etap wejścia multimodalnego

Rozwój LLM ujawnił ich zdolność do rozumienia multimodalnego, w tym przetwarzania obrazów jako wejścia sekwencyjnego. MiniGPT-5 wykorzystuje specjalnie zaprojektowane generatywne vokeny do reprezentowania cech wizualnych na wyjściu, rozszerzając rozumienie multimodalne o generowanie danych. Stosuje również nowoczesne techniki dostrajania efektywne pod względem liczby parametrów, aby nauczyć LLM tworzenia wyników multimodalnych.

Kodowanie multimodalne

Wcześniej wytrenowany koder wizualny przekształca każdy obraz wejściowy w reprezentację cech, a każdy token tekstowy otrzymuje reprezentację wektorową. Połączenie tych osadzeń tworzy cechy instrukcji wejściowej.

Dodawanie vokenów do dużych modeli językowych

Słownik tradycyjnego LLM składa się z tokenów tekstowych. Twórcy MiniGPT-5 dodali więc zbiór specjalnych tokenów generatywnych, aby połączyć model językowy z generowaniem obrazu. Ukryty stan wyjściowy odpowiadający tym vokenom jest następnie wykorzystywany do tworzenia obrazów. Pozycja vokenów określa, gdzie w przeplatanej sekwencji mają pojawić się obrazy.

PEFT, czyli dostrajanie efektywne pod względem liczby parametrów

PEFT jest ważną koncepcją uczenia LLM, lecz jej zastosowania multimodalne pozostają w znacznym stopniu niezbadane. MiniGPT-5 stosuje PEFT do kodera MiniGPT-4, aby lepiej rozumieć polecenia i instrukcje oraz poprawić ogólną skuteczność w nowych środowiskach i zadaniach bez przykładów, czyli zero-shot.

Generowanie wyjścia multimodalnego

Aby dopasować model generatywny do tokenów, MiniGPT-5 wykorzystuje niewielki moduł mapujący, który uzgadnia wymiary reprezentacji. Wprowadza też nadzorujące funkcje straty: stratę modelu dyfuzji w przestrzeni ukrytej i stratę w przestrzeni tekstowej. Pierwsza bezpośrednio dopasowuje cechy wizualne do tokenów, a druga uczy właściwego umiejscowienia tokenów. Ponieważ vokeny są nadzorowane bezpośrednio przez obrazy, uczenie nie wymaga ich szczegółowych opisów.

Generowanie w przestrzeni tekstowej

MiniGPT-5 stosuje przyczynowe modelowanie języka do wspólnego generowania tekstu i vokenów w przestrzeni tekstowej. Podczas uczenia vokeny są umieszczane w pozycjach obrazów referencyjnych, a model uczy się przewidywać je w toku generowania tekstu.

Mapowanie cech vokenów do generowania obrazów

Po wygenerowaniu reprezentacji w przestrzeni tekstowej model dopasowuje ukryty stan wyjściowy do przestrzeni cech warunkowanych tekstem w modelu tekst–obraz. Moduł mapowania cech obejmuje dwuwarstwowy perceptron wielowarstwowy (MLP), uczoną sekwencję cech dekodera oraz czterowarstwowy transformator typu koder–dekoder.

Generowanie obrazów za pomocą modelu dyfuzji w przestrzeni ukrytej (LDM)

W procesie odszumiania zmapowane cechy pełnią funkcję wejścia warunkującego. Model wykorzystuje LDM: podczas uczenia obraz referencyjny jest najpierw przekształcany w cechy ukryte przez wcześniej wytrenowany wariacyjny autoenkoder (VAE), a następnie dodawany jest szum, aby uzyskać zaszumioną reprezentację ukrytą.

Połączenie specjalnych tokenów, możliwości wcześniej wytrenowanych modeli i nowych technik uczenia umożliwia spójne rozumienie oraz generowanie elementów tekstowych i wizualnych.

MiniGPT-5: uczenie i wyniki

Twórcy zauważyli, że bezpośrednie uczenie na niewielkim zbiorze przeplatanych tekstów i obrazów może pogarszać jakość obrazów i ich dopasowanie ze względu na istotną różnicę między dziedzinami obrazu i tekstu. Zastosowali zatem dwie strategie:

  1. Włączenie sterowania bez klasyfikatora, które zwiększa skuteczność tokenów generatywnych podczas dyfuzji.
  2. Podział uczenia na wstępny etap dopasowania ogólnych cech oraz etap dostrajania umożliwiający dalsze uczenie cech.

CFG, czyli sterowanie bez klasyfikatora

Wprowadzenie CFG do generowania multimodalnego miało poprawić spójność i logikę między obrazami a tekstem. Technika jest stosowana podczas dyfuzji tekst–obraz. Uczenie zarówno generowania bezwarunkowego, jak i warunkowego, z losowym pomijaniem warunku, pozwala modelowi osiągać lepsze wyniki warunkowe.

Dwuetapowa strategia uczenia

Ze względu na znaczną różnicę między generowaniem tekstu i obrazów a generowaniem samego tekstu MiniGPT-5 wykorzystuje:

  1. Etap dopasowania jednomodalnego (UAS).
  2. Etap uczenia multimodalnego (MLS).

Początkowo model dopasowuje cechy generowania obrazu do cech vokenów na zbiorach par tekst–obraz. Każda próbka zawiera jeden tekst i jeden obraz, a tekst jest zwykle podpisem obrazu. Podpisy są wejściem LLM, który uczy się generować vokeny.

Po UAS model potrafi generować obrazy na podstawie pojedynczych opisów, ale nadal ma trudności z naprzemiennym generowaniem języka i obrazu oraz złożonym rozumowaniem wymaganym przy tworzeniu obu modalności. Dlatego jest dalej dostrajany z użyciem parametrów PEFT na zbiorach przeplatanych obrazów i tekstów, takich jak VIST. Na tym etapie ze zbioru konstruuje się trzy zadania:

  1. Generowanie samego tekstu: tworzenie powiązanego tekstu na podstawie następnego obrazu.
  2. Generowanie samego obrazu: tworzenie powiązanego obrazu na podstawie następnego tekstu.
  3. Generowanie multimodalne: tworzenie par tekst–obraz na podstawie podanego kontekstu.

MiniGPT-5: testy porównawcze i wyniki

Aby kompleksowo ocenić generowanie multimodalne, zespół porównał MiniGPT-5 z modelami odniesienia Divter, GILL i dostrojonym modelem generowania jednomodalnego. Porównanie przedstawiono w tabeli poniżej.

Wynik multimodalny może być sensowny w danym kontekście, a mimo to różnić się od danych referencyjnych. Dlatego badacze uwzględnili również oceny ludzi. Skuteczność oceniano z trzech perspektyw:

  1. Ciągłość językowa: czy wygenerowana treść płynnie pasuje do kontekstu.
  2. Jakość obrazu: trafność i wyrazistość wygenerowanego obrazu.
  3. Spójność multimodalna: zgodność połączonego tekstu i obrazu z początkowym kontekstem.

Ocena końcowego kroku na zbiorze VIST

W pierwszym etapie eksperymentów MiniGPT-5 miał generować odpowiadające kontekstowi obrazy. Poniższa tabela podsumowuje wyniki.

We wszystkich trzech ustawieniach MiniGPT-5 przewyższa dostrojony model SD2, co potwierdza skuteczność zastosowanego procesu.

Powyższa tabela porównuje MiniGPT-5 z dostrojonym MiniGPT-4 według miar S-BERT, Rouge-L i Meteor. Wyniki wskazują, że generatywne vokeny nie pogarszają rozumienia multimodalnego. MiniGPT-5 może też korzystać z długich multimodalnych instrukcji wejściowych obejmujących różnorodne dane, aby tworzyć spójne obrazy wysokiej jakości bez utraty zdolności rozumienia pierwotnego modelu.

Tabela powyżej porównuje trzy modele na 5000 próbek pod względem spójności multimodalnej, jakości obrazu i ciągłości językowej. MiniGPT-5 wypada lepiej od pozostałych dwóch modeli odniesienia w ponad 70% przypadków. Poniższa tabela przedstawia generowanie pojedynczych obrazów na zbiorze walidacyjnym CC3M. Z powodu ograniczeń danych badacze zaobserwowali lukę w dopasowaniu vokenów przy wykorzystaniu Stable Diffusion. Mimo tego MiniGPT-5 przewyższa model GILL we wszystkich uwzględnionych miarach.


Podsumowanie

MiniGPT-5 to metoda naprzemiennego generowania języka i obrazu, która wykorzystuje „generatywne vokeny” do połączenia LLM z wcześniej wytrenowanym modelem generowania obrazów z tekstu. Omówiliśmy główne składniki, architekturę i wyniki wskazujące na istotną poprawę skuteczności oraz wydajności względem modeli bazowych i zaawansowanych modeli odniesienia. MiniGPT-5 ma wyznaczać nowy standard generowania treści i danych multimodalnych oraz przezwyciężać trudności napotykane przez wcześniejsze modele.

Kunal Kejriwal jest inżynierem backendu specjalizującym się w Pythonie, PostgreSQL, Redis oraz infrastrukturze chmurowej w GCP i AWS. Z trzyletnim doświadczeniem w budowaniu i skalowaniu systemów produkcyjnych pisze o infrastrukturze AI, systemach rozproszonych i architekturze wdrażania obciążeń uczenia maszynowego.