Modely a platformy AI

MiniGPT-5: Prokládaná generace jazyka a obrazu pomocí generativních voken

Kunal Kejriwal
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyMiniGPT-5 zavádí generativní vokeny pro propojení generování textu a obrazu v rámci…
Zobrazit více
  • MiniGPT-5 zavádí generativní vokeny pro propojení generování textu a obrazu v rámci jediného modelu.
  • Jeho dvoufázová tréninková strategie nejprve sladí rysy bez popisů a následně provede doladění na prokládaných datech.
  • Tento rámec překonává referenční modely v lidském hodnocení multimodální soudržnosti a kvality obrazu.

V posledních několika letech získaly velké jazykové modely (LLM) pozornost vývojářů AI po celém světě díky průlomům v oblasti zpracování přirozeného jazyka (NLP). Tyto modely nastavily nové standardy pro generování textu a porozumění textu. Nicméně, navzdory pokroku v generování textu, je stále obtížné generovat obrázky, které jsou v souladu s textovými narativy. Aby se tato výzva řešila, vývojáři představili inovativní přístup k generování jazyka a obrazu založený na „generativních vokenech“, který propojuje obě oblasti a umožňuje sladěné textové a obrazové výstupy.

Základ MiniGPT-5 je dvoufázová trénovací strategie, která se zaměřuje na generování multimodálních dat bez popisu, kde trénovací data nevyžadují žádné komplexní obrazové popisy. Kromě toho, aby se zvýšila integrita modelu, model využívá vedení bez klasifikátoru (classifier-free guidance, CFG), který zlepšuje účinnost voken pro generování obrazu. V počáteční fázi prokázal rámec MiniGPT-5 silné výkony a podstatné zlepšení oproti základnímu modelu Divter, který je trénován na datové sadě MMDialog, a neustále prokázal svou schopnost dodávat srovnatelné a dokonce lepší multimodální výstupy v hodnoceních lidských subjektů provedených na datové sadě VIST, což dále zdůrazňuje jeho výkon a efektivitu napříč různými měřítky.

MiniGPT5: Úvod

S nedávnými vývojovými rámci LLM a aplikacemi založenými na těchto rámcích, je integrace multimediálních funkcí oblastí, která zaznamenala vzestup popularity, protože se také prokázala jako životně důležitý pokrok, který pohání širokou škálu aplikací od pokročilých nástrojů pro tvorbu obsahu až po multimodální dialogové agenty. S pokračujícím výzkumem a vývojem jsou jazykové a vizuální modely na úrovni, kde se pracuje na tom, aby mohly generovat jak text, tak vizuální data bezproblémově. Schopnost LLM plynule generovat multimodální data pomůže zlepšit interakce napříč různými doménami, včetně e-commerce, médií a virtuální reality.

Konečným cílem je umožnit modelům syntetizovat, rozpoznávat a reagovat konzistentním a logickým způsobem pomocí obou textových a vizuálních modalit, a tím sehrát klíčovou roli v harmonizaci toku informací a vytváření logických a konzistentních narativů. Potřeba dosáhnout kombinace textových a vizuálních modalit je poháněna především potřebou více fluidních, integrovaných a interaktivních multimodálních interakcí v LLM, a nakonec dosažení střídavé generace jazyka a obrazu. Nicméně, dosažení integrovaných a interaktivních multimodálních interakcí v LLM je komplikovaným úkolem, který je doprovázen mnoha výzvami, včetně

  1. Ačkoli současné LLM jsou extrémně efektivní a schopné, pokud jde o generování textu a zpracování textových a obrazových párů, nedosahují uspokojivých výsledků, pokud jde o generování obrazů.
  2. Vývoj těchto vizuálních a jazykových modelů závisí silně na tématu zaměřených datech, což činí obtížným pro modely sladit generovaný text s odpovídajícími obrázky.
  3. Nakonec, je třeba vyvinout účinnější strategie, protože s rostoucími schopnostmi LLM také rostou požadavky na paměť, zejména při provádění downstream úkolů.

Rámec MiniGPT-5, prokládaná jazyková a vizuální generace algoritmu, představuje koncept “generativních voken” v pokusu řešit výše uvedené výzvy. Rámec MiniGPT-5 navrhuje nový přístup pro multimodální generování dat kombinací velkých jazykových modelů s technikami modelu Stable Diffusion pomocí speciálních vizuálních tokenů. Navrhovaná dvoufázová trénovací metoda používaná rámcem MiniGPT-5 zdůrazňuje důležitost základní fáze bez popisu a přípravě modelu pro efektivní výkon i v scénářích s omezenými daty.

Ale co odlišuje model MiniGPT-5 od současných existujících rámců, je to, že obecné fáze rámce MiniGPT-5 nespočívají v doménově specifických anotacích. Kromě toho, aby se zajistilo, že generovaný text a odpovídající obrázky jsou v souladu s sebou navzájem, rámec MiniGPT-5 nasazuje dvojí ztrátovou strategii, která dále zlepšuje přístup MiniGPT-5 k využití vedení bez klasifikátoru a generativních vokenů. Rámec MiniGPT-5 optimalizuje trénovací efektivitu a řeší omezení paměti díky parametricky efektivní strategii pro jemné ladění modelu.

Abyste měli rychlý přehled, rámec MiniGPT-5

  1. Navrhuje metodu, která používá multimodální kodéry, které představují novou a obecnou metodu, která se historicky prokázala jako účinnější než tradiční LLM, a používá generativní tokeny v kombinaci s technikami modelu Stable Diffusion pro generování prokládaných jazykových a vizuálních výstupů.
  2. Navrhuje dvoufázovou trénovací strategii pro generování multimodálních výstupů bez nutnosti podrobných popisů obrázků a začlenění vedení bez klasifikátoru během trénování pro další zlepšení kvality generovaných dat.

Model MiniGPT-5 je silně inspirován předchozími výzkumy a pracemi v oblastech

  • Generování obrazu z textu: K usnadnění transformace textových popisů do jejich odpovídajících vizuálních reprezentací a modelů obrazu z textu.
  • MLLM nebo multimodální velké jazykové modely: Používání předtrénovaných modelů LLM pro prozkoumání jejich aplikací a účinnosti při generování multimodálních dat.
  • Multimodální generování s velkými jazykovými modely: K rozšíření schopností LLM pro bezproblémovou integraci jazykových a vizuálních dat.

MiniGPT-5: Metoda, architektura a rámec

Aby se umožnilo velkým jazykovým modelům generovat multimodální data, model MiniGPT-5 představuje rámec, který cílí na integraci modelů obrazu z textu a předtrénovaných multimodálních velkých jazykových modelů. Rámec MiniGPT-5 dále představuje “generativní vokeny”, speciální vizuální tokeny, které umožňují vývojářům řešit nesrovnalosti, které se objevují napříč různými doménami, tím, že je možné trénovat přímo na surových obrazech. Aby se dále zlepšila kvalita multimodálních dat generovaných LLM, rámec MiniGPT-5 představuje strategii vedení bez klasifikátoru spojenou s pokročilou dvoufázovou trénovací metodou. Podívejme se na detailní pohled na rámec MiniGPT-5.

Multimodální vstupní fáze

Vývoj LLM v nedávné minulosti přinesl do popředí multimodální porozumění schopnosti LLM, umožňující zpracování obrazů jako sekvenční vstup. Rámec MiniGPT-5 využívá speciálně navržených generativních voken pro výstup vizuálních příznaků v pokusu o rozšíření multimodálních porozumění schopností LLM na multimodální generování dat. Kromě toho rámec MiniGPT-5 využívá parametricky efektivní a pokročilé techniky jemného ladění pro multimodální výstupní učení v rámci LLM.

Multimodální kódování

Předtrénovaný vizuální enkodér v rámci MiniGPT-5 převádí každý vstupní obrázek na reprezentaci příznaků a každý textový token se vkládá jako vektor. Spojením těchto embeddingů vzniká reprezentace vstupního promptu.

Přidání voken do velkých jazykových modelů

Tradičně, slovník velkých jazykových modelů sestává pouze z textových tokenů, a proto vývojáři pracující na rámci MiniGPT-5 museli překlenout rozdíl mezi generativními a tradičními LLM. Rámec MiniGPT-5 představuje sadu speciálních tokenů jako generativní tokeny do slovníku LLM. Rámec poté využívá skrytý výstupní stav LLM pro tyto speciální vokeny pro následnou generaci obrazu, a vložení prokládaných obrazů je reprezentováno pozicí voken.

PEFT nebo parametricky efektivní jemné ladění

PEFT nebo parametricky efektivní jemné ladění je klíčovým konceptem, který se používá pro trénování LLM, a přesto, aplikace PEFT v multimodálních nastaveních je stále málo prozkoumána. Rámec MiniGPT-5 využívá parametricky efektivní jemné ladění nad kódérem rámce MiniGPT-4 pro trénování modelu, aby lépe porozuměl promptům nebo instrukcím, a dále zlepšil celkový výkon modelu v režimu zero-shot, tedy bez příkladů dané úlohy, nebo v novém prostředí.

Multimodální generování výstupu

Aby se generativní model sladil s generativními tokeny přesně, rámec MiniGPT-5 formuluje kompaktní mapovací modul pro sladění dimenzí a začlenění ztrátových funkcí pro učení s dohledem, včetně ztráty latentního difuzního modelu a ztráty v textovém prostoru. Ztráta latentního difuzního modelu přímo slaďuje odpovídající vizuální příznaky s tokeny, zatímco ztráta v textovém prostoru pomáhá modelu naučit se správné pozice tokenů. Protože generativní vokeny v rámci MiniGPT-5 jsou přímo řízeny obrázky, rámec MiniGPT-5 nevyžaduje, aby obrázky měly komplexní popis, což vede k bezpopisovému učení.

Generování textového prostoru

Rámec MiniGPT-5 následuje kauzální jazykovou modelovací metodu pro generování obou voken a textů v textovém prostoru společně, a během trénovací fáze, vývojáři připojují vokeny k pozici ground truth obrazů a trénují model, aby předpovídal vokeny v rámci generování textu.

Mapování příznaků vokenů pro generování obrázků

Po generování v textovém prostoru rámec slaďuje skrytý výstupní stav s prostorem příznaků textového podmínění modelu pro převod textu na obrázky. Používá také modul pro mapování příznaků, který zahrnuje dvouvrstvý MLP, naučitelnou sekvenci příznaků dekodéru a čtyřvrstvý transformátor typu enkodér–dekodér.

Generování obrazu s LDM nebo latentním difuzním modelem

Aby se generovaly požadované obrázky v procesu odšumění, rámec využívá mapovaných příznaků jako podmíněného vstupu. Rámec také využívá LDM nebo latentní difuzní model pro řízení, protože během trénovací fáze, ground truth obraz je nejprve převeden na latentní reprezentaci příznaků pomocí předtrénovaného VAE, po kterém vývojáři získají zašuměnou latentní reprezentaci přidáním určitého šumu.

Komplexní přístup nasazený rámcem MiniGPT-5 umožňuje vývojářům mít koherentní porozumění a generování obou vizuálních a textových prvků, pomocí speciálních tokenů, využití schopností předtrénovaných modelů a použití inovativních trénovacích technik.

MiniGPT-5: Trénování a výsledky

Při práci na rámci MiniGPT-5, vývojáři pozorovali, že trénování na omezené prokládané textové a obrazové datové sadě přímo může vést k obrazům s nižší kvalitou a nesouladem, danou významnou doménovou změnou mezi obrazem a textem. Aby se tento problém zmírnil, vývojáři přijali dvě odlišné trénovací strategie,

  1. Začlenění technik vedení bez klasifikátoru, které zvyšují účinnost generativních tokenů během difuzního procesu.
  2. Druhá strategie je dále rozdělena do dvou fází
    1. Počáteční předtrénovací fáze, která se zaměřuje primárně na sladění hrubých příznaků.
    2. Fáze jemného ladění, která usnadňuje učení příznaků.

CFG neboli vedení bez klasifikátoru

Nápad využít CFG pro multimodální generování poprvé přišel jako výsledek pokusu o zlepšení konzistence a logiky mezi generovanými obrázky a texty, a CFG je zaveden během textové a obrazové difuzní fáze. Tato metoda pozoruje, že trénováním na obou bezpodmínečném a podmíněném generování s náhodným vynecháváním podmínění (conditioning dropout), může generativní model dosáhnout zlepšených podmíněných výsledků.

Dvoufázová trénovací strategie

Daná významná doménová změna pozorovaná mezi textovou a obrazovou generací a čistou textovou generací, rámec MiniGPT-5 využívá dvoufázovou strategii pro trénování

  1. Unimodální sladění fáze nebo UAS,
  2. Multimodální učení fáze nebo MLS.

Počátečně, rámec sladí příznaky pro generování obrázků s příznaky vokenů v jednoduché textové a obrazové datové sadě, kde každá datová ukázka obsahuje pouze jeden text a pouze jeden obraz, a text je obvykle popisek obrázku. V této fázi, rámec umožňuje LLM generovat vokeny využíváním popisků jako LLM vstupů.

Jakmile je UAS úspěšně proveden, model může generovat obrázky pro jednoduché textové popisy, ale má potíže s prokládanou jazykovou a vizuální generací, včetně textových a obrazových párů, a komplikované uvažování je vyžadováno pro obrazovou a textovou generaci. Aby se tento problém vyřešil, vývojáři dále jemně ladili rámec MiniGPT-5 pomocí PEFT parametrů prokládanými vizuálními a jazykovými datovými sadami, jako je VIST. Během této fáze, rámec konstruuje tři odlišné úkoly z datové sady

  1. Generování textu pouze: Generuje související text, daný další obraz.
  2. Generování obrazu pouze: Generuje související obraz, daný další text.
  3. Multimodální generování: Generuje textové a obrazové páry pomocí daného kontextu.

MiniGPT-5: Benchmarky a výsledky

Aby se komplexně vyhodnotila jeho výkony v multimodální generaci, vývojový tým MiniGPT-5 porovnává jeho výkony s jinými prominentními základními modely, včetně Divter, GILL a jemně laděného unimodálního generativního modelu, a porovnání je demonstrováno v tabulce níže.

Rámec MiniGPT-5 chápe, že multimodální výstup může být smysluplný podle kontextu, ale může se lišit od reality, což je primární důvod, proč rámec MiniGPT-5 také zahrnuje lidské vstupy pro hodnocení a posouzení výkonu modelu. Celkově, účinnost rámce MiniGPT-5 pro multimodální úkoly je měřena ze tří perspektiv.

  1. Jazyková kontinuita: posuzuje, zda generovaný obsah souhlasí s poskytnutým kontextem bezproblémově.
  2. Kvalita obrazu: posuzuje nebo hodnotí relevanci a jasnost generovaného obrazu.
  3. Multimodální koherence: určuje, zda kombinovaný textový a obrazový výstup je v souladu s počátečním kontextem.

VIST konečná fáze hodnocení

V první fázi experimentů, rámec MiniGPT-5 cílí na generování odpovídajících obrazů, a tabulka níže shrnuje výsledky získané z tohoto nastavení.

Jak je vidět, rámec MiniGPT-5 ve všech třech nastaveních může překonat jemně laděný SD2 rámec, což zdůrazňuje účinnost rámce MiniGPT-5.

Obrázek výše porovnává výkon rámce MiniGPT-5 s jemně laděným rámcem MiniGPT-4 (poznámka k odkazu: anglický zdroj zde odkazuje na článek o GPT-4 a AGI, nikoli na dokumentaci MiniGPT-4) na S-BERT, Rouge-L a Meteor výkonových metrikách. Výsledky ukazují, že použití generativních voken neovlivňuje negativně výkon rámce při provádění multimodálních porozumění úkolů. Výsledky také prokazují, že rámec MiniGPT-5 je schopen využívat multimodální vstupní prompty s dlouhým kontextovým horizontem napříč širokou škálou dat pro generování vysoce kvalitních a koherentních obrazů bez kompromisů v původních multimodálních porozumění schopnostech.

Tabulka výše porovnává výkon tří rámců na 5 000 vzorcích pro multimodální generování z hlediska multimodální koherence, kvality obrazu a jazykové kontinuity. Jak je vidět, rámec MiniGPT-5 překonává ostatní dva základové modely ve více než 70% případů. Na druhé straně, tabulka níže demonstruje výkon rámce MiniGPT-5 na validační datové sadě CC3M pro generování jednotlivých obrazů. Díky omezením dat, vývojáři nalezli mezeru pro voken sladění, když se používá s modelem Stable Diffusion. Přesto, rámec MiniGPT-5 překonává současný stav základového modelu GILL napříč všemi metrikami.

Závěr

V tomto článku, jsme mluvili o MiniGPT-5, prokládané jazykové a vizuální generace algoritmu technice, která představuje koncept “generativních voken” v pokusu o využití schopností LLM pro generování multimodálních dat sladěním velkého jazykového modelu s modelem obrazu z textu, který je předtrénován. Mluvili jsme o základních komponentách a celkové architektuře rámce MiniGPT-5 spolu s výsledky, které ukazují podstatné zlepšení výkonu a efektivnosti ve srovnání se současnými výchozími i nejpokročilejšími modely. Rámec MiniGPT-5 cílí na stanovení nového standardu v multimodálním obsahu a datové generaci doméně a snaží se řešit výzvy, kterým čelily předchozí modely, když se snažily řešit stejný problém.

Kunal Kejriwal je backendový inženýr specializující se na Python, PostgreSQL, Redis a cloudovou infrastrukturu na GCP a AWS. Má tři roky zkušeností s vývojem a škálováním produkčních systémů a píše o AI infrastruktuře, distribuovaných systémech a architektuře nasazování pracovních zátěží strojového učení.