Odhalenie veľkých multimodálnych modelov: Formovanie krajiny jazykových modelov v roku 2024

Keď prežívame svet, naše zmysly (zrak, zvuky, čuch) poskytujú rozmanité množstvo informácií a vyjadrujeme sa pomocou rôznych komunikačných metód, ako sú výrazy tváre a gestá. Tieto zmysly a komunikačné metódy sa súhrnne nazývajú modality, ktoré predstavujú rôzne spôsoby, akými vnímame a komunikujeme. Čerpať inšpiráciu z tejto ľudskej schopnosti, veľký multimodálny model (LMM), kombinácia generatívnych a multimodálna AI, sú vyvinuté na pochopenie a vytváranie obsahu pomocou rôznych typov, ako je text, obrázky a zvuk. V tomto článku sa ponoríme do tejto novo vznikajúcej oblasti a skúmame, čo sú LMM (veľké multimodálne modely), ako sú konštruované, existujúce príklady, výzvy, ktorým čelia, a potenciálne aplikácie.

Vývoj generatívnej AI v roku 2024: Od veľkých jazykových modelov k veľkým multimodálnym modelom

Vo svojej najnovšej správe McKinsey označil rok 2023 ako prelomový rok pre generatívna AI, čo vedie k mnohým pokrokom v tejto oblasti. Boli sme svedkami výrazného nárastu prevalencie veľké jazykové modely (LLM) schopný porozumieť a vytvárať ľudský jazyk. ďalej modely generovania obrazu sa výrazne vyvinuli, čo dokazuje ich schopnosť vytvárať vizuály z textových výziev. Napriek výraznému pokroku v jednotlivých modalitách, ako je text, obrázky alebo zvuk, sa však generatívna AI stretla s problémami pri bezproblémovom kombinovaní týchto modalít v procese generovania. Keďže svet je vo svojej podstate multimodálny, pre AI je kľúčové, aby sa potýkala s multimodálnymi informáciami. To je nevyhnutné pre zmysluplné zapojenie ľudí a úspešné fungovanie v reálnych scenároch.

V dôsledku toho mnohí výskumníci AI očakávajú nárast LMM ako ďalšej hranice vo výskume a vývoji AI v roku 2024. Táto rozvíjajúca sa hranica sa zameriava na zvýšenie kapacity generatívnej AI na spracovanie a produkciu rôznych výstupov, ktoré zahŕňajú text, obrázky, zvuk, video a iné modality. Je nevyhnutné zdôrazniť, že nie všetky multimodálne systémy sa kvalifikujú ako LMM. Modelky ako Stredná cesta a Stabilná difúzia, napriek tomu, že sú multimodálne, nezapadajú do kategórie LMM hlavne preto, že im chýba prítomnosť LLM, ktoré sú základnou zložkou LMM. Inými slovami, LMM môžeme opísať ako rozšírenie LLM, ktoré im poskytuje schopnosť odborne zvládnuť rôzne modality.

Ako fungujú LMM?

Zatiaľ čo výskumníci skúmali rôzne prístupy na konštrukciu LMM zvyčajne zahŕňajú tri základné komponenty a operácie. Najprv sa pre každú dátovú modalitu používajú kódovače na generovanie dátových reprezentácií (označovaných ako vloženie) špecifických pre túto modalitu. Po druhé, rôzne mechanizmy sa používajú na zarovnanie vložení z rôznych modalít do jednotného multimodálneho priestoru vloženia. Po tretie, pre generatívne modely sa na generovanie textových odpovedí používa LLM. Keďže vstupy môžu pozostávať z textu, obrázkov, videí a audia, výskumníci pracujú na nových spôsoboch, ako prinútiť jazykové modely zohľadňovať rôzne modality pri poskytovaní odpovedí.

Vývoj LMM v roku 2023

Nižšie som stručne načrtol niektoré z pozoruhodných LMM vyvinutých v roku 2023.

• LLaVA je open source LMM, ktorý spoločne vyvinuli University of Wisconsin-Madison, Microsoft Research a Columbia University. Cieľom modelu je ponúknuť multimodálnu verziu s otvoreným zdrojom GPT4. Pákový efekt Meta's Llama LLM, zahŕňa CLIP vizuálny kódovač pre robustné vizuálne porozumenie. Variant LLaVa zameraný na zdravotníctvo, tzv LLaVA-Med, môže odpovedať na otázky týkajúce sa biomedicínskych snímok.
• imagebind je open-source model vytvorený spoločnosťou Meta, ktorý napodobňuje schopnosť ľudského vnímania spájať multimodálne údaje. Model integruje šesť modalít – text, obrázky/videá, zvuk, 3D merania, údaje o teplote a údaje o pohybe – a učí sa jednotnej reprezentácii týchto rôznych typov údajov. ImageBind dokáže spájať objekty na fotografiách s atribútmi ako zvuk, 3D tvary, teplota a pohyb. Model je možné použiť napríklad na generovanie scény z textu alebo zvukov.
• Bezšvové M4T je multimodálny model navrhnutý spoločnosťou Meta na podporu komunikácie medzi viacjazyčnými komunitami. SeamlessM4T vyniká v úlohách prekladu a prepisu, podporuje preklady reči na reč, reč na text, text na reč a text na text. Model využíva na vykonávanie týchto prekladov neautoregresívny dekodér textu na jednotku. Vylepšená verzia, SeamlessM4T v2, tvorí základ pre modely ako BezšvovéExpresívne a Bezproblémové streamovanie, pričom kladie dôraz na zachovanie výrazu v rôznych jazykoch a poskytuje preklady s minimálnou latenciou.
• GPT4, ktorý spustila OpenAI, je pokrokom svojho predchodcu, GPT3.5. Hoci detailné architektonické špecifiká nie sú úplne zverejnené, GPT4 je dobre známy pre svoju hladkú integráciu iba textových, vizuálnych a zvukových modelov. Model dokáže generovať text z písaných aj grafických vstupov. Vyniká v rôznych úlohách, vrátane opisu humoru v obrázkoch, sumarizácie textu zo snímok obrazovky a kompetentných odpovedí na skúšobné otázky s diagramami. GPT4 je uznávaný aj pre svoju prispôsobivosť pri efektívnom spracovaní širokej škály formátov vstupných údajov.
• Blíženci, vytvorený spoločnosťou Google DeepMind, sa vyznačuje tým, že je vo svojej podstate multimodálny, čo umožňuje bezproblémovú interakciu medzi rôznymi úlohami bez toho, aby sa spoliehalo na spojenie komponentov s jednou modalitou. Tento model bez námahy spravuje textové aj rôzne audiovizuálne vstupy a predvádza svoju schopnosť generovať výstupy v textových aj obrazových formátoch.

Výzvy veľkých multimodálnych modelov

• Začlenenie ďalších dátových modalít: Väčšina existujúcich LMM pracuje s textom a obrázkami. LMM sa však musia vyvíjať mimo text a obrázky a prispôsobiť sa modalitám, ako sú videá, hudba a 3D.
• Dostupnosť rôznych množín údajov: Jednou z kľúčových výziev pri vývoji a tréningu multimodálnych generatívnych modelov AI je potreba veľkých a rôznorodých súborov údajov, ktoré zahŕňajú viacero modalít. Napríklad na trénovanie modelu na spoločné generovanie textu a obrázkov musí množina údajov obsahovať textové aj obrázkové vstupy, ktoré spolu súvisia.
• Generovanie multimodálnych výstupov: Zatiaľ čo LMM dokážu spracovať multimodálne vstupy, generovanie rôznych výstupov, ako je kombinovanie textu s grafikou alebo animáciami, zostáva výzvou.
• Nasledujúce pokyny: LMM čelia výzve zvládnutia dialógu a úloh súvisiacich s pokynmi, ktoré presahujú len dokončenie.
• Multimodálne uvažovanie: Zatiaľ čo súčasné LMM vynikajú v transformácii jednej modality na druhú, bezproblémová integrácia multimodálnych údajov pre komplexné logické úlohy, ako je riešenie písaných slovných úloh na základe sluchových pokynov, zostáva náročným úsilím.
• Kompresia LMM: Povaha LMM náročných na zdroje predstavuje významnú prekážku, ktorá ich robí nepraktickými pre okrajové zariadenia s obmedzenými výpočtovými zdrojmi. Kompresia LMM s cieľom zvýšiť efektivitu a urobiť ich vhodnými na nasadenie na zariadeniach s obmedzenými zdrojmi je kľúčovou oblasťou prebiehajúceho výskumu.

Prípady potenciálneho použitia

• Vzdelanie: LMM majú potenciál transformovať vzdelávanie vytváraním rôznorodých a pútavých učebných materiálov, ktoré kombinujú text, obrázky a zvuk. LMM poskytujú komplexnú spätnú väzbu k úlohám, podporujú platformy pre spoluprácu a zlepšujú rozvoj zručností prostredníctvom interaktívnych simulácií a príkladov z reálneho sveta.
• Zdravotná starostlivosť: Na rozdiel od tradičných diagnostických systémov AI, ktoré sa zameriavajú na jednu modalitu, LMM zlepšujú lekársku diagnostiku integráciou viacerých modalít. Podporujú tiež komunikáciu cez jazykové bariéry medzi poskytovateľmi zdravotnej starostlivosti a pacientmi a fungujú ako centralizované úložisko pre rôzne aplikácie AI v nemocniciach.
• Umenie a hudobná generácia: LMM by mohli vynikať v umeleckej a hudobnej tvorbe kombináciou rôznych spôsobov pre jedinečné a výrazné výstupy. Napríklad umelecký LMM môže kombinovať vizuálne a sluchové prvky, čím poskytuje pohlcujúci zážitok. Podobne môže hudobný LMM integrovať inštrumentálne a vokálne prvky, výsledkom čoho sú dynamické a expresívne kompozície.
• Personalizované odporúčania: LMM môžu analyzovať preferencie používateľov v rôznych modalitách a poskytovať prispôsobené odporúčania pre konzumáciu obsahu, ako sú filmy, hudba, články alebo produkty.

• Predpoveď počasia a monitorovanie životného prostredia: LMM môžu analyzovať rôzne spôsoby údajov, ako sú satelitné snímky, atmosférické podmienky a historické vzory, aby sa zlepšila presnosť predpovede počasia a monitorovania životného prostredia.

Bottom Line

Krajina veľkých multimodálnych modelov (LMM) predstavuje významný prelom v generatívnej AI, ktorý sľubuje pokroky v rôznych oblastiach. Keďže tieto modely hladko integrujú rôzne modality, ako je text, obrázky a zvuk, ich vývoj otvára dvere transformačným aplikáciám v zdravotníctve, vzdelávaní, umení a personalizovaným odporúčaniam. Výzvy, vrátane prispôsobenia sa väčšiemu počtu dátových modalít a kompresie modelov náročných na zdroje, však podčiarkujú prebiehajúce výskumné úsilie potrebné na plnú realizáciu potenciálu LMM.