Odkrywanie Large Multimodal Models: Kształtowanie Krajobrazu Modeli Językowych w 2024

Podczas doświadczania świata, nasze zmysły (wzrok, dźwięki, zapachy) dostarczają różnorodnej gamy informacji, a my wyrażamy się za pomocą różnych metod komunikacji, takich jak wyrażenia twarzy i gesty. Te zmysły i metody komunikacji są zbiorczo nazywane modalnościami, reprezentującymi różne sposoby, w jakie postrzegamy i komunikujemy się. Czerpiąc inspirację z tej ludzkiej zdolności, duże wielomodalne modele (LMM), połączenie generatywnych i wielomodalnych AI, są rozwijane w celu zrozumienia i tworzenia treści przy użyciu różnych typów, takich jak tekst, obrazy i audio. W tym artykule, zagłębiamy się w ten nowo powstający obszar, eksplorując, co to są LMM (Duże Wielomodalne Modele), jak są one konstruowane, istniejące przykłady, wyzwania, których one napotykają, oraz potencjalne zastosowania.

Ewolucja Sztucznej Inteligencji Generatywnej w 2024: Od Dużych Modeli Językowych do Dużych Wielomodalnych Modeli

W swoim najnowszym raporcie, McKinsey wyznaczył 2023 rok jako przełomowy dla sztucznej inteligencji generatywnej, prowadząc do wielu postępów w tej dziedzinie. Świadkami jesteśmy znacznego wzrostu popularności dużych modeli językowych (LLM) zdolnych do zrozumienia i generowania ludzkiego języka. Ponadto, modele generowania obrazów znacznie ewoluowały, demonstrując swoją zdolność do tworzenia wizualizacji z tekstowych podpowiedzi. Niemniej jednak, pomimo znaczących postępów w poszczególnych modalnościach, takich jak tekst, obrazy lub audio, sztuczna inteligencja generatywna napotkała wyzwania w łączeniu tych modalności w procesie generowania. Ponieważ świat jest z natury wielomodalny, jest niezwykle ważne, aby sztuczna inteligencja radziła sobie z wielomodalnymi informacjami. Jest to niezbędne do znaczącego zaangażowania z ludźmi i pomyślnego działania w rzeczywistych scenariuszach.

W związku z tym, wielu badaczy sztucznej inteligencji przewiduje wzrost LMM jako następny front w badaniach i rozwoju sztucznej inteligencji w 2024 roku. Ten ewoluujący front koncentruje się na zwiększeniu zdolności sztucznej inteligencji generatywnej do przetwarzania i generowania różnorodnych danych wyjściowych, obejmujących tekst, obrazy, audio, wideo i inne modalności. Jest niezwykle ważne, aby podkreślić, że nie wszystkie systemy wielomodalne kwalifikują się jako LMM. Modele takie jak Midjourney i Stable Diffusion, pomimo bycia wielomodalnymi, nie pasują do kategorii LMM głównie dlatego, że brakuje im obecności LLM, które są podstawowym składnikiem LMM. Innymi słowy, możemy opisać LMM jako rozszerzenie LLM, zapewniając im zdolność do sprawnego radzenia sobie z różnymi modalnościami.

Jak Działają LMM?

Podczas gdy badacze zbadali różne podejścia do konstruowania LMM, one zwykle składają się z trzech podstawowych składników i operacji. Po pierwsze, stosowane są enkodery dla każdej modalności danych w celu wygenerowania danych reprezentacji (nazywanych embedingami) specyficznych dla tej modalności. Po drugie, stosowane są różne mechanizmy w celu wyrównania embedingów z różnych modalności do zunifikowanego wielomodalnego przestrzeni embedingów. Po trzecie, dla modeli generatywnych, stosowany jest LLM w celu generowania odpowiedzi tekstowych. Ponieważ dane wejściowe mogą składać się z tekstu, obrazów, wideo i audio, badacze pracują nad nowymi sposobami, aby językowe modele uwzględniały różne modalności podczas generowania odpowiedzi.

Rozwój LMM w 2023

Poniżej, przedstawiłem krótkie zestawienie niektórych zauważalnych LMM rozwiniętych w 2023.

• LLaVA to model LMM o otwartym kodzie źródłowym, wspólnie rozwijany przez Uniwersytet Wisconsin-Madison, Microsoft Research i Columbia University. Model ten ma na celu zapewnienie wersji o otwartym kodzie źródłowym GPT4. Wykorzystując Meta’s Llama LLM, włącza on CLIP enkoder wizualny dla solidnego zrozumienia wizualnego. Wariant LLaVA ukierunkowany na opiekę zdrowotną, nazwany LLaVA-Med, może odpowiadać na pytania związane z obrazami biomedycznymi.
• ImageBind to model o otwartym kodzie źródłowym stworzony przez Meta, imitujący zdolność ludzkiej percepcji do powiązania danych wielomodalnych. Model ten integruje sześć modalności — tekst, obrazy/wideo, audio, pomiary 3D, dane temperatury i dane ruchu — ucząc zunifikowanej reprezentacji wśród tych różnorodnych typów danych. ImageBind może łączyć obiekty na zdjęciach z atrybutami takimi jak dźwięk, kształty 3D, temperatura i ruch. Model ten może być wykorzystany, na przykład, do generowania sceny z tekstu lub dźwięków.
• SeamlessM4T to model wielomodalny zaprojektowany przez Meta w celu ułatwienia komunikacji między społecznościami wielojęzycznymi. SeamlessM4T wyróżnia się w zadaniach tłumaczeń i transkrypcji, obsługując tłumaczenia mowy na mowę, mowy na tekst, tekstu na mowę i tekstu na tekst. Model ten wykorzystuje nieautoregresyjny dekoder tekstu na jednostkę w celu wykonania tych tłumaczeń. Ulepszona wersja, SeamlessM4T v2, stanowi podstawę dla modeli takich jak SeamlessExpressive i SeamlessStreaming, podkreślając zachowanie ekspresji wśród języków i dostarczanie tłumaczeń z minimalnym opóźnieniem.
• GPT4, uruchomiony przez OpenAI, jest rozwojem jego poprzednika, GPT3.5. Chociaż szczegółowe informacje architektoniczne nie są w pełni ujawnione, GPT4 jest znany ze swojej gładkiej integracji modeli tylko tekstowych, tylko wizualnych i tylko audio. Model ten może generować tekst z zarówno pisanych, jak i graficznych danych wejściowych. Wyróżnia się w różnych zadaniach, w tym opisie humoru w obrazach, podsumowaniu tekstu z zrzutów ekranu i odpowiednim reagowaniu na pytania egzaminacyjne zawierające diagramy. GPT4 jest również rozpoznawany za swoją elastyczność w efektywnym przetwarzaniu szerokiej gamy formatów danych wejściowych.
• Gemini, stworzony przez Google DeepMind, wyróżnia się tym, że jest wewnętrznie wielomodalny, umożliwiając bezproblemową interakcję wśród różnych zadań bez polegania na łączeniu składników jednej modalności. Ten model bezproblemowo zarządza zarówno tekstem, jak i różnymi danymi audio-wizualnymi, prezentując swoją zdolność do generowania danych wyjściowych w formatach tekstowych i obrazowych.

Wyzwania Dużych Wielomodalnych Modeli

• Włączanie Większej Ilości Modalności: Większość istniejących LMM działa z tekstem i obrazami. Niemniej jednak, LMM muszą ewoluować poza tekst i obrazy, uwzględniając modalności takie jak wideo, muzyka i 3D.
• Różnorodność Dostępnych Danych: Jednym z kluczowych wyzwań w rozwoju i szkoleniu modeli generatywnych sztucznej inteligencji jest potrzeba dużych i różnorodnych zbiorów danych, które obejmują wiele modalności. Na przykład, aby przeszkolić model do generowania tekstu i obrazów razem, zbiór danych musi zawierać zarówno tekst, jak i dane obrazowe, które są ze sobą powiązane.
• Generowanie Wielomodalnych Dane Wyjściowych: Chociaż LMM mogą radzić sobie z wielomodalnymi danymi wejściowymi, generowanie różnorodnych danych wyjściowych, takich jak połączenie tekstu z grafiką lub animacjami, pozostaje wyzwaniem.
• Przestrzeganie Instrukcji: LMM napotykają wyzwanie w opanowaniu dialogu i zadań przestrzegania instrukcji, przechodząc poza zwykłe uzupełnienie.
• Wielomodalne Rozumowanie: Chociaż bieżące LMM wyróżniają się w transformowaniu jednej modalności w inną, bezproblemowa integracja danych wielomodalnych do złożonych zadań rozumnienia, takich jak rozwiązywanie pisemnych problemów słownych na podstawie instrukcji słuchowych, pozostaje wyzwaniem.
• Kompresja LMM: Zużycie zasobów przez LMM stanowi znaczącą przeszkodę, czyniąc je niepraktycznymi dla urządzeń z ograniczonymi zasobami obliczeniowymi. Kompresja LMM w celu poprawy wydajności i nadania im przydatności do wdrożenia na urządzeniach z ograniczonymi zasobami jest kluczowym obszarem bieżących badań.

Potencjalne Zastosowania

• Edukacja: LMM mają potencjał przekształcić edukację, generując różnorodne i angażujące materiały edukacyjne, które łączą tekst, obrazy i audio. LMM zapewniają kompleksowe informacje zwrotne na zadania, promują platformy edukacyjne i rozwijają umiejętności poprzez interaktywne symulacje i przykłady z życia wzięte.
• Opieka Zdrowotna: W przeciwieństwie do tradycyjnych systemów diagnostyki AI, które koncentrują się na jednej modalności, LMM poprawiają diagnostykę medyczną, integrując wiele modalności. One również wspierają komunikację przez bariery językowe między dostawcami opieki zdrowotnej i pacjentami, działając jako scentralizowane repozytorium dla różnych aplikacji AI w szpitalach.
• Generowanie Sztuki i Muzyki: LMM mogą wyróżniać się w tworzeniu sztuki i muzyki, łącząc różne modalności dla unikalnych i ekspresyjnych danych wyjściowych. Na przykład, model sztuki LMM może łączyć elementy wizualne i słuchowe, zapewniając immersyjne doświadczenie. Podobnie, model muzyki LMM może integrować elementy instrumentalne i wokalne, prowadząc do dynamicznych i ekspresyjnych kompozycji.
• Personalizowane Rekomendacje: LMM mogą analizować preferencje użytkowników wśród różnych modalności, aby zapewnić personalizowane rekomendacje dla konsumpcji treści, takich jak filmy, muzyka, artykuły lub produkty.

• Przewidywanie Pogody i Monitorowanie Środowiska: LMM mogą analizować różne modalności danych, takie jak obrazy satelitarne, warunki atmosferyczne i historyczne wzorce, aby poprawić dokładność przewidywań pogody i monitorowania środowiska.

Podsumowanie

Krajobraz Dużych Wielomodalnych Modeli (LMM) stanowi znaczący przełom w sztucznej inteligencji generatywnej, obiecując postępy w różnych dziedzinach. Podczas gdy te modele bezproblemowo łączą różne modalności, takie jak tekst, obrazy i audio, ich rozwój otwiera drzwi do transformacyjnych zastosowań w opiece zdrowotnej, edukacji, sztuce i personalizowanych rekomendacjach. Niemniej jednak, wyzwania, w tym uwzględnienie większej ilości modalności i kompresja zasobowo-intensywnych modeli, podkreślają nieustanne wysiłki badawcze niezbędne do pełnego zrealizowania potencjału LMM.