대규모 언어 모델(LLM)의 상당한 발전은 멀티모달 대규모 언어 모델(MLLM)의 개발에 영감을 주었습니다. LLaVA, MiniGPT-4, InstructBLIP와 같은 초기 MLLM 노력은 주목할 만한 멀티모달 이해 능력을 보여줍니다. LLM을 멀티모달 도메인에 통합하기 위해 이러한 연구에서는 CLIP과 같은 사전 훈련된 모달리티별 인코더에서 LLM의 입력 공간으로 피처를 투사하여 트랜스포머 백본 내에서 멀티모달 이해와 추론을 가능하게 하는 방법을 탐구했습니다. 비전 인코더, 피처 정렬 어댑터, 데이터 세트와 같은 MLLM에 대한 다양한 설계 선택 사항이 있지만 이러한 모델 대부분에 대한 훈련은 LLM에서 텍스트 생성에 효과적인 것으로 입증된 자기 회귀 생성 패러다임을 따릅니다. 강력한 멀티모달 이해 능력에도 불구하고 이러한 모델은 주로 시각적 인식에 초점을 맞추고 텍스트를 넘어선 멀티모달 출력을 생성하는 능력이 부족합니다.

Transformer 모델은 자연어 처리에서 자기회귀 모델링에서 큰 성공을 거두었습니다. 이러한 발전에 영감을 받아 이전 연구에서는 동일한 자기회귀 모델링을 직접 적용하여 이미지 및 비디오 생성을 위한 이미지 픽셀의 종속성을 학습했습니다. 예를 들어, VideoPoet은 디코더 전용 Transformer 아키텍처를 사용하여 멀티모달 입력에서 고품질 비디오를 합성합니다. 최근 LlamaGen은 Llama와 같은 대규모 언어 모델 아키텍처가 이미지 토큰을 자기회귀적으로 모델링하여 클래스 조건부 이미지 생성에서 적절한 성능을 달성할 수 있음을 보여주었습니다.

이 글에서는 멀티모달 이해와 생성을 통합하는 통합 트랜스포머인 Show-O에 대해 설명합니다. 완전한 자기 회귀 모델과 달리 Show-O는 자기 회귀 및 이산 확산 모델링을 통합하여 다양하고 혼합된 모달리티의 입력과 출력을 적응적으로 처리합니다. 통합 모델은 시각적 질문 답변, 텍스트-이미지 생성, 텍스트 기반 인페인팅/외삽, 혼합 모달리티 생성을 포함한 광범위한 시각 언어 작업을 유연하게 지원합니다. 다양한 벤치마크에서 Show-O는 동등하거나 더 많은 수의 매개변수를 사용하여 기존 개별 모델과 동등하거나 더 우수한 성능을 보여 차세대 기반 모델로서의 잠재력을 강조합니다.

이 프레임워크에서 모델은 연속적인 잠재 표현에 추가된 가우시안 노이즈를 예측하는 작업을 맡습니다. 반면, D3PM, Mask-predict, ARDM, MaskGIT과 같은 다른 모델은 가우시안 확산의 대안으로 이산적 손상 프로세스를 사용합니다. 구체적으로, 이미지는 이미지 토크나이저를 사용하여 이산 토큰의 시퀀스로 표현되며, 각 토큰은 범주형 레이블과 연관됩니다. 토큰별 분포는 확률적 샘플링 프로세스를 통해 균일한 분포로 변환됩니다. 학습하는 동안 이러한 토큰의 일부는 무작위로 마스크되고 모델은 마스크된 토큰의 원래 값을 예측하도록 학습됩니다. 이 작업에서 Show-O는 시각적 생성을 위해 이산적 확산 모델링을 채택합니다.

SHOW-O: 멀티모달 이해와 생성의 통합

지난 몇 년 동안 멀티모달 인텔리전스의 두 가지 핵심 기둥인 이해와 생성에서 상당한 발전이 이루어졌습니다. 멀티모달 이해의 경우, 다중 모드 대규모 언어 모델(MLLM))와 같은 LLaVA는 시각적 질문-답변(VQA)과 같은 시각 언어 작업에서 뛰어난 역량을 입증했습니다. 시각적 생성의 경우, 노이즈 제거 확산 확률 모델(DDPM)은 기존의 생성 패러다임에 혁명을 일으켜 텍스트-이미지/비디오 생성에서 전례 없는 성능을 달성했습니다.

개별 분야에서 이러한 성과를 감안할 때, 이를 연결하는 잠재력을 탐구하는 것은 당연한 일입니다. 최근 연구에서는 이 두 가지 다른 도메인에서 전문가 모델을 조립하여 멀티모달 이해와 생성을 모두 처리할 수 있는 통합 시스템을 형성하려고 시도했습니다. 그러나 기존의 시도는 종종 이해와 생성을 위한 별도의 모델을 포함합니다. 예를 들어, NExT-GPT는 멀티모달 이해를 위한 기본 언어 모델을 사용하지만 이미지 생성을 위한 추가 사전 학습된 확산 모델이 필요합니다. 이는 다음과 같은 의문을 제기합니다. 하나의 단일 변환기가 멀티모달 이해와 생성을 모두 처리할 수 있을까요?

최근에 Chameleon은 이것이 가능하다는 것을 보여주었습니다. 구체적으로 Chameleon은 자기 회귀 모델링을 통해 다양한 모달리티를 융합하여 텍스트와 이미지 토큰을 모두 생성할 수 있도록 합니다. 텍스트 토큰을 자기 회귀적으로 모델링하는 것이 합리적이지만, 이미지 패치나 픽셀을 같은 방식으로 모델링하는 것이 최적인지는 명확하지 않습니다. 이미지를 자기 회귀적으로 예측하는 데 있어 주요 병목 현상은 특히 고해상도 이미지를 처리할 때 필요한 샘플링 단계 수가 많다는 것입니다. 연속 확산 모델은 자기 회귀 모델에 비해 시각적 생성에서 우수한 성능을 보였습니다.

이를 통해 단일 변환기가 자기 회귀 및 확산 모델링을 모두 통합할 수 있는지 알아보게 됩니다. Show-O는 텍스트가 이산 토큰으로 표현되고 자기 회귀적으로 모델링되는 반면, 연속 이미지 픽셀은 노이즈 제거 확산을 사용하여 모델링되는 새로운 패러다임을 구상합니다. 그러나 이 두 가지 별개의 기술을 단일 네트워크로 통합하는 것은 이산 텍스트 토큰과 연속 이미지 표현 간의 차이로 인해 간단하지 않습니다. 또한 확산 모델은 일반적으로 텍스트 인코더와 노이즈 제거 네트워크라는 두 가지 별개의 모델에 의존합니다.

이를 해결하기 위해 Show-O는 혼합 자기 회귀 및 확산 모델링을 사용하여 다중 모드 이해 및 생성 작업을 모두 처리할 수 있는 새로운 통합 모델을 도입합니다. Show-O는 사전 훈련된 LLM을 기반으로 하며 텍스트 기반 추론을 위해 자기 회귀 모델링 기능을 활용합니다. 다른 작업에서 영감을 얻은 Show-O는 연속 표현 대신 이산적 노이즈 제거 확산을 사용하여 이미지 토큰을 모델링합니다. 또한 Show-O는 텍스트 조건부 정보를 본질적으로 인코딩하여 추가 텍스트 인코더가 필요하지 않습니다. Show-O는 텍스트 및 이미지 토크나이저를 활용하여 다양한 입력 데이터와 작업을 처리하여 시각 언어 작업에 대한 자기 회귀적 답변을 제공하고 이산적 노이즈 제거 확산을 사용하여 이미지를 생성할 수 있습니다.

Show-O는 다양한 벤치마크에서 동등하거나 더 많은 수의 매개변수를 가진 개별 모델보다 비슷하거나 어떤 경우에는 더 나은 성능을 보여줍니다. 자기 회귀 이미지 생성과 달리 Show-O 프레임워크는 약 20배 적은 샘플링 단계를 필요로 하므로 본질적으로 더 빠릅니다. 또한 Show-O 프레임워크는 다음 이미지에서 보여 주듯이 미세 조정이 필요 없이 텍스트 기반 인페인팅 및 외삽과 같은 다운스트림 애플리케이션을 지원합니다. 

Show-O는 또한 텍스트 설명이 포함된 인터리브 비디오 키프레임 생성과 같은 혼합 모달리티 생성의 잠재력을 가지고 있어 장편 비디오 생성에 대한 가능성을 보여줍니다. 나아가 Show-O 프레임워크는 다중 모달 이해에 대한 이산 및 연속 이미지 표현의 영향을 조사하여 미래의 통합 모델 설계에 대한 통찰력을 제공합니다.

다음 그림은 Show-O 프레임워크와 다양한 도메인에 걸친 기존 방법 간의 모델 특성을 비교한 것입니다. Show-O는 멀티모달 이해와 생성을 위한 고급 기술을 통합한 통합 모델로 돋보입니다. 

요약하면, 본 논문의 주요 기여는 다음과 같습니다.

• Show-O는 통합모델입니다 단일 변환기를 사용하여 다중 모드의 이해와 생성을 통합합니다.
• Show-O는 자기회귀 및 이산 확산 모델링을 통합합니다. 하나의 변압기 내에서 텍스트와 이미지를 모두 효과적으로 처리합니다.
• Show-O 프레임워크는 개별 기준 모델보다 성능이 우수하거나 일치합니다. 다중 모드 이해 및 생성 벤치마크에서 동등하거나 더 큰 매개변수를 사용합니다.
• Show-O는 다운스트림 애플리케이션을 지원합니다 미세 조정 없이 텍스트 기반 인페인팅 및 외삽법을 사용하고 혼합 모달 생성의 잠재력을 보여줍니다.
• Show-O는 다양한 유형의 표현의 영향을 탐구합니다.통합 모델에서 멀티모달 이해를 개선하는 데 귀중한 통찰력을 제공합니다.

최근 몇 년 동안 점점 더 많은 연구가 이해와 생성을 모두 수행할 수 있는 통합된 멀티모달 언어 모델에 집중되었습니다. 일부 노력은 이미지를 생성하기 위해 자동 회귀 모델링을 위해 텍스트 토큰과 함께 삽입된 연속 표현을 사용합니다. SEED-X는 멀티모달 이해와 생성 작업을 모두 처리할 수 있는 통합되고 다재다능한 기반 시스템을 제안합니다. 이 접근 방식에서 CLIP ViT 인코더의 연속 이미지 표현은 텍스트 토큰과 결합되어 대규모 언어 모델(LLM)에 공급되어 다음 단어 예측 및 이미지 표현 회귀를 수행합니다. Chameleon은 이미지를 이해하고 생성할 수 있는 토큰 기반 혼합 모달 모델 패밀리를 소개합니다. 이 접근 방식은 모든 모달리티를 이산 토큰으로 표현하여 통합된 변환기 기반 아키텍처를 활용하고 처음부터 모델을 종단 간 방식으로 학습합니다. 이와 대조적으로 Show-O도 모든 모달리티를 표현하기 위해 이산 토큰을 채택하지만 시각적 생성을 위해 자동 회귀 모델링 대신 이산 확산 프로세스를 활용합니다.

SHOW-O: 방법론 및 아키텍처

Show-O 프레임워크의 주요 목적은 공동 멀티모달 이해 및 생성을 위해 자기 회귀 및 확산 모델링을 통합하는 통합 모델을 개발하는 것입니다. 이러한 통합 모델을 개발하는 데는 상당한 과제가 있으며, 핵심 문제는 다음과 같습니다. i) 모델의 입력/출력 공간 정의, ii) 다양한 모달리티의 다양한 유형의 입력 데이터 통합, iii) 자기 회귀 및 확산 모델링을 단일 변환기로 통합, iv) 이러한 통합 모델을 효과적으로 학습.

Show-O는 다음과 같은 솔루션을 통해 이러한 과제를 해결합니다.

• Show-O는 텍스트와 이미지 데이터를 개별 토큰으로 토큰화하여 입출력 공간을 구성합니다.
• Show-O는 기본 아키텍처와 통합된 프롬프팅 전략을 도입하여 입력 데이터와 모달리티를 구조화합니다.
• Show-O는 단일 변환기에 자기회귀 및 확산 모델링을 모두 통합하는 방법을 보여줍니다.
• Show-O는 통합 모델을 효과적으로 훈련하기 위한 3단계 훈련 파이프라인을 제공합니다.

토큰 화

제안된 Show-O가 다음과 같은 내용을 기반으로 구축된다는 점을 감안할 때 사전 훈련된 LLM, 이산 공간에서 통합 학습을 수행하는 것은 자연스러운 일입니다. 이산 텍스트와 이미지 토큰을 포함하는 통합 어휘를 유지함으로써 Show-O는 동일한 학습 목표, 즉 이산 토큰을 예측하는 과제를 맡습니다.

텍스트 토큰화

Show-O는 사전 훈련된 LLM을 기반으로 하며, 동일한 토크나이저를 아무런 수정 없이 텍스트 데이터 토큰화에 사용합니다.

이미지 토큰화

MAGVIT-v2에 따라 Show-O는 약 35M 이미지 데이터를 사용하여 룩업 없는 양자화기를 학습합니다. 양자화기는 크기가 8,192인 코드북을 유지하고 256x256 해상도의 이미지를 16x16개의 개별 토큰으로 인코딩합니다. MAGVIT-v2는 미세 조정이 용이하여 시간 압축 기능이 있는 비디오 토크나이저로 적합하며, Show-O는 이 측면을 미래에 탐구할 계획입니다. 또 다른 접근 방식은 이해와 생성에 각각 다른 토크나이저를 사용하는 것입니다. 기존 연구에서 영감을 얻은 Show-O는 또한 사전 학습된 MAGVIT-v2 및 CLIP-ViT 인코더에서 연속 이미지 표현을 추출하여 다중 모달 이해 기능의 개선 사항을 탐구합니다. 다음 섹션에서 기본 Show-O는 다중 모달 이해와 생성을 위한 입력으로 개별 이미지 토큰을 사용합니다. 단순화를 위해 방법론 섹션에서는 기본 Show-O에 대해서만 자세히 설명합니다.

아키텍처

Show-O는 다음의 아키텍처를 계승합니다. 기존 LLM 각 어텐션 계층에 QK-Norm 연산을 추가하는 것을 제외하고는 아키텍처 수정 없이 Show-O는 사전 학습된 LLM의 가중치로 초기화되고 이산 이미지 토큰에 대한 8,192개의 새로운 학습 가능한 임베딩을 통합하여 임베딩 계층의 크기를 확장합니다. 추가 텍스트 인코더가 필요한 최첨단 확산 모델과 달리 Show-O는 텍스트-이미지 생성을 위해 텍스트 조건부 정보를 본질적으로 인코딩합니다.

통합 프롬프팅 

멀티모달 이해 및 생성에 대한 통합 학습을 수행하기 위해 Show-O는 통합 프롬핑 전략을 사용하여 다양한 종류의 입력 데이터를 포맷합니다. 이미지-텍스트 쌍(x, y)이 주어지면, 이미지 및 텍스트 토크나이저에 의해 각각 M개의 이미지 토큰과 N개의 텍스트 토큰으로 토큰화됩니다. 그런 다음 토큰은 다음 그림에서 설명한 대로 작업 유형에 따라 입력 시퀀스로 형성됩니다. 

이 프롬프트 디자인을 채택함으로써 Show-O는 다중 모드 이해, 텍스트-이미지 생성 및 혼합 모드 생성을 위한 다양한 입력 데이터를 순차적 데이터로 효과적으로 인코딩할 수 있습니다. 이 설정을 통해 이러한 다양한 작업에 대한 시퀀스에서 통합 학습이 원활하게 작동할 수 있습니다. Show-O는 훈련되면 시각적 질문 답변 및 텍스트-이미지 생성을 포함한 광범위한 시각 언어 작업을 처리하도록 프롬프트될 수 있습니다.

옴니 어텐션 메커니즘 

시퀀스를 자기회귀적으로만 모델링하는 기존 작업과 달리 Show-O는 옴니 어텐션 메커니즘을 도입하여 다양한 유형의 신호를 서로 다른 방식으로 모델링할 수 있습니다. 이 포괄적인 어텐션 메커니즘은 입력 시퀀스의 형식에 따라 인과적 어텐션과 전체 어텐션 사이를 적응적으로 전환합니다. 다음 그림은 다양한 입력 시퀀스에 대한 옴니 어텐션의 예를 보여줍니다.

구체적으로 Show-O는 인과적 주의를 통해 시퀀스 내의 텍스트 토큰을 처리하는 반면, 이미지 토큰은 전체 주의를 사용하여 처리하여 각 토큰이 다른 모든 토큰과 포괄적으로 상호 작용할 수 있도록 합니다. 다중 모드 이해에서 텍스트 토큰은 모든 이전 이미지 토큰에 주의를 기울일 수 있는 반면, 텍스트-이미지 생성에서 이미지 토큰은 모든 이전 텍스트 토큰과 상호 작용할 수 있습니다. 옴니-주의는 사전 훈련된 LLM의 텍스트 추론 지식을 유지하고 샘플링 단계를 줄여 이미지 생성의 효율성을 향상시킵니다. 또한 미세 조정이 필요 없이 인페인팅 및 외삽과 같은 다양한 다운스트림 애플리케이션을 지원합니다. 텍스트 토큰만 주어지면 메커니즘은 인과적 주의로 기본 설정됩니다.

SHOW-O: 실험과 결과

다음 표는 이미지 캡션 및 시각적 질의응답 작업과 같은 공개 벤치마크에 대한 Show-O의 다중 모달 이해 능력을 보여줍니다. 

현재 Show-O 버전은 Phi-1.5를 기반으로 구축되었으므로, Show-O의 이해 전용 버전인 LLaVA-v1.5-Phi-1.5가 직접적인 기준선 역할을 합니다. Show-O는 모든 평가 지표에서 다중 모드 이해에만 전념하는 기준선 LLaVA-v1.5-Phi-1.5와 유사한 성능을 보입니다. 이는 단일 변환기 내에서 다중 모드 이해와 생성을 통합하는 Show-O 프레임워크의 뛰어난 잠재력을 보여줍니다. InstructBLIP, Qwen-VL-Chat, mPLUG-Owl2와 같은 이해 전용 모델과 비교했을 때, Show-O는 모델 크기가 훨씬 작음에도 불구하고 POPE, MME, Flickr30k, VQAv2 벤치마크에서 경쟁력 있는 성능을 달성했으며, GQA 벤치마크에서는 더 우수한 성능을 보였습니다. NExT-GPT-13B 및 Chameleon-34B와 같이 매개변수가 훨씬 더 많은 통합 모델과 비교했을 때 Show-O는 Flickr30k 벤치마크에서도 강력한 성능을 달성했으며 VQAv2 벤치마크에서도 훨씬 더 나은 성능을 보였습니다.

이러한 유망한 결과를 감안할 때, Show-O는 이해와 생성을 통합하기 위한 잠재적인 차세대 기반 모델로 구상됩니다. 이러한 결과는 또한 Show-O를 확장하여 최첨단 성능을 달성할 수 있는 잠재력을 보여줍니다.

질적 비교

다음 그림에서 보듯이, 우리는 LWM과 SEED-X와 같은 통합 모델과 더불어 SDv1.5, SDXL, 자기회귀 기반 모델인 LlamaGen과 같은 확산 기반 모델과의 정성적 비교를 제시합니다. 

Show-O는 짧은 텍스트 프롬프트와 긴 텍스트 프롬프트에 모두 일관된 내용이 설명되어 있는 사실적인 이미지를 생성하는 능력을 보여줍니다. SDv1.5 및 LlamaGen과 비교했을 때 Show-O는 더 나은 시각적 품질과 더 강력한 이미지-텍스트 정렬을 보여줍니다. 예를 들어 두 번째 열에서 SDv1.5와 LlamaGen은 모두 텍스트 프롬프트를 완전히 이해하지 못하고 생성된 이미지에서 "일몰" 및 "파란색 돔"과 같은 속성을 놓칩니다. SDXL과 비교했을 때 Show-O는 "랠리카 경주" 및 "생생한 일몰과의 놀라운 대비"와 같은 예에서 볼 수 있듯이 비슷한 시각적 품질과 정렬을 제공합니다. 

텍스트 가이드 인페인팅 및 외삽 

Show-O는 미세 조정 없이도 텍스트 기반 인페인팅과 외삽을 자연스럽게 지원합니다. 다음 그림은 여러 가지 예를 보여줍니다. 

그림의 상단에서 입력 이미지와 인페인팅 마스크가 주어지면 Show-O는 사용자가 제공한 텍스트 프롬프트를 기반으로 빨간색 트롤리카를 매끈한 곡선과 색이 칠해진 창문이 있는 파란색 스포츠카로 변환할 수 있습니다. Show-O는 또한 주어진 텍스트 프롬프트를 기반으로 원본 이미지를 수평 또는 수직으로 외삽할 수 있습니다. 예를 들어, 두 번째 행에서 Show-O는 "빨간 야생화"와 같은 새 개체를 추가하여 이미지를 외삽합니다. 인페인팅된 영역과 외삽된 영역의 픽셀은 원본 이미지와 일관성을 유지합니다. 이러한 예는 다운스트림 애플리케이션에 대한 자기 회귀 모델에 비해 Show-O의 고유한 이점을 명확하게 보여줍니다.

최종 생각

이 글에서는 멀티모달 이해와 생성을 통합하는 통합 트랜스포머인 Show-O에 대해 설명했습니다. 완전한 자기 회귀 모델과 달리 Show-O는 자기 회귀 및 이산 확산 모델링을 통합하여 다양하고 혼합된 모달리티의 입력과 출력을 적응적으로 처리합니다. 통합 모델은 시각적 질의 응답, 텍스트-이미지 생성, 텍스트 유도 인페인팅/외삽, 혼합 모달리티 생성을 포함한 광범위한 시각 언어 작업을 유연하게 지원합니다. 다양한 벤치마크에서 Show-O는 동등하거나 더 많은 수의 매개변수를 사용하여 기존 개별 모델과 동등하거나 더 우수한 성능을 보여 차세대 기반 모델로서의 잠재력을 강조합니다. 이 프레임워크에서 모델은 연속적인 잠재 표현에 추가된 가우시안 노이즈를 예측하는 작업을 맡습니다. 반면 D3PM, Mask-predict, ARDM, MaskGIT과 같은 다른 모델은 가우시안 확산의 대안으로 이산 손상 프로세스를 사용합니다. Show-O는 자기회귀 및 이산 확산 모델링을 통합한 최초의 모델로, 다양한 모달리티를 서로 다른 방식으로 처리할 수 있습니다. 광범위한 실험 결과에 따르면 Show-O는 광범위한 시각 언어 작업에서 개별 전문가 모델과 비슷하거나 더 나은 것으로 나타났습니다. 이는 차세대 기반 모델로서의 잠재력을 강조합니다.