AI 모델 및 플랫폼

MiniGPT-5: 생성용 voken을 활용한 텍스트와 이미지의 교차 생성

Kunal Kejriwal
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트MiniGPT-5는 단일 모델 내에서 텍스트와 이미지 생성을 연결하기 위해 생성형 보큰(generative vokens)을 도입합니다.
더 보기
  • MiniGPT-5는 단일 모델 내에서 텍스트와 이미지 생성을 연결하기 위해 생성형 보큰(generative vokens)을 도입합니다.
  • 이 프레임워크의 2단계 학습 전략은 먼저 설명 없이 특징을 정렬한 다음, 인터리브 데이터로 미세 조정을 수행합니다.
  • 이 구조는 다중 모달 일관성과 이미지 품질에 대한 인간 평가에서 기준 모델들을 능가합니다.

최근 몇 년 동안, 대규모 언어 모델(LLM)은 자연어 처리(NLP) 분야에서 돌파구를 이루어내며 AI 개발자들의 주목을 받고 있습니다. 이러한 모델은 텍스트 생성과 이해 분야에서 새로운 벤치마크를 설정했습니다. 그러나 텍스트 생성 분야에서 진전이 이루어졌음에도 불구하고, 텍스트와 이미지의 일관성을 유지하는 이미지를 생성하는 것은 여전히 어려운 과제입니다. 이를 해결하기 위해, 개발자들은 “생성적 voken”을 기반으로 하는 새로운 비전 및 언어 생성 접근 방식을 도입했습니다. 이 접근 방식은 텍스트와 이미지의 일관성을 유지하는 출력을 생성하는 데 도움이 됩니다.

MiniGPT-5의 기반은 두 단계의 훈련 전략으로, 설명이 없는 다중 모달 데이터 생성에 중점을 둡니다. 이러한 전략은 훈련 데이터에 대한 포괄적인 이미지 설명이 필요하지 않습니다. 또한, 모델의 완전성을 높이기 위해, 분류기 없는 가이드 시스템을 도입하여 voken을 사용한 이미지 생성의 효과를 향상시킵니다. 초기 단계에서, MiniGPT-5 프레임워크는 강력한 성능과 기존의 Divter 모델보다 상당한 개선을 보여주었습니다. 비교 기준인 Divter는 MMDialog 데이터셋으로 훈련되었습니다. MiniGPT-5는 VIST 데이터셋을 이용한 인간 평가에서도 비교할 만하거나 더 우수한 멀티모달 출력을 생성하는 능력을 보여주었습니다.

MiniGPT5: 소개

최근 LLM 프레임워크의 발전과 이러한 프레임워크를 기반으로 하는 애플리케이션은 멀티미디어 기능 통합 분야에서 인기를 얻고 있습니다. 이러한 분야는 콘텐츠 생성 도구에서 멀티모달 대화 에이전트까지 다양한 애플리케이션을 구동하는 중요한 발전입니다. 지속적인 연구와 개발을 통해, 언어와 비전 모델은 텍스트와 비주얼 데이터를 모두 생성하는 데 능력을 갖추고 있습니다. LLM의 멀티모달 데이터 생성 능력은 전자상거래, 미디어, 가상 현실 등 다양한 도메인에서 상호작용을 향상시키는 데 도움이 될 것입니다.

궁극적으로, 목표는 모델이 일관성과 논리성을 유지하면서 텍스트와 비주얼 모달리티를 모두 사용하여 합성, 인식, 및 응답하는 것입니다. 이는 정보 흐름을 조화시키고 일관성 있는 내러티브를 생성하는 데 중요한 역할을 합니다. 텍스트와 비주얼 모달리티를 통합하는 필요는 LLM에서 더 유동적이고 상호작용하는 멀티모달 상호작용을 달성하는 데 의해 주도됩니다. 그러나 LLM에서 통합 및 상호작용하는 멀티모달 상호작용을 달성하는 것은 여러 과제가 있는 복잡한 작업입니다.

  1. 현재의 LLM은 텍스트 생성과 텍스트-이미지 페어 처리에서 매우 효율적이고 능숙하지만, 이미지 생성에서 만족스러운 성능을 보여주지 못합니다.
  2. 이러한 비전 및 언어 모델의 개발은 주제 중심 데이터에 크게 의존하며, 모델이 생성된 텍스트와 해당 이미지를 일치시키는 데 과제를 제기합니다.
  3. 마지막으로, 이러한 LLM의 능력 증가와 함께, 다운스트림 작업을 수행할 때 메모리 요구 사항이 증가하는 등 더 효과적인 전략이 필요합니다.

MiniGPT-5 프레임워크는 이러한 과제를 해결하기 위해 “생성적 voken”의 개념을 도입합니다. 이 프레임워크는 멀티모달 데이터 생성을 위한 새로운 접근 방식을 제안하며, 대규모 언어 모델과 Stable Diffusion의 기술을 결합하여 특별한 비주얼 토큰을 사용합니다. 제안된 두 단계의 훈련 방법은 설명이 없는 초기 단계의 중요성을 강조하며, 모델이 제한된 데이터에서 효율적인 성능을 발휘하도록 준비합니다.

그러나 MiniGPT-5 모델이 현재 존재하는 프레임워크와 다른 점은, MiniGPT-5 프레임워크의 일반적인 단계가 도메인 특정 주석을 포함하지 않는다는 것입니다. 또한, 생성된 텍스트와 해당 이미지들이 조화되도록, MiniGPT-5 프레임워크는 이중 손실 전략을 배포하며, 분류기 없는 가이드와 생성적 voken을 사용합니다. MiniGPT-5 프레임워크는 훈련 효율을 최적화하며, 매개변수 효율적인 미세 조정을 통해 모델의 메모리 제약을 해결합니다.

요약하면, MiniGPT-5 프레임워크는

  1. 멀티모달 인코더를 사용하여 텍스트와 이미지의 출력을 생성하는 새로운 방법을 제안합니다. 이는 전통적인 LLM보다 더 효과적인 방법으로 설명되며, 생성 토큰과 Stable Diffusion을 결합해 텍스트와 이미지를 교차하여 생성합니다.
  2. 설명이 없는 멀티모달 출력을 생성하기 위한 이중 단계 훈련 전략을 제안하며, 훈련 중에 분류기 없는 가이드를 포함하여 데이터의 품질을 향상시킵니다.

MiniGPT-5 모델은 이전 연구와 작업에서 영감을 받았습니다.

  • 텍스트에서 이미지 생성: 텍스트 설명을 해당 이미지로 변환하는 모델입니다.
  • MLLMs 또는 멀티모달 대규모 언어 모델: 사전 훈련된 LLM 모델을 사용하여 멀티모달 데이터 생성의 응용과 효과를 탐색합니다.
  • 멀티모달 생성과 대규모 언어 모델: LLM의 능력을 언어와 비주얼 데이터 생성을 모두 포함하도록 확장합니다.

MiniGPT-5: 방법, 아키텍처, 프레임워크

대규모 언어 모델에 멀티모달 데이터 생성 능력을 제공하기 위해, MiniGPT-5 모델은 텍스트에서 이미지 생성 모델과 사전 훈련된 멀티모달 대규모 언어 모델을 통합하는 프레임워크를 도입합니다. MiniGPT-5 프레임워크는 또한 “생성적 voken”이라는 특별한 비주얼 토큰을 도입하여, 개발자가 원시 이미지로 직접 훈련하여 여러 도메인 사이의 불일치를 해결할 수 있도록 합니다. 또한, 분류기 없는 전략과 고급 이중 단계 훈련 방법을 도입하여, LLM에서 멀티모달 데이터 생성의 품질을 향상시킵니다.

멀티모달 입력 단계

최근의 LLM 개발은 이미지 처리를 순차적 입력으로 처리할 수 있게 하여, 멀티모달 이해 능력을 제공합니다. MiniGPT-5 프레임워크는 비주얼 특성을 출력하기 위해 특별히 설계된 생성적 voken을 사용하여, LLM의 멀티모달 이해 능력을 멀티모달 데이터 생성으로 확장합니다. 또한, MiniGPT-5 프레임워크는 멀티모달 출력 학습을 위한 매개변수 효율적인 미세 조정을 사용합니다.

멀티모달 인코딩

사전 훈련된 비주얼 인코더는 입력 이미지를 특성으로 변환하며, 각 텍스트 토큰은 벡터로 임베딩되며, 입력 프롬프트 특성은 이러한 임베딩을 연결하여 생성됩니다.

대규모 언어 모델에 voken 추가

전통적으로, 대규모 언어 모델의 어휘는 텍스트 토큰으로만 구성되므로, MiniGPT-5 프레임워크의 개발자는 생성적 토큰을 도입하여, 기존의 LLM과 생성적 voken을 연결했습니다. MiniGPT-5 프레임워크는 이러한 특별한 토큰의 숨겨진 출력 상태를 사용하여, 해당 상태를 이후의 이미지 생성에 활용하며, voken의 위치는 인터리브된 이미지의 삽입을 나타냅니다.

PEFT 또는 매개변수 효율적인 미세 조정

PEFT 또는 매개변수 효율적인 미세 조정은 LLM을 훈련하는 데 중요한 개념입니다. 그러나, PEFT의 멀티모달 설정에서의 적용은 아직까지 많이 탐색되지 않았습니다. MiniGPT-5 프레임워크는 MiniGPT-4 프레임워크의 인코더에서 매개변수 효율적인 미세 조정을 사용하여, 모델이 지시나 프롬프트를 더 잘 이해하도록 훈련하며, 해당 작업의 예시가 없는 zero-shot 상황이나 새로운 환경에서도 모델의 전체 성능을 향상시킵니다.

멀티모달 출력 생성

생성적 모델을 생성적 토큰과 정확히 일치시키기 위해, MiniGPT-5 프레임워크는 차원 매핑 모듈을 구성하며, 잠재 확산 모델 손실과 텍스트 공간 손실을 포함하는 감독 손실을 포함합니다. 잠재 확산 감독 손실은 적절한 비주얼 특성을 토큰과 직접 일치시키며, 텍스트 공간 손실은 모델이 토큰의 올바른 위치를 학습하도록 도와줍니다. MiniGPT-5 프레임워크의 생성적 voken은 이미지에 의해 직접 가이드되므로, 이미지에 대한 포괄적인 설명이 필요하지 않습니다.

텍스트 공간 생성

MiniGPT-5 프레임워크는 인과적 언어 모델링 방법을 사용하여, 텍스트 공간에서 voken과 텍스트를 모두 생성합니다. 훈련 단계에서, 개발자는 voken을 정답 참조 이미지의 위치에 추가하며, 모델이 텍스트 생성 중에 voken을 예측하도록 훈련합니다.

voken 특성 매핑을 위한 이미지 생성

텍스트 공간을 생성한 후, 프레임워크는 숨겨진 출력 상태를 텍스트 조건부 특성 공간과 일치시킵니다. 또한, 이중 계층 MLP 모델, 학습 가능한 디코더 특성 시퀀스, 4계층 인코더-디코더 트랜스포머 모델을 포함하는 특성 매핑 모듈을 지원합니다.

LDM 또는 잠재 확산 모델을 사용한 이미지 생성

요구되는 이미지를 생성하기 위해, 프레임워크는 매핑 특성을 조건부 입력으로 사용합니다. 또한, 훈련 단계에서, 정답 참조 이미지를 먼저 미리 훈련된 VAE를 사용하여 잠재 특성으로 변환하며, 이후에 노이즈를 추가하여 잠재 노이즈 특성을 얻습니다.

MiniGPT-5 프레임워크의 포괄적인 접근 방식은 개발자가 비주얼과 텍스트 요소를 일관성 있게 생성하고 이해하는 데 도움이 됩니다. 이는 전문 토큰, 사전 훈련된 모델의 능력, 및 혁신적인 훈련 기술을 사용합니다.

MiniGPT-5: 훈련 및 결과

MiniGPT-5 프레임워크를 개발하는 동안, 개발자는 인터리브된 텍스트-이미지 데이터셋에서 직접 훈련하면, 이미지의 품질이 낮아지고, 도메인 간의 차이로 인해 이미지와 텍스트의 일치성이 떨어질 수 있음을 관찰했습니다. 이를 해결하기 위해, 개발자는 두 가지 훈련 전략을 채택했습니다.

  1. 분류기 없는 가이드 기술을 포함하여, 확산 과정 중에 생성적 토큰의 효과를 향상시킵니다.
  2. 두 단계로 나누어진 두 번째 전략
    1. 초기 사전 훈련 단계는 거친 특성의 일치를 중점으로 합니다.
    2. 특성 학습을 위한 미세 조정 단계

CFG 또는 분류기 없는 가이드

멀티모달 생성을 위한 CFG를 사용하는 아이디어는, 생성된 이미지와 텍스트 간의 일관성과 논리를 향상시키는 데 있습니다. 이 방법은, 조건 정보를 무작위로 제외하는 처리(conditioning dropout)과 함께, 무조건적 및 조건부 생성을 모두 훈련함으로써, 생성 모델이 향상된 조건부 결과를 달성할 수 있음을 관찰합니다.

이중 단계 훈련 전략

텍스트-이미지 생성과 순수한 텍스트 생성 간의 도메인 간 차이를 고려하여, MiniGPT-5 프레임워크는 이중 단계 전략을 사용합니다.

  1. 유니모달 정렬 단계(UAS)
  2. 멀티모달 학습 단계(MLS)

초기 단계에서, 프레임워크는 이미지 생성 특성을 voken 특성과 일치시킵니다. 훈련 데이터셋에서 각 샘플은 하나의 텍스트와 하나의 이미지를 포함하며, 텍스트는 일반적으로 이미지 캡션입니다. 이 단계에서, 프레임워크는 캡션을 LLM 입력으로 사용하여 voken을 생성합니다.

UAS가 성공적으로 실행된 후, 모델은 단일 텍스트 설명에 대한 이미지를 생성할 수 있지만, 인터리브된 언어와 비전 생성, 텍스트-이미지 페어, 복잡한 추론이 필요한 이미지와 텍스트 생성에서 어려움을 겪습니다. 이를 해결하기 위해, 개발자는 VIST와 같은 인터리브된 비전-언어 데이터셋을 사용하여 PEFT 매개변수로 MiniGPT-5 프레임워크를 미세 조정했습니다. 이 단계에서, 프레임워크는 데이터셋에서 세 가지 서로 다른 작업을 구성합니다.

  1. 텍스트 전용 생성: 다음 이미지에 대한 관련 텍스트를 생성합니다.
  2. 이미지 전용 생성: 다음 텍스트에 대한 관련 이미지를 생성합니다.
  3. 멀티모달 생성: 주어진 컨텍스트에서 텍스트-이미지 페어를 생성합니다.

MiniGPT-5: 벤치마크 및 결과

멀티모달 생성의 성능을 종합적으로 평가하기 위해, MiniGPT-5 개발 팀은 Divter, GILL, 미세 조정된 단일 모달 생성 모델 등 주요 기준 모델과 성능을 비교하며, 아래 표에 결과를 제시합니다.

MiniGPT-5 프레임워크는 멀티모달 출력이 컨텍스트에 따라 의미 있지만, 실제와 다를 수 있음을 이해합니다. 따라서, MiniGPT-5 프레임워크는 모델 성능을 평가하기 위해 인간 평가도 포함합니다. 전체적으로, MiniGPT-5 프레임워크의 멀티모달 작업에 대한 효과는 세 가지 관점에서 측정됩니다.

  1. 언어 연속성: 생성된 콘텐츠가 제공된 컨텍스트와 무결하게 일치하는지 평가합니다.
  2. 이미지 품질: 생성된 이미지의 관련성과 명확성을 평가합니다.
  3. 멀티모달 일관성: 결합된 텍스트-이미지 출력이 초기 컨텍스트와 일치하는지 결정합니다.

VIST 최종 단계 평가

첫 번째 실험 단계에서, MiniGPT-5 프레임워크는 해당 이미지를 생성합니다.

결과를 보면, MiniGPT-5 프레임워크는 세 가지 설정 모두에서 미세 조정된 SD2 프레임워크를 능가하여, MiniGPT-5 파이프라인의 효과를 강조합니다.

위의 그림은 MiniGPT-5 프레임워크와 미세 조정된 MiniGPT-4 프레임워크의 성능(링크 주의: 영어 원문은 여기서 MiniGPT-4 문서가 아닌 GPT-4와 AGI에 관한 글로 연결됩니다)을 S-BERT, Rouge-L, 및 Meteor 성능 지표에서 비교합니다. 결과는 생성적 voken을 사용하여 멀티모달 이해 작업을 수행할 때, 성능에 부정적인 영향을 미치지 않는다는 것을 보여줍니다. 또한, MiniGPT-5 프레임워크는 다양한 데이터에서 긴 문맥 범위의 멀티모달 입력 프롬프트를 사용하여, 높은 품질과 일관성 있는 이미지를 생성할 수 있으며, 원래 모델의 멀티모달 이해 능력을 손상시키지 않습니다.

위의 표는 5,000개 샘플을 대상으로 멀티모달 일관성, 이미지 품질, 언어 연속성이라는 세 관점에서 세 프레임워크의 생성 성능을 비교합니다. 결과는 MiniGPT-5 프레임워크가 다른 두 가지 기준 모델보다 70% 이상의 경우에서 더 나은 성능을 보여줍니다. 아래의 표는 CC3M 검증 데이터셋에서 단일 이미지 생성에 대한 MiniGPT-5 프레임워크의 성능을 보여줍니다. 데이터 제한으로 인해, 개발자는 Stable Diffusion과 함께 voken 정렬에서 격차를 발견했습니다. 이러한 제한에도 불구하고, MiniGPT-5 프레임워크는 모든 지표에서 현재의 기준 모델인 GILL 프레임워크를 능가합니다.

결론

이 기사에서, 우리는 MiniGPT-5에 대해 논의했습니다. 이는 생성적 voken의 개념을 도입하여, LLM의 능력을 멀티모달 데이터 생성으로 확장하는 인터리브된 언어 및 비전 생성 알고리즘 기술입니다. 우리는 MiniGPT-5 프레임워크의 필수 구성 요소와 전체 아키텍처, 그리고 현재의 기준 및 최첨단 모델과 비교하여 성능과 효율성이 크게 향상된 결과에 대해 논의했습니다. MiniGPT-5는 멀티모달 콘텐츠 및 데이터 생성 분야에서 새로운 벤치마크를 설정하고, 이전 모델이 같은 문제를 해결하려고 할 때 직면한 과제를 해결하려고 합니다.

Kunal Kejriwal은 Python, PostgreSQL, Redis 및 GCP와 AWS의 클라우드 인프라를 전문으로 하는 백엔드 엔지니어입니다. 3년간 실서비스 운영 시스템을 구축하고 확장한 경험을 바탕으로 AI 인프라, 분산 시스템, 그리고 머신러닝 워크로드 배포의 아키텍처에 대해 글을 씁니다.