지난 몇 년 동안 LLM(대형 언어 모델)은 NLP(자연어 처리)의 획기적인 발전으로 인해 전 세계 AI 개발자들의 주목을 받아 왔습니다. 이러한 모델은 텍스트 생성 및 이해에 새로운 기준을 설정했습니다. 그러나 텍스트 생성의 발전에도 불구하고 텍스트 내러티브와 일관되게 일치하는 이미지를 생성하는 것은 여전히 ​​​​어려운 일입니다. 이 문제를 해결하기 위해 개발자는 조화된 텍스트-이미지 출력의 격차를 해소하는 "생성 보켄"을 기반으로 하는 혁신적인 비전 및 언어 생성 접근 방식을 도입했습니다.

MiniGPT-5의 기반은 훈련 데이터에 포괄적인 이미지 설명이 필요하지 않은 설명 없는 다중 모달 데이터 생성에 크게 초점을 맞춘 5단계 훈련 전략입니다. 또한 모델의 무결성을 높이기 위해 모델에는 이미지 생성에 대한 Voken의 효율성을 향상시키는 분류자가 없는 안내 시스템이 통합되어 있습니다. 초기 단계에서 MiniGPT-XNUMX 프레임워크는 MMDialog 데이터 세트에서 훈련된 기본 Divter 모델에 비해 강력한 성능과 상당한 개선을 보여주었으며 수행된 인간 평가에서 유사하고 심지어 우수한 다중 모드 출력을 제공하는 능력을 지속적으로 보여주었습니다. 다양한 벤치마크에서 성능과 효율성을 더욱 강조하는 VIST 데이터세트에 대해 알아보세요. 

MiniGPT5 : 소개

와 더불어 LLM 프레임워크의 최근 개발및 이러한 LLM 프레임워크를 기반으로 하는 응용 프로그램, 멀티미디어 기능 통합은 최첨단 콘텐츠 제작 도구에서 다양한 응용 프로그램을 지원하는 중요한 발전임이 입증되면서 인기가 상승한 분야입니다. 최첨단 다중 모드 대화 에이전트. 지속적인 연구와 개발을 통해 언어 및 시각 모델은 텍스트와 시각적 데이터를 모두 원활하게 생성할 수 있도록 하는 작업이 진행되는 지점에 있습니다. 그만큼 다중 모드 데이터를 생성하는 LLM의 능력 전자상거래, 미디어, 가상현실 등 다양한 영역에서 상호작용을 원활하게 향상시키는 데 도움이 될 것입니다. 

궁극적으로 목표는 모델이 텍스트 및 시각적 양식을 모두 사용하여 일관되고 논리적인 방식으로 합성, 인식 및 반응할 수 있도록 하여 정보의 흐름을 조화시키고 논리적이고 일관된 내러티브를 만드는 데 중요한 역할을 하는 것입니다. 텍스트 및 시각적 양식의 혼합을 달성해야 하는 필요성은 주로 LLM에서 보다 유연하고 통합적이며 대화형 다중 모드 상호 작용의 필요성에 의해 촉진되고 궁극적으로 교대 언어 및 비전 생성을 달성합니다. 그러나 LLM에서 통합 및 대화형 다중 모드 상호 작용을 달성하는 것은 다음을 포함한 수많은 과제로 가득 찬 복잡한 작업입니다.

1. 현재 LLM은 텍스트 생성 및 텍스트-이미지 쌍 처리 측면에서 매우 효율적이고 능력이 뛰어나지만 이미지 생성 측면에서는 만족스러운 성능을 제공하지 않습니다. 
2. 이러한 비전 및 언어 모델의 개발은 주제 중심 데이터에 크게 의존하므로 모델이 생성된 텍스트를 해당 이미지와 정렬하는 것이 어렵습니다. 
3. 마지막으로, 기능이 향상됨에 따라 특히 다운스트림 작업을 수행할 때 LLM의 메모리 요구 사항도 증가하므로 보다 효과적인 전략을 마련할 필요가 있습니다. 

MiniGPT-5 프레임워크는 위에서 언급한 문제를 해결하기 위해 "생성 보켄(generative vokens)" 개념을 도입하는 인터리브 언어 및 비전 생성 알고리즘 기술입니다. MiniGPT-5 프레임워크는 특수 시각적 토큰을 사용하여 대규모 언어 모델과 Stable Diffusion 기술을 융합하여 다중 모드 데이터 생성을 위한 새로운 접근 방식을 제안합니다. MiniGPT-5 프레임워크에서 사용되는 제안된 XNUMX단계 훈련 방법은 설명이 없는 기본 단계의 중요성과 제한된 데이터가 있는 시나리오에서도 효율적인 성능을 제공할 수 있는 모델을 준비하는 것의 중요성을 강조합니다. 

그러나 MiniGPT-5 모델이 현재 기존 프레임워크와 다른 점은 MiniGPT-5 프레임워크의 일반 단계가 도메인별 주석으로 구성되지 않는다는 것입니다. 또한 생성된 텍스트와 해당 이미지가 서로 조화를 이루도록 하기 위해 MiniGPT-5 프레임워크는 분류자 없는 안내 및 생성 보켄을 사용하는 MiniGPT-5의 접근 방식을 더욱 향상시키는 이중 손실 전략을 배포합니다. MiniGPT-5 프레임워크는 훈련 효율성을 최적화하고 모델 미세 조정을 위한 매개변수 효율적인 전략 덕분에 메모리 제약을 해결합니다. 

빠른 요약을 제공하기 위해 MiniGPT-5 프레임워크는

1. 역사적으로 기존 LLM보다 효과적인 것으로 입증된 새롭고 일반적인 방법을 나타내는 다중 모드 인코더를 사용하고, Stable Diffusion 기술과 결합된 생성 토큰을 사용하여 인터리브된 언어 및 시각적 출력을 생성하는 방법을 제안합니다. 
2. 설명이 없는 다중 모달 출력 생성을 위한 이중 단계 교육 전략을 제안하고, 생성된 데이터의 품질을 더욱 개선하기 위해 교육 중에 분류기가 없는 지침을 포함합니다. 

MiniGPT-5 모델은 다음 분야에서 수행된 이전 연구 및 작업에서 많은 영감을 받았습니다. 

• 텍스트를 이미지로 변환: 텍스트 설명을 각각의 시각적 표현으로 변환하고 텍스트를 이미지 모델로 쉽게 변환합니다. 

• MLLM 또는 다중 모드 대형 언어 모델: 사전 훈련된 LLM 모델을 사용하여 애플리케이션 및 효율성을 탐색합니다. 다중 모드 데이터 생성. 
• 대규모 언어 모델을 사용한 다중 모드 생성: 언어 및 시각적 데이터 생성을 원활하게 통합하기 위해 LLM의 기능을 강화합니다. 

MiniGPT-5: 방법, 아키텍처 및 프레임워크

다중 모드 데이터 생성 기능을 갖춘 대규모 언어 모델을 활성화하기 위해 MiniGPT-5 모델은 텍스트를 이미지 생성 모델 및 사전 훈련된 다중 모드 대형 언어 모델에 통합하는 것을 목표로 하는 프레임워크를 도입합니다. MiniGPT-5 프레임워크는 개발자가 원시 이미지에 대해 직접 훈련할 수 있어 다양한 영역에 걸쳐 나타나는 불일치를 해결할 수 있는 특수 시각적 토큰인 "생성 보켄(generative vokens)"을 추가로 도입합니다. LLM에서 생성된 다중 모드 데이터의 품질을 더욱 향상시키기 위해 MiniGPT-5 프레임워크는 고급 5단계 훈련 방법과 결합된 분류자가 없는 전략을 도입합니다. MiniGPT-XNUMX 프레임워크를 자세히 살펴보겠습니다. 

멀티모달 입력 단계

최근 LLM의 개발로 인해 LLM의 다중 모드 이해 능력이 빛을 발하여 이미지를 순차적 입력으로 처리할 수 있게 되었습니다. MiniGPT-5 프레임워크는 LLM의 다중 모드 이해 능력을 다중 모드 데이터 생성으로 확장하려는 시도로 시각적 특징을 출력하기 위해 특별히 설계된 생성 보켄을 사용합니다. 또한 MiniGPT-5 프레임워크는 LLM 프레임워크를 통한 다중 모드 출력 학습을 위해 효율적인 매개변수 및 최첨단 미세 조정 기술을 사용합니다. 

다중 모드 인코딩

MiniGPT-5 프레임워크의 사전 훈련된 시각적 인코더는 각 입력 이미지를 기능으로 변환하고 각 텍스트 토큰은 벡터로 포함되며 이러한 포함이 서로 연결될 때 입력 프롬프트 기능이 생성됩니다. 

대규모 언어 모델에 Voken 추가

전통적으로 대규모 언어 모델 어휘는 텍스트 토큰으로만 구성되므로 MiniGPT-5 프레임워크를 작업하는 개발자는 생성 LLM과 기존 LLM 간의 격차를 해소해야 했습니다. MiniGPT-5 프레임워크는 LLM의 어휘에 생성 토큰으로 특수 토큰 세트를 도입합니다. 그런 다음 프레임워크는 후속 이미지 생성을 위해 이러한 특수 보켄에 대해 LLM의 숨겨진 출력 상태를 활용하고 인터리브된 이미지의 삽입은 보켄의 위치로 표시됩니다. 

PEFT 또는 매개변수 효율적인 미세 조정

PEFT 또는 매개변수 효율적인 미세 조정은 LLM을 교육하는 데 사용되는 중요한 개념이지만 다중 모드 설정에서 PEFT의 적용은 아직 상당히 광범위하게 탐구되지 않았습니다. MiniGPT-5 프레임워크는 프롬프트 또는 지침을 더 잘 이해하도록 모델을 훈련하고 제로 샷 또는 새로운 환경에서 모델의 전반적인 성능을 향상시키기 위해 MiniGPT-4 프레임워크의 인코더에 대한 매개변수 효율적 미세 조정을 사용합니다. . 

다중 모드 출력 생성

생성 모델을 생성 토큰과 정확하게 정렬하기 위해 MiniGPT-5 프레임워크는 차원을 일치시키고 잠재 확산 모델 손실 및 텍스트 공간 손실을 포함한 감독 손실을 통합하기 위한 컴팩트 매핑 모듈을 공식화합니다. 잠재 확산 감독 손실은 적절한 시각적 특징을 토큰과 직접 정렬하는 반면, 텍스트 공간 손실은 모델이 토큰의 올바른 위치를 학습하는 데 도움이 됩니다. MiniGPT-5 프레임워크의 생성 보켄은 이미지에 의해 직접 안내되기 때문에 MiniGPT-5 프레임워크에서는 이미지에 포괄적인 설명이 필요하지 않으므로 설명 없는 학습이 가능합니다. 

 텍스트 공간 생성

MiniGPT-5 프레임워크는 캐주얼 언어 모델링 방법을 따라 텍스트 공간에서 보켄과 텍스트를 공동으로 생성하고, 훈련 단계에서 개발자는 보켄을 지상 실제 이미지의 위치에 추가하고 모델을 훈련하여 보켄을 예측합니다. 텍스트 생성 내에서. 

이미지 생성을 위한 Voken 기능 매핑

텍스트 공간을 생성한 후 프레임워크는 숨겨진 출력 상태를 텍스트-이미지 생성 모델의 텍스트 조건부 기능 공간과 정렬합니다. 또한 프레임워크는 이중 계층 MLP 모델, 학습 가능한 디코더 기능 시퀀스 및 XNUMX계층 인코더-디코더 변환기 모델을 포함하는 기능 매퍼 모듈을 지원합니다. 

LDM 또는 잠재 확산 모델을 사용한 이미지 생성

잡음 제거 프로세스에서 필요한 이미지를 생성하기 위해 프레임워크는 매핑 기능을 조건부 입력으로 사용합니다. 또한 프레임워크는 교육 단계에서 사전 교육된 VAE를 사용하여 지상 실제 이미지를 잠재 기능으로 먼저 변환하고 개발자가 약간의 노이즈를 추가하여 잠재 노이즈 기능을 얻는 것처럼 안내를 위해 LDM 또는 잠재 확산 모델을 사용합니다. . 

MiniGPT-5 프레임워크에 의해 배포된 포괄적인 접근 방식을 통해 개발자는 특수 토큰을 사용하고 사전 훈련된 모델의 기능을 활용하며 혁신적인 훈련 기술을 사용하여 시각적 요소와 텍스트 요소를 모두 일관되게 이해하고 생성할 수 있습니다. 

MiniGPT-5 : 훈련 및 결과

MiniGPT-5 프레임워크에서 작업할 때 개발자는 제한된 인터리빙된 텍스트 및 이미지 데이터 세트에 대한 교육으로 인해 이미지 품질이 저하되고 이미지와 텍스트 도메인 간의 상당한 도메인 이동으로 인해 정렬이 잘못될 수 있다는 점을 관찰했습니다. 이 문제를 완화하기 위해 개발자는 두 가지 별도의 교육 전략을 채택했습니다. 

1. 확산 과정에서 생성 토큰의 효율성을 높이는 분류자 없는 안내 기술의 통합을 포괄합니다. 
2. 두 번째 전략은 다시 두 단계로 나뉜다.
   1. 주로 거친 특징을 정렬하는 데 초점을 맞춘 초기 사전 학습 단계입니다. 
   2. 특성 학습을 용이하게 하는 미세 조정 단계입니다. 

CFG 또는 분류자 무료 지침

멀티모달 생성을 위해 CFG를 먼저 활용하려는 아이디어는 생성된 이미지와 텍스트 간의 일관성과 논리를 향상하려는 시도의 결과로 나왔고, CFG는 텍스트에서 이미지로 확산되는 과정에서 도입됩니다. 이 방법은 조건부 드롭아웃을 사용하여 무조건 생성과 조건부 생성을 모두 학습함으로써 생성 모델이 향상된 조건부 결과를 얻을 수 있음을 관찰합니다.

XNUMX단계 교육 전략

텍스트 이미지 생성과 순수 텍스트 생성 사이에서 관찰된 상당한 도메인 이동을 고려하여 MiniGPT-5 프레임워크는 훈련을 위해 XNUMX단계 전략을 사용합니다.

1. 단봉 정렬 단계 또는 UAS,
2. 다중 모드 학습 단계 또는 MLS. 

처음에 프레임워크는 각 데이터 샘플에 단 하나의 텍스트와 단 하나의 이미지만 포함하고 텍스트는 일반적으로 이미지 캡션인 단일 텍스트-이미지 쌍 데이터 세트의 보켄 기능과 이미지 생성 기능을 정렬합니다. 이 단계에서 프레임워크는 LLM이 캡션을 LLM 입력으로 활용하여 보켄을 생성할 수 있도록 허용합니다. 

UAS가 성공적으로 실행되면 모델은 단일 텍스트 설명을 위한 이미지를 생성할 수 있지만 텍스트-이미지 쌍을 포함한 인터리브 언어 및 비전 생성에 어려움을 겪으며 이미지 및 텍스트 생성에는 복잡한 추론이 필요합니다. 이 장애물을 해결하기 위해 개발자는 VIST와 같은 인터리브된 비전 및 언어 데이터 세트에 의한 PEFT 매개변수를 사용하여 MiniGPT-5 프레임워크를 더욱 미세 조정했습니다. 이 단계에서 프레임워크는 데이터 세트에서 세 가지 다른 작업을 구성합니다.

1. 텍스트만 생성 : 다음 이미지에 해당하는 관련 텍스트를 생성합니다. 
2. 이미지만 생성 : 다음 텍스트가 주어지면 관련 이미지를 생성합니다. 
3. Multimodal Generation : 주어진 컨텍스트를 사용하여 텍스트 이미지 쌍을 생성합니다. 

MiniGPT-5: 벤치마크 및 결과

다중 모드 생성의 성능을 종합적으로 평가하기 위해 MiniGPT-5 개발 팀은 Divter, GILL 및 Fine Tuned Unimodal Generation Model을 포함한 다른 주요 기본 모델과 성능을 비교하고 그 비교는 아래 표에 나와 있습니다. 

MiniGPT-5 프레임워크는 다중 모드 출력이 상황에 따라 의미가 있을 수 있지만 실제 현실과 다를 수 있다는 점을 이해합니다. 이는 MiniGPT-5 프레임워크가 모델 성능을 평가하기 위해 인간 입력을 통합하는 주된 이유입니다. . 전반적으로 다중 모드 작업에 대한 MiniGPT-5 프레임워크의 효율성은 세 가지 관점을 사용하여 측정됩니다. 

1. 언어 연속성: 생성된 콘텐츠가 제공된 컨텍스트와 원활하게 일치하는지 평가합니다. 
2. 이미지 품질: 생성된 이미지의 관련성과 명확성을 평가합니다. 
3. 다중 모드 일관성: 결합된 텍스트 이미지 출력이 초기 컨텍스트와 동기화되는지 확인합니다. 

VIST 최종 단계 평가

실험의 첫 번째 단계에서 MiniGPT-5 프레임워크는 해당 이미지를 생성하는 것을 목표로 하며, 아래 표는 이 설정에서 얻은 결과를 요약합니다. 

보시다시피, 세 가지 설정 모두에서 MiniGPT-5 프레임워크는 미세 조정된 SD2 프레임워크보다 성능이 뛰어나 MiniGPT-5 파이프라인의 효율성을 강조합니다. 

위 그림은 MiniGPT-5 프레임워크의 성능을 미세 조정된 프레임워크와 비교한 것입니다. MiniGPT-4 프레임워크 S-BERT, Rouge-L 및 Meteor 성능 지표. 결과는 생성적 보켄의 사용이 다중 모드 이해 작업을 수행할 때 프레임워크의 성능에 부정적인 영향을 미치지 않음을 나타냅니다. 결과는 또한 MiniGPT-5 프레임워크가 다양한 데이터에 걸쳐 긴 수평 다중 모드 입력 프롬프트를 활용하여 다중 모드 이해를 위한 원래 모델의 능력을 손상시키지 않으면서 고품질의 일관된 이미지를 생성할 수 있음을 보여줍니다. 

위 표는 다중 모드 일관성, 이미지 품질 및 언어 연속성 측면에서 다중 모드 생성을 위한 5,000개 샘플에 대한 세 가지 프레임워크의 성능을 비교합니다. 관찰할 수 있듯이 MiniGPT-5 프레임워크는 다른 두 기본 모델보다 70% 이상 성능이 뛰어납니다. 반면, 아래 표는 단일 이미지 생성을 위한 CC5M 검증 데이터 세트에서 MiniGPT-3 프레임워크의 성능을 보여줍니다. 데이터 제한으로 인해 개발자는 Stable Diffusion과 함께 사용할 때 Voken 정렬에 차이가 있음을 발견했습니다. 이러한 제한에도 불구하고 MiniGPT-5 프레임워크는 모든 측정 항목에서 현재의 최첨단 기본 GILL 프레임워크보다 성능이 뛰어납니다. 

결론

이 기사에서는 LLM의 기능을 활용하여 대규모 언어 모델을 사전 훈련된 텍스트-이미지 생성 모델입니다. 우리는 MiniGPT-5 프레임워크의 필수 구성 요소와 전체 아키텍처에 대해 이야기하고 현재 기준 및 최신 모델과 비교할 때 성능 및 효율성이 크게 향상되었음을 나타내는 결과에 대해 이야기했습니다. MiniGPT-5는 다중 모드 콘텐츠 및 데이터 생성 영역에서 새로운 벤치마크를 설정하고 동일한 문제를 해결하려고 할 때 이전 모델이 직면한 문제를 해결하는 것을 목표로 합니다.