AI 모델 및 플랫폼

Stability AI, 텍스트로 이미지를 생성하는 DeepFloyd IF 모델 출시

Alex McFarland
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트DeepFloyd IF는 T5-XXL-1.1 텍스트 인코더를 사용하여 이미지 내에서 일관된 텍스트를 생성합니다.
더 보기
  • DeepFloyd IF는 T5-XXL-1.1 텍스트 인코더를 사용하여 이미지 내에서 일관된 텍스트를 생성합니다.
  • 이 모델은 COCO 데이터셋에서 제로샷 FID 점수 6.66을 달성합니다.
  • Stability AI는 초기에 비상업적 연구 라이선스 하에 DeepFloyd IF를 출시했습니다.

Stability AI 및 멀티모달 AI 연구소인 DeepFloyd는 최신 텍스트-이미지 캐스케이드 픽셀 확산 모델인 DeepFloyd IF의 연구 릴리스를 발표했습니다. 이 모델은 초기에 비상업적, 연구 허가 라이선스로 출시되지만 향후 오픈 소스 릴리스가 계획되어 있습니다.

DeepFloyd IF는 다음과 같은 몇 가지 주목할만한 기능을 보유하고 있습니다.

  1. 깊은 텍스트 프롬프트 이해: 이 모델은 T5-XXL-1.1을 텍스트 인코더로 사용하며, 수많은 텍스트-이미지 크로스 어텐션 레이어를 사용하여 프롬프트와 이미지 간의 정렬을 개선합니다.
  2. 일관성 있고 명확한 텍스트와 함께 생성된 이미지: DeepFloyd IF는 다양한 속성과 공간 관계를 가진 객체를 포함하는 이미지를 생성할 수 있습니다.
  3. 높은 사진 수준의 사실성: 이 모델은 COCO 데이터셋에서 6.66의 제로샷 FID 점수를 달성했습니다.
  4. 화면비 전환: 이 모델은 수직, 수평 및 표준 정사각형 화면비를 포함하여 비표준 화면비의 이미지를 생성할 수 있습니다.
  5. 제로샷 이미지-이미지 번역: 이 모델은 기본 형태를 유지하면서 이미지의 스타일, 패턴 및 세부 사항을 수정할 수 있습니다.

다음은 DeepFloyd IF에 의해 생성된 일부 예시 개념입니다.

DeepFloyd IF의 모듈러, 캐스케이드, 픽셀 확산 설계는 여러 신경 모듈이 상호 작용하여 구성됩니다. 이 모델은 픽셀 공간에서 작동하며 개별적으로 훈련된 모델을 사용하여 다양한 해상도에서 캐스케이드 방식으로 높은 해상도 데이터를 처리합니다. 여기에는 저해상도 샘플을 생성하는 기본 모델과 고해상도 이미지를 생성하는 순차적인 초해상도 모델이 포함됩니다.

이 모델은 10억 개의 (이미지, 텍스트) 쌍을 포함하는 사용자 정의 고품질 LAION-A 데이터셋으로 훈련되었으며, 이는 LAION-5B 데이터셋의 영어 부분의 하위 집합입니다. DeepFloyd의 사용자 정의 필터를 사용하여 워터마크가 있는 콘텐츠, 직장에서 보기에 부적절한 콘텐츠(NSFW) 및 기타 부적절한 콘텐츠를 제거했습니다.

DeepFloyd IF의 프로세스

초기에는 DeepFloyd IF가 연구 라이선스로 출시됩니다. 연구자들은 예술, 디자인, 스토리텔링, 가상 현실 및 접근성과 같은 다양한 도메인에서 새로운 애플리케이션 개발을 장려하고자 합니다. 잠재적인 연구를 위해 몇 가지 기술적, 학술적 및 윤리적 연구 질문을 제안했습니다.

기술적 연구 질문에는 다음이 포함됩니다.

  • IF 모델의 성능, 확장성 및 효율성을 개선하기 위한 최적화.
  • 샘플링, 가이던스 또는 모델의 미세 조정을 개선하여 출력 품질을 개선합니다.
  • Stable Diffusion 출력을 수정하는 데 사용되는 기술을 DeepFloyd IF에 적용합니다.

학술적 연구 질문에는 다음이 포함됩니다.

  • 전이 학습을 위한 사전 훈련의 역할을 탐색합니다.
  • 이미지 생성에 대한 모델의 제어를 향상합니다.
  • 여러 모달리티를 통합하여 모델의 기능을 텍스트-이미지 합성 너머로 확장합니다.
  • 생성된 이미지의 시각적 특징에 대한 이해를 개선하기 위해 모델의 해석 가능성을 평가합니다.

윤리적 연구 질문에는 다음이 포함됩니다.

  • DeepFloyd IF의 편향을 식별하고 완화합니다.
  • 모델이 소셜 미디어 및 콘텐츠 생성에 미치는 영향을 평가합니다.
  • 모델을 사용하는 효과적인 가짜 이미지 감지기를 개발합니다.

모델의 가중치를 액세스하려면 사용자는 DeepFloyd의 Hugging Face 공간에서 라이선스를 수락해야 합니다. 자세한 정보는 모델의 웹사이트와 GitHub 리포지토리, Gradio 데모에서 확인할 수 있으며, DeepFloyd의 Linktree를 통해 공개 논의에 참여할 수 있습니다.

Alex는 Unite.AI의 AI 기반 뉴스 운영을 이끌고 있습니다. 저널리즘, 조사, 자동화를 결합해 인공지능에 관한 소식을 시의적절하게, 확장 가능한 방식으로 보도할 수 있도록 지원합니다. 그의 업무는 매체의 편집 기준을 유지하면서 새로운 AI 동향을 효율적으로 찾아 보도하는 데 기여합니다.