Моделі та платформи ШІ

Stability AI випускає модель створення зображень із тексту DeepFloyd IF

Alex McFarland
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиDeepFloyd IF генерує зв'язний текст у зображеннях за допомогою текстового енкодера…
Показати більше
  • DeepFloyd IF генерує зв'язний текст у зображеннях за допомогою текстового енкодера T5-XXL-1.1.
  • Модель досягає показника FID zero-shot 6,66 на наборі даних COCO.
  • Stability AI випустила DeepFloyd IF спочатку за некомерційною дослідницькою ліцензією.

Stability AI та її мультимодальна дослідницька лабораторія штучного інтелекту DeepFloyd оголосили про дослідницький реліз DeepFloyd IF, передової каскадної моделі піксельної дифузії для створення зображень із тексту. Спочатку модель випускається під некомерційною ліцензією, що дозволяє дослідницьке використання, проте планується реліз із відкритим кодом у майбутньому.

DeepFloyd IF володіє декількома видатними особливостями, серед яких:

  1. Глибоке розуміння текстових підказок: Модель використовує T5-XXL-1.1 як текстовий кодувальник, з численними шарами перехресної уваги між текстом і зображенням, що забезпечує кращу відповідність між підказками та зображеннями.
  2. Зв’язний і чіткий текст поряд зі згенерованими зображеннями: DeepFloyd IF може генерувати зображення, що містять об’єкти з різними властивостями та просторовими відносинами.
  3. Високий рівень фотореалізму: Модель досягла вражаючого результату FID 6,66 в оцінюванні zero-shot на наборі даних COCO.
  4. Зміна співвідношення сторін: Модель може генерувати зображення з нестандартними співвідношеннями сторін, включаючи вертикальні, горизонтальні та стандартні квадратні співвідношення.
  5. Перетворення зображення на зображення методом zero-shot: Модель може змінювати стиль, узори та деталі зображення, зберігаючи при цьому його основну форму.

Нижче наведено деякі приклади концепцій, створених DeepFloyd IF:

Модульний, каскадний дизайн піксельної дифузії DeepFloyd IF складається з декількох нейронних модулів, що взаємодіють синергетично. Модель працює в просторі пікселів, обробляючи дані високої роздільності каскадним чином за допомогою окремо навчених моделей на різних роздільностях. Це включає базову модель, яка генерує зразки низької роздільності, та наступні моделі супер-роздільності, які створюють зображення високої роздільності.

Модель була навчена на спеціальному високоякісному наборі даних LAION-A, що містить 1 мільярд пар (зображення, текст), підмножину англійської частини набору даних LAION-5B. Для видалення вмісту з водяними знаками, вмісту, неприйнятного для перегляду на роботі (NSFW), та іншого неприйнятного вмісту були використані спеціальні фільтри DeepFloyd.

Процес DeepFloyd IF

Спочатку DeepFloyd IF випускається під дослідницькою ліцензією. Дослідники прагнуть заохотити розробки нових застосунків у таких галузях, як мистецтво, дизайн, розповіді, віртуальна реальність та доступність. Для стимуляції потенційних досліджень вони запропонували декілька технічних, академічних та етичних дослідницьких питань.

Технічні дослідницькі питання включають:

  • Оптимізацію моделі IF для покращення продуктивності, масштабованості та ефективності.
  • Покращення якості виходу шляхом уточнення вибірки, керування або тонкої настройки моделі.
  • Застосування технік, використаних для модифікації виходу Stable Diffusion, до DeepFloyd IF.

Академічні дослідницькі питання включають:

  • Дослідження ролі попереднього навчання для трансферного навчання.
  • Покращення контролю моделі над генерацією зображень.
  • Розширення можливостей моделі за межі синтезу зображень із тексту шляхом інтеграції декількох модальностей.
  • Оцінка інтерпретованості моделі для покращення розуміння візуальних особливостей згенерованих зображень.

Етичні дослідницькі питання включають:

  • Визначення та пом’якшення упереджень у DeepFloyd IF.
  • Оцінка впливу моделі на соціальні медіа та генерацію контенту.
  • Розробка ефективного детектора фальшивих зображень, що використовує модель.

Для доступу до ваг моделі користувачі повинні прийняти ліцензію на сайті DeepFloyd у просторі Hugging Face. Для отримання більшої інформації ви можете відвідати веб-сайт моделі, GitHub-репозиторій, Gradio-демонстрацію або приєднатися до публічних обговорень через Linktree DeepFloyd.

Alex McFarland

Alex очолює новинний підрозділ Unite.AI, що працює на базі ШІ, поєднуючи журналістику, дослідження та автоматизацію для підтримки своєчасного та масштабованого висвітлення штучного інтелекту. Його робота допомагає забезпечити ефективне виявлення нових розробок ШІ, зберігаючи редакційні стандарти видання.