Stability AI Выпускает Модель Текст-Изображение DeepFloyd IF

Stability AI и ее многофункциональная лаборатория исследований ИИ DeepFloyd объявили о выпуске модели DeepFloyd IF, передовой каскадной модели диффузии пикселей текст-изображение. Модель изначально выпускается под некоммерческой лицензией, разрешающей исследования, но в будущем планируется выпустить ее под открытой лицензией.

DeepFloyd IF обладает несколькими замечательными особенностями, включая:

1. Глубокое понимание текстовых подсказок: Модель использует T5-XXL-1.1 в качестве текстового кодировщика, с многочисленными слоями перекрестного внимания текст-изображение, что обеспечивает лучшее соответствие между подсказками и изображениями.
2. Согласованный и ясный текст вместе с сгенерированными изображениями: DeepFloyd IF может генерировать изображения, содержащие объекты с различными свойствами и пространственными отношениями.
3. Высокая степень фотorealизма: Модель достигла впечатляющего результата в 6,66 по метрике FID на наборе данных COCO.
4. Сдвиг соотношения сторон: Модель может генерировать изображения с нестандартными соотношениями сторон, включая вертикальные, горизонтальные и стандартные квадратные соотношения.
5. Перевод изображения в изображение без обучения: Модель может изменять стиль, узоры и детали изображения, сохраняя при этом его основную форму.

Ниже приведены некоторые примеры концепций, созданных с помощью DeepFloyd IF:

Модульный, каскадный, диффузионный дизайн DeepFloyd IF состоит из нескольких взаимодействующих нейронных модулей. Модель работает в пространстве пикселей, обрабатывая высокоразрешающие данные каскадным образом с помощью отдельно обученных моделей на разных разрешениях. Это включает базовую модель, которая генерирует образцы низкого разрешения, и последующие модели супер-разрешения, которые производят изображения высокого разрешения.

Модель была обучена на пользовательской высококачественной базе данных LAION-A, содержащей 1 миллиард пар (изображение, текст), которая является подмножеством английской части базы данных LAION-5B. Были использованы пользовательские фильтры DeepFloyd для удаления водяных знаков, NSFW и другой неподходящей информации.

Процесс DeepFloyd IF

Изначально DeepFloyd IF выпускается под исследовательской лицензией. Исследователи стремятся поощрить разработку новых приложений в таких областях, как искусство, дизайн, рассказывание историй, виртуальная реальность и доступность. Чтобы вдохновить потенциальные исследования, они предложили несколько технических, академических и этических исследовательских вопросов.

Технические исследовательские вопросы включают:

• Оптимизация модели IF для улучшения производительности, масштабируемости и эффективности.
• Улучшение качества вывода путем уточнения выборки, руководства или тонкой настройки модели.
• Применение методов, используемых для изменения вывода Stable Diffusion, к DeepFloyd IF.

Академические исследовательские вопросы включают:

• Изучение роли предварительного обучения для передачи обучения.
• Улучшение контроля модели над генерацией изображений.
• Расширение возможностей модели за пределами синтеза текст-изображение путем интеграции нескольких модальностей.
• Оценка интерпретируемости модели для улучшения понимания визуальных особенностей сгенерированных изображений.

Этические исследовательские вопросы включают:

• Определение и смягчение предвзятости в DeepFloyd IF.
• Оценка влияния модели на социальные сети и генерацию контента.
• Разработка эффективного детектора фальшивых изображений, использующего модель.

Чтобы получить доступ к весам модели, пользователи должны принять лицензию на пространстве Hugging Face DeepFloyd. Для получения дополнительной информации вы можете посетить веб-сайт модели, репозиторий GitHub, демонстрацию Gradio или присоединиться к публичным обсуждениям через Linktree DeepFloyd.