Модели и платформы ИИ
Stability AI Выпускает Модель Текст-Изображение DeepFloyd IF

Ключевые моментыDeepFloyd IF генерирует связный текст внутри изображений, используя текстовый…
Показать больше
- DeepFloyd IF генерирует связный текст внутри изображений, используя текстовый кодировщик T5-XXL-1.1.
- Модель достигает нулевого показателя FID 6.66 на наборе данных COCO.
- Компания Stability AI изначально выпустила DeepFloyd IF по некоммерческой исследовательской лицензии.
Stability AI и ее мультимодальная исследовательская лаборатория исследований ИИ DeepFloyd объявили о выпуске исследовательской версии модели DeepFloyd IF, передовой каскадной модели диффузии пикселей текст-изображение. Модель изначально выпускается под некоммерческой лицензией, разрешающей исследования, но в будущем планируется выпустить ее с открытым исходным кодом.
DeepFloyd IF обладает несколькими замечательными особенностями, включая:
- Глубокое понимание текстовых подсказок: Модель использует T5-XXL-1.1 в качестве текстового кодировщика, с многочисленными слоями перекрестного внимания текст-изображение, что обеспечивает лучшее соответствие между подсказками и изображениями.
- Согласованный и ясный текст вместе с сгенерированными изображениями: DeepFloyd IF может генерировать изображения, содержащие объекты с различными свойствами и пространственными отношениями.
- Высокая степень фотореализма: Модель достигла впечатляющего результата в 6,66 по метрике FID при оценке zero-shot на наборе данных COCO.
- Сдвиг соотношения сторон: Модель может генерировать изображения с нестандартными соотношениями сторон, включая вертикальные, горизонтальные и стандартные квадратные соотношения.
- Преобразование изображения в изображение методом zero-shot: Модель может изменять стиль, узоры и детали изображения, сохраняя при этом его основную форму.
Ниже приведены некоторые примеры концепций, созданных с помощью DeepFloyd IF:




Модульная каскадная архитектура диффузии в пространстве пикселей DeepFloyd IF состоит из нескольких взаимодействующих нейронных модулей. Модель работает в пространстве пикселей, обрабатывая высокоразрешающие данные каскадным образом с помощью отдельно обученных моделей на разных разрешениях. Это включает базовую модель, которая генерирует образцы низкого разрешения, и последующие модели супер-разрешения, которые производят изображения высокого разрешения.
Модель была обучена на пользовательской высококачественной базе данных LAION-A, содержащей 1 миллиард пар (изображение, текст), которая является подмножеством английской части базы данных LAION-5B. Были использованы пользовательские фильтры DeepFloyd для удаления содержимого с водяными знаками, содержимого, неприемлемого для просмотра на работе (NSFW), и другого неподходящего содержимого.

Процесс DeepFloyd IF
Изначально DeepFloyd IF выпускается под исследовательской лицензией. Исследователи стремятся поощрить разработку новых приложений в таких областях, как искусство, дизайн, рассказывание историй, виртуальная реальность и доступность. Чтобы вдохновить потенциальные исследования, они предложили несколько технических, академических и этических исследовательских вопросов.
Технические исследовательские вопросы включают:
- Оптимизация модели IF для улучшения производительности, масштабируемости и эффективности.
- Улучшение качества вывода путем совершенствования семплирования, управления или тонкой настройки модели.
- Применение методов, используемых для изменения вывода Stable Diffusion, к DeepFloyd IF.
Академические исследовательские вопросы включают:
- Изучение роли предварительного обучения для переноса обучения.
- Улучшение контроля модели над генерацией изображений.
- Расширение возможностей модели за пределами синтеза текст-изображение путем интеграции нескольких модальностей.
- Оценка интерпретируемости модели для улучшения понимания визуальных особенностей сгенерированных изображений.
Этические исследовательские вопросы включают:
- Определение и смягчение предвзятости в DeepFloyd IF.
- Оценка влияния модели на социальные сети и генерацию контента.
- Разработка эффективного детектора фальшивых изображений, использующего модель.
Чтобы получить доступ к весам модели, пользователи должны принять лицензию в пространстве Hugging Face DeepFloyd. Для получения дополнительной информации вы можете посетить веб-сайт модели, репозиторий GitHub, демонстрацию Gradio или присоединиться к публичным обсуждениям через Linktree DeepFloyd.












