Modele i platformy AI
Stability AI Udostępnia Model Tekst-do-Obrazu DeepFloyd IF

Kluczowe punktyDeepFloyd IF generuje spójny tekst w obrazach przy użyciu kodera tekstu T5-XXL-1.1.
Zobacz więcej
- DeepFloyd IF generuje spójny tekst w obrazach przy użyciu kodera tekstu T5-XXL-1.1.
- Model osiąga wynik FID zero-shot na poziomie 6,66 w zbiorze danych COCO.
- Stability AI udostępniło DeepFloyd IF początkowo na licencji badawczej do celów niekomercyjnych.
Stability AI i jego multimodalne laboratorium badawcze AI, DeepFloyd, ogłosiły wydanie badawcze modelu DeepFloyd IF, który jest najnowocześniejszym modelem dyfuzji pikseli w architekturze kaskadowej. Model jest początkowo wydany na licencji niekomercyjnej, dopuszczalnej do badań, ale planowane jest wydanie open-source w przyszłości.
DeepFloyd IF posiada kilka niezwykłych cech, w tym:
- Głębokie zrozumienie tekstu wejściowego: Model wykorzystuje T5-XXL-1.1 jako encoder tekstu, z licznymi warstwami uwagi krzyżowej między tekstem a obrazem, co zapewnia lepsze dopasowanie między podpowiedziami a obrazami.
- Spójny i wyraźny tekst wraz z wygenerowanymi obrazami: DeepFloyd IF może generować obrazy zawierające obiekty o różnych właściwościach i relacjach przestrzennych.
- Wysoki stopień fotorealizmu: Model osiągnął imponujący wynik FID 6,66 w trybie zero-shot w bazie danych COCO.
- Zmiana proporcji: Model może generować obrazy o nietypowych proporcjach, w tym pionowych, poziomych i standardowych kwadratowych.
- Tłumaczenia obrazu na obraz bez przykładu: Model może modyfikować styl, wzory i szczegóły obrazu, zachowując jego podstawową formę.
Poniżej znajdują się przykładowe pojęcia stworzone przez DeepFloyd IF:




Modularna, kaskadowa architektura dyfuzji pikseli DeepFloyd IF składa się z kilku modułów neuronowych, które współpracują synergistycznie. Model działa w przestrzeni pikseli, przetwarzając dane o wysokiej rozdzielczości w sposób kaskadowy, wykorzystując oddzielnie wytrenowane modele na różnych rozdzielczościach. Obejmuje to model bazowy, który generuje próbki o niskiej rozdzielczości, oraz kolejne modele super-rozdzielczości, które produkują obrazy o wysokiej rozdzielczości.
Model został wytrenowany na niestandardowej, wysokiej jakości bazie danych LAION-A, zawierającej 1 miliard par (obraz, tekst), która jest podzbiorem angielskiej części bazy danych LAION-5B. Filtry niestandardowe DeepFloyd zostały wykorzystane do usunięcia obrazów ze znakami wodnymi, treści NSFW i innych nieodpowiednich treści.

Proces DeepFloyd IF
Początkowo DeepFloyd IF jest wydany na licencji badawczej. Celem badaczy jest zachęcenie do rozwoju nowych zastosowań w różnych dziedzinach, takich jak sztuka, projektowanie, opowiadanie, rzeczywistość wirtualna i dostępność. Aby zainspirować potencjalne badania, zaproponowali kilka pytań badawczych o charakterze technicznym, akademickim i etycznym.
Pytania badawcze o charakterze technicznym obejmują:
- Optymalizację modelu IF w celu poprawy wydajności, skalowalności i efektywności.
- Poprawę jakości wyjściowej poprzez ulepszanie próbkowania, kierowania lub dokształcania modelu.
- Zastosowanie technik wykorzystywanych do modyfikacji wyjścia Stable Diffusion do DeepFloyd IF.
Pytania badawcze o charakterze akademickim obejmują:
- Badanie roli pre-trenowania w transferze uczenia.
- Poprawę kontroli modelu nad generowaniem obrazu.
- Rozszerzenie możliwości modelu poza syntezę tekst-obraz poprzez integrację wielu modalności.
- Ocena interpretowalności modelu w celu lepszego zrozumienia cech wizualnych generowanych obrazów.
Pytania badawcze o charakterze etycznym obejmują:
- Identyfikację i łagodzenie stronniczości w DeepFloyd IF.
- Ocena wpływu modelu na media społecznościowe i generowanie treści.
- Stworzenie skutecznego detektora fałszywych obrazów, wykorzystującego model.
Aby uzyskać dostęp do wag modelu, użytkownicy muszą zaakceptować licencję na stronie DeepFloyd w serwisie Hugging Face space. Więcej informacji można znaleźć na stronie internetowej modelu, repozytorium GitHub, demonstracji Gradio lub dołączyć do publicznych dyskusji za pośrednictwem Linktree DeepFloyd.












