Drei Herausforderungen für Stable Diffusion

Die Veröffentlichung von stability.ai’s Stable Diffusion latent diffusion Bildsynthese-Modell vor ein paar Wochen ist vielleicht eine der bedeutendsten technologischen Enthüllungen seit DeCSS im Jahr 1999; es ist sicherlich das größte Ereignis in der Geschichte von künstlich generierten Bildern seit dem Deepfake-Code im Jahr 2017, der auf GitHub kopiert und in DeepFaceLab und FaceSwap sowie in die Echtzeit-Streaming-Deepfake-Software DeepFaceLive aufgeteilt wurde.

Mit einem Schlag wurden die Benutzerfrustrationen über die Inhaltsbeschränkungen in DALL-E 2’s Bildsynthese-API beiseitegewischt, da sich herausstellte, dass Stable Diffusions NSFW-Filter durch die Änderung einer einzigen Codezeile deaktiviert werden konnte. Pornographische Stable-Diffusion-Reddits entstanden fast sofort und wurden ebenso schnell abgeschaltet, während die Entwickler und Benutzer in den offiziellen und NSFW-Communities auf Discord geteilt wurden und Twitter mit fantastischen Stable-Diffusion-Kreationen gefüllt wurde.

Im Moment scheint jeder Tag einige erstaunliche Innovationen von den Entwicklern zu bringen, die das System übernommen haben, mit Plug-ins und Drittanbieter-Erweiterungen, die hastig für Krita, Photoshop, Cinema4D, Blender und viele andere Anwendungsplattformen geschrieben werden.

In der Zwischenzeit wird Promptcraft – die jetzt professionelle Kunst des “AI-Flüsterns”, die möglicherweise die kürzeste Karrieremöglichkeit seit “Filofax-Binder” wird – bereits kommerzialisiert, während die frühe Monetarisierung von Stable Diffusion auf Patreon-Ebene stattfindet, mit der Gewissheit, dass es noch anspruchsvollere Angebote geben wird, für diejenigen, die nicht bereit sind, Conda-basierte Installs des Quellcodes oder die vorschriftsmäßigen NSFW-Filter von Web-basierten Implementierungen zu navigieren.

Das Tempo der Entwicklung und das freie Gefühl der Erkundung durch Benutzer verläuft mit einer solchen atemberaubenden Geschwindigkeit, dass es schwierig ist, sehr weit vorauszusehen. Im Wesentlichen wissen wir nicht genau, womit wir es zu tun haben, oder was alle Einschränkungen oder Möglichkeiten sein könnten.

Trotzdem sollten wir uns drei der interessantesten und herausforderndsten Hürden ansehen, die die schnell gebildete und schnell wachsende Stable-Diffusion-Community zu überwinden hat.

1: Optimierung von tile-basierten Pipelines

Bei begrenzten Hardware-Ressourcen und harten Grenzen für die Auflösung von Trainingsbildern ist es wahrscheinlich, dass Entwickler Workarounds finden, um sowohl die Qualität als auch die Auflösung von Stable-Diffusion-Ausgaben zu verbessern. Viele dieser Projekte werden darin bestehen, die Einschränkungen des Systems auszunutzen, wie seine native Auflösung von nur 512×512 Pixeln.

Wie immer der Fall bei Computer-Vision- und Bildsynthese-Initiativen ist, wurde Stable Diffusion auf quadratischen Bildern trainiert, in diesem Fall auf 512×512 Pixel aufgelöst, damit die Quellbilder regularisiert und in die Einschränkungen der GPUs, die das Modell trainierten, passten.

Daher “denkt” Stable Diffusion (wenn es überhaupt denkt) in 512×512-Begriffen und sicherlich in quadratischen Begriffen. Viele Benutzer, die derzeit die Grenzen des Systems erkunden, berichten, dass Stable Diffusion die zuverlässigsten und am wenigsten fehlerhaften Ergebnisse bei dieser ziemlich eingeschränkten Seitenverhältnis (siehe “Extremitäten ansprechen” unten) liefert.

Obwohl verschiedene Implementierungen eine Auflösung durch RealESRGAN (und können schlecht gerenderte Gesichter durch GFPGAN beheben) aufweisen, entwickeln einige Benutzer derzeit Methoden, um Bilder in 512×512-Pixel-Sektionen aufzuteilen und die Bilder zusammenzufügen, um größere Zusammensetzungen zu erstellen.

Dieses 1024×576-Render, eine Auflösung, die normalerweise in einem einzigen Stable-Diffusion-Render unmöglich ist, wurde erstellt, indem die attention.py-Python-Datei aus dem DoggettX-Fork von Stable Diffusion (eine Version, die tile-basiertes Upscaling implementiert) in einen anderen Fork kopiert und eingefügt wurde. Quelle: https://old.reddit.com/r/StableDiffusion/comments/x6yeam/1024x576_with_6gb_nice/

Obwohl einige Initiativen dieser Art Originalcode oder andere Bibliotheken verwenden, wird der txt2imghd-Port von GOBIG (ein Modus in der VRAM-hungrigen ProgRockDiffusion) diese Funktionalität dem Hauptzweig bald zur Verfügung stellen. Während txt2imghd ein dedizierter Port von GOBIG ist, beinhalten andere Bemühungen von Community-Entwicklern unterschiedliche Implementierungen von GOBIG.

Ein abstraktes Bild im ursprünglichen 512×512-Pixel-Render (links und zweites von links); aufgeskaliert durch ESGRAN, das jetzt mehr oder weniger über alle Stable-Diffusion-Verteilungen verfügbar ist; und mit ‘besonderer Aufmerksamkeit’ durch eine Implementierung von GOBIG versehen, die Details hervorbringt, die zumindest innerhalb der Grenzen des Bildbereichs besser aufgeskaliert erscheinen. Quelle: https://old.reddit.com/r/StableDiffusion/comments/x72460/stable_diffusion_gobig_txt2imghd_easy_mode_colab/

Die Art von abstraktem Beispiel, das oben gezeigt wird, hat viele “kleine Königreiche” von Details, die diese egozentrische Herangehensweise an das Upscaling unterstützen, aber die möglicherweise anspruchsvollere Code-getriebene Lösungen erfordern, um nicht-repetitive, kohärente Aufskalierung zu erzeugen, die nicht wie aus vielen Teilen zusammengesetzt aussieht. Nicht zuletzt im Falle von Gesichtern, bei denen wir ungewöhnlich auf Aberrationen oder “störende” Artefakte achten.

Stable Diffusion hat derzeit keine Mechanismen, um die Aufmerksamkeit auf das Gesicht während eines Renderns zu konzentrieren, wie es Menschen tun, wenn sie Gesichtsinformationen priorisieren. Obwohl einige Entwickler in den Discord-Communities Methoden in Betracht ziehen, um diese Art von “verbesserter Aufmerksamkeit” zu implementieren, ist es derzeit viel einfacher, das Gesicht manuell (und schließlich automatisch) nach dem initialen Rendern zu verbessern.

Ein menschliches Gesicht hat eine interne und vollständige semantische Logik, die nicht in einem “Teil” der unteren Ecke eines Gebäudes (z.B.) gefunden wird, und daher ist es derzeit möglich, sehr effektiv “hineinzuzoomen” und ein “skizzenhaftes” Gesicht in Stable-Diffusion-Ausgaben neu zu rendern.

Links, Stable Diffusions erste Bemühung mit dem Prompt ‘Vollständiges Farbfoto von Christina Hendricks, die einen überfüllten Ort betritt, einen Regenmantel tragend; Canon50, Augenkontakt, hohe Details, hohe Gesichtsdetails’. Rechts, ein verbessertes Gesicht, das durch das Einführen des verschwommenen und skizzenhaften Gesichts aus dem ersten Render in die volle Aufmerksamkeit von Stable Diffusion mithilfe von Img2Img (siehe animierte Bilder unten) erhalten wurde.

In Abwesenheit einer dedizierten Textual-Inversion-Lösung (siehe unten) wird dies nur für Berühmtheiten funktionieren, die bereits im LAION-Datensatz, der Stable Diffusion trainiert hat, gut vertreten sind. Daher wird es für diejenigen funktionieren, die wie Tom Cruise, Brad Pitt, Jennifer Lawrence und eine begrenzte Anzahl echter Medien-Persönlichkeiten, die in großen Zahlen von Bildern im Quell-Datensatz vorhanden sind.

Erzeugung eines plausiblen Pressefotos mit dem Prompt ‘Vollständiges Farbfoto von Christina Hendricks, die einen überfüllten Ort betritt, einen Regenmantel tragend; Canon50, Augenkontakt, hohe Details, hohe Gesichtsdetails’.

Für Berühmtheiten mit langen und anhaltenden Karrieren wird Stable Diffusion normalerweise ein Bild der Person im fortgeschrittenen Alter (d.h. älteren) Alter erzeugen, und es wird notwendig sein, Prompt-Adjunkte wie ‘jung’ oder ‘im Jahr [JAHR]’ hinzuzufügen, um jüngere aussehende Bilder zu erzeugen.

Mit einer prominenten, viel fotografierten und konsistenten Karriere, die fast 40 Jahre umfasst, ist die Schauspielerin Jennifer Connelly eine der wenigen Berühmtheiten in LAION, die es Stable Diffusion ermöglichen, eine Reihe von Altersgruppen darzustellen. Quelle: prepack Stable Diffusion, local, v1.4-Checkpoint; altersbezogene Prompts.

Dies liegt hauptsächlich an der Verbreitung der digitalen (und nicht der teuren, emulsionsbasierten) Pressefotografie ab Mitte der 2000er Jahre und dem späteren Anstieg des Bildausgabevolumens aufgrund erhöhter Breitbandgeschwindigkeiten.

Das gerenderte Bild wird an Img2Img in Stable Diffusion weitergeleitet, wo ein ‘Fokus-Bereich’ ausgewählt wird, und ein neues, maximal großes Render nur für diesen Bereich erstellt wird, wodurch Stable Diffusion alle verfügbaren Ressourcen auf die Neuerstellung des Gesichts konzentrieren kann.

Komposition des ‘hochaufmerksamen’ Gesichts zurück in das ursprüngliche Render. Neben Gesichtern wird dieser Prozess nur mit Entitäten funktionieren, die ein potenziell bekanntes, kohärentes und integrales Aussehen haben, wie z.B. einem Teil des ursprünglichen Fotos, das ein deutliches Objekt wie eine Uhr oder ein Auto hat. Das Aufskalieren eines Teils eines Gebäudes wird zu einem sehr seltsam aussehenden, wieder zusammengesetzten Gebäude führen, da die Kachel-Renderings keinen weiteren Kontext für dieses ‘Puzzleteil’ hatten, als sie gerendert wurden.

Einige Berühmtheiten in der Datenbank kommen ‘voreingefroren’ in der Zeit, entweder weil sie früh starben (wie Marilyn Monroe) oder nur vorübergehend in die breite Öffentlichkeit gelangten und eine hohe Anzahl von Bildern in einem begrenzten Zeitraum produzierten. Die Abstimmung von Stable Diffusion bietet möglicherweise eine Art ‘aktuellen’ Popularitätsindex für moderne und ältere Stars. Für einige ältere und aktuelle Berühmtheiten gibt es nicht genug Bilder im Quell-Datensatz, um eine sehr gute Ähnlichkeit zu erzielen, während die anhaltende Popularität bestimmter lang verstorbener oder verblasster Stars sicherstellt, dass ihre vernünftige Ähnlichkeit aus dem System abgerufen werden kann.

Stable-Diffusion-Renderings zeigen schnell, welche berühmten Gesichter gut im Trainingsdatensatz vertreten sind. Trotz ihrer enormen Popularität als ältere Teenagerin zum Zeitpunkt des Schreibens ist Millie Bobby Brown jünger und weniger bekannt, als die LAION-Quelldatensätze aus dem Web gesammelt wurden, was es derzeit problematisch macht, eine hochwertige Ähnlichkeit mit Stable Diffusion zu erzielen.

Wo die Daten verfügbar sind, könnten tile-basierte Up-Res-Lösungen in Stable Diffusion weiter gehen als das Fokussieren auf das Gesicht: Sie könnten möglicherweise noch genauere und detailliertere Gesichter ermöglichen, indem sie die Gesichtszüge aufbrechen und die gesamten Kräfte der lokalen GPU-Ressourcen auf einzelne, bedeutungsvolle Merkmale konzentrieren, bevor sie sie wieder zusammenfügen – ein Prozess, der derzeit wieder manuell ist.

Dies ist nicht nur auf Gesichter beschränkt, sondern auch auf Teile von Objekten, die mindestens so vorhersehbar im breiteren Kontext des Host-Objekts platziert sind und die hochrangigen Einbettungen aufweisen, die man vernünftigerweise in einem hyperskaligen Datensatz erwarten kann.

Die echte Grenze ist die Menge an verfügbaren Referenzdaten im Datensatz, da schließlich tief iterierte Details völlig “halluziniert” (d.h. fiktiv) und weniger authentisch werden.

Solche hochrangigen granularen Vergrößerungen funktionieren im Fall von Jennifer Connelly, da sie in LAION-Ästhetik (der primären Teilmenge von LAION 5B, die Stable Diffusion verwendet) und im Allgemeinen in LAION gut vertreten ist; in vielen anderen Fällen würde die Genauigkeit aufgrund mangelnder Daten leiden, was entweder eine Feinabstimmung (weitere Schulung, siehe “Anpassung” unten) oder eine Textual-Inversion (siehe unten) erfordern würde.

Fliesen sind eine leistungsstarke und relativ billige Möglichkeit für Stable Diffusion, um hochauflösende Ausgaben zu produzieren, aber algorithmisches Fliesen-Upscaling dieser Art, wenn es einen umfassenderen, höheren Aufmerksamkeitsmechanismus fehlt, kann möglicherweise nicht den erhofften Standards in einer Reihe von Inhaltstypen entsprechen.

2: Probleme mit menschlichen Extremitäten ansprechen

Stable Diffusion hält seinem Namen nicht stand, wenn es um die Darstellung der Komplexität menschlicher Extremitäten geht. Hände können sich willkürlich vermehren, Finger können zusammenfließen, ein drittes Bein kann unerwartet erscheinen und bestehende Gliedmaßen können spurlos verschwinden. In seiner Verteidigung teilt Stable Diffusion dieses Problem mit seinen “Stablemates” und sicherlich mit DALL-E 2.

Unbearbeitete Ergebnisse von DALL-E 2 und Stable Diffusion (1.4) Ende August 2022, beide mit Problemen bei den Gliedmaßen. Prompt ist ‘Eine Frau umarmt einen Mann’

Die Fans von Stable Diffusion, die hoffen, dass der kommende 1.5-Checkpoint (eine intensiver trainierte Version des Modells mit verbesserten Parametern) das Problem der Gliedmaßen-Verwirrung lösen wird, werden wahrscheinlich enttäuscht sein. Das neue Modell, das in etwa zwei Wochen veröffentlicht wird, wird derzeit am kommerziellen stability.ai-Portal DreamStudio vorgestellt, das standardmäßig 1.5 verwendet und wo Benutzer die neue Ausgabe mit Rendern von ihren lokalen oder anderen 1.4-Systemen vergleichen können:

Quelle: Lokaler 1.4-Prepack und https://beta.dreamstudio.ai/

Quelle: Lokaler 1.4-Prepack und https://beta.dreamstudio.ai/

Quelle: Lokaler 1.4-Prepack und https://beta.dreamstudio.ai/

Wie oft der Fall ist, könnte die Datenqualität der primäre beitragende Grund sein.

Die offenen Datenbanken, die Bildsynthese-Systeme wie Stable Diffusion und DALL-E 2 antreiben, können viele Labels für einzelne Menschen und zwischenmenschliche Aktionen bereitstellen. Diese Labels werden gemeinsam mit ihren zugehörigen Bildern oder Bildsegmenten trainiert.

Stable-Diffusion-Benutzer können die in das Modell eingegebenen Konzepte durch Abfrage des LAION-Ästhetik-Datensatzes erkunden, einer Teilmenge des größeren LAION-5B-Datensatzes, der das System antreibt. Die Bilder sind nicht alphabetisch nach ihren Labels geordnet, sondern nach ihrem ‘Ästhetik-Score’. Quelle: https://rom1504.github.io/clip-retrieval/

Ein gutes Hierarchie von individuellen Labels und Klassen, die zur Darstellung eines menschlichen Arms beitragen, wäre etwas wie Körper > Arm > Hand > Finger > [Unterfinger + Daumen] > [Fingerglieder] > Fingernägel.

Granulare semantische Segmentierung der Teile einer Hand. Selbst diese ungewöhnlich detaillierte Dekonstruktion lässt jeden ‘Finger’ als einzige Entität, nicht berücksichtigend, dass es drei Abschnitte eines Fingers und zwei Abschnitte eines Daumens gibt. Quelle: https://athitsos.utasites.cloud/publications/rezaei_petra2021.pdf

In Wirklichkeit sind die Quellbilder wahrscheinlich nicht so konsistent annotiert über den gesamten Datensatz, und unsupervised Labeling-Algorithmen werden wahrscheinlich bei der höheren Ebene von z.B. ‘Hand’ stoppen und die internen Pixel (die technisch gesehen ‘Finger’-Informationen enthalten) als ungelabelte Masse von Pixeln lassen, aus denen Merkmale willkürlich abgeleitet werden, die möglicherweise später in Rendern als störendes Element manifestieren.

Wie es sein sollte (oben rechts, wenn nicht oben geschnitten), und wie es tendenziell ist (unten rechts), aufgrund begrenzter Ressourcen für die Beschriftung oder architektonische Ausnutzung solcher Labels, wenn sie im Datensatz vorhanden sind.

Daher wird, wenn ein latentes Diffusionsmodell so weit kommt, einen Arm zu rendern, es fast sicherlich versuchen, eine Hand am Ende dieses Arms zu rendern, da Arm > Hand die minimale erforderliche Hierarchie ist, ziemlich hoch in dem, was die Architektur über “menschliche Anatomie” weiß.

Danach können “Finger” die kleinsten Gruppierungen sein, obwohl es 14 weitere Finger-/Daumen-Teile gibt, die bei der Darstellung von menschlichen Händen berücksichtigt werden müssen.

Wenn diese Theorie gilt, gibt es keine echte Abhilfe, aufgrund des branchenweiten Mangels an Budget für manuelle Annotierung und des Mangels an ausreichend effektiven Algorithmen, die die Beschriftung automatisieren und gleichzeitig niedrige Fehlerquoten erzielen können. In der Praxis könnte das Modell derzeit von der menschlichen anatomischen Konsistenz abhängig sein, um die Mängel des Datensatzes, auf dem es trainiert wurde, zu überdecken.

Ein möglicher Grund, warum es nicht darauf vertrauen kann, wurde kürzlich im Stable-Diffusion-Discord vorgeschlagen, ist, dass das Modell verwirrt werden könnte, wie viele Finger (realistische) menschliche Hände haben sollten, weil die LAION-abgeleitete Datenbank, die es antreibt, Cartoon-Charaktere enthält, die möglicherweise weniger Finger haben (was selbst eine zeitsparende Abkürzung ist).

Zwei der potenziellen Schuldigen am ‘fehlenden-Finger’-Syndrom in Stable Diffusion und ähnlichen Modellen. Unten, Beispiele für Cartoon-Handen aus dem LAION-Ästhetik-Datensatz, der Stable Diffusion antreibt. Quelle: https://www.youtube.com/watch?v=0QZFQ3gbd6I

Wenn dies zutrifft, dann gibt es nur eine offensichtliche Lösung: Das Modell neu zu trainieren, wobei nicht-realitätsnahes, menschliches Inhaltsmaterial ausgeschlossen wird, um sicherzustellen, dass echte Fälle von Auslassungen (d.h. Amputierte) als Ausnahmen gekennzeichnet sind. Allein aus der Datenkurierung heraus wäre dies eine ziemliche Herausforderung, insbesondere für ressourcenarme Community-Bemühungen.

Der zweite Ansatz wäre, Filter anzuwenden, die solche Inhalte (d.h. ‘Hand mit drei/fünf Fingern’) von der Manifestation bei der Rendertime ausschließen, ähnlich wie OpenAI, um einen bestimmten Grad, gefiltert hat GPT-3 und DALL-E 2, um ihre Ausgabe zu regulieren, ohne die Quellmodelle neu trainieren zu müssen.

Für Stable Diffusion kann die semantische Unterscheidung zwischen Ziffern und sogar Gliedmaßen grotesk verwischt werden, was an die ‘Body-Horror’-Strang von Horrorfilmen der 80er Jahre von Regisseuren wie David Cronenberg erinnert. Quelle: https://old.reddit.com/r/StableDiffusion/comments/x6htf6/a_study_of_stable_diffusions_strange_relationship/

Es könnte argumentiert werden, dass es zwei verbleibende Wege vorwärts gibt: mehr Daten in das Problem zu werfen und die Anwendung von Drittanbieter-Interpretationssystemen, die eingreifen können, wenn physikalische Fehler der beschriebenen Art dem Endbenutzer präsentiert werden (zumindest würde dies OpenAI eine Methode geben, um für ‘Body-Horror’-Renderings Rückerstattungen anzubieten, wenn das Unternehmen motiviert wäre, dies zu tun).

3: Anpassung

Eine der aufregendsten Möglichkeiten für die Zukunft von Stable Diffusion ist die Aussicht, dass Benutzer oder Organisationen überarbeitete Systeme entwickeln; Modifikationen, die es ermöglichen, Inhalte außerhalb der vorgegebenen LAION-Sphäre in das System zu integrieren – idealerweise ohne die unkontrollierbaren Kosten, das gesamte Modell erneut zu trainieren, oder das Risiko, das mit dem Training in einer großen Menge neuer Bilder an ein bestehendes, reifes und leistungsfähiges Modell verbunden ist.

Als Analogie: Wenn zwei weniger begabte Schüler einer Klasse von 30 Schülern beitreten, werden sie entweder assimiliert und aufholen oder als Außenseiter scheitern; in beiden Fällen wird die Durchschnittsleistung der Klasse wahrscheinlich nicht beeinträchtigt. Wenn jedoch 15 weniger begabte Schüler beitreten, wird die Notenkurve für die gesamte Klasse wahrscheinlich leiden.

Ähnlich kann das synergistische und ziemlich empfindliche Netzwerk von Beziehungen, das während eines langen und teuren Modelltrainings aufgebaut wird, durch exzessive neue Daten kompromittiert, in einigen Fällen sogar effektiv zerstört werden, was die Ausgabqualität des Modells über den gesamten Bereich hinweg senkt.

Der Fall für die Durchführung dieser Maßnahme ist hauptsächlich, wenn Ihr Interesse darin besteht, das konzeptuelle Verständnis des Modells von Beziehungen und Dingen vollständig zu übernehmen und es für die exklusive Produktion von Inhalten zu verwenden, die dem zusätzlichen Material ähnlich sind, das Sie hinzugefügt haben.

So wird das Training von 500.000 Simpsons-Frames in einen bestehenden Stable-Diffusion-Checkpoint wahrscheinlich letztendlich zu einem besseren Simpsons-Simulator führen, als das ursprüngliche Build hätte anbieten können, vorausgesetzt, dass genügend breite semantische Beziehungen den Prozess überstehen (d.h. Homer Simpson isst einen Hotdog, was möglicherweise Material über Hotdogs erfordert, das nicht in Ihrem zusätzlichen Material vorhanden war, aber bereits im Checkpoint existierte) und vorausgesetzt, dass Sie nicht plötzlich von Simpsons-Inhalten zu fabulous landscape by Greg Rutkowski wechseln möchten – weil Ihr nach dem Training erstelltes Modell seine Aufmerksamkeit massiv abgelenkt hat und nicht mehr so gut darin ist, diese Art von Inhalten zu erstellen, wie es es früher war.

Ein bemerkenswertes Beispiel dafür ist waifu-diffusion, das erfolgreich 56.000 Anime-Bilder in einen abgeschlossenen und trainierten Stable-Diffusion-Checkpoint nachtrainiert hat. Es ist jedoch ein schwieriges Vorhaben für einen Hobbyisten, da das Modell ein atemberaubendes Minimum von 30 GB VRAM erfordert, weit über dem, was wahrscheinlich auf dem Verbraucherzweig in den kommenden 40XX-Releases von NVIDIA verfügbar sein wird.

Das Training von benutzerdefinierten Inhalten in Stable Diffusion via waifu-diffusion: Das Modell benötigte zwei Wochen Nachtraining, um diese Ebene der Illustration zu erreichen. Die sechs Bilder auf der linken Seite zeigen den Fortschritt des Modells bei der Erstellung von kohärenten Ausgaben basierend auf den neuen Trainingsdaten. Quelle: https://gigazine.net/gsc_news/en/20220121-how-waifu-labs-create/

Ein großer Aufwand könnte auf solche ‘Forks’ von Stable-Diffusion-Checkpoints verwendet werden, nur um durch technische Schulden behindert zu werden. Entwickler im offiziellen Discord haben bereits angekündigt, dass spätere Checkpoint-Veröffentlichungen möglicherweise nicht rückwärtskompatibel sind, auch nicht mit Prompt-Logik, die mit einer früheren Version funktioniert hat, da ihr primäres Interesse darin besteht, das beste Modell zu erhalten, und nicht darin, Legacy-Anwendungen und -Prozesse zu unterstützen.

Daher hat ein Unternehmen oder eine Person, die sich entscheidet, einen Checkpoint in ein kommerzielles Produkt zu überführen, effektiv keinen Weg zurück; ihre Version des Modells ist zu diesem Zeitpunkt ein ‘Hard-Fork’, und kann nicht mehr von den Vorteilen späterer Veröffentlichungen von stability.ai profitieren – was ein ziemliches Engagement ist.

Die aktuelle und größere Hoffnung für die Anpassung von Stable Diffusion ist Textual Inversion, bei der der Benutzer ein paar CLIP-ausgerichtete Bilder trainiert.

Eine Zusammenarbeit zwischen der Tel Aviv University und NVIDIA, die es ermöglicht, diskrete und neue Entitäten zu trainieren, ohne die Fähigkeiten des Quellmodells zu zerstören. Quelle: https://textual-inversion.github.io/

Die primäre offensichtliche Einschränkung der Textual-Inversion ist, dass eine sehr geringe Anzahl von Bildern empfohlen wird – so wenig wie fünf. Dies produziert effektiv eine begrenzte Entität, die möglicherweise nützlicher für Style-Transfer-Aufgaben als für die Einfügung von photorealistischen Objekten ist.

Trotzdem finden derzeit Experimente in den verschiedenen Stable-Diffusion-Discords statt, die eine viel höhere Anzahl von Trainingsbildern verwenden, und es bleibt abzuwarten, wie produktiv die Methode sich erweisen könnte. Wiederum erfordert die Technik eine enorme Menge an VRAM, Zeit und Geduld.

Aufgrund dieser begrenzenden Faktoren müssen wir möglicherweise eine Weile warten, um einige der anspruchsvolleren Textual-Inversion-Experimente von Stable-Diffusion-Enthusiasten zu sehen – und ob dieser Ansatz es schafft, ‘Sie ins Bild zu setzen’ auf eine Weise, die besser aussieht als ein Photoshop-Cut-and-Paste, während die atemberaubende Funktionalität der offiziellen Checkpoints beibehalten wird.

Erstveröffentlicht am 6. September 2022.